13.1.6: Проектування парного тесту порівняння
- Page ID
- 52653
Припустимо, ви володієте харчовим бізнесом і розглядаєте маркетинг те, що ваш дослідник/кухар каже, є кращою версією одного з ваших старих харчових продуктів, скажімо, вегетаріанського буріто. Головним фактором у вашому рішенні буде те, чи сподобається вашим покупцям смак нового продукту краще, ніж смак старого. Ви можете прийняти своє маркетингове рішення, вгадавши, дозволяючи своєму кухареві вибрати, запитавши поради у своїх друзів або якимось іншим способом. Ви вирішили скористатися іншим методом: запитайте у власних клієнтів, який з двох вегетаріанських буріто їм найбільше подобається. Чому б і ні? Якщо клієнти у вашому зразку віддають перевагу новому продукту, ви повірите, що все населення теж буде, і ви заміните старий продукт новим.
Хорошим способом зробити це тестування було б використовувати процедуру, яка називається парним порівнянням. У такому тесті ви видаляєте ідентифікаційні етикетки зі старих та нових продуктів буріто, а потім даєте дегустаторам пари продуктів у випадковому порядку. Тобто деякі дегустатори спочатку скуштують новий буріто; деякі, спочатку старий. Ні в якому разі не говорять, який продукт вони дегустують. Потім запитайте свого дегустатора/суддів, який продукт їм більше подобається. Якщо багатьом з них подобається новий краще, ніж старий, ви можете піти з новим продуктом.
Скільки потрібно дегустаторів для того, щоб отримати корисні результати? І якщо більшості дегустаторів новинка подобається, але багатьом немає, то скільки розбіжностей ви можете прийняти і все одно бути впевненим, що вашим клієнтам взагалі сподобається новий продукт краще? Якщо троє з п'яти дегустаторів кажуть, що новий продукт кращий, але двоє з п'яти не погоджуються, чи буде висновок, що більше половини ваших клієнтів віддають перевагу новому продукту буріто статистично значущим результатом? Це складні питання, але вони широко вивчені статистиками, і відповіді зрозумілі.
Перш ніж на ці складні питання можна буде відповісти, потрібно врегулювати інше питання. Наскільки ви повинні бути впевнені, що рішення ваших дегустаторів правильне, в сенсі точно представляти смаки широкого населення ваших клієнтів? Якщо вам потрібно бути впевненим на 99 відсотків, вам знадобиться більше дегустаторів, ніж якщо вам потрібно лише бути впевненим на 95 відсотків. Припустимо, ви зважилися на 95 відсотків. Тоді, якщо у вас є, скажімо, двадцять дегустаторів, скільки з них повинні були б віддати перевагу новому продукту, перш ніж ви зможете на 95 відсотків бути впевненими, що вашим клієнтам новий продукт теж сподобається? Якщо ваші дегустатор-судді вибираються випадковим чином з числа вашого населення клієнтів і не є професіоналами в дегустаційному бізнесі, то статистична теорія говорить, що вам знадобиться щонайменше 75 відсотків (п'ятнадцять) з двадцяти суддів, щоб віддати перевагу новому продукту. Однак, якби у вас було більше суддів, вам не потрібно було б такої великої угоди. Наприклад, з шістдесят суддів вам знадобиться лише 65 відсотків (тридцять дев'ять) ваших суддів, щоб дати позитивну відповідь, щоб ви були впевнені, що ваші клієнти віддадуть перевагу новому продукту. Те, що ця статистика тридцяти дев'яти з шістдесяти означає, що навіть якщо двадцять один з ваших шістдесяти суддів скаже, що ваш новий буріто жахливий, ви могли б бути 95 відсотків впевнені, що більшість споживачів не погодяться з ними. Тим не менш, багато ділових людей, які не розбираються в таких статистичних міркуваннях, ймовірно, буде турбуватися про свій новий буріто, якщо двадцять один з шістдесяти тестерів не любив продукт.
Статистична теорія також вказує, скільки згоди між суддями потрібно буде підвищити рівень довіри з 95 відсотків до 99 відсотків. Щоб бути на 99 відсотків впевненим, що ваші клієнти віддадуть перевагу новому продукту старому, вам знадобиться сімнадцять позитивних відгуків від ваших двадцяти суддів, або сорок один позитивний відгук від шістдесяти суддів.
Спробуємо інший приклад. Нещодавно ви придбали нову станцію технічного обслуговування (АЗС) і вирішили провести рекламну кампанію як для підвищення вашої видимості в громаді, так і для заохочення нових клієнтів користуватися станцією. Ви плануєте рекламувати безкоштовний подарунок кожному клієнту, який купує 10 доларів або більше бензину в будь-який час протягом наступних двох тижнів. Проблема тепер полягає в тому, щоб вибрати подарунок. У вас є ділові зв'язки, що дозволяють зробити недорогу покупку великого запасу або шести упаковок Pepsi, або гравірованих кулькових ручок з назвою місцевої спортивної команди. Ви можете рекламувати, що ви будете віддавати безкоштовно Pepsi, інакше ви можете рекламувати, що ви віддасте ручки. Вартість для вас була б однаковою. Ви вирішуєте вибирати між ними на основі того, що ви прогнозуєте, ваші потенційні клієнти віддадуть перевагу. Для цього ви могли і повинні використовувати парний тест порівняння. Ви вирішили, що хотіли б бути на 95 відсотків впевнені в результаті, перш ніж вибрати подарунок. Ви випадковим чином вибираєте двадцять потенційних клієнтів і пропонуєте їм на свій вибір безкоштовну Pepsi або безкоштовну кулькову ручку. Десять кажуть, що вони можуть мати Пепсі або перо; десять кажуть, що вони можуть мати перо або Пепсі. Ви аналізуєте результати. Троє клієнтів кажуть, що їм все одно, який подарунок вони отримують. П'ять кажуть, що вони сильно віддають перевагу Pepsi перу, тому що їм не подобається спортивна команда. Шість кажуть, що вони були б задоволені будь-яким подарунком, але ледве віддають перевагу Pepsi. Чотири клієнти вибирають Pepsi, оскільки їм достатньо ручок. Решта вибирають ручки без коментарів. З цього результату, чи можете ви бути впевнені, що було б помилкою йти з кульковою ручкою?
Так, ви можете бути впевнені, що це буде помилкою. Ваш парний тест порівняння показує п'ятнадцять з двадцяти віддають перевагу Pepsi. На 95-відсотковому рівні довіри ви можете бути впевнені, що понад 50 відсотків ваших клієнтів віддають перевагу Pepsi. До речі, ця інформація про цифри є в ілюстративних цілях. Ви, як студент, не в класі статистики, так що ви не будете вікторини на проведення цих розрахунків. Але якщо ви володієте цією станцією технічного обслуговування, ви повинні використовувати парний тест порівняння та отримати деякі поради щодо числа, шукаючи інформацію в Інтернеті або запитуючи когось, хто взяв клас статистики.
Припустимо, ви дізналися, що ваша улюблена телепрограма була скасована через те, що корпорація Nielsen повідомила CBS, що лише 25 відсотків глядачів були налаштовані на вашу програму минулого тижня. CBS хотів 30-відсоткову програму в цей часовий проміжок. Потім ви дізнаєтеся більше про тест Nielsen. Нільсен опитав 400 глядачів, 100 з яких сказали, що дивляться вашу програму. Знаючи, що Сполучені Штати мають 100 мільйонів телевізорів, ви можете бути шоковані прийняттям CBS великого фінансового рішення, заснованого на простому статистичному твердженні, що 100 з 400 глядачів віддають перевагу вашій програмі. Чи може ця статистика дійсно сказати CBS щось важливе про вашу програму? Так, це може, за умови, що CBS може жити з 2-відсотковою помилкою. Nielsen і CBS можуть бути на 95 відсотків впевнені, що статистика з вибірки 400 матиме похибку лише плюс-мінус 2 відсотки.