Чему ученые могут научить продакта: scientific research vs product research (Евгения Копытина)

Евгения Копытина, Директор, Школа #sekta

Меня зовут Женя Копытина, я директор школы #SEKTA. И сегодня я буду говорить о том, чему ученые могут научить продакта.

Для начала давайте познакомимся. Поднимите руку те, кто, когда слышит слово «секта», представляет себе скорее то, что справа, чем то, что слева. Отлично. Для всех остальных немножко расскажу о том, чем мы занимаемся. Мы работаем восемь лет и делаем курсы о здоровом питании, привычках, тренировках и в целом здоровом образе жизни на русском языке. У нас сейчас уже больше десяти курсов. И, наверное, что важнее в контексте этой презентации, у нас есть свой научно-популярный портал. И мы проводим свои собственные научные исследования. За последние три года мы провели пять научных исследований, часть из которых показали на конференциях, часть из них опубликовали в международных сборниках. И помимо того, что мы сделали эти исследования, мы были соорганизаторами одного международного научного конгресса, который проходил в Санкт-Петербурге по нашей тематике.

О чем я буду говорить? Я буду говорить о том, зачем нужен научный метод. Наука и научный метод развиваются примерно со времен античности. Но если античная наука предполагала, что есть гипотеза и результат, то наука в XXI веке предполагает, что есть не просто результат, а результат, который максимально круто отражает реальность. То есть то, что принято называть в науке сейчас — точный, сравнимый и воспроизводимый результат.

Зачем это все нужно? Это все нужно в первую очередь для того, чтобы спасти исследователей и очистить результаты исследований от когнитивных искажений. На слайде есть невероятных размеров инфографика. Я не питаю иллюзий, что вы успеете ее изучить за то время, которое я буду говорить, но она очень классно отражает масштабы проблемы. Масштабы того, насколько много искажений есть в нашем восприятии, насколько плохо мы можем анализировать ситуацию не на данных, насколько легко наш мозг обманывается.

Именно для того, чтобы избежать этих штук, ученые уже очень много веков улучшают научную методологию. И вершиной улучшения научной методологии стала evidence-based method пирамида. Это пирамида, которая показывает, какие исследования считаются слабыми, какие сильными, какие доказательства можно использовать для принятия важных решений, а какие лучше не стоит. Я вам хочу предложить сейчас примерно вспомнить последние исследования, которые вы делали в своем продукте, и расположить их на какой-то ступенечки этой пирамиды.

Мы с руководителем нашего научного отдела проделали примерно то же самое, достаточно много дискутировали, потому что, понятное дело, однозначно этого сделать нельзя, все зависит не только от дизайна исследования, не только от метода исследования, но и от методов обработки данных. И понятно, что здесь предполагается, что данные в любом случае обрабатываются качественными статистическими методами. Но все-таки мы получили примерно следующее.

Здесь видно, что ни один из вариантов продуктовых исследований не попадает на самую верхушку. Мы пробовали придумать, что могло бы туда попасть, но туда могла бы попасть исследование, какой-то мета-анализ или систематический обзор, который бы сделали много продактов из разных компаний, собравшись вместе и объединив результаты своей работы. Так что это возможно, и, может быть, это именно то, к чему стоит стремиться в этой сфере.

Итак, зачем продакту научный подход? Это повышение валидности результатов исследования. Тут, кажется, все понятно. Снижение влияния когнитивных искажений на результаты исследования — тоже очень важно. Повышение ценности результатов для продакта. Что я здесь имею в виду? В первую очередь, когда вы работаете продактом, если вы делаете исследования, которые потом можно использовать на других работах и в других сферах, это вас как специалиста, конечно, сильно повышает в цене. И исследование, и научный подход можно использовать для достижения бизнес-целей. И сейчас я поподробнее поговорю об этом на примере нескольких наших исследований.

Первое исследование, про которое буду рассказывать — это влияние мотивации и циклов мотивации на долгосрочное изменение веса. У нас было бизнес-цель — повысить уровень экспертности бренда в первую очередь. Я думаю, что тут важно также подчеркнуть, что у нас достаточно дерзкое название. Я напомню, что мы называемся #SEKTA. И когда мы поняли, что нам очень нравится разбираться в науке, очень хочется работать с классными специалистами, нам было очень важно привлечь внимание врачей и ученых и сделать так, чтобы они хотели с нами тоже поработать. И провести для этого свое научное исследование было отличной идеей.

Помимо этого мы подтвердили ту концепцию, которая у нас была и на основе которой мы строим, по сути, всю нашу продуктовую матрицу. Справа коротко описано, какие были задействованы ресурсы, какая была научная цель и какое будет исследование. На этом слайде результаты самого исследования. С точки зрения результатов для бизнеса что мы получили? Мы получили, во-первых, действительно достаточно широкую узнаваемость именно среди экспертов, мы получили возможность и теплый отклик работы с экспертами. У нас сейчас есть свой штат из десяти человек, которые регулярно пишут нам статьи, комментируют, делают фактчекинг наших продуктов, потому что это одно из самых сложных вещей. И они при этом очень рады с нами работать и доверяют тому, что мы делаем.

Помимо этого признания от экспертов мы получили, конечно, охваты. Как можно продвигать исследование и как мы продвигали это? Во-первых, выступления на конференциях. Я дальше еще расскажу, на каких конференциях можно выступать в зависимости от того, чем вы занимаетесь. Мы выступали с этим исследованием на двух, мы использовали свои площадки для того, чтобы рассказывать о том, что мы делаем, о том, какие получаем результаты. Очень классный отклик получают исследования и в соцсетях, и в рассылках. Понятное дело, мы популяризируем тот факт, что мы основываем наши курсы на научных исследованиях и внутри наших курсов.

И помимо этого вся эта PR-кампания на своих площадках нам привела достаточно много бесплатных выступлений. Мы выступили в крупных ВУЗах, мы выступили на Urban fest в Москве, на «Стрелке» в Москве. И еще было много мероприятий, потому что обычно, когда люди видят, что кто-то чем-то очень заинтересован и рассказывает что-то интересно, у них возникает желание позвать этого человека или эту компанию на свое мероприятие, чтобы они всем об этом рассказали.

Следующие исследования — это была серия. Их было два. И это исследование о том, как влияет на объем мышечной массы похудение. У нас была попытка исследовать эффективность каждого элемента комплекса для эстетических целей. Почему эта бизнес-цель такая и для каких еще бизнесов это может быть актуально? Есть проблема того, что научному сообществу не очень интересно заниматься проблемами эстетики, то есть проблемами похудения живота или того, насколько эстетично у тебя уменьшаются бедра во время твоего комплекса похудения. Все, что не влияет на здоровье, наукам о здоровье интересно мало. Я думаю, что есть еще много сфер, в которых точно также есть научные и популярные вещи, а есть прикладные маленькие продуктовые, которые либо исследовать самостоятельно, либо не исследовать никак.

Здесь в качестве результатов достаточно подробная антропометрия, которую мы получили. Но я могу сказать, что как бизнес-результат мы не закончили. Мы остановились на двух элементах, которые мы проверили, потому что стало понятно, что мы потратим очень много времени. И конкретно здесь проще и правильнее использовать продуктовые методологии и оценивать в целом, как работает комплекс без попытки разбить его на маленькие элементы.

Его мы тоже продвигали. Во-первых, мы сделали у нас в соцсетях похожий на реалити-шоу отбор на исследования. Набирали людей мотивированных, чтобы они ничего не бросали. Еще более странным было набирать контрольную группу, которой нужно было ничего не делать и не бросать ничего не делать. Мы выступали с ним на конгрессе, мы показывали его в Праге на конференции поведенческой, одной из самых крупных. Писали про него на нашем портале и в наших курсах.

И третье исследования, про которое я хочу рассказать — это поддержка и то, как влияет поддержка человека, наставника на мотивацию. Изначально нашей главной целью было принять решение стратегическое о том, готовы ли мы к тому, чтобы переводить наши курсы на английский язык и выходить на англоязычный рынок или нет? И по итогу мы поняли, что нет, потому что увидели, что достаточно сильно на мотивацию, а вопросов похудения не только в вопросах похудения, мотивация очень сильно влияет на то, получит человек результат или нет, какой результат он получит и насколько он будет этим результатом доволен.

Что общего есть? Кажется, что эти продуктовые исследования выглядят очень похоже. На чем в продуктовых исследованиях обычно срезаются углы, и как это влияет? Во-первых, формулировка гипотезы. Все знают, что нужно сформулировать гипотезу, но очень часто гипотеза сформулирована нечетко. Или вместо гипотезы сформулирован скорее вопрос. Следующий момент — это размер выборки и все, что касается выборки: чистота, однородность. Иногда берут столько людей, сколько получилось найти, а не столько, сколько действительно нужно для того, чтобы результаты можно было использовать. Иногда берут просто каких-то людей, которые ответили, не корректируя это, таким образом получая ответы только от самых лояльных или только от критиков, или от одной очень узкой группы.

Очень часто нет в исследованиях контрольной группы. И если есть сезонность или есть внешние факторы, которые сильно повлияли, можно получить совсем бесполезные результаты. Часто экономят и время, и силы на статистической обработке результатов, особенно на статистической обработке результатов качественных исследований. Помимо этого я видела как подменяют оценку твердых показателей на оценку умозрительных. Это когда вместо того, чтобы провести антропометрию, измерить глубину морщины, у людей просто спрашивают: «Насколько сильно уменьшились ваши морщины от того, что вы пользуетесь нашим кремом?» И берут этот показатель мягкий, который не отражает реальность. Он отражает отношение просто.

Поэлементный анализ — это то, что пытались сделать мы во втором исследовании. Не исследовать комплекс, а понимать, что именно работает. Есть еще проблемы, если это продуктовые исследования они проводятся на тех, кто покупает у вас что-то. Часто нет контроля использования, то есть покупка приравнивается к использованию, это не всегда так, это тоже может влиять на результаты. Помимо этого периодически я вижу, что никто не заморачивается обоснованием методологии, просто мы выбрали эту методологию, потому что она сейчас популярна, а не потому, что она подходит конкретно сюда. Даже просто порассуждать в команде о том, какую методологию лучше использовать для конкретного исследования уже может быть полезно и может повлиять на результаты.

И что еще интересное: есть очень много стандартизированных опросников. Для исследования о мотивации мы адаптировали стандартизированный опросник на тему мотивации для людей, которые учат иностранный язык. Эти опросники тоже берутся не из ниоткуда, большие команды ученых работают над тем, чтобы опросники давали действительно важные результаты, убирали эти когнитивные искажения, давали возможность при обработке данных находить людей, которые отвлеклись, находить выбросы. Обычно я вижу, что просто пишут какие-то вопросы. И с ними гораздо  сложнее работать.

На что это влияет? Понятно, что это влияет на точность. Именно поэтому у ученых есть конкретные цифры, конкретные формулировки. Для продактов исследование — это скорее направление. ответ на вопрос, но не всегда четкость. Это субъективизм, потому что для ученых конфликт интересов нежелателен, хотя тут я могу говорить с нашей стороны, но у нас в любом случае он был.

Тем не менее, даже когда бизнес проводит научные исследования, он его основывает на данных научных исследований, где не было конфликта интересов. Продакту уже не обязательно ни в какой момент найти источник, в котором нет этого субъективизма. И при этом человек остается человеком. Каждому человеку хочется, чтобы та связь, которую он нашел и которая кажется ему не просто связью, а каким-то влиянием, хочется, чтобы он оказался прав. И это тоже нужно учитывать. С этим ничего нельзя сделать, но об этом стоит помнить.

И важно, что невозможно часто использовать продуктовые исследования одной компании в другой компании, одного проекта в другом проекте из-за сравнимости и воспроизводимости. И самое, наверное, и хорошее, и плохое — как я уже сказала, ученые опираются на накопленные научные данные, продакты опираются либо на внутренние данные в тех классных компаниях, у которых есть база исследований, которое они проводили, либо часто опираются просто на свою интуицию. И есть хорошая новость для всех, в том числе для продактов, необязательно проводить свои научные исследования для того, чтобы использовать научные данные. Есть огромные библиотеки научных данных. есть огромные библиотеки исследований в разных областях науки, которые можно использовать.

Если говорить про науки о здоровье, я привела на слайде достаточно длинный список разных организаций, в которых можно брать информацию и использовать ее в работе, и основывать на ней свои выводы, основывать на ней свои гипотезы. И здесь есть список конференций. Первая из них конференция — это конференция, посвященная привычкам. Мы больше всего любим ее, потому что мы изучаем в основном мотивацию к работе. И выступали мы на ней. Но наши сотрудники научного отдела участвуют во всех этих конференциях, как минимум как слушатели.

Это действительно очень большие интересные события, если вы работаете в сфере здоровья и привычек. Я очень советую ходить, если не все, то хотя бы на первые четыре. Все новинки рынка, все не то что революционные, потому что в науках о здоровье нет революции последние лет десять точно. Но, по крайней мере, все необычные и интересные исследования обязательно там звучат.

Где искать данные, если вы не работаете с науками о здоровье, и вам нужны социология, экономика, статистика, что угодно еще по разным тематикам. Мой любимый ресурс — это библиотека Беркли. У них есть отличные гайды, в которых можно найти все, что угодно, и углубиться в изучение разных тематик. Обычно в этот момент, когда я говорю про все площадки, где можно искать, у меня спрашивают: «Подожди, а как же Pubmed? Все же советуют Pubmed. Все знают, на Pubmed можно найти и все сделать, все обосновать». Я очень не рекомендую использовать исследования из Pubmed, если вы не ученый, вы не можете самостоятельно оценить, насколько дизайн эксперимента был адекватным, насколько выборка подходящая, какие основания были у группы исследований.  Pubmed очень лихо все интерпретируют и очень часто ошибаются. Без ученого-консультанта я бы не советовала, берите ресурсы, специально подготовленные для того, чтобы ими пользовались не ученые, и используйте информацию оттуда.

И как итог поделюсь с вами тремя дополнениями к продуктовым исследованиям, которые мы всегда используем для того, чтобы для меньше ошибаться самим. Первое — это контрольная группы и однородность выборки. Всегда старайтесь собрать контрольную группу, хоть это и непросто. И старайтесь делать так, чтобы все-таки выборка была однородной по тем показателям, по которым вам нужно. Чтобы это не были слишком разные люди и результаты можно было использовать с достаточно высоким уровнем уверенности в них.

Второе — это смешанный метод. Если вы любите проводить качественные исследования, то помимо интервью и кластеризации по итогам интервью, используйте количественные способы дополнительно оценить, дооценить, еще раз перепроверить результаты, которые вы получили.

И третий способ, который мы используем — это валидация гипотез маркетинга и продуктового отдела в операционном отделе. У нас он достаточно большой, у нас много кураторов, которые работают с большим количеством учеников. Если у вас есть такая возможность, если у вас есть отдел, который работает с клиентами и там много людей, обязательно валидируйте гипотезы свои у них. Обычно все, что совсем сильно из области воображения маркетинга или продукта, ребята отсекают очень легко. Если есть возможность, подключайте к исследованиям, особенно к качественным, сотрудников, которые либо из разных подразделений, либо с разным взглядом на проблему. Это всегда делает исследование более объективным.

И бонус: если мне нужно было выбрать что-то одно, что вы могли бы унести с этого доклада, я выбрала бы это. Всегда, когда вы делаете, что угодно, когда вы исследуете любые взаимосвязи, держите в голове, если что-то произошло после чего-то, не означает, что оно произошло вследствие.