Дискуссия. База инсайтов: хранить или не хранить. Можно ли переиспользовать результаты исследований между командами и продуктами?

Арсений Авчинников, Joom, Татьяна Чернявская, Авито, Светлана Ратнер, СКБ Контур

Светлана Ратнер: Наша дискуссия сегодня будет посвящена обсуждению базы инсайтов из исследований. У нас, к сожалению, отменился доклад, связанный со сбором фидбэка, с инструментами для сбора фидбэка, но мы не могли вас оставить без идей на этот счет, решили немного поговорить, но не только про инструменты, потому что одно дело — инструменты для сбора инсайтов из исследований и сбора фидбэка, а другое дело — налаженные процессы, работающая база инсайтов внутри компании. Поэтому мы поговорим сегодня и про инструменты, и про процессы.

Татьяна Чернявская: Всем привет, меня зовут Таня Чернявская, я старший исследователь в «Авито», у нас очень большая компания, думаю, не нужно говорить, кто мы и чем занимаемся. У нас есть много всяких подразделений, исследования проводят сами UX-исследователи, сейчас нас 11 человек, маркетинговые исследователи, их пока трое, они отстают, еще исследования проводят сами продукты, дизайнеры, многие сочувствующие ребята из продуктовых команд.

Светлана Ратнер: У вас одноразовые или многоразовые исследования?

Татьяна Чернявская: Отличный вопрос. Наша позиция такая: лучшее исследование — это то, которого не было. Как и дизайн, как и интерфейс, лучший интерфейс — тот, которого нет. Смысл такой: прежде чем потратить время и деньги на то, чтобы что-то исследовать, посмотри, вдруг кто-то уже сделал это до тебя.

Светлана Ратнер: То есть вы немного ленивые исследователи?

Татьяна Чернявская: Мы энергоемкие, энергосберегающие.

Арсений Авчинников: Всем примет, я Арсений Овчинников, работаю в Joom, мы пока не такие большие, как «Авито». Нас в команде исследователей пять человек, мы занимаемся примерно всем различные кабинетные исследования, аналитика рынка, конкурентный анализ, все количественное, качественное, тоже UX. В силу того, что нас чуть поменьше, не могу так подробно про это рассказывать, но мы тоже все храним, стараемся переиспользовать. Храним, потому что нас мало, у нас нет какого-то ресурса постоянно что-то заново переделывать.

Светлана Ратнер: Давайте чекнем настроение в зале. Ребята, покажите, кто из вас задумывался о том, чтобы переиспользовать результаты проведенных исследований? А кто может сказать, что у нас есть база инсайтов, не просто идеи на этот счет, а прям работающая штука?

Татьяна Чернявская: Поменьше.

Арсений Авчинников: Давай еще спросим, у кого она есть, но кто хочет, чтобы ее не было. Тоже есть.

Светлана Ратнер: Покажите еще раз, у кого есть база, которая как-то работает? Давайте немного поделимся. Прежде чем углубляться в детали того, как у вас устроена база, расскажите… Я так поняла, у вас база есть, вы верите в переиспользование данных. Расскажите о пользе, которая скрывается за этими базами? Какие истории, кейсы? Кто приходит за переиспользованием данных?

Татьяна Чернявская: Кажется, проще всего проиллюстрировать в кейсе. Приведу пример трех кейсов. Первый: приходит новый продукт, горячий, заряженный, надо его сразу на реальность приземлить, в идеале — показать ему всю подборку, причем — не интерпретацию исследования, а желательно прям цитаты, выдать ему, чтобы он сразу вчитался, въехал и понял, где он оказался. Это первый кейс.

Вторая история: все-таки «Авито» — это большая штука, у нас есть и вертикали — авто, недвижимость, вещи, услуги — много всего, есть горизонтальные штуки. Задача горизонталей — найти такое решение, которое будет применимо не только в одной горизонтали, а хотя бы еще в одной. Часто возникают такие запросы от горизонталей — надо посмотреть, что последнее время, полгода, говорили про «Авито Доставку», какие были блоки, барьеры, проблемы, инсайты, которые нам нужно учесть. 11 исследователей, 50 исследований, надо все собрать.

Третий кейс: когда встает фундаментальная, глобальная проблема, например, KPI, полугодовая цель — улучшить навигацию на сайте, в мобильном приложении, тогда приходит дизайнер: собери мне все, что касается проблем пользователей на пути на сайте или в приложении.

Такие кейсы.

Арсений Авчинников: У нас в целом похожая ситуация. Погружать в контекст новых людей, новых продуктов — это плюс, потому что приходят люди, они ничего не знают о продукте и пользователях, особенно в нашем случае, мы — международный маркетплейс, у нас что ни рынок, то своя особенность.

У нас не только маркетплейс — это наш основной продукт, но есть еще несколько, Которые сейчас выходят на рынок. Если мы исследовали Польшу в рамках маркетплейса, мы даже ребятам из других команд, когда они захотят выйти на этот рынок, можем примерно сказать, что там важны такие-то особенности коммуникации с пользователем, здесь есть какие-то общие особенности рынка, которые вам нужно учитывать, или общие ожидания пользователей в этой стране от сервиса как от качества оказания услуг. Это наш второй кейс, тоже немного с горизонтальным связано.

Третий — у нас есть практика формирования временных команд, когда мы хотим потюнить конкретный элемент в продукте, что-нибудь. Мы можем понимать, что для того, чтобы запустить работу этой команды, прикинуть первые гипотезы и направление, куда идти, мы вполне себе можем использовать наши прошедшие исследования.

Светлана Ратнер: Я поняла, что у вас у обоих одна из целей — онбординг нового члена команды. Речь про исследователя, про продукта или про всех? 

Арсений Авчинников: Про всех. Это касается бизнес-аналитиков, пиарщиков, маркетологов, рекламщиков — всех.

Светлана Ратнер: Вторая штука похожа — переиспользование данных, шаринг знаний между исследователями внутри команды исследователей?

Арсений Авчинников: Я немного уточню: у нас не разделены исследователи по командам. Скорее, мы результаты исследования для одной команды, для одного продукта можем использовать для других, экономить им важное на этапе выхода на рынок время.

Светлана Ратнер: В базу исследований инсайтов входят сами исследователи или другие роли тоже?

Арсений Авчинников: Бывает по-разному.

Светлана Ратнер: Хочу собрать use-кейсы использования базы у вас, онбординг, шаринг по исследователям. Таня говорила про сбор всех знаний о проблеме, когда вы формируете KPI на следующий период.

Татьяна Чернявская: Арсений похожую штуку сказал, когда вокруг одной функциональности что-то собирается.

Светлана Ратнер: Что мы знаем перед началом улучшения какой-то штуки.

Арсений Авчинников: Будет важен контекст, когда ты нас спросишь про то, как у нас эти базы работают, потому что там есть свои нюансы и сложности. У нас есть несколько стабильных сценариев: люди либо пытаются зайти туда сами — там есть сложности, либо они просят нас что-то им подсказать, мы просто знаем, что в базе где находится, отдаем им это, либо в рамках каких-то других проектов это постепенно поднимается.

Светлана Ратнер: Прежде чем мы пойдем в детали, я спрошу, как база устроена. Расскажите, как давно у вас базы существуют, насколько они большие, древние, старые, как давно вы начали собирать инсайты в одном хранилище?

Татьяна Чернявская: Хороший вопрос. Давно.

Арсений Авчинников: У нас не так давно, года полтора-два, но тут есть нюанс: Joom пять лет, нормально.

Светлана Ратнер: С самого начала возникновения исследовательской функции, или вы не сразу к этому пришли?

Арсений Авчинников: По рассказу нашей руководительницы кажется, что почти сразу.

Светлана Ратнер: То есть вы сразу начали со зрелой практики. Расскажите теперь по деталям и инструментам: как устроены ваши базы, в каких инструментах вы их ведете, как вы пришли к этим инструментам?

Арсений Авчинников: У нас почти вся работа по хранению каких-то материалов, страничек и всего прочего — она происходит в Notion, давайте порадуемся и поплачем вместе, если вы тоже работаете в Notion. Тут есть нюансы, потому что Notion — это не самый лучший инструмент для создания баз данных, но и не самый худший. Есть ли у нас выбор пользоваться чем-то другим? Наверное, нет, мы считаем, что если почти все время наш пользователь, наши коллеги проводят в Slack и в Notion, то и наши исследования должны лежать где-то поблизости, иначе конверсия в стороннюю базу данных будет стремиться к нулю, чем ближе она к пользователю, тем лучше.

Светлана Ратнер: Расскажи, что такое атом хранения в вашей базе? Подробности, которые можешь раскрыть.

Арсений Авчинников: Там все не так сложно. Для тех, кто мало работал или не работал с Notion уточню, что в Notion база данных выполнена в базовой форме, в таблице, в этой таблице может быть неисчислимое количество столбцов и строк, но каждая такая строка может представлять собой отдельный атом, единицу хранения. Веб-страничка, к которой можно прикручивать сам текст. Например, в саммари-исследование можно прикручивать дополнительные properties — ссылка, файл, теги, время проведения и так далее. Эту таблицу можно визуально по-разному оформлять. Это может быть сама таблица, может быть список, борд с карточками, галерея, что-то еще.

Пока у нас есть таблица, где лежат все исследования, там есть краткое описание, есть контекст для читателя, который туда зайдет, какие-то технические теги для фильтрации, как человек может ориентироваться в этой таблице.

Светлана Ратнер: Сколько тегов? Одна из проблем — каша из тегов в базе знаний.

Арсений Авчинников: Мы стараемся не усложнять, хотя это бывает сложно. Стандартно это продукт, потому что у нас есть Joom маркетплейс, что-то еще, есть тип исследования — это опрос, интервью, быстрый тест, это год и страна. Это четыре основные, которые помогают более-менее в этом ориентироваться. Проблема в том, что люди не умеют пользоваться фильтрацией, а Notion делает это еще сложнее: если я поставлю фильтрацию Польша, Joom маркетплейс, аудитория, то следующий человек, который после меня зайдет, увидит ту же самую таблицу, уже с фильтрацией. Скорее всего, он не почистит фильтр и ничего не найдет.

Поэтому сейчас у меня в работе немного другой формат. Тоже немного про Notion, если вы им пользуетесь, вам будет полезно. Notion позволяет одну и ту же базу данных показывать в разных видах. У меня есть десяток стандартных страничек, которые делятся — Польша, Joom маркетплейс, аудитория. Пользователь заходит на эту конкретную страницу, там у него уже отфильтрована эта база данных, там стоят фильтры Польша, Joom маркетплейс, аудитория.

Светлана Ратнер: Это звучит как некие стартовые страницы для разных групп пользователей. То есть команда, которая занимается Joom маркетплейсом в Польше, заходит на свою стартовую страничку?

Арсений Авчинников: Да, в том числе есть вариант того, что у тебя есть текстовый квест, навигация. Вместо того, чтобы работать с большой таблицей и там оставлять фильтры, ты идешь по страничке, тыкаешь в Польшу, тебя спрашивают, что ты хочешь узнать про Польшу, тыкаешь еще ниже и так далее. Все это перекрестное. Суть в том, что исходная база данных у тебя одна, тебе не приходится обновлять 1000 разных страниц, ты просто в одну и ту же таблицу залил еще одну страничку, еще там что- то поправил, это обновилось везде.

Светлана Ратнер: Чувствую себя очень странно, что мы описываем интерфейсы на словах, но ладно, у нас импровизированная дискуссия.

Арсений Авчинников: Это сложно, возможно, у вас будут идеи получше, может быть, Таня что-то скажет. Но мне кажется, что в рамках того инструмента, которым пользуется вся команда, это оптимальный вариант хранения, чтобы и близко, и просто, и самому не умереть.

Светлана Ратнер: Это потому Notion, потому что команда другую документацию ведет тоже там, и для них это знакомый, понятный инструмент, не надо их туда заманивать?

Арсений Авчинников: Да.

Светлана Ратнер: Тань, расскажи, как у вас?

Татьяна Чернявская: У нас три агрегатных состояния нашей базы знаний было, есть и будет. Несколько лет назад мы вели базу в Airtable — такая UX table, мы туда сливали каждый атом, каждую строчку в табличке, это какая-то находка или проблема — все туда. Идея была такая — единое место, где все. Во что уперлись, почему отказались. Все-таки нормальным, большим атомом и организмом является само исследование. Отчетов по ним никто не отменял, все хотят увидеть общую картину, почитать интересную историю. Поэтому исследователю помимо отчета приходилось дробить это все на атоме, туда заводить, прикладывать скриншоты, делать ссылки.

Второй момент: мы хотели, чтобы это все было динамично и живо, чтобы трекался статус найденных проблем, инсайтов, но не смогли договориться, кто будет ответственным за проставление.

Вроде продукт, твоя проблема, ты ее решаешь, ты и обновляй. Но тут вступил еще третий фактор: чтобы продукт мог это все редактировать, ему нужно дать лицензию, подписка оказалась безумно дорогая. Такие банальные факторы тоже влияют на выбор инструментов. Сейчас мы в несколько ином агрегатном состоянии, у нас все ядро в Confluence, потому что Confluence — это главный инструмент, пользуются для других целей тоже Confluence. У нас там есть общая база всех исследований — и UX, и маркетиноговых, классно настроены фильтры для удобного поиска и навигации по всему этому. Confluence мы используем как стартовую точку, параллельно с этим и Miro, и Google doc — все, что угодно, главное, чтобы в этой стартовой точке были ссылки на все материалы, которыми ты пользуешься.

Но мы растем, развиваемся, нас стало больше, запросов стало больше, мы пришли к такой ситуации, что текущее решение — не очень.

Светлана Ратнер: Почему оно не очень?

Татьяна Чернявская: Самая показательная история, с которой все началось. У нас исследователи делятся по направлениям: один отвечает за недвижимость, другой за авто, кто-то еще за что-то. Но общаемся мы с пользователями. Приходят к нам пользователи «Авито», они нас не классифицируют по функциям, направлениям. Они пришли, им дали слово, они выливают все, что у них болит. Разговариваем про покупку подержанного авто, он мне говорит: «Фильтры в недвижимости у вас — вообще ерунда, этого не хватает, того не хватает». Исследователь — тоже человек, оперативная память у него лимитированная, поэтому он все это дело фильтрует, в отчет лезет только то, что по его теме. Это кажется логичным, негуманно заставлять его еще что-то там, это вообще не моя зона ответственности, потому что тяжело. При этом мы сталкиваемся с такими ситуациями, что мы кучу всего знаем, видели, слышали, но это нигде не отражено, а было бы суперполезно. Мы пришли к тому, что было бы классно иметь инструмент сквозной навигации по всему, что исследовали наши ребята, мы все.

Светлана Ратнер: При том, что исследователь это не обрабатывает никак?

Татьяна Чернявская: Да. Второй момент — почему: кажется, что пропадает некоторая прозрачность, потому что не зря появился атомарный research, когда есть какие-то атомы — базы-крупинки, факты и цитаты, где мы через инсайты, найденные проблемы поднимаемся к каким-то продуктовым изменениям. Мы сталкиваемся с тем, что для того, чтобы эту связку сделать прозрачной, нам требуется уйма усилий, нужно убиться, чтобы сделать нормальную, рабочую базу знаний. Кажется, что мы нащупали классный подход, инструмент. Подход, к которому мы сейчас идем, заключается в том, чтобы работать с сорцами, сорцы — это такие артефакты, которые мы получаем из общения с пользователями разными каналами. Это видео, аудио, оно обязательно должно быть перелито в текст, потому что текст — это то, по чему мы сейчас можем осуществлять поиск.

Вторая составляющая этого подхода — удобная платформа, заточенная под наши нужды. Не общая история — Confluence, Notion и прочее, Airtable туда же, который заточен на много всяких штук, а именно специализированная под наши потребности и боли, которая нам позволит без ручной работы размечать то, что мы нашли — что-то явно, что-то благодаря новым технологиям машинного обучения. Размечать, сохранять связку того, что мы нашли, как-то обозначили, сделали какое-то умозаключение, перелили в продуктовые изменения. Автоматически сохранять связку всего этого. Вторая сторона этих продуктов в том, чтобы дать возможность поиска, чтобы любой человек мог прийти и осуществить поиск по интересующей его теме на всех уровнях, начиная от тех решений, которые были в последнее время приняты, — в любой момент он должен суметь провалиться — что под этими решениями лежит, какие проблемы, инсайты, и задаться вопросом: почему мы решили, что это проблема, и провалиться к сорцам.

Светлана Ратнер: С сырцами есть такая штука. Слышала мнение, что не профессионалов, не исследователей не стоит допускать к сырым данным. Как вы отвечаете на это сомнение, возражение, есть ли у вас какая-то позиция? Спрошу у Арсения, потому что, Таня, я так понимаю, вы допускаете и стимулируете, чтобы люди в сырцах ковырялись.

Арсений Авчинников: Давай попробую немного смягчить формулировку.

Мы не то, чтобы не допускаем к сорцам наших коллег, мы стараемся в них бросать уже сформулированными выводами, рекомендациями, готовыми отчетами по той простой причине, что во всех исследованиях — они проводятся не в идеальном теоретическом мире, есть какие-то ограничения, нюансы, есть искажения человека, который пытается интерпретировать данные. У самых опытных продуктов, проджектов, пиарщиков, топ-менеджеров эти искажения периодически срабатывают. Кто-то обращает внимание на незначимые различая в показателях, кто-то начинает делать количественные выводы на качественном исследовании из 10 человек, кто-то осторожный вывод берет и начинает использовать для продавливания своего видения того, что нужно сделать. Здесь мы исходим из той позиции, что у не исследователей есть куча других задач, на которые им нужно потратить время, силы и внимание, скорее всего, у всех вас и нас периодически все горит. У нас как у исследователей — это наша работа. У нас банально больше — я даже не буду говорить про компетенции и знания, чтобы это не выглядело напыщенно, потому что очень много продуктов вполне себе шарят в исследованиях, но это наша работа, у нас больше внимания, фокуса, времени и желания в этом разобраться, чтобы сформулировать нормальные рекомендации и выводы.

Светлана Ратнер: Правильно ли я понимаю, что вы стимулируете ребят не исследователей смотреть больше отчеты, ваши саммари, нежели сырые данные?

Арсений Авчинников: В целом да.

Светлана Ратнер: Как вы боретесь с возражением — я такое встречала в своей практике — кто провел это исследование? То есть недоверие. Миллион факторов, которые повлияли на это в прошлом, гипотезы были какие-то не те, программы. Есть ли такое возражение в твоей практике, отрабатываете ли вы его как-то?

Арсений Авчинников: Конечно, мы это отрабатываем. Отработать возражение, что гипотезы были не те, достаточно сложно, особенно, если гипотезы, правда, были не те. В целом мы просто достаточно аккуратно, осторожно, скрупулезно и терпеливо стараемся объяснить, что происходит. Мы к каждому исследованию пишем некий дисклеймер, если понимаем, что здесь могут что-то не так понять, есть какие-то ограничения по экстраполяции выводов на какую-то часть населения страны, если это страновое исследование, и так далее. Мы всегда проговариваем, почему здесь надо быть осторожным, где конкретно.

Светлана Ратнер: Оформляя отчет по одному исследованию, вы думаете о том, что его будет кто-то смотреть в далеком будущем?

Арсений Авчинников: Конечно. Это будем и мы, и наши коллеги.

Светлана Ратнер: Поговорим про метрику эффективности. Как вы понимаете, что все ваши усилия по созданию баз не зря? Как вы трекаете, что базой пользуются, хорошо пользуются?

Татьяна Чернявская: У нас есть небольшой запрещенный административный приемчик. У нас исследователь не начинает работу без брифа на исследование. Одна из составляющих этого брифа — предыдущее или связанное исследование. Продукт прежде чем задействовать ценнейший ресурс исследователя должен пойти и посмотреть. Все условия для этого мы создали, мы создали единую точку входа в Confluence, удобный инструмент поиска. Я сама сталкивалась с тем, что часто, пока продукт это все смотрит, читает, либо у него задача меняется, либо она отпадает вообще. Мне кажется, это высшее признание того, что база знаний работает. Это то, с чего я начинала — лучшее исследование то, которого не было, по крайней мере — полевое. Второй момент: Confluence банально позволяет посмотреть, кто прочел страничку, кто нет. После того, как мы знакомимся с брифом, мы делаем установочную встречу, обязательно заранее кидаем ссылочку на страничку. Лично я за пять минут обязательно смотрю — кто из товарищей посмотрел то исследование, которое ему кидали. Насколько на равных мы будем об этом разговаривать.

Светлана Ратнер: Арсений, есть про метрику эффективности?

Арсений Авчинников: У нас база данных пока не на таком уровне развития, пока не так много людей, нет хорошей или не очень бюрократии, хотя я немного завидую. Если мы понимаем, что мы это используем, наши коллеги это используют, результаты двухлетнего исследования до сих пор периодически всплывают, значит — это хорошо.

Светлана Ратнер: То есть для тебя метрика — что ты время от времени встречаешь свое старое исследование?

Арсений Авчинников: В том числе.

Светлана Ратнер: Давайте подведем итог. У вас уже давно работают базы, они работают довольно понятно. Дайте пару советов тем нашим слушателям, кто будет создавать свою базу — что делать, чего не делать?

Татьяна Чернявская: У меня два совета. Первый: раз уж мы на продуктовой конференции, это важно: относитесь к базе знаний как к продукту, используйте продуктовый подход, выдвигайте гипотезы, тестируйте их, не бойтесь отбрасывать то, что вообще не работает, или работать перестало. Это самое главное. Второй момент: используйте новые технологии, которые, казалось бы, неприменимы: автор транскрибации, разметка, привязка текста к видео, автотегирование для навигации. Надо не бояться и быть мини-продуктами в продукте.

Арсений Авчинников: Я согласен насчет отношения как к продукту. Когда я планировал переделывать нашу, сейчас этим занимаюсь, я банально пробежался по офису и поговорил с основными заказчиками. Тут я неправильно сделал — я решил на основе качественного исследования посмотреть частотность, так не стоит делать. Стоит обращать внимание на то, какие вы используете инструменты, насколько они вам впоследствии позволяют редактировать, дополнять и мигрировать базы данных, потому что если вы переезжаете с одного инструмента на другой, это может стать огромной болью.

Joom большой, мы растем, поэтому — если вдруг вы ищите работу, и вы хороший исследователь, мы как раз сейчас ищем опытного. Команда хорошая, условия замечательные, работа с топ-менеджером.