Чем меньше данных и потенциальный эффект, тем вреднее сложная аналитика: погоня за точностью в пустоту сжигает ресурс

6 материалов · принцип мышления · Инструмент вместо дела

Формулировка ещё уточняется — материалы уже собраны.

Как выглядит: Команда третью неделю правит нейросетевую модель на 50 записях лога ошибок, но точность предсказаний не растёт
Почему так работает: Сложная аналитика требует большого массива данных для обучения. Если данных мало или эффект от изменений меньше погрешности модели, ресурсы тратятся впустую.
Как замечать: Посмотри на дашборд или отчёт: если данные заполнены менее чем на 30% или изменения в метриках меньше 1%, сложная аналитика не имеет смысла.
Где не работает: При запуске нового продукта, где нет исторических данных, сложная аналитика бесполезна. В таких случаях лучше использовать качественные исследования.
Когда наоборот: Если у тебя есть доступ к большому массиву данных и изменение метрик на 10%, сложная аналитика поможет найти точные улучшения.

Точно проверить ↔ быстро попробовать

Собирать развёрнутые данные вручную, проверять предпосылки и использовать тяжеловесные методы для точных выводов.

Искать ранние сигналы, прокачивать целевое поведение и двигаться на гипотезах, чтобы не останавливать процесс.

Где об этом говорят

Видео43 мин
Модели атрибуции: где достаточно last-click, а когда нужны ML модели (Константин Стародубцев, Тинькофф)
Проверяем доступ
«Глубина аналитики должна соответствовать цене принимаемых решений: если стоимость сбора сложных данных превышает потенциальную экономию, сложная аналитика не нужна.»
здесь это прозвучало
Выступление
Строим data-driven product management: от базовых метрик до data science и финансового моделирования
ProductSense Stories'20 · 2020
Проверяем доступ
«Не применяйте сложный data-driven подход в новых продуктах без данных или там, где потенциальный эффект изменений меньше погрешности модели.»
здесь это прозвучало
Видео1 ч 9 мин
Как построить модель роста: от простой до самой сложной (Глеб Сологуб, Snoonu)
Проверяем доступ
«Построение прогноза нужно начинать с максимально примитивной модели (например, «будет как в прошлом месяце»), а усложнять её только в том случае, если проверка покажет слишком высокую погрешность.»
здесь это прозвучало
Видео1 ч 17 мин
Продуктовая стратегия Netflix 2020
Проверяем доступ
«Для гипотез с низкими ставками (low-stakes) принимайте решения на основе здравого смысла и запускайте сразу, чтобы не тратить драгоценное время на проведение долгих тестов.»
здесь это прозвучало
Видео6 мин
Кейс на 100.000$
Проверяем доступ
«Если задача связана с низкими ставками (low-stakes), её нужно быстро реализовывать или откладывать, минуя этап глубокого анализа.»
здесь это прозвучало
Видео34 мин
Эластичность и спрос: как оптимизация цен помогает компаниям зарабатывать и причем тут кэшбеки (Владислав Пикиневич, Тинькофф)
Проверяем доступ
«Для подбора оптимальных цен и скидок часто достаточно провести серию А/В-тестов с разными ставками, не строя сложные ML-модели.»
здесь это прозвучало

Где об этом говорят

Модели атрибуции: где достаточно last-click, а когда нужны ML модели (Константин Стародубцев, Тинькофф)

Строим data-driven product management: от базовых метрик до data science и финансового моделирования

Как построить модель роста: от простой до самой сложной (Глеб Сологуб, Snoonu)

Продуктовая стратегия Netflix 2020

Кейс на 100.000$

Эластичность и спрос: как оптимизация цен помогает компаниям зарабатывать и причем тут кэшбеки (Владислав Пикиневич, Тинькофф)