К содержимому
ProductSense АКАДЕМИЯ
ВойтиПопробовать бесплатно
Разобраться в теме Понять, что происходит Найти решение 
Библиотека
ПодборкиМикрокурсыКонференции
Тарифы

Академия ProductSense

бета-версия · Поддержка: @ps24supportbot

АкадемияКурсыТарифыПубличная офертаПолитика конфиденциальностиОбработка персональных данныхКарта сайта
Разобраться в теме12 разделов · 186 темПонять, что происходит12 опор · 288 ситуацийНайти решение14 работ · 508 приёмов458 материалов бесплатно из 3 060
  1. Понять, что происходит
  2. ·Не та задача
  3. ·Ситуация

Настройка математических критериев начинается с цены бизнес-ошибки — стандартные значения по умолчанию игнорируют реальный риск

5 материалов · принцип мышления · Не та задача

Как выглядит
Команда использует стандартное допустимое отклонение = 0.05 для всех тестов, будь то цвет кнопки или запуск продукта с риском потери миллионов. Или автоматизирует процесс ради сокращения издержек, но боится потерять в качестве и не знает, насколько сильное падение конверсии считать приемлемым.
Почему так работает
Стандартные значения игнорируют реальный риск. Уменьшение ошибок требует экспоненциально большей выборки. Баланс между ценой ошибки и ценой трафика должен быть экономически обоснован.
Как замечать
Спроси у другого человека, насколько он готов увеличить выборку ради снижения ошибок, и сравните цифры. Если разница между предложенными значениями превышает 20%, стандартные настройки не подходят.
Где не работает
Бизнес не всегда может количественно оценить стоимость ошибки, а расчёты теряют смысл без достоверных исторических данных по конверсиям и среднему чеку.
Когда наоборот
Если это тест с минимальными рисками, например, изменение цвета кнопки с нулевыми последствиями, то стандартные значения вполне подойдут.

Разобраться сначала ↔ сделать сразу

Понять настоящую проблему и контекст до начала разработки

Быстро выдать рабочее решение и не застрять в бесконечном анализе

Где об этом говорят

  • Урок24 мин

    Как спроектировать A/B-тест

    Проверяем доступ

    «Уровни значимости (альфа) и мощности (бета) нужно настраивать исходя из конкретных бизнес-рисков, а не использовать стандартные значения по умолчанию.»

    здесь это прозвучало

  • Видео33 мин

    Как тестируют и внедряют гипотезы с ML Gatherings (Константин Грабарь, Flo)

    Проверяем доступ

    «Математические метрики качества ML-модели (ошибки I и II рода) нужно переводить в бизнес-процессы и пользовательский опыт, задавая четкий ответ на вопрос, какая ошибка для нас дороже.»

    здесь это прозвучало

  • Видео28 мин

    Как продуктовый маркетинг помогает создавать и упаковывать востребованные b2b-продукты (Светлана Берегулина, ex-Битрикс)

    Проверяем доступ

    «Строгий подход к оценке рынка и поиску ниш до запуска продукта жизненно необходим, когда цена ошибки вывода неверного продукта на рынок критически высока.»

    здесь это прозвучало

  • Подкаст1 ч 11 мин

    О потерянном «менеджменте» у продактов — регулярный менеджмент, баланс дисциплины и креативности

    Проверяем доступ

    «Создание сложных систем требует экстремального операционного контроля на каждом шаге, включая буквальное взвешивание и пересчет деталей.»

    здесь это прозвучало

  • Эфир

    Как автоматизировать воронку продаж, сэкономить 100 млн и сохранить пользователей, (Дмитрий Бормотов и Оксана Речинская)

    Проверяем доступ

    «Прежде чем запускать тест на оптимизацию расходов, нужно рассчитать допустимую просадку ключевой метрики, при которой экономия всё ещё перекрывает потери от падения конверсии.»

    здесь это прозвучало