При оценке ML-моделей договаривайся о допустимой ошибке на экстремальных значениях, так как абсолютная погрешность по-разному бьет по бизнесу
2 материала · принцип действия · Всё важно
- Как выглядит
- Модель прогнозирования спроса выдаёт отличную среднюю ошибку на тестовом контуре, но в первый же месяц релиза предсказывает минус двести банок сметаны на один из складов и восемьсот на другой. Ты приносишь заказчику дашборд со средней метрикой, а он тычет пальцем в два провала и спрашивает, кто за это платит.
- Почему так работает
- Метрика усредняет: ошибка в пять банок сметаны и в пятьсот упаковываются в одну цифру и выглядят одинаково. Как электрик делит линию на участки и ставит отдельный предохранитель на плиту и на свет — иначе одна розетка замкнёт и квартира останется без света.
- Как замечать
- Вспомни последний раз, когда модель сильно ошиблась на краю диапазона. Посчитай разницу в рублях между предсказанием и фактом для этого случая и сравни с суммой пяти самых типичных мелких отклонений за тот же период. Если разница в деньгах с одного пикового провала больше, чем сумма пяти типичных ошибок, — значит, экстремальные значения бьют по бизнесу сильнее средней метрики, и тебе нужны отдельные договорённости о границах.
- Где не работает
- Отдельные правила для краёв диапазона нужны, когда цена ошибки привязана к масштабу: отклонение на десять процентов от миллиона и от ста рублей приносит разный ущерб. Для задач, где цена шага одинакова, дробить границы лишнее.
- Когда наоборот
- Модель скоринга отдаёт один балл или ноль — для бинарного выбора средняя ошибка и так отражает суть, никаких отдельных зон на краях нет.
Сосредоточиться на главном ↔ охватить широко
Отсекать всё небазовое, отсеивать нецелевых пользователей и концентрироваться на главном.
Использовать бесплатные сервисы и фичи вовлечённости, чтобы расширять охват и подводить к ядру.
Где об этом говорят
Видео30 минAI трансформация в продуктовой компании (Александр Алексейцев, Циан)
Проверяем доступ
«При обсуждении ML-модели, предсказывающей числовые значения, важно договариваться о работе с экстремальными значениями, так как одна и та же абсолютная ошибка модели по-разному бьет по бизнесу в зависимости от масштаба.»
здесь это прозвучало
Видео5 минРоли и ответственные
Проверяем доступ
«При планировании масштабирования ML-системы закладывайте ресурсы на пересмотр регламентов и определение зон ответственности за неизбежные ошибки алгоритма.»
здесь это прозвучало