При оценке ML-моделей договаривайся о допустимой ошибке на экстремальных значениях, так как абсолютная погрешность по-разному бьет по бизнесу

Как выглядит

Модель прогнозирования спроса выдаёт отличную среднюю ошибку на тестовом контуре, но в первый же месяц релиза предсказывает минус двести банок сметаны на один из складов и восемьсот на другой. Ты приносишь заказчику дашборд со средней метрикой, а он тычет пальцем в два провала и спрашивает, кто за это платит.

Почему так работает

Метрика усредняет: ошибка в пять банок сметаны и в пятьсот упаковываются в одну цифру и выглядят одинаково. Как электрик делит линию на участки и ставит отдельный предохранитель на плиту и на свет — иначе одна розетка замкнёт и квартира останется без света.

Как замечать

Вспомни последний раз, когда модель сильно ошиблась на краю диапазона. Посчитай разницу в рублях между предсказанием и фактом для этого случая и сравни с суммой пяти самых типичных мелких отклонений за тот же период. Если разница в деньгах с одного пикового провала больше, чем сумма пяти типичных ошибок, — значит, экстремальные значения бьют по бизнесу сильнее средней метрики, и тебе нужны отдельные договорённости о границах.

Где об этом говорят

• Видео30 мин

  AI трансформация в продуктовой компании (Александр Алексейцев, Циан)

  Проверяем доступ

  «При обсуждении ML-модели, предсказывающей числовые значения, важно договариваться о работе с экстремальными значениями, так как одна и та же абсолютная ошибка модели по-разному бьет по бизнесу в зависимости от масштаба.»

  здесь это прозвучало

• Видео5 мин

  Роли и ответственные

  Проверяем доступ

  «При планировании масштабирования ML-системы закладывайте ресурсы на пересмотр регламентов и определение зон ответственности за неизбежные ошибки алгоритма.»

  здесь это прозвучало