Сначала тестируй простые эвристики как бенчмарк, потому что они часто оказываются эффективнее сложных ML-моделей

Как выглядит

Команда планирует нанять дата-саентиста на шесть месяцев, чтобы построить ML-модель для рекомендаций, но никто не проверил, с каким результатом справится обычная сортировка по количеству покупок.

Почему так работает

Сложная модель тащит за собой инфраструктуру, сбор данных и непредсказуемые осечки. Это как забивать гвозди микроскопом: инструмент дорогой и хрупкий, а гвоздь держится на одном ударе молотка.

Как замечать

Вспомни последнюю задачу, которую хотят закрыть машинным обучением, и опиши её решение одним правилом без вычислений, например «показывать десять самых продаваемых товаров». Сверь результат: если простое правило описывает нужный ответ, сначала закодируй только его.

Где не работает

Когда пользователю нужна индивидуальная подборка, а не общий рейтинг, или когда задача требует породить текст и картинки с нуля — простые правила здесь бессильны.

Где об этом говорят

• Видео24 мин

  Managing a Machine Learning team as a PM (Andrew Mende, Booking.com)

  Проверяем доступ

  «Прежде чем внедрять машинное обучение, нужно создать и протестировать простой не-ML бенчмарк (например, «топ продаж»), потому что простые эвристики часто оказываются эффективнее сложных моделей.»

  здесь это прозвучало

• Видео32 мин

  Кто такие AI-чемпионы и зачем они бизнесу (Михаэль Пайсон, независимый эксперт)

  Проверяем доступ

  «Для автоматизации диалоговых задач часто достаточно дешевых классических rule-based решений, а не дорогих генеративных моделей.»

  здесь это прозвучало

• Видео37 мин

  Карьерный трек для ML-продактов (Серафима Чекулаева, ex-VK Музыка)

  Проверяем доступ

  «Не применяйте машинное обучение ради самого машинного обучения: если бизнес-задачу можно решить простыми эвристиками или классическим кодом, выбирайте их.»

  здесь это прозвучало