Мастер-класс от VK

Топ-менеджер требует внедрить семантический движок для поиска шариковых ручек, игнорируя дверные. Проблема не в алгоритмах — база не содержит нужных данных. Разбирают, как перевести субъективные хотелки в метрики: ручная разметка результатов, проверка гипотез через A/B-тесты, анализ бизнес-показателей. Подход применим к любым запросам на доработку поиска или рекомендательных систем.

• Переводить требования стейкхолдеров в конкретные метрики вместо споров о технологиях
• Оцифровывать субъективные оценки через ручную разметку данных
• Проверять гипотезы изменения алгоритмов через A/B-тесты и бизнес-метрики