Не раскатывай изменения, забирающие привычный функционал, без А/В-теста и подготовленного механизма для быстрого отключения

Как выглядит

В среду утром тикеты в поддержку сыплются десятками — клиенты обнаружили, что привычной кнопки экспорта больше нет. Ты выясняешь, что релиз выкатили на всех вчера ночью, без теста и без флага отката — чтобы не усложнять разработку.

Почему так работает

Этаж стоял, и в нём жили. Ты снёс стену и не поставил подпорку — теперь верхние этажи просели. Фича, которую аналитика назвала нулевой, для части клиентов вшита в ежедневный ритм работы.

Как замечать

Открой тикет на удаление или изменение функционала и найди строку про feature flag или процент раскатки. Если такой строки нет — выключатель не подготовлен, откат займёт часы и новый релиз.

Где не работает

Если старый модуль содержит уязвимость или поддержка кода стоит дороже дохода от него — сноси без теста и без жалости.

Когда наоборот

Три гневных письма из десяти тысяч — не повод откатывать изменение, которое приносит пользу остальным.

Где об этом говорят

• Видео13 мин

  Как не натворить бед, выбирая между деньгами и пользовательским опытом (Александр Краюшкин, ivi)

  Проверяем доступ

  «Никогда не раскатывайте изменения, забирающие у пользователей привычный функционал, без А/В-теста и без подготовленного механизма для быстрого отключения (фиче-флага).»

  здесь это прозвучало

• Видео5 мин

  Flo: ответы на вопросы

  Проверяем доступ

  «При раскатке новых фич на большой процент трафика всегда держите под рукой «стоп-кран» — механику для моментального отката в случае багов или падения конверсии.»

  здесь это прозвучало

• Выступление

  Как ставить эксперименты и развивать продукт, если нет права на ошибку (МегаФон, Григорий Савенок)

  ProductSense Stories'20 · 2020

  Проверяем доступ

  «Никогда не удаляйте и не забирайте у пользователей уже выпущенные функции, даже если аналитика показывает их нулевое влияние на верхнеуровневые метрики.»

  здесь это прозвучало

• Подкаст1 ч 8 мин

  О специфике b2b продуктов, вкладе онбординга и болях маркетплейсов

  Подкаст · 2024

  Проверяем доступ

  «Масштабные A/B-тесты в B2B могут спровоцировать негатив среди клиентов, поэтому изменения безопаснее вводить через пилотные группы.»

  здесь это звучит 2 раза

• Видео24 мин

  Каким будет гроус-маркетинг в 2020 году: тренды, стратегии и тактики (Jason McClelland, Heroku Salesforce)

  Проверяем доступ

  «Отказ от A/B-тестирования из-за страха жалоб малого количества пользователей лишает улучшений всю остальную аудиторию.»

  здесь это прозвучало