01 Простыми словами
Похоже на карту города, которая перестаёт совпадать с реальностью: разметка дорог осталась прежней, а в городе уже построили новые кварталы и закрыли старые проезды. Модель работает по тому же принципу — она отвечает на основе данных определённого момента времени, а мир вокруг постепенно меняется.
02 Как это работает
Дрейф обычно проявляется по одному из двух сценариев, и различать их полезно, потому что каждый требует своего способа диагностики.
- Дрейф данных — характеристики входящих запросов меняются: новые товары в каталоге, новые формулировки вопросов клиентов, сезонные изменения спроса и поведения покупателей.
- Дрейф понятия — сама связь между вопросом и правильным ответом со временем меняется: то, что раньше считалось мошенничеством или спамом, теперь определяется по совсем новым признакам.
- Оба сценария постепенно снижают точность модели, даже если её код и настройки остаются без изменений.
- Заметить дрейф помогает регулярный мониторинг: сравнение качества текущих ответов модели с эталонным датасетом и отслеживание доли ответов, которые пришлось скорректировать вручную.
Когда дрейф обнаружен, модель дообучают на свежих данных или настраивают заново — эта процедура входит в регулярный цикл работы с любой моделью, которая работает на реальных данных.
03 Где применяется
- Служба поддержки. Классификатор обращений постепенно хуже распознаёт новые формулировки жалоб клиентов при долгом отсутствии переобучения.
- Финансы. Модель скоринга клиентов теряет точность, если структура заявок или поведение заёмщиков со временем меняются под влиянием экономической ситуации.
- Электронная коммерция. Рекомендательная система начинает предлагать неактуальные товары, если каталог обновляется быстрее, чем модель успевает под него подстроиться.
- Антифрод. Модель обнаружения мошенничества теряет чувствительность к новым схемам обмана, которые появились уже после последнего обучения на исторических данных.
- HR. Модель отбора резюме может начать хуже находить релевантных кандидатов, если формулировки вакансий или требования рынка заметно поменялись за последние месяцы.
- Руководство. Регулярный мониторинг дрейфа помогает заметить проблему по метрикам раньше, чем это станет заметно клиентам.
04 Строки лога мониторинга модели
Фрагмент еженедельного отчёта мониторинга модели, которая классифицирует обращения в поддержку, — разберём строки по одной.
точность за неделю: 91% (было 96%)— ключевая метрика: доля обращений, которые модель определила верно; падение за одну неделю уже заметно.доля ручных исправлений: 14% (было 6%)— как часто оператору приходится вручную менять категорию, которую предложила модель; рост этой доли — прямой сигнал дрейфа.новые категории обращений: 3— за неделю появилось три новых типа вопроса клиентов, отсутствовавших в обучающей выборке модели.последнее переобучение: 4 месяца назад— чем больше времени прошло с последнего обновления модели на свежих данных, тем выше риск, что она отстала от реальности.
По совокупности этих четырёх строк аналитик делает вывод: пора запускать переобучение модели на свежей выборке обращений, включая три новые категории, вместо того чтобы ждать более резкого падения точности.
05 Ограничения и ошибки
- Дрейф происходит постепенно и почти незаметно — без регулярного мониторинга падение точности можно заметить только тогда, когда клиенты уже столкнулись с откровенно плохими ответами.
- Слишком частое переобучение дорого и рискованно — каждое обновление модели стоит проверять на тестовой выборке, прежде чем разворачивать в проде.
- Метрики точности без разбивки по категориям могут выглядеть стабильными в среднем, пока одна конкретная категория уже деградировала заметно, — общий показатель маскирует локальную проблему.
- Дрейф понятия — например, изменение признаков мошенничества — сложнее заметить по обычным метрикам, чем дрейф данных, и требует отдельного анализа новых случаев вручную.
- Полностью автоматический мониторинг дрейфа без периодической проверки живым человеком рискует пропустить нестандартный редкий случай, который по формальной метрике выглядит несущественным отклонением.
Мониторинг похожей природы — в статье про ИИ для антифрод-мониторинга транзакций. Регулярный мониторинг моделей проще выстроить сразу при внедрении — с этим справляется ИИ-консалтинг.