Модель-роутер.

01 Простыми словами

Модель-роутер — лёгкая и быстрая модель, которая за доли секунды оценивает сложность входящего запроса и решает, хватит ли простого ответа или вопрос стоит передать более мощной и дорогой модели. Так дорогая модель включается только там, где она действительно нужна.

Без роутера пришлось бы либо прогонять каждый запрос через дорогую модель на всякий случай, либо вручную прописывать жёсткие правила «если в запросе слово X — берём модель Y», которые быстро перестают справляться с ростом разнообразия вопросов.

02 Как это работает

Типичная схема модели-роутера строится в несколько шагов.

1. Входящий запрос сначала попадает к лёгкой и быстрой модели-классификатору.
2. Классификатор оценивает сложность и цену вопроса для бизнеса — например, простой вопрос о статусе доставки против спорной претензии на крупную сумму.
3. Простые случаи роутер сразу отправляет к дешёвой модели, а сложные — к более мощной и дорогой, способной удержать больше нюансов рассуждения.
4. Тот же принцип применяют и для выбора конкретного специализированного агента вместо отдельной модели — базовая логика классификации остаётся той же.

Для самой классификации обычно достаточно компактной и дешёвой модели вроде Haiku или YandexGPT Lite — задача там простая, это оценка сложности по нескольким признакам. Сложные случаи уже передаются модели уровня Claude Sonnet, где важнее глубина рассуждения, чем скорость ответа. Роутер решает только один шаг — какую модель или агента задействовать именно сейчас; порядок шагов внутри многоходовой задачи — это уже оркестрация агентов, отдельная и более сложная задача.

03 Где применяется

• Страхование. Заявление о новом полисе роутер направляет к агенту продаж, а обращение по существующему страховому случаю — к агенту по урегулированию убытков.
• Поддержка e-commerce. Вопрос о статусе заказа обрабатывает простой бот, а спор о возврате денег — модель с доступом к истории платежей.
• Внутренняя IT-поддержка. Заявка на сброс пароля решается автоматически, а инцидент с потерей данных сразу эскалируется к специалисту.
• Мультиагентные системы. В архитектуре из нескольких специализированных агентов роутер решает, какому агенту передать очередной шаг задачи.
• Онлайн-образование. Вопрос о расписании курса обрабатывает простой бот, а содержательный вопрос по материалу урока передаётся модели с доступом к учебным материалам.
• Финансовые сервисы. Простой запрос баланса решает лёгкая модель, а вопрос о крупном переводе с признаками мошенничества роутер сразу передаёт агенту с доступом к проверке рисков.

04 Цена ошибки в роутере

Компания настраивает модель-роутер так, чтобы почти все запросы уходили к самой дешёвой модели, — экономия на старте выглядит убедительно: девять запросов из десяти простые, и счёт за токены падает сразу в разы.

Через месяц служба поддержки замечает отдельные жалобы на ответы про крупные возвраты — формально всё по структуре, но важный нюанс договора в ответе упущен, а лёгкая модель, которой роутер отправлял даже сложные вопросы, справляется с такой глубиной рассуждения слабее сильной модели.

Первые недели ошибка остаётся тихой: клиент получает неполный ответ, тратит время на повторное обращение и лишь потом жалуется напрямую руководителю отдела. За первый месяц таких неполных ответов набирается около десятка, и на каждый уходит по два-три повторных обращения клиента, прежде чем менеджер разбирается в сути вручную.

Отдел добавляет в роутер порог по сумме претензии: вопросы про возвраты дороже определённой суммы уходят сразу к более сильной модели вместо прежнего дешёвого варианта по умолчанию. Экономия на простых запросах остаётся прежней, а цена редкой ошибки на дорогом случае перестаёт расти месяц за месяцем.

05 Ограничения

• Лишний шаг классификации добавляет небольшую задержку к каждому запросу — для совсем простых потоков это может перевешивать выгоду.
• Ошибка классификации отправляет запрос по чужому маршруту — важно закладывать способ вручную переоткрыть или перенаправить обращение.
• Границы между категориями иногда размыты, и часть запросов попадает сразу в несколько тем — тогда роутеру нужны понятные правила приоритета.
• Рост числа специализированных агентов усложняет саму систему маршрутизации — добавлять новый маршрут стоит только под реальный объём запросов этого типа.
• Слишком дробная категоризация превращает роутер в отдельный сложный проект — иногда трём-четырём широким категориям вполне достаточно для начала.

Как устроена архитектура из нескольких специализированных агентов — в статье про отличие ИИ-агента от чат-бота. Как выстроить такую систему под свои процессы — в разделе разработки ИИ-агентов.