Поток обращений в поддержку, продажи или сервис всегда упирается в сортировку: кто-то вручную раскидывает заявки по темам и срочности. Языковая модель делает это сама, если дать ей промпт с примерами — приём, который называют few-shot. Вы показываете модели несколько размеченных обращений, и дальше она классифицирует новые по той же логике. Точность зависит от того, как подобраны категории и примеры, а сам подход обходится без отдельной системы обучения.
Почему примеры решают
Промпт с примерами — это запрос, где вы показываете модели несколько готовых пар «обращение — категория» перед тем, как дать новое обращение. Такой приём называют few-shot, и он поднимает точность классификации в разы по сравнению с сухим списком категорий. Примеры задают модели образец рассуждения: 3-5 удачных пар на категорию обычно дают результат, пригодный для маршрутизации заявок без дообучения модели.
В работе с отделами поддержки я постоянно вижу один сценарий. Оператор тратит первые секунды каждого обращения на то, чтобы понять тему и срочность, и только потом отвечает или передаёт коллеге. На сотне заявок в день это часы ручной сортировки. Классификация обращений — идеальная задача для языковой модели: она текстовая, повторяющаяся и хорошо описывается правилами.
Промпт без примеров работает слабо. Если просто перечислить категории и попросить «определи тему», модель угадывает по поверхностным словам и путает близкие классы: жалобу принимает за вопрос, срочное обращение за обычное. Причина в том, что границы между категориями живут в голове у вашей команды, вместо самого списка названий. Для модели эти границы остаются невидимыми.
Примеры эти границы показывают. Когда вы даёте модели реальное обращение и рядом ставите верную категорию, она перенимает вашу логику разметки вместо собственной. Пара пограничных примеров — обращение, которое легко спутать, с указанием правильного класса — учит модель тоньше, чем десять строк инструкции. Это и есть сила few-shot: вы показываете образец вместо описания на словах.
- Few-shot: несколько размеченных примеров прямо в тексте запроса
- Категории описываются примерами, а только названиями
- Пограничные случаи учат модель различать близкие классы
- Подход обходится без отдельной системы обучения
Как собрать промпт
Сборка идёт от ваших реальных обращений, а от воображаемых категорий. Сначала вы смотрите, как команда уже сортирует заявки руками, и переносите эту логику в промпт. Структура простая: роль, список категорий с одной фразой пояснения, блок примеров, формат ответа. Один раз собранный промпт переиспользуется на весь поток, поэтому полчаса на его отладку окупаются в первый же день.
- Выпишите категории так, как их реально различает команда: тема, срочность, тип обращения
- Дайте каждой категории одну поясняющую фразу, чтобы убрать двусмысленность
- Подберите 3-5 реальных обращений на категорию и проставьте им верный класс
- Добавьте пару пограничных примеров: обращения, которые легко спутать, с правильным ответом
- Задайте жёсткий формат ответа: только название категории, без рассуждений вокруг
- Прогоните 30 свежих обращений и сверьте разметку модели с разметкой команды
Лучшие примеры лежат в вашей истории обращений. Возьмите по 3-5 заявок на каждую категорию из реального архива поддержки и проставьте им класс руками. Так модель учится на вашем потоке, а на абстрактных формулировках. Отдельно добавьте обращения, на которых команда сама когда-то спотыкалась — именно они учат различать тонкие границы.
Как поднять точность
Первая версия промпта почти всегда ошибается на части обращений, и это нормально. Точность растёт через разбор ошибок: вы смотрите, где модель промахнулась, и добавляете в промпт ровно тот пример, который закрывает этот случай. Несколько таких итераций — и классификатор выходит на уровень, пригодный для маршрутизации. Считать точность вслепую бессмысленно, её измеряют на размеченной выборке.
| Симптом | Причина | Что добавить в промпт |
|---|---|---|
| Путает две близкие категории | Граница между ними размыта | Пара пограничных примеров с явным разделением |
| Срочное принимает за обычное | Признаки срочности заданы | Примеры срочных обращений с пояснением маркеров |
| Придумывает новую категорию | Список открыт для додумывания | Жёсткое правило: только из заданного списка |
| Отвечает с рассуждениями | Формат ответа размыт | Требование выдавать одно название категории |
Когда промпт стабильно держит точность на тестовой выборке, его ставят в поток. Для небольшого объёма заявки прогоняют через чат, для сотен обращений в день подключают API и маршрутизацию через автоматизацию: модель ставит категорию, n8n раскидывает заявку нужному отделу. Так классификация из ручной работы оператора превращается в фоновый процесс, который идёт сам.
Покажите примеры ваших обращений и текущие категории — я помогу собрать промпт с примерами под ваш поток и встроить проверку точности. Записаться на бесплатный разбор процессов можно через раздел с программами.
Границы метода
Промпт с примерами закрывает большинство задач классификации, но у метода есть потолок. Когда категорий становится десятки, а различия между ними тонкие, примеры перестают помещаться в один запрос и модель начинает путаться. На таком масштабе переходят к дообучению модели на размеченном корпусе либо к разбиению задачи на несколько уровней классификации. Few-shot — это быстрый старт, вместо финального решения для сложных схем.
Спорные обращения и пограничные случаи модель помечает как неуверенные и передаёт оператору. Полная автоматизация без проверки опасна: модель ошибается уверенно и способна отправить жалобу клиента в очередь обычных вопросов. Настройте порог уверенности так, чтобы сомнительные заявки попадали к человеку, а очевидные шли по маршруту сами.
Отдельная ловушка — галлюцинации модели в формате ответа. Если промпт допускает свободную форму, модель иногда выдаёт категорию, которой в списке отродясь отсутствовало, или дописывает свои рассуждения. Лечится это жёстким форматом: модель отвечает строго одним названием из заданного списка. Чем уже коридор для ответа, тем меньше пространства для выдумки и тем стабильнее разметка.
- Десятки тонких категорий: переходят к дообучению или многоуровневой схеме
- Спорные заявки: модель помечает их и передаёт оператору по порогу уверенности
- Формат ответа: строго одно название из списка, без свободной формы
- Точность: измеряют на размеченной выборке, вместо оценки на глаз
Куда двигаться дальше
Когда классификатор работает, он становится фундаментом для следующих шагов. На категорию навешивают автоматический ответ для типовых вопросов, приоритет для срочных обращений, маршрут до нужного отдела. Сортировка из отдельной задачи превращается в первый узел всей обработки обращений, а оператор переключается с разбора потока на работу со сложными случаями.
Заодно команда учится сопровождать промпт сама. Поначалу примеры и категории мы собираем вместе, дальше руководитель поддержки сам добавляет новый пример, когда появляется свежий тип обращений. Этот навык остаётся с командой: меняется поток заявок, а классификатор подстраивается через добавление пары примеров, без переписывания всей логики.
Сложность здесь в подборе категорий и примеров, которые отражают реальный поток, а в технологии. Самый частый провал — взять красивые категории из головы вместо тех, что живут в работе команды, и получить классификатор, который путается на каждой второй заявке. На разборе процессов мы вместе смотрим на ваш поток обращений и собираем промпт под него.