Когда накопились сотни обращений, отзывов или ответов анкеты, нейросеть для анализа текста помогает понять, о чём люди пишут, что их раздражает и что менять в первую очередь. Хороший анализ выдаёт вместо общего впечатления список тем с долей обращений, тоном и цитатами-основаниями, а надёжность проверяется выборкой, которую читает человек. Исследовательская разметка корпуса для научной работы устроена иначе и разобрана отдельно.
Что анализируем
Анализ превращает массив разрозненных текстов в список тем с цитатами. Каждый вывод привязан к конкретным обращениям, а выборочная проверка человеком показывает, можно ли доверять разметке.
Задача возникает у поддержки, маркетинга, продукта и руководителя: тексты копятся, а читать всё невозможно. Нейросеть способна прочитать всё, но без постановки выдаст усреднённую болтовню вроде «клиенты хотят лучшего сервиса». Полезный результат требует вопроса, формата и проверки.
Прежде чем начинать, определитесь с единицей анализа: одно обращение, одна реплика клиента или целая переписка. От выбора зависит, как считаются доли и что называется повторяющейся темой. Для коротких отзывов единица очевидна, для длинных диалогов её приходится выбирать намеренно.
- Обращения в поддержку: типы проблем, повторяющиеся причины, эскалации.
- Отзывы о продукте и услуге: что хвалят, на что жалуются, что сравнивают с конкурентами.
- Ответы анкет: открытые вопросы, которые вручную читать долго.
- Переписка с клиентами: возражения, причины отказа, пожелания.
- Внутренние тексты: итоги совещаний, комментарии сотрудников.
Для работы с отзывами и ответами есть материал нейросеть для отзывов: ответы и анализ, а анализ отзывов конкурентов описан в статье нейросеть для маркетолога: анализ отзывов конкурентов. Для научного кодирования корпуса текстов смотрите ИИ для контент-анализа: корпус и кодирование.
Подготовка массива
Качество анализа определяется подготовкой. Загрузить выгрузку целиком и спросить «что тут» — значит получить красивый и малополезный ответ.
Подготовку нередко считают скучной и пропускают, а потом удивляются странным темам вроде «спасибо» или «здравствуйте». Они возникают, когда в массив попадают приветствия, подписи и автоответы. Короткая очистка экономит много времени на разборе мусорных результатов.
- Сформулируйте вопрос, на который нужен ответ: например, почему клиенты отказываются после первого звонка.
- Соберите массив из одного источника и одного периода, чтобы результаты были сопоставимы.
- Очистите данные: уберите дубли, служебные строки, автоответы и спам.
- Уберите или замаскируйте персональные данные: имена, телефоны, адреса, номера договоров.
- Присвойте каждому тексту номер, чтобы любая цитата вела к источнику.
- Разделите массив на части, помещающиеся в окно модели, и обрабатывайте единообразно.
Персональные данные заслуживают отдельной осторожности: отправка выгрузки с именами и телефонами во внешний сервис создаёт риски, и порядок согласуют с юристом компании. Если массив содержит чувствительные сведения, анализ выполняют на своём сервере или после обезличивания.
Темы и цитаты
Результат анализа оформляется таблицей, и главное требование к ней одно: каждая строка опирается на тексты. Без цитат тема превращается в мнение модели.
| Тема | Что говорят люди | Доказательства | Тон |
|---|---|---|---|
| Название темы одной фразой | Обобщение в два-три предложения | Номера обращений и короткие цитаты | Негативный, нейтральный, позитивный |
| Следующая тема | Суть претензии или пожелания | Номера и цитаты, несколько штук | Оценка тона по теме |
| Редкая, но серьёзная тема | Описание проблемы | Все найденные обращения | Обычно негативный |
Просите модель сначала предложить список тем по небольшой выборке, а затем утвердите его сами и дайте как фиксированную схему для остального массива. Если темы каждый раз придумываются заново, результаты разных частей приходится сводить вручную и с потерями. Фиксированная схема с описанием и примерами каждой темы делает разметку воспроизводимой и сопоставимой между периодами.
Кроме частых тем, просите отдельно выписать редкие, но тяжёлые: угрозы, юридические претензии, сообщения о безопасности. Они теряются в процентах, хотя важнее прочих. Тон оценивайте по каждой теме отдельно: общий тон по массиву усредняет и скрывает проблему.
Какой вопрос к обращениям клиентов вашей компании остаётся без ответа?
Выборочная проверка
Модель может ошибаться в разметке, и без проверки вы об этом останетесь в неведении. Выборка недорога, а страхует от решений на ложных основаниях.
- Возьмите случайные тексты из массива и разметьте их сами, закрыв ответ модели.
- Сравните свою разметку с разметкой модели и посмотрите, где расходитесь.
- Проверьте цитаты: каждая находится в указанном обращении слово в слово.
- Проверьте тему на границах: тексты на стыке двух тем часто попадают в соседнюю тему.
- Проверьте редкие тексты: ищет ли модель угрозы и тяжёлые случаи или пропускает.
Следите за дрейфом схемы: по ходу работы возникают новые темы, отсутствующие в исходной схеме, и их нужно добавлять осознанно, пересматривая уже размеченные части вместо сваливания в раздел «прочее». Если «прочее» занимает заметную долю массива, схема устарела. Фиксируйте результат проверки числом в простых терминах: из выборки столько-то текстов размечено так же, как у вас, столько-то спорных, столько-то ошибочных. Такая запись вместе с датой и версией схемы даёт руководителю основание доверять отчёту и позволяет сравнивать качество при смене модели или схемы.
При смене модели или схемы повторяйте проверку полностью. Прежние результаты могли держаться на особенностях старой модели, и для новой они недействительны. Если расхождений много, уточните описание тем с примерами и повторите разметку. Принимайте результат, когда расхождения сводятся к спорным случаям, в которых и два человека расходились бы во мнениях. Приёмы оценки качества описаны в статье нейросеть для работы с источниками: ссылки и проверка.
Выводы и решения
Анализ имеет смысл, когда за ним следует действие. Превратите темы в решения: что исправить в продукте, что добавить в инструкцию поддержки, какой вопрос вынести на сайт.
Вывод попадает в отчёт руководству только вместе с цитатами и данными проверки выборки. Тема без цитат считается гипотезой и выносится за пределы решений.
Раз в квартал сравнивайте темы с прошлым периодом: какие выросли, какие исчезли, что появилось. Динамика обычно интереснее статичной картины, но сравнивать допустимо только при одной и той же схеме и сопоставимых массивах. Отчёт для руководства держите коротким: несколько главных тем с цитатами, одна-две редкие, но серьёзные, и предложение действий. Подробная таблица остаётся приложением. Руководитель вряд ли прочтёт десять страниц, зато вернётся к коротким выводам с понятными доказательствами и спросит, что сделано по прошлому разбору.
- Каждой теме назначается владелец: кто отвечает за реакцию.
- Повторный анализ проводится по расписанию, чтобы видеть динамику тем.
- Результаты сопоставляются с цифрами: частота обращений, возвраты, отток.
- Вывод о причинах проверяется независимо, ведь совпадение тем в обращениях само по себе служит лишь поводом для гипотезы о причине, а проверяют её отдельным исследованием.
Если нужен регулярный разбор обращений клиентов с проверкой и отчётом для руководства, мы настраиваем его в рамках консалтинга по внедрению ИИ. Для коротких материалов с жёстким лимитом объёма смотрите нейросеть для сокращения текста, для очень больших документов — статью нейросеть для длинных текстов.