Датасет.

01 Простыми словами

Датасет — это набор примеров с известным правильным результатом, собранный и организованный специально для измерения качества модели или промпта. Именно такой эталонный набор позволяет объективно сравнить два варианта модели или промпта, вместо того чтобы каждый раз решать на глаз, стал ли ответ лучше.

Слово «датасет» звучит технично, но суть проще: это набор примеров, собранных и организованных так, чтобы по ним можно было измерить конкретный результат, вместо простого хранения для порядка.

02 Как это работает

Хороший рабочий датасет для бизнес-задачи обычно складывается из нескольких обязательных элементов.

1. Набор входных примеров — реальных или синтетических — из практики компании.
2. Эталонный или желаемый результат для каждого примера, определённый человеком или проверенным способом.
3. Разметка по дополнительным признакам — категория, сложность, риск — для более точного разбора результатов.
4. Версия датасета зафиксирована во времени, чтобы сравнение «было — стало» опиралось на один и тот же набор примеров.

Датасет для обучения модели и датасет для регулярной проверки её ответов — разные по размеру и назначению вещи: первый может насчитывать десятки тысяч примеров, второй для регулярной проверки промпта обычно компактнее и подбирается так, чтобы покрывать самые частые и самые рискованные сценарии.

Формат хранения датасета обычно простой — таблица или набор JSON-файлов с полями «вход», «эталонный результат» и дополнительными метками. Сложность датасета определяется сложностью самой задачи вместо структуры файла хранения.

03 Где применяется

• Продажи. Датасет из прошлых лидов с исходом «сделка» или «отказ» используют для проверки модели оценки перспективности заявки.
• Поддержка клиентов. Набор пар «обращение — эталонный ответ» проверяет, сохранила ли новая версия промпта прежнее качество.
• Юристы. Коллекция договоров с отмеченными рискованными пунктами обучает модель находить похожие риски в новых документах.
• HR. Датасет из прошлых резюме с итоговым решением найма используют для проверки модели предварительного отбора.
• Логистика. Датасет из прошлых маршрутов с фактическим временем доставки проверяет точность модели прогноза сроков.
• Финансы. Датасет из прошлых транзакций с итоговой отметкой «мошенничество» или «норма» проверяет модель раннего обнаружения аномалий.

04 Сколько нужно для проверки

Отдел продаж хочет собрать датасет для проверки модели, которая оценивает перспективность лида по десятку признаков. Вопрос — сколько примеров с известным итогом «сделка» или «отказ» нужно набрать, чтобы результату можно было доверять.

В базе выделяют четыре источника лидов: сайт, реклама, партнёрские каналы и повторные обращения. Для каждого источника нужен отдельный срез — поведение модели на партнёрском лиде и на случайном обращении с сайта заметно различается. Устойчивый срез начинается примерно с двадцати пяти примеров на источник, иначе один необычный случай сдвигает всю оценку. Итого — сто примеров на базовую проверку.

Дальше добавляют запас на пограничные случаи: сделки, застрявшие на середине воронки, лиды с противоречивыми признаками, повторные обращения от клиента с уже закрытой сделкой. Такие случаи встречаются реже обычных, но именно на них модель чаще ошибается, поэтому запас удваивает исходную цифру — до двухсот примеров.

Перевод количества в часы работы: поднять историю лида в CRM, прочитать переписку и присвоить финальную метку — на один пример уходит около четырёх минут. Двести примеров дают порядка тринадцати часов — чуть меньше двух рабочих дней одного человека или один день на двоих, если источники разделить между собой.

05 Ограничения

• Датасет устаревает по мере изменения бизнеса — набор примеров годовой давности хуже отражает текущий поток запросов компании.
• Разные версии датасета легко перепутать между собой без подписи датой и коротким описанием изменений — тогда сравнение результатов теряет смысл.
• Маленький датасет даёт шаткую оценку: пара случайных примеров легко меняет итоговый показатель качества в любую сторону.
• Датасет, собранный только из простых типовых случаев, скрывает реальную картину — модель может отлично проходить проверку и при этом слабо справляться именно со сложными пограничными запросами, которых в наборе почти нет.
• Датасет для проверки стоит держать отдельно от примеров, попавших в обучение модели, — иначе оценка качества получается завышенной.
• У готовых открытых датасетов есть лицензия, которая иногда запрещает коммерческое использование или требует указания источника, — это стоит проверять перед тем, как обучать на чужом наборе модель для продакшена компании.

Что даёт компании обучение модели под свою задачу — в статье про обучение модели ИИ. Как выстроить такой процесс под задачи компании — в разделе про ИИ-консалтинг.