Формат документов для ИИ выбирают по возможности извлечь текст, сохранить структуру и показать человеку точное место источника. Для внутреннего поиска подготовьте DOCX, текстовый PDF, скан и таблицу по разным правилам, затем проверьте версии и права доступа. Удобное расширение файла само по себе мало помогает, если заголовки, строки таблиц и ссылки на страницы теряются при обработке.
Структура источника
По WCAG 2.2, структура и связи должны быть доступны программно либо через текст, а порядок чтения должен сохранять смысл. Для внутреннего поиска это полезный ориентир при подготовке исходников, но качество поиска проверяют отдельно.
Системе поиска нужен текст, привязанный к документу, его версии и месту внутри файла. Пользователю нужен тот же путь назад: открыть исходную страницу или раздел и убедиться, что ответ соответствует действующему материалу. Поэтому сохраните оригинал и отдельную подготовленную копию для индекса. Преобразование в обычный текст удобно для обработки, но убирает часть формы: заголовки, табличные связи, подписи и номера страниц придётся хранить отдельно.
Определите минимальную карточку источника: название, владелец, редакция, статус действия, подразделение, уровень доступа, путь к оригиналу и метка места. Для PDF меткой часто служит страница, для DOCX — раздел или устойчивый заголовок, для таблицы — лист и диапазон. Если редакция устарела, поисковая система должна показывать статус и отправлять читателя к действующей версии. Такое правило задаёт владелец документов.
Стандарт WCAG относится к доступности веб-контента. Его критерии о связях, последовательности и понятных заголовках помогают сформулировать требования к читаемой структуре. Качество индекса оценивают отдельной проверкой. Отдельная статья про Docling разбирает конкретный конвертер. Здесь формат оценивается независимо от выбранного парсера: достаточно ли точен извлечённый текст и может ли человек найти подтверждение в исходнике.
Если файл содержит только картинку текста, сначала потребуется распознавание. OCR выдаёт текстовый сигнал и возможные границы фрагментов; сотрудник проверяет спорные символы, таблицы и ссылки на оригинал. Особенно внимательно смотрите на номера редакций, артикулы и имена: похожий символ способен изменить смысл ответа. Общий маршрут работы со сканами раскрыт в статье про извлечение данных через OCR.
Четыре типа файлов
DOCX обычно удобен, когда автор использовал стили заголовков и обычные абзацы. Проверьте, что название раздела хранится как заголовок, а важные сведения присутствуют в основном тексте. Сноски, колонтитулы и вложенные таблицы требуют отдельной проверки после извлечения. Если документ проходит согласование, индексируйте утверждённую редакцию, сохраняя черновики в отдельной зоне. Название файла без статуса утверждения создаёт риск ответа по старому тексту.
| Формат | Что сохранить | Проба перед индексом |
|---|---|---|
| DOCX | Заголовки, таблицы, редакцию | Сравнить порядок абзацев с оригиналом |
| Текстовый PDF | Страницы, колонки, подписи | Выделить текст и сверить порядок чтения |
| Скан | Изображение страницы и вывод OCR | Проверить знаки и табличные клетки |
| Табличный файл | Листы, заголовки колонок, единицы | Сверить строки, ключи и формулы |
Текстовый PDF проверьте копированием контрольного фрагмента и извлечением страниц парсером. Текст из многоколоночной страницы способен оказаться перемешанным; подпись может уйти далеко от таблицы. Сохраните номер страницы и координату либо иной устойчивый указатель, доступный в вашем конвейере. Руководство про поиск и сверку цитат в PDF помогает организовать проверку ответа по исходному файлу.
Скан храните вместе с распознанным слоем текста и отметкой качества для ручной проверки. OCR допускает ошибки даже при ясном изображении: разрыв строки, печать или перекос способны спутать значения. Для табличного файла сохраните названия листов, единицы измерения и ключи строк. Расчёты из полной выгрузки выполняет парсер или скрипт; языковая модель объясняет показатели и предлагает гипотезы, а аналитик сверяет формулы и исходные значения.
Подготовка корпуса
Сначала составьте опись папок и назначьте владельца каждому набору. Отделите действующие файлы от архивных, а дубликаты пометьте связью с оригиналом. В записи об источнике храните контрольный идентификатор версии и путь к утверждённому файлу. При обновлении документа пересоздавайте извлечённые фрагменты именно для этой версии и исключайте старые правила из актуальной выдачи. Историю изменений полезно сохранять для разбора ответа.
- Соберите перечень файлов по владельцам и статусам. Запишите формат, редакцию, область доступа и путь к оригиналу.
- Извлеките текст выбранным парсером. Для скана добавьте OCR и очередь ручной проверки сомнительных фрагментов.
- Проверьте заголовки, порядок абзацев, таблицы, подписи и номера страниц. Сохраните указатель на место в оригинале.
- Разбейте материал на смысловые фрагменты вместе с метаданными версии и прав. Загрузите только принятые фрагменты в индекс.
- Проведите контрольные запросы и сравните найденный фрагмент с действующим исходником до открытия поиска сотрудникам.
Деление на фрагменты требует аккуратности на границе разделов. Заголовок без следующего абзаца теряет контекст; строка таблицы без названия колонок теряет смысл. Вместе с каждым фрагментом храните название раздела и идентификатор родительского документа. Для таблицы проверяйте, что каждая строка сохраняет заголовки колонок и единицы измерения. Оценивайте качество по возможности восстановить точный контекст найденного ответа, а число фрагментов используйте для диагностики.
Разрешение на чтение проверяет сервер при выдаче результата по учётной записи пользователя. Промпт лишь напоминает правило. Если индекс содержит фрагменты разных подразделений, фильтр должен учитывать доступ до показа цитаты и ссылки. Подробная схема этой границы есть в статье о правах и источниках внутреннего поиска.
Приёмка поиска
Подготовьте набор рабочих вопросов с заранее известными ответами и документами-основаниями. Среди вопросов должны быть поиск действующей редакции, цитата из таблицы, запрос к скану и обращение пользователя с ограниченным доступом. Для каждого вопроса запишите ожидаемый источник, страницу или раздел, допустимую формулировку ответа и человека, который подтверждает результат. Такая проверка показывает, где проблема находится в исходном файле, а где в извлечении или настройке поиска.
При ошибке начните с цепочки: оригинал, извлечённый текст, сохранённый фрагмент, поисковая выдача, ответ модели. Если число искажено уже при извлечении, исправьте этот этап до нового запроса к модели. Если фрагмент точен, но модель сделала лишний вывод, уточните задачу и добавьте правило ручной проверки. Если ссылка ведёт к другой странице, проверьте привязку к оригиналу. Каждую правку испытывайте на тех же контрольных вопросах.
Особый случай — таблица с формулой и текстовым пояснением рядом. Скрипт извлекает значения и вычисляет итог по утверждённой формуле, затем аналитик сверяет строки с файлом. Модель может объяснить расхождение и предложить гипотезы, но решение о причине принимает человек. Схемы и диаграммы проверяет профильный специалист по оригиналу: распознанный текст сам по себе передаёт их смысл лишь частично. Владелец документа решает, какие визуальные материалы допустимо включить в индекс.
Критерий приёмки сформулируйте для вашего корпуса: человек открывает нужную версию и видит основание ответа в исходнике. Этот критерий помогает определить объём подготовки документов и порядок доступа в проекте.
Нужен маршрут подготовки документов под ваш внутренний поиск?
Запуск и обновление
Для пилота предложите ограниченный набор документов разных типов с известными владельцами. Перед индексированием согласуйте карточку источника, права и контрольные вопросы. После подготовки попросите сотрудников найти сведения по действующей редакции, открыть подтверждающий фрагмент и отметить случаи сомнения. Отчёт по пилоту собирайте из найденных ошибок извлечения, устаревших версий и ошибок настройки доступа. Гладкость ответа нейросети оценивайте вместе с этими признаками.
На рабочем контуре назначьте маршрут обновления: владелец утверждает новую редакцию, система сохраняет оригинал, парсер создаёт новую подготовленную версию, редактор проверяет спорные места, сервер обновляет индекс с прежними правилами доступа. Ссылки из уже выданных ответов должны вести к сохранённому источнику с обозначенной редакцией. Если документ отозван, настройте понятное сообщение о его статусе и маршрут к актуальному материалу.
Смета зависит от доли сканов, качества таблиц, количества редакций, сложности прав доступа и требований к проверке результатов. Тарифы инструментов оценивайте по актуальным условиям поставщиков без универсальных обещаний по расходам. Обсудить состав работ можно в разделе про внедрение нейросети для документов: первым предметом разговора станет опись корпуса и критерии приёмки.
Выберите утверждённый DOCX, текстовый PDF, скан и табличный файл из одного процесса. Извлеките текст, сохраните версию и указатель на место, затем задайте по каждому файлу рабочий вопрос. Фиксируйте расхождения между ответом и оригиналом и передайте их владельцу документа.