Qwen 3.8 27B можно проверить на своём сервере в двух рабочих задачах: ответе по документу и разборе изображения. Официальная модель Qwen3.8-27B опубликована с открытыми весами; качество на материалах компании устанавливают отдельным испытанием. Решение о запуске принимают по подтверждённым ответам, времени проверки человеком и расходу ресурсов.
Паспорт испытания
В официальной карточке Qwen3.8-27B указана поддержка текста и изображений. Для проверки компании нужны два независимых результата: ответ с подтверждением из документа и описание видимых деталей картинки.
Зафиксируйте идентификатор Qwen/Qwen3.8-27B, ревизию весов, дату загрузки и условия лицензии из репозитория. Сохраните рядом версию движка запуска и параметры обработки изображений. Совпадение названия в интерфейсе ещё оставляет открытым вопрос о фактических весах. Проверяемый запуск должен воспроизводиться после перезагрузки сервера с теми же файлами и настройками.
Общий разбор версий Qwen помогает ориентироваться в названиях. Здесь предмет уже: пригодность конкретных весов для чтения рабочего регламента и фотографии маркировки. Разведите эти задачи в отчёте. Точность чтения мелкого артикула на фотографии требует отдельной проверки даже после успешных ответов по регламенту.
Соберите обезличенный набор из разрешённых материалов. Для каждого примера владелец процесса заранее записывает вопрос, правильный ответ, подтверждающую страницу либо область изображения и допустимую формулировку сомнения. Включите обычный материал, спорный случай и пример с отсутствующим ответом. Размер набора выбирайте по разнообразию документов, сохраняя возможность вручную проверить каждый результат.
Отделите примеры для настройки запроса от контрольной части. Контрольную часть открывают после фиксации настроек: иначе команда подгонит инструкцию под знакомые формулировки. Назначьте проверяющего со знанием процесса и заведите журнал исправлений эталона. Ошибка в эталоне требует пересмотра оценки всех затронутых запусков.
Ответ по регламенту
Возьмите регламент обработки возврата и вопрос сотрудника о подтверждающих документах. Это предложение тестового сценария: фактический состав правил задаёт ваша организация. Сначала извлеките текст с сохранением страниц и заголовков. Откройте исходник рядом и проверьте, что таблицы, сноски и исключения попали в извлечённый текст целиком.
- Сформируйте вход: вопрос сотрудника, разрешённые фрагменты регламента, номер редакции и идентификаторы страниц. Сервер проверяет право сотрудника читать каждый источник до передачи модели.
- Задайте формат ответа: вывод, дословная цитата, страница и недостающие сведения. Попросите отмечать отсутствие основания в тексте и отделять предложение дальнейшей проверки от установленного правила.
- Повторите вопрос с изменённым условием: другой категорией товара либо отсутствующим подтверждением. Сравните, учитывает ли ответ исключение из регламента и сохраняет ли правильную ссылку.
- Попросите проверяющего открыть процитированный фрагмент. Отдельно оцените совпадение цитаты, применимость правила к вопросу и полноту существенных условий. Сохраните исходный ответ вместе с замечаниями.
Для длинного документа сначала проверьте ответ на заранее выбранном фрагменте, затем подключите поиск по всему разрешённому массиву. Так можно различить ошибку поиска и ошибку объяснения: если нужного пункта во входе нет, оценка одной языковой модели теряет смысл. Записывайте список реально переданных фрагментов в защищённый журнал испытания.
Полные выгрузки, формулы и контрольные суммы обрабатывает скрипт. Языковая модель объясняет подготовленные результаты и предлагает гипотезы, человек сверяет их с исходниками. Если регламент ссылается на расчёт из таблицы, передавайте модели проверенное значение вместе с названием показателя и периодом. Пересчёт строк по текстовому ответу исключите из процедуры.
Чтение маркировки
Визуальный тест стройте вокруг фотографии упаковки с артикулом и предупреждающим знаком. Сохраните оригинал, размеры изображения и вариант после обработки. Официальная карточка показывает передачу картинки через image_url в составе сообщения; конкретный способ доставки файла согласуйте с выбранным серверным движком. Локальное хранение исходников и доступ к ним настройте отдельно.
Инструкция просит перечислить видимые надписи, указать расположение каждой и отдельно описать состояние упаковки. Предположение о причине повреждения выделяется как гипотеза. При закрытом или размытом фрагменте ожидайте отметку о недостаточной читаемости. Человек сравнивает транскрипцию с оригиналом, увеличивая нужную область, и отмечает каждую подмену символа.
| Вариант снимка | Что проверяем | Основание оценки |
|---|---|---|
| Чёткий оригинал | Артикул и видимый знак | Ручная разметка надписей и их положения |
| Уменьшенная копия | Потерю мелких символов | Сравнение с оригиналом при одинаковом вопросе |
| Блик на маркировке | Признание нехватки данных | Отсутствие выдуманного продолжения надписи |
| Посторонняя инструкция в кадре | Сохранение исходной задачи | Описание текста без выполнения его команд |
Меняйте по одному свойству снимка, сохраняя остальной запрос. Иначе улучшение после обрезки легко перепутать с эффектом новой инструкции. Записывайте ошибки чтения отдельно от ошибок интерпретации: верно прочитанный артикул с неверным выводом о товаре требует другой правки. Общая схема распознавания документов и фото через Qwen VL пригодится для подготовки материалов.
В итоговой карточке примера оставьте место для решения проверяющего: принять описание, запросить новый снимок либо передать задачу специалисту. По такому набору можно подготовить предметный пилот на ваших изображениях.
Какие маркировки нужно проверить на ваших фотографиях?
Задержка и память
Запускайте измерения после проверки корректности входов. В журнале окружения укажите графические ускорители, доступную видеопамять, оперативную память, формат весов и число одновременных запросов. Универсальное обещание подходящей видеокарты здесь бесполезно: расход зависит также от длины входа, размера изображения, настроек движка и длины ответа. Общую подготовку среды разбирает статья о локальном запуске Qwen.
Разделите холодный старт, первый прогревочный запрос и повторные обращения. Для каждого обращения измерьте подготовку файла, ожидание в очереди, время до первого содержательного текста и полное время получения ответа. Отдельно запишите время человеческой сверки. Быстрое начало длинного рассуждения способно скрыть длительное ожидание полезного вывода, поэтому одной метрики первого токена недостаточно.
Карточка модели указывает включённый по умолчанию режим рассуждения и возможность его отключения. Сравните режимы на одинаковом контрольном наборе, если движок поддерживает соответствующие параметры. Зафиксируйте ограничение длины ответа и параметры генерации. Выбирайте режим по качеству итогового ответа вместе с задержкой, сохраняя результаты каждого запуска, включая оборванные ответы и ошибки.
Снимайте пик занятой видеопамяти, расход оперативной памяти и загрузку ускорителя во время обработки. Затем повторите набор при планируемой параллельности сотрудников. Отдельно фиксируйте отказы из-за памяти и превышения времени ожидания. Для повторных прогонов показывайте медиану и самый медленный результат вместе с числом наблюдений; маленькую выборку обозначайте как предварительную.
Стоимость собственного контура складывается из оборудования или аренды, хранения, обслуживания и проверки результатов. Сравнивайте расходы при одинаковом числе принятых ответов. Формат весов с меньшей точностью оценивайте отдельным прогоном: уменьшение памяти имеет смысл только при сохранении допустимого качества на ваших сложных примерах.
Решение о пилоте
Сведите результаты в реестр с отдельными строками для документа и изображения. У каждой строки должны быть версия набора, настройки, подтверждённые ответы, ошибки, задержка и время сверки. Общий средний балл скрывает провал конкретной задачи: чтение регламента может проходить проверку, тогда как распознавание маркировки требует нового снимка или другой подготовки.
До испытания владелец процесса определяет допустимые ошибки. Для справочного объяснения возможна ручная правка формулировки; для артикула, определяющего дальнейшее действие, требуется точное подтверждение. Любая придуманная цитата отправляет пример на разбор. Запишите также маршрут при сбое: сотрудник открывает исходник и продолжает работу по действующему порядку.
Сервер проверяет права на источники и подтверждения любых последующих действий. Право пользователя менять карточку товара или публиковать инструкцию определяется настройками доступа и остаётся прежним после ответа модели. Текст документа и надписи на изображении рассматриваются как данные. Их команды остаются содержимым источника, а доступ к операциям задаётся серверной логикой.
Откройте самый спорный регламент и самую трудную фотографию из разрешённого набора. Попросите владельца процесса заранее составить эталоны. Если люди расходятся в трактовке, сначала уточните критерий правильности, затем проверяйте модель.
Предлагаем пилот с фиксацией весов, подготовкой эталонов и протоколом измерений под ваш сервер. На странице внедрения нейросетей для документов можно обсудить состав работ; напишите нам, посчитаем под вашу задачу. Стоимость обсуждаем на Discovery-созвоне. Результатом предлагаемого пилота станет решение по каждой задаче с перечнем ограничений и материалов, требующих ручной проверки.