01 Простыми словами
Человек читает текст словами и буквами. Модель работает с другими единицами — токенами. Фраза «привет, как дела» распадается для модели на несколько токенов вместо привычных двух слов и запятой.
02 Как это работает
Большинство современных моделей режут текст алгоритмом byte-pair encoding: часто встречающиеся сочетания букв объединяются в один токен, редкие слова распадаются на несколько кусков.
- Модель заранее обучена на словаре из десятков тысяч токенов — устойчивых кусков текста разной длины.
- Входящий текст сверяют с этим словарём и режут на самые длинные подходящие куски, начиная с частых слов и заканчивая отдельными буквами для редких сочетаний.
- Получившуюся последовательность номеров токенов модель обрабатывает и по ней же формирует ответ, который потом токенизатор собирает обратно в читаемый текст.
03 Где применяется
- Поддержка клиентов. Число токенов в переписке напрямую влияет на цену за токен в счёте бота-оператора за месяц.
- Разработка. Токенизация ограничивает, сколько кода поместится в один запрос к модели для разбора или комментирования.
- Юристы. Длинный договор иногда превышает лимит контекста в токенах и требует разбивки на части перед отправкой модели.
- Бухгалтерия. Отчёты с таблицами и цифрами обычно токенизируются гуще обычного текста — это стоит закладывать в оценку бюджета на запросы.
- Маркетинг. Черновики рекламных текстов проверяют через модель пачками — экономия на токенах напрямую снижает счёт за месяц.
- Логистика. Длинные накладные и инструкции по маршрутам режут на части, чтобы уложиться в лимит контекста конкретной модели.
04 Отчёт бухгалтера по шагам
Бухгалтер просит модель разобрать квартальный отчёт: «Проверь таблицу расходов на странице 12 и посчитай итоговую сумму по статье «аренда»». В таблице десятки строк с числами, датами и короткими комментариями. Вот что происходит с этим текстом внутри модели.
- Токенизатор режет текст на куски отдельно для слов и отдельно для чисел: цифры в таблице обычно распадаются на токены гуще обычных слов — каждая отдельная цифра или короткая группа цифр часто становится своим токеном.
- Вся таблица целиком, вместе с системным промптом и вопросом бухгалтера, укладывается в лимит контекстного окна модели, который считают именно в токенах.
- Счёт за запрос формирует именно число токенов на входе и на выходе — большая таблица с цифрами обходится заметно дороже такого же по смыслу текстового абзаца.
Похожий отчёт за другой квартал с тем же числом строк, но другими цифрами, займёт похожее число токенов — специфика чисел в тексте держит расход стабильно выше обычной прозы того же объёма.
Для бухгалтера подсчёт токенов остаётся скрытой механикой модели — на экране только итоговая сумма и счётчик расхода за месяц в панели вендора.05 Ограничения и ошибки
- Число токенов в тексте отличается от числа слов или символов — прямой перевод одного в другое работает лишь приблизительно.
- Цифры, редкие термины и текст на нескольких языках сразу обычно превращаются в больше токенов, чем обычные слова, — это стоит учитывать при оценке стоимости запроса.
- Лимит контекстного окна считают именно в токенах вместо символов — длинный текст с короткими словами иногда занимает меньше места, чем короткий текст с редкой лексикой.
- Экономия на длине промпта — самый быстрый способ снизить счёт за месяц: лишние повторы инструкции в каждом запросе складываются в заметную сумму на больших объёмах.
- Разные вендоры используют разные словари токенов — прямое сравнение цены «за токен» между сервисами без пересчёта на одинаковый текст может ввести в заблуждение.
Как считают цену запроса к модели по токенам — в статье про получение API-ключа DeepSeek и его цену. Как оценить итоговый бюджет на внедрение — в разделе про внедрение ИИ в бизнес.