Какие KPI вешать на ИИ-проект, чтобы было что показать

Алексей Штурбин C-level стратег · Зинин × Штурбин LinkedIn ↗

2 июня 2026

KPI ИИ-проекта держатся на пяти метриках: время на задачу, доля автоматизированного потока, качество через оценки качества, стоимость прогона и доля эскалаций к человеку. Каждую из них вы привязываете к деньгам через освобождённые часы и стоимость ошибки, и у вас появляется что показать совету директоров вместо красивого процента из чужой презентации.

Пять метрик, которые показывают эффект ИИ-проекта

Я как C-level стратег постоянно вижу одну и ту же картину: команда запустила ИИ-проект, отчитывается количеством сгенерированных ответов и числом запусков в неделю, а совет директоров смотрит на эти цифры и спрашивает, где здесь деньги. Внятного ответа у команды нет, потому что метрики выбирали по принципу «что легко посчитать» вместо принципа «что показывает эффект». Так появляется витрина из vanity-метрик, которая растёт, пока бюджет тает.

Эффект показывают пять метрик, и каждая отвечает на свой деловой вопрос. Время на задачу отвечает, насколько быстрее команда закрывает работу. Доля автоматизированного потока отвечает, какую часть рутины связка реально сняла с людей. Качество через оценки качества отвечает, можно ли доверять ответам без ручной перепроверки каждого. Стоимость прогона отвечает, во что обходится один результат. Доля эскалаций к человеку отвечает, насколько связка справляется сама. Эти пять чисел дают картину для совета директоров и для инвестора одновременно.

Что измеряет каждая из пяти метрик

Время на задачу — это срок от поступления работы до готового результата, замеренный до внедрения и после. Берите медиану вместо среднего: один тяжёлый случай раздувает среднее и прячет реальную картину. Сравнение честное лишь на одинаковом типе задач, поэтому фиксируйте, какую именно работу замеряете. Сокращение времени переводится в деньги через освобождённые часы, умноженные на реальную ставку сотрудника.

Доля автоматизированного потока — это часть всех поступивших задач, которую связка закрыла сама, без участия человека. Знаменателем тут служит весь входящий поток целиком, включая случаи, где связка спасовала. Эта метрика честно показывает охват: связка, которая красиво работает на пяти задачах из ста, оставляет бизнесу мизерный эффект. Стоимость прогона — это стоимость за токен, помноженная на средний объём запроса и ответа, плюс доля затрат на поддержку, разнесённая на количество прогонов.

Качество держится на регулярных оценках: вы прогоняете связку на наборе типовых задач с заранее известными правильными ответами и считаете долю верных. Без такого набора качество остаётся ощущением, которое меняется от настроения проверяющего. Доля эскалаций к человеку — это часть случаев, которую связка передала оператору, спасовав перед задачей. Растущая эскалация при стабильном потоке означает, что связка деградирует или поток усложнился, и это сигнал к разбору.

Как перевести KPI ИИ-проекта в деньги

Метрика живёт ради денег, поэтому каждую из пяти вы привязываете к рублю. Время на задачу и доля автоматизированного потока дают экономию на людях: вы считаете, сколько часов рутины связка сняла с команды за период, и умножаете эти часы на реальную ставку с учётом налогов и накладных расходов. Здесь прячется честность: освобождённые часы дают выгоду лишь когда перетекают в работу, которая приносит деньги. Сотрудник, который освободился и стал меньше работать, оставляет бизнес при прежних расходах.

Качество через оценки и доля эскалаций защищают вас со стороны риска. Падение качества означает, что часть ответов уходит к клиенту с ошибкой, и стоимость такой ошибки иногда перекрывает всю экономию на часах. Поэтому качество держат выше порога, ниже которого связку отключают от прямого контакта с клиентом и возвращают человека в контур. Стоимость прогона держит знаменатель окупаемости честным: связка, которая красиво экономит часы, но прогорает на дорогих вызовах модели, выходит в плюс лишь на бумаге.

1. Зафиксируйте время на типовую задачу до внедрения и после, по медиане на одинаковом типе работы.
2. Посчитайте долю входящего потока, которую связка закрыла сама, взяв знаменателем весь поток.
3. Соберите набор типовых задач с известными правильными ответами и регулярно прогоняйте на нём оценки качества.
4. Сведите стоимость прогона из расхода модели и разнесённой поддержки на количество результатов.
5. Отслеживайте долю эскалаций к человеку как ранний сигнал деградации связки.
6. Переведите время и долю автоматизации в освобождённые часы, умножьте на реальную ставку — это экономия за период.

Связка из этих пяти метрик даёт совету директоров то, чего просит любой инвестор: число с показанным источником. Вы кладёте на стол экономию в рублях, защищённую качеством, и стоимость прогона, которая держит расчёт окупаемости честным. Дальше разговор идёт о масштабировании эффекта на соседние процессы, а об оправдании потраченного бюджета.

Как развернуть метрики на старте ИИ-проекта

Метрики фиксируют до запуска — точку отсчёта выставляют ещё на пилоте, задолго до первого прогона. Самая частая ошибка проекта — собрать связку, запустить её в работу, а через квартал спохватиться, что замеров «до» нет и сравнивать новые цифры просто нечем. Поэтому первым делом, ещё на пилоте, вы фиксируете базовую линию: сколько времени уходит на задачу руками, какая доля потока проходит через узкое место, сколько стоит один результат в текущем виде. Эта базовая линия — точка отсчёта, без которой любой будущий процент висит в воздухе.

Оценки качества требуют отдельной подготовки, поэтому набор типовых задач с правильными ответами собирают заранее, пока связка ещё проектируется. Без такого набора качество измеряют на глаз, и оно колеблется вместе с настроением проверяющего. Доля эскалаций требует, чтобы человек в контуре занял своё место в процессе с самого начала: оператор подхватывает случаи, с которыми связка справилась, и каждая такая передача попадает в счётчик.

Отдельно следите за задержкой p95 там, где связка отвечает клиенту в реальном времени. Средняя скорость ответа выглядит бодро, пока пять процентов клиентов ждут ответа втрое дольше остальных и уходят, так и дождавшись. Задержка p95 показывает, как чувствует себя хвост распределения, и для клиентского сценария она важнее средней цифры в отчёте.

Как встроить метрики в управление проектом

В работе с руководителями я часто вижу, как метрики живут отдельно от решений: дашборд крутится сам по себе, отчёты уходят в архив, а проект движется по интуиции. Метрика обретает смысл, когда к каждому числу привязано действие. Падает качество ниже порога — связку возвращают человеку на проверку. Растёт доля эскалаций — команда разбирает, что усложнилось в потоке. Стоимость прогона ползёт вверх — инженер ищет, какой шаг тратит лишние токены.

• Качество упало ниже порога — связку отключают от прямого контакта с клиентом, человек возвращается в контур.
• Доля эскалаций растёт при стабильном потоке — команда разбирает причину деградации связки.
• Стоимость прогона ползёт вверх — инженер ищет шаг, который жжёт лишние токены.
• Время на задачу перестало сокращаться — проверяют, упёрлась ли связка в новое узкое место.
• Доля автоматизированного потока замерла — ищут типы задач, которые связка пока обходит стороной.

Так метрики перестают быть отчётом ради отчёта и становятся пультом управления проектом. У вас на экране пять рычагов вместо пяти бесполезных чисел, и каждый рычаг включает конкретное решение. Совет директоров получает понятную картину: вот экономия, вот её источник, вот защита от риска, вот цена результата. А команда получает ясные правила, при каких числах что делать руками.

Метрика, к которой привязано действие, управляет проектом. Метрика, которая просто растёт на экране, греет самолюбие команды и сжигает бюджет под видом прогресса.

Связка языковой модели с вашими процессами доказывает эффект ровно настолько, насколько честно вы её измеряете. Пять метрик с привязкой к деньгам, базовая линия с самого старта и действие за каждым числом — этого хватает, чтобы показать совету директоров, где искусственный интеллект вернул вложенное, а где проект пока греет витрину. Глубже эту логику мы разбираем на программах обучения, где руководитель учится ставить такие метрики на свои процессы сам.

Частые вопросы

← Все статьи