Методология оценки финансовой эффективности от ИИ

«Методология оценки финансовой эффективности от ИИ и ГенИИ» родилась в финансовой отрасли — там, где цену денег и стоимость риска считать умеют лучше всего. Её разработали Альянс в сфере ИИ и Ассоциация ФинТех, а подписали Сбер, Т-Банк, Альфа-Банк, ВТБ, Газпромбанк, Московская биржа, Россельхозбанк, ВСК, ДОМ.РФ и другие участники рынка. Документ был представлен и подписан на AI Journey 2025, а сегодня развивается в открытый кросс-отраслевой стандарт АФИИНА.

Ниже — обзор методологии без пересказа оглавления: что считается эффектом, какие принципы нельзя нарушать, какими методами его доказывают, где чаще всего завышают результат и как отличить управленческий расчёт от красивой презентации. PDF — в блоке с содержанием, список авторов — в конце.

«Методология выводит внедрение искусственного интеллекта из стадии разрозненных пилотов в режим системного, ответственного управления эффектом. Это не просто инструмент расчёта, а основа прозрачности, зрелости рынка и доверия».

Что такое «Методология оценки финансовой эффективности от ИИ и ГенИИ»

«Методология оценки финансовой эффективности от ИИ и ГенИИ» — совместный документ Альянса в сфере ИИ и Ассоциации ФинТех. Он отвечает на практические вопросы: что считать эффектом, относительно какой альтернативы, какими методами доказывать и как не посчитать одно и то же дважды. Встречается также написание «Методология оценки финансовой эффективности от ИИ/ГенИИ».

В основе — не отчёт о технологиях, а дисциплина финансового расчёта: бейзлайн, инкремент, полная стоимость, контрольная группа и независимая валидация. В приложенном PDF — версия методологии 2025 года. На её основе развивается открытый кросс-отраслевой стандарт АФИИНА: там уже появились трёхуровневая модель, отраслевые метрики и обновлённые кейсы.

Зачем оценивать ИИ и кто это делает

Оценка финансового эффекта решает две группы задач. Внутри компании она нужна, чтобы обосновать портфель ИИ-инициатив, приоритизировать ресурсы, проверить связь проекта со стратегией и управлять бизнес-рисками. Снаружи — чтобы укрепить репутацию, стоимость бренда и доверие акционеров. Это не бухгалтерская формальность, а управленческий процесс: у него есть владелец, срок, бюджет и цена ошибки.

Методика различает пять ролей. Бизнес-юнит формулирует гипотезу, считает эффект и отвечает за внедрение. Финансовая валидация проверяет расчёт, допущения и отражение в PnL и бизнес-плане. Техническая валидация отвечает за качество модели, данных и дизайн эксперимента. ИИ-стратегия проверяет соответствие инициативы стратегическим целям. Аудит независимо оценивает работу всех остальных — но сам не выполняет шаги процесса.

Ключевая идея: чем выше зрелость компании, тем больше независимых контуров проверки. Если эффект считает только команда, которая разрабатывала модель, конфликт интересов встроен в процесс с самого начала.

В АФИИНА этот принцип развёрнут в трёхуровневую модель. Первый уровень — финансовый: один продукт или процесс, PnL отчётного года, базовый A/B или альтернативное моделирование. Второй — стратегический: портфель инициатив, горизонт 2–5 лет, NPV, CLTV, ROI, CSI/NPS, продвинутые эксперименты. Третий — системный: отрасль или экономика, горизонт 5+ лет, резервы, капитал, системная устойчивость. Уровни преемственны: каждый следующий включает предыдущий, а не отменяет его.

Эффект — это инкремент, а не «польза от ИИ»

Методика начинается с отрезвляющего тезиса: эффект от ИИ возникает только тогда, когда модель встроена в бизнес-процесс. Сама по себе валидированная модель с хорошими метриками качества не создаёт денег. Более того, отличный precision или recall может сочетаться с нулевым или отрицательным финансовым результатом — если модель, например, максимизирует продажи продукта X, но каннибализирует более маржинальный продукт Y.

Поэтому объект оценки — не модель, а изменение процесса. Нужно описать процесс AS IS (как он работает без ИИ) и TO BE (как он будет работать с ИИ), определить драйвер, который изменится, и собрать статистику до и после. Затем — главный вопрос: что является корректным бейзлайном?

Бейзлайн — это не «отсутствие ИИ» и не «ничего не делать». Это лучшая ближайшая альтернатива процессу TO BE. Если ИИ-бот обзванивает клиентов, сравнивать его нужно не с отсутствием звонка, а с лучшим из доступных вариантов: звонок оператора, звонок с предзаписанной аудиодорожкой, другой канал коммуникации. Если рекомендательная система заменяет BI-правила, бейзлайн — эти правила, а не пустой экран. Иначе в «эффект ИИ» попадёт эффект самого изменения процесса, автоматизации или нового продукта.

Инкремент — изменение драйвера, метрики или финансового эффекта, возникшее именно из-за конкретной ИИ-инициативы. И здесь есть тонкость: сумма инкрементов не всегда равна совокупному эффекту. Инкремент версии 3 относительно версии 1 не равен сумме инкрементов «версия 1 → версия 2» и «версия 2 → версия 3»: между обновлениями возможны каннибализация и синергия. Методика рекомендует раз в год проводить «обратный» эксперимент — сравнивать последнюю версию модели с версией на начало года или на несколько поколений назад — и калибровать сумму инкрементов.

Семь принципов, которые нельзя обойти

Методика формулирует семь принципов. Они универсальны для компаний любого уровня зрелости — от первого пилота до системной оценки на уровне отрасли.

• Объективность. Никаких экспертных суждений без расчёта. Любой, у кого есть та же статистика, должен воспроизвести результат.
• Измеримость. Все параметры расчёта фиксируются как драйверы — финансовые (операционный доход, OPEX, свободный денежный поток) и нефинансовые (продажи, отклик, текучесть). Значение каждого драйвера должно быть доступно в любой момент жизни инициативы.
• Консерватизм. Доходы оцениваются по минимально возможному уровню, расходы — по максимально возможному. Это не пессимизм, а способ сделать оценки сопоставимыми и повысить доверие к ним.
• Связь с инициативой. В расчёт идут только инкрементальные потоки, связанные с оцениваемой инициативой. Если эффект нельзя разделить между инициативами, они оцениваются совместно как единый кейс или каскад моделей.
• Полнота. Учитываются все инкрементальные доходы и расходы: по целевому продукту и по всему сплиту продаж, по целевому каналу и по всем каналам, прямые и косвенные расходы подразделений, текущие расходы и поддержка модели в будущем.
• Материальность. Не нужно считать до копейки. Если уточнение не меняет решение о целесообразности инициативы, тратить ресурсы на него не стоит.
• Консолидированный эффект. Оценка проводится на уровне группы компаний или холдинга, если применимо: эффект в одном юридическом лице может быть нейтрализован или усилен в другом.

Эти принципы выглядят очевидно, но именно они чаще всего нарушаются под давлением сроков и ожиданий. «Посчитаем потом» обычно означает, что потом придётся защищать цифру, в которую уже никто не верит.

Восемь типов эффекта — и у каждого свой драйвер

Методика выделяет восемь типов финансового эффекта. Их нельзя смешивать в один «общий эффект ИИ»: у каждого своя финансовая метрика, свой драйвер и свои правила учёта.

• Рост доходов. Изменение количества продаж, среднего чека, маржи, конверсии, удержания, транзакционной активности. Влияет на операционный доход.
• Снижение операционных расходов. Меньше операций или ниже стоимость каждой операции. Влияет на OPEX.
• Высвобождение штатной численности (ПШЕ). Два разных эффекта: реальное сокращение сотрудников и исключение потребности в найме. Второй часто принимают за первый — и получают «виртуальную» экономию.
• Снижение операционных рисков. Меньше дефектов, ошибок и фрода, которые приводят к недополучению прибыли или росту расходов.
• Высвобождение ликвидности. Денежные средства, которые можно разместить и получить доход. Здесь важен альтернативный вариант размещения и риск дефицита ликвидности.
• Восстановление или недосоздание резервов при фактическом влиянии на кредитный риск заёмщика. Это реальный экономический эффект.
• Высвобождение резервов без влияния на кредитный риск — учётный эффект. Он может быть временным и обнулиться на горизонте жизни продукта.
• Снижение расходов на капитал. Через чистые затраты на капитал, стоимость капитала под резервы и изменение RWA.

Отдельно методика подчёркивает: рост доходов и снижение расходов — не единственные эффекты. Но и «операционные риски», «ликвидность» и «резервы» — не абстрактные улучшения, а конкретные строки PnL, которые нужно уметь посчитать. Если связь «действие модели → драйвер → деньги» не прослеживается, это ещё не эффект, а гипотеза.

Net vs gross: что вычитать из красивого результата

Методика последовательно настаивает на чистом (net) эффекте. Валовый эффект — прирост выручки или экономии — не равен прибыли. В расчёт нужно включать все инкрементальные затраты на создание и поддержку ИИ:

• ФОТ: оклад, налоги, социальные взносы, компенсации, отпускные, бонусы, премии; при необходимости — вменённые расходы на офис и технику.
• Инфраструктура: серверы и GPU, амортизация, часть расходов дата-центров, поддержка оборудования и сети, лицензии; общебанковская инфраструктура аллоцируется по фактическому потреблению, а не по биллингу.
• Внешние расходы: лицензии, консалтинг, услуги, поддержка, внешняя разработка и аутсорс.
• Сопровождение: мониторинг, переобучение, доработки, коммуникации и поддержка пользователей.
• Побочные эффекты: каннибализация, переток продаж между каналами, рост нагрузки на смежные подразделения.

Методика рекомендует считать расходы с позиции PnL, а не только движения денежных средств: амортизация, аллокации и резервы тоже влияют на финансовый результат. При этом важно не превратить расчёт в бухгалтерскую головоломку: принцип материальности позволяет укрупнять там, где детализация не меняет решения.

Метрики: что показывать наружу, чем управлять внутри

Для внешней коммуникации методика рекомендует использовать PnL отчётного года: эта метрика соответствует стандартам финансовой отчётности, легко интерпретируется и позволяет избежать субъективных оценок. Все прочие метрики, даже полезные внутри, внешним сторонам могут показаться недостаточно надёжными.

Для внутренней приоритизации набор шире:

• PnL на 12 месяцев вперёд — для инициатив с ближайшим эффектом и большим количеством проектов.
• NPV — для капиталоёмких и долгосрочных проектов.
• CLTV — для инициатив на удержание и монетизацию клиентов, если влияние на CLTV можно посчитать.
• Виртуальный или косвенный PnL — для проектов, где эффект выражается в экономии ресурсов, например в автоматизации функций.

Методика приводит и рыночные ориентиры: около 20% доли финансового эффекта от ИИ в EBIT по оценкам McKinsey, ~10% среднего сокращения OPEX, 24% доли эффекта от ИИ в прибыли до налогообложения у Сбера, 50% среднегодового темпа роста эффекта в Сбере в 2020–2024 годах, ~80% бизнес-процессов с ИИ, 1:8 — окупаемость инвестиций в ИИ в Сбере, планы роста инвестиций ×1,5 до 2029 года и 88% среднего прироста инвестиций в Т-Банке за 2023–2025 годы.

Но здесь нужна осторожность. Методика прямо предупреждает: бенчмарк — не норматив и не KPI. Прямое сравнение с цифровым гигантом игнорирует разницу в зрелости процессов, бизнес-модели и методологии данных. Ориентир полезен как вопрос «где мы относительно рынка и собственной траектории», а не как приказ «достичь 20% любой ценой».

Методы: от A/B до синтетического контроля

Методика делит методы на три группы по силе доказательства. Выбор зависит от задачи, горизонта и зрелости компании — а не от того, какой метод красивее звучит в презентации.

1. Контролируемые эксперименты. Классический A/B-тест — «золотой стандарт»: целевая группа получает ИИ, контрольная — нет. Но качество теста определяется деталями:

• Объект воздействия и объект рандомизации. Это не всегда одно и то же. Если воздействие на сотрудника внутри команды «просачивается» к коллегам, рандомизировать нужно на уровне команды или подразделения.
• SUTVA. Воздействие на один объект не должно влиять на исход другого. Если клиенты, магазины или курьеры связаны общим рынком, обычный сплит может исказить результат.
• Ключевой драйвер. Метрика должна отражать полный эффект, а не удобный фрагмент. Если модель влияет на продажи всей продуктовой полки, считать только целевой продукт нельзя.
• Единица расчёта. Метрику нужно считать на фиксированной популяции объектов, а не «на событие», иначе воздействие само изменит знаменатель.
• SRM и баланс ковариат. Проверяйте фактическое распределение групп и сопоставимость по доэкспериментальным признакам. Пост-тритмент метрики в качестве ковариат использовать нельзя.
• A/A-тест и фиксированность назначения. До запуска полезно убедиться, что сплит не даёт ложных различий, а объекты не переходят между группами.
• MDE, мощность и множественные сравнения. Базовая рекомендация — значимость 5% и мощность 80%. При нескольких гипотезах нужны поправки, например Бонферрони или Бонферрони–Холма.
• Длительность. Учитывайте сезонность, эффект новизны и срок вызревания метрики. Тест может быть статистически значимым, но методологически бессмысленным, если он длился три дня.

Для ускорения тестов методика предлагает стратификацию (рандомизация внутри однородных групп) и CUPED (коррекция на доэкспериментальную метрику). CUPED особенно полезен, когда поведение объекта стабильно во времени: прошлые покупки, частота обращений, средний чек. Но ковариата должна быть строго инвариантна к воздействию.

2. Квази-эксперименты. Когда рандомизация невозможна, в игру вступают switchback (переключение по временным слотам), PSM (сопоставление похожих объектов по propensity score) и synthetic control (синтетический двойник из донорских объектов). Все они слабее A/B и опираются на жёсткие допущения: отсутствие ненаблюдаемых конфаундеров, перекрытие распределений, отсутствие интерференции, хорошая аппроксимация на пре-периоде. Проверять эти допущения нужно до, а не после получения красивого эффекта.

3. Альтернативное моделирование. Самый слабый по силе причинного вывода метод. Он строит контрфакт «как было бы без ИИ» на основе бизнес-модели, исторических данных и явных допущений. Его применяют, когда эксперименты невозможны, а инициатива не приносит значимой доли эффекта. Важно: альтернативное моделирование не доказывает причинность, а даёт порядок величины при прозрачных предпосылках. Сценарии base/low/high, Монте-Карло и валидация на PnL обязательны.

На системном уровне АФИИНА добавляет факторную декомпозицию (разложение эффекта на драйверы, чтобы отделить вклад ИИ от внешних факторов) и триангуляцию — сравнение оценок, полученных разными методами. Если A/B, квази-эксперимент и моделирование дают разные ответы, это не повод выбрать удобный, а повод разобраться.

Где чаще всего завышают эффект

Самый ценный раздел методики — не про то, как считать, а про то, как не считать дважды. Выделяются пять классов потенциальных задвоений:

• Технологические и архитектурные. Каскадные и модульные модели, которые работают на один объект управления, но оцениваются по отдельности.
• Процессные. Параллельные инициативы нескольких команд с общим KPI: каждая считает эффект на один и тот же процесс.
• Методологические. Комбинированные и косвенные метрики, например LTV, где часть эффекта зависит от оттока, а часть — от скоринга.
• Операционные. Одна модель используется в нескольких процессах или каналах, и эффект считается в каждом без учёта взаимозависимости.
• Версионные. Эффект новой версии модели считается относительно отсутствия модели, а не относительно предыдущей версии. Это даёт существенное завышение.

Дополнительно методика перечисляет типовые расчётные ошибки: игнорирование расходов, учёт виртуальной экономии как реальной, неправильный бейзлайн, игнорирование каннибализации и кросс-эффектов, игнорирование долгосрочных и отложенных эффектов, статистически незначимый результат, принятый за эффект, атрибуция эффекта не тому объекту и некорректный дизайн эксперимента.

Отдельный блок — ошибки мышления. «Снятие сливок» (cherry-picking) проявляется в выборе удобного временного окна или сегмента. Моральный риск — когда команда, разрабатывавшая модель, сама определяет дизайн пилота и метрику успеха, а заказчик занижает базовый сценарий. Предвзятость подтверждения — когда неудобные сигналы объясняются сезонностью, а удачные результаты приписываются ИИ.

Есть и менее очевидные ловушки. В пилоте можно неумышленно создать «эффект снятия сливок»: в целевую группу попадают клиенты с высоким потенциалом, в контрольную — с низким, и в финансовый эффект вмешивается изначальная разница в доходности. В проде возможен отрицательный отбор: цена или условия, рассчитанные моделью, привлекают не тех клиентов, на которых она рассчитывала. А моральный риск сотрудника, который знает, что его проверяет ИИ, может увеличить количество ошибок, а не снизить их.

Вывод простой: смотреть нужно не на одну удобную метрику, а на весь процесс и распределение. Среднее может скрывать деградацию в хвосте, а рост конверсии — падение маржи.

Особые случаи: резервы, ликвидность, капитал

Эти эффекты сложнее всего отделить от бухгалтерских и регуляторных изменений. Методика посвящает им отдельные правила.

Резервы. Есть регуляторные резервы (обязательные резервы, РВПС, резервы под возможные потери) и резервы по стандартам отчётности (МСФО и РСБУ). Эффект может быть временным или постоянным, связанным с ускорением сбора просроченной задолженности или с изменением её объёма. Ключевое правило — принцип неттирования: смотреть life-time эффект, а не один отчётный период, потому что резерв сначала формируется, а потом высвобождается, и итог на горизонте жизни продукта может обнулиться. Если изменение резервов вызвано политикой банка или новыми требованиями регулятора, это не эффект ИИ.

Ликвидность. Высвобожденные деньги можно разместить по ставке overnight и получить доход. Но ставка экзогенна по отношению к ИИ, а альтернативой может быть отрицательная ставка. Кроме того, ошибка в оценке свободной ликвидности создаёт риск не исполнить обязательства и привлечь средства дороже. Это не «бесплатный» эффект.

Капитал. Расходы на капитал состоят из чистых затрат на капитал, затрат капитала на резервы и затрат на фондирование. Эффект возникает через изменение RWA, резервов и стоимости капитала. На уровне продукта это может выглядеть как рост eROE, но нужно проверить, не перекладывается ли эффект на другой продукт или юридическое лицо.

R&D и бенчмарки: не путать инвестицию с эффектом

Методика разделяет прикладной и фундаментальный R&D. Прикладной R&D имеет бизнес-заказчика, горизонт 1–3 года и метрику конверсии в продукт. Фундаментальный — научные публикации, цитируемость, горизонт до 10 лет и отсутствие гарантированного бизнес-результата. Расходы на R&D учитываются кумулятивно по технологии, а не по каждому проекту; эффект успешных проектов должен перекрывать неудачные запуски. Требовать от фундаментального R&D PnL — значит заранее убить исследовательскую повестку.

Бенчмарки в методике — это ориентиры для стратегического анализа, а не нормативы. Сравнивать себя с рынком полезно, но только с поправкой на зрелость процессов, бизнес-модель и методологию данных. В АФИИНА набор бенчмарков уже расширен по отраслям: финансы, ритейл и e-com, транспорт и логистика, ИКТ, АПК, промышленность и энергетика. Это делает стандарт применимым за пределами финансового сектора — но не отменяет главного правила: контекст важнее цифры.

Что показывают кейсы

В методике собраны кейсы Сбера, Т-Банка, Альфа-Банка, Россельхозбанка и других участников рынка. Они показывают не «магию ИИ», а дисциплину расчёта.

• Сбер, кампании продаж и приоритизация клиентов. Рандомизированный A/B-тест, дельта конверсии по продуктам сплита, база лидов и PnL каждого продукта по месяцам жизни. Пилот длился три месяца, поэтому на дельту конверсии выставлен мониторинг.
• Т-Банк, чат-бот поддержки. A/B-тест с вечным контролем: 1% клиентов без бота, 99% — с ботом. Экономия считается через время операторов: в кейсе — 2,11 млрд секунд в месяц и 433 млн рублей в месяц.
• Альфа-Банк, модель оценки долговой нагрузки. Модель дохода клиента для расчёта ПДН. Эффект выражен через eROE: 35% без модели и 58% с моделью, то есть +23 процентных пункта.
• Россельхозбанк, оценка залогов. Автоматизация оценки и переоценки профильных залогов юридических лиц. Покрытие сервиса — 50% номенклатуры, квартальное сокращение расходов на персонал и взносы даёт эффект 472,62 млн рублей.
• Сбер, AutoML для регулярной отчётности. Замена классических статистических методов прогнозирования на ML для более чем 1500 метрик. Эффект считается через трудозатраты дата-сайентистов, а не через «магию AutoML».

Общий знаменатель: у каждого кейса есть объект воздействия, бейзлайн, метод оценки, формула и период. Именно это, а не размер компании, делает расчёт защищаемым.

Чек-лист перед защитой расчёта

Если вы готовите оценку ИИ-инициативы к защите, пройдитесь по этим вопросам. Если хотя бы на один нет внятного ответа, у вас пока не расчёт, а гипотеза.

• Как процесс устроен AS IS и что именно меняется в TO BE?
• Какая лучшая ближайшая альтернатива без ИИ и почему она выбрана бейзлайном?
• Что является инкрементом и на каком объекте он измеряется?
• Все ли доходы и расходы учтены — включая поддержку, инфраструктуру и смежные подразделения?
• Учтены ли каннибализация, кросс-продажи и переток между каналами?
• Какой срок жизни продукта и окно замера эффекта?
• Есть ли контрольная группа или обоснован ли выбор квази-эксперимента?
• Достаточны ли выборка и мощность? Проверены ли SRM, баланс ковариат и A/A?
• Нет ли двойного счёта — на уровне моделей, команд, метрик или версий?
• Как учитываются резервы, ликвидность и капитал, если они затронуты?
• Кто независимо валидировал расчёт и как будет устроен мониторинг?
• Что произойдёт с эффектом при деградации модели и изменении внешних условий?