Зачем

Why

LLM-агента в банке мало запустить — нужно доказать при проверке, что ему можно доверять. Демо «работает хорошо» не отвечает на главный вопрос риск-функции и регулятора: что будет с качеством, когда меняются правила, данные или сама модель.

Launching an LLM agent in a bank is not enough — you have to show an examiner that it can be trusted. A demo that "works well" does not answer the question risk and supervisors actually ask: what happens to quality when the rules, the data or the model itself change.

Каждый «нет» ниже — риск, который всплывёт на валидации модели или внешней проверке.

Every "no" below is a risk that will surface at model validation or an external review.

Как проверить это на практике

How to test it in practice

CACE-Bench — открытый синтетический бенчмарк Digital Economy Lab для LLM-агентов кредитного конвейера. Он моделирует смену трактовки комплаенс-нормы и измеряет, восстанавливается ли агент без регрессии на ранее верных кейсах. Внутри: синтетические заявки и реестр организаций (без персональных данных), размеченные трассы агентов и метрики трёх уровней из чек-листа. С версии 0.7.0 тот же тест есть и на 1 000 реальных обезличенных заявках из открытого набора German Credit, с разрезом ошибок по полу и возрасту.

CACE-Bench is Digital Economy Lab's open synthetic benchmark for LLM credit-pipeline agents. It simulates a change in how a compliance rule is interpreted and measures whether the agent recovers without regressing on previously correct cases. Inside: synthetic applications and an organisation registry (no personal data), labelled agent traces and the three metric tiers from this checklist. Since v0.7.0 the same test also runs on 1,000 real, anonymised applications from the public German Credit data set, with error gaps by sex and age.