Зачем

Why

LLM-агента в банке мало запустить — нужно доказать при проверке, что ему можно доверять. Демо «работает хорошо» не отвечает на главный вопрос риск-функции и регулятора: что будет с качеством, когда меняются правила, данные или сама модель.

Launching an LLM agent in a bank is not enough — you have to show an examiner that it can be trusted. A demo that "works well" does not answer the question risk and supervisors actually ask: what happens to quality when the rules, the data or the model itself change.

Каждый «нет» ниже — риск, который всплывёт на валидации модели или внешней проверке.

Every "no" below is a risk that will surface at model validation or an external review.

Как проверить это на практике

How to test it in practice

CACE-Bench — открытый синтетический бенчмарк Digital Economy Lab для LLM-агентов кредитного конвейера. Он моделирует смену трактовки комплаенс-нормы и измеряет, восстанавливается ли агент без регрессии на ранее верных кейсах. Внутри: синтетические заявки и реестр организаций (без персональных данных), размеченные трассы агентов и метрики трёх уровней из чек-листа.

CACE-Bench is Digital Economy Lab's open synthetic benchmark for LLM credit-pipeline agents. It simulates a change in how a compliance rule is interpreted and measures whether the agent recovers without regressing on previously correct cases. Inside: synthetic applications and an organisation registry (no personal data), labelled agent traces and the three metric tiers from this checklist.