Чек-лист: проверь свой аналитический отдел на необходимость управления модельными рисками
Сегодня большинство компаний переживают цифровую трансформацию: аналитические отделы становятся главными помощниками бизнеса. Соответственно, дата-сайентисты, дата-инженеры, разработчики моделей, программисты и аналитики считаются главными обладателями ценной информации в компании, ведь данные – это ценный источник знаний и путеводитель в разработке стратегии. Если у вас еще нет аналитического отдела в компании, то пора о нем задуматься. Если такой отдел есть, то давайте проверим, нужно ли ему управлять модельными рисками.
Содержание:
Чем занимается аналитический отдел
Отдел аналитики анализирует и оценивает состояние финансов в организации. В его задачи также может входить проверка выполнения плановых задач по прибыли и объемам реализации, его ликвидности и рентабельности. Более того, аналитический отдел прогнозирует финансовые показатели, управляет рисками, может оценить возможные инвестиционные проекты.
В современном мире люди используют огромное количество коммуникационных каналов для приобретения товаров или услуг. В связи с этим количество данных растет, а инструменты и технологии для обработки и управления данными развиваются. Поэтому работодатели ищут компетентных специалистов в свои отделы аналитики, а также рассматривают необходимые для их работы инструменты, чтобы умело использовать получаемые зеттабайты данных. Чтобы найти лучших сотрудников, использовать все накопленные знания о клиентах и анализировать их с помощью алгоритмов и моделей тратятся миллиарды долларов.
Что такое модельный риск
В настоящее время компании всё чаще начинают опираться на методы машинного обучения при принятии решений. Машинное обучение, в отличие от традиционных статистических методов, обычно не предполагает формализации математических основ для принятия решения. Если алгоритм выдаёт решение и это решение успешно апробировано на тестовой выборке, то его можно начинать применять. Это приводит к тому, что всё в большем количестве сфер нашей жизни начинают «бесконтрольно» применяться математические модели. Причём рост количества моделей происходит в геометрической прогрессии. Кто этим будет управлять?
Одними из первых на эту тему задумались финансовые институты, которые уже на протяжении более 50-ти лет применяют методы машинного обучения для определения кредитоспособности заёмщиков. В документе Федеральной Резервной Системы США (ФРС) SR11/7, «Регуляторные указания по управлению модельным риском» (Supervisory Guidance on Model Risk Management) сказано, что число моделей, которыми пользуются финансовые институты, неизменно увеличивается. При этом затраты на управление, разработку, валидацию и внедрение моделей тоже растут, но еще больше уходит на неожиданные последствия использования моделей, куда входят и денежные потери. В идеале такие результаты следует изучать и предотвращать в рамках управления модельным риском. Разберемся в понятиях.
Модель для регулятора – это численный метод, система или подход, который применяет статистические, экономические, финансовые или математические теории, техники и предположения для переработки входных данных в количественные оценки.
Модель содержит три элемента: входную информацию (в неё входят и допущения, и данные); вычислительные компоненты, которые трансформируют входную информацию в количественные оценки; отчётности, переводящие оценки в полезные для принятия решений сведения. Еще определение модели подразумевает количественные подходы, входная информация которых содержит или полностью опирается на качественные оценки или мнение экспертов, предполагая, что результат модели является количественной оценкой по своей природе.
Иными словами, модели упрощают представления настоящего мира. Этот процесс необходим из-за сложных природных закономерностей, но в этом и есть цель, которая заключается в привлечении внимания к конкретному и наиболее важному аспекту закономерности в рамках задачи. Однако модели несовершенные, по этой причине нужно практиковать использование надлежащих показателей качества моделей.
Использование моделей в любом случае ведет нас к модельному риску – различным последствиям от решений, основанных на неверных или неправильно интерпретированных результатах моделей. Модельный риск может привести к финансовым потерям, ошибочным решениям, неверной стратегии или к потере репутации. Что может послужить причиной реализации модельного риска?
- В модели могут быть фундаментальные ошибки. Она может производить неправильные по отношению к поставленной задаче расчёты, которые предполагают использование теории, выбор данных, численные процедуры, проведение оценок и внедрение в информационных системах. Ошибки могут случиться на любом этапе, начиная от разработки до внедрения. Более того, все сделанные предположения, допущения, упрощения могут повлиять на качество результата модели, а оно опирается на качество входных данных.
- Отличная модель, с помощью которой достигаются точные оценки в рамках поставленной задачи, может привести к высокому модельному риску, если используется не по назначению. Напомним, что модели транслируют упрощенную версию реальности, а реальность может не оправдать ожиданий и доказать безосновательность допущений, сделанных при разработке модели. Когда компании выходят на новые рынки или выводят на рынок новые продукты, то могут делать это намеренно. Однако они могут совершать это бессознательно в условиях изменения рынка или поведения клиентов. Лицам, принимающим решения, следует осознавать ограничения модели, чтобы модель применялась по назначению.
Управление модельным риском
Благодаря вашей культуре управления рисками, вы можете доверять своим сотрудникам, но как вы можете быть уверены в своих моделях? Модельный риск увеличивается вместе со сложностью моделей, уровнем неопределённости, расширением сферы применения моделей и возможным эффектом от применения модели. Переходить к управлению модельным риском стоит тогда, когда вы определите источники модельного риска и просчитаете потенциальные потери.
Принцип, которым следует руководствоваться в управлении, называется «эффективная проверка» моделей. Это критический взгляд на цель проинформированных лиц, которые могут выявить ограничения и предположения и внести необходимые изменения. Эффективная проверка зависит от сочетания мотиваций, компетенций и сфер влияния. Мотивация сильнее, если проверка отделена от процесса разработки моделей и если проверка поддерживается необходимой схемой мотивации и корпоративной культурой.
Нельзя быть застрахованными от модельного риска даже при условии, что работу выполняют высококвалифицированные специалисты и при этом проводится стабильная валидация.
Существуют иные инструменты для управления модельным риском, которыми также стоит пользоваться: лимиты на применение моделей, регулярный мониторинг качества моделей, проверка моделей по истечение определённого времени, дополнение результатов модели другой информацией и анализом.
Чек-лист отдела
Чтобы управление рисками было эффективным, предлагаем проверить вашу организацию на необходимость управления модельным риском. Ответьте на несколько вопросов:
1. Используете ли вы модели для автоматизации бизнес-процессов, управления рисками и ценообразования или андеррайтинга?
Здесь важно выяснить, пользуется ли вообще компания какими-либо моделями и для чего.
ДА
НЕТ
НЕ ЗНАЮ
2. Есть ли в вашей организации процесс для управления моделями?
ДА
НЕТ
НЕ ЗНАЮ
3. Используются ли какие-то специальные алгоритмы для оценки модели?
Иными словами, сложно ли вам определить модели, которые не работают должным образом.
ДА
НЕТ
НЕ ЗНАЮ
4. Знаете ли вы, какие входные данные используются для модели?
ДА
НЕТ
НЕ ЗНАЮ
5. Знаете ли вы, какие модели требуют внимания?
ДА
НЕТ
НЕ ЗНАЮ
6. Проводите ли вы количественную валидацию ваших моделей?
То есть, проводите ли вы тестирование моделей, используя алгоритмы количественной проверки качества моделей.
ДА
НЕТ
НЕ ЗНАЮ
7. Проводите ли вы качественную валидацию моделей?
Качественная валидация – это экспертная оценка. Она помогает прологировать, понять уровень существенности модели. Подобную валидацию нужно проводить в совокупности с количественной, так как качественная дополняет количественную по своим результатам. Тем не менее, если есть некоторые трудности по проведению обеих, можно ограничиться количественной валидацией.
ДА
НЕТ
НЕ ЗНАЮ
8. Знаете ли вы, связана ли одна модель с другой?
Можно ли понять, как влияют результаты одной на другую, третью и т.д. Можете ли вы быстро и безболезненно построить диаграмму связей моделей.
ДА
НЕТ
НЕ ЗНАЮ
9. Логируются ли недостатки и запросы на изменения моделей в вашей организации?
Зачастую при использовании модели пользователь может заметить, что она ведет себя как-то не так и производит в ней изменение. При этом недостаток не был зафиксирован. В связи с этим трудно отслеживать прогресс и выявлять, с какими показателями модель работает наиболее эффективно. Нужно логировать информацию для прохождения аудита, для людей, которые пользуются моделью, чтобы те были в курсе о произошедших или предстоящих изменениях.
Речь идет о системе логирования изменений. Например, когда валидационный тест проведен, внезапно падает один из показателей. Система реагирует и понимает, что у определенной модели просел показатель по сравнению с предыдущим. Этот недостаток зафиксировался. Его замечает ответственное лицо и назначает конкретного сотрудника ответственным по решению данного вопроса. Подобная система есть у SAS Model Risk Management.
ДА
НЕТ
НЕ ЗНАЮ
10. Создает ли ваша система отчеты, соответствующие нормативным требованиям управления рисками?
Перед промышленным использованием модели проводится оценка: происходит количественная и качественная валидация, затем модель выходит в промышленную эксплуатацию. На этом этапе модель периодически проверяют и запускают тесты, в рамках которых проверяются показатели эффективности. Пользователи изучают, как модель ведет себя на данных. Если какой-то показатель опускается, то нужно отследить его, чтобы принять решение, пользоваться им дальше, организовать перетренировку или заменить на новую версии модели. Благодаря тестам формируются отчеты. Этот этап SAS Model Risk Management также предусматривает.
Нужно понимать, что вы или ваши сотрудники тратите время на разработку модели, на тестирование, и вам еще нужно отчитываться перед вышестоящим руководством (или наоборот, получить отчеты от сотрудников). Это отнимает ценное время, которое можно было потратить на улучшение алгоритмов, подходов для решения задачи.
ДА
НЕТ
НЕ ЗНАЮ
11. Знаете ли вы, кто использует ваши модели и для чего они их используют?
Бывает, что руководитель не знает, какие модели вообще используются в организации. Представьте ситуацию: приходит бизнес-пользователь в аналитический отдел и говорит, что ему нужна модель. Разработчики начинают работать над моделью. Спустя некоторое время руководитель отдела видит, что у отдела кредитных рисков, откуда приходил бизнес-пользователь, появилась модель, где в описании модели расписана странная постановка задачи. Он пойдет узнавать, для чего используется модель. Чтобы избежать подобных ситуаций, которые неэффективно тратят время, необходим контроль всего списка используемых в компании моделей и их целей использования.
ДА
НЕТ
НЕ ЗНАЮ
12. Работают ли все четыре линии защиты вместе для обеспечения качества модели?
Четыре линии защиты – модель организационной структуры, когда есть четкое определение и разделение прав и обязанностей внутри организации. Что она из себя представляет:
Отделы моделирования с некой периодичностью проверяются риск-менеджерами и валидаторами, а внутренние аудиторы проверяют риск-менеджеров и отдел моделирования. Аудиторы проверяют весь процесс и оценку качества модели. Они оценивают то, как валидаторы оценили модели. Если что-то не так, то дают рекомендации по исправлениям. Если исправления не будут внесены к следующей проверке, то будут выписываться штрафы.
Каждая линия защиты предоставляет отчет совету директоров. Внутри совета есть установка риск аппетита – градация по тому, какая модель является критической, менее критической или не критической. Об уровне риск аппетита сообщается риск-менеджменту, которые разрабатывают план действий для улучшения модели, если потребуется. Совет директоров также работает с отчётностью и выстраивает взаимодействие между всеми сразу.
Аналитическим отделам необходимы все четыре линии защиты, потому что неправильно писать модели без оценки качества и без контроля разработки модели – так компания может понести незапланированные убытки.
Вам нужно проверить, правильно ли вы построили организационную структуру? Все ли сотрудники знают, за что они отвечают? Точно ли валидация моделей происходит независимо?
ДА
НЕТ
НЕ ЗНАЮ
Результаты:
Благодаря ответам на вопросы вы поймете, на каком уровне управления модельными рисками находится ваша организация, и примете необходимые решения для устранения выявленных пробелов.
>=11 положительных ответов, много моделей в организации (больше 10)
У вас безупречно выстроен процесс управления моделями. Вы можете им доверять!
>= 11 положительных ответов, мало моделей в организации (меньше 10)
Вам есть куда расти. Рекомендуем увеличить реестр моделей в рамках своей организации. Более того, если будете придерживаться системного и риск-ориентированного подхода к управлению моделями, вы окажитесь на высоте!
6 < положительных ответов <= 10
Вы предпринимали попытки построить процесс управления моделями в своей организации, но какие-то процессы у вас работают не так, как следовало бы. Например, возможно, у вас нет единой системы, которая позволила бы объединить все связанные процессы и их участников в единое целое. Рекомендуем вам задуматься над организацией единой системы по хранению, управлению и контролю качества моделей в компании.
<= 6 положительных ответов, много моделей в организации (больше 10)
Вам срочно стоит задуматься о пересмотре подхода к управлению моделями. У вас есть высокий риск того, что вы не сможете вовремя выявить недостатки в ваших моделях, из-за чего вы можете понести убытки или недополучить возможную прибыль. Настоятельно рекомендуем заняться построением культуры управления модельным риском в организации.
<= 6 положительных ответов, мало моделей в организации (меньше 10)
Вам пора задуматься о выстраивании структурированного процесса по управлению моделями, потому что с увеличением числа моделей будет расти и сложность их управления и контроля качества. Таким образом вы попадаете в зону риска, потому что ваши модели могут перестать адекватно работать.
Подробные сведения об управлении модельными рисками и прочая информация расположена по адресу https://www.sas.com/ru_ru/landing/mrm.html
Всегда опирайтесь на мысль о том, что ваше собственное решение добиться успеха намного важнее всего другого.
