Специалисты российской компании Smart Engines разработали первую в России мультимодальную модель искусственного интеллекта для борьбы с поддельными документами. “Шерлок 2o” проверяет документы всех стран на подлинность по 600 параметрам и детектирует сложные подделки в любых каналах обслуживания. Принятые решения модель объясняет понятным для пользователя языком.  

Мультимодальные модели представляют собой самый прогрессивный класс нейросетевых архитектур, способных одновременно обрабатывать разные типы входных данных – текст, изображения, аудио, видео.  На быстрорастущем рынке мультимодального ИИ (оценен в $1,6 млрд) Россия до недавнего времени была представлена преимущественно разработками на базе больших языковых моделей.

Исследователи Smart Engines совершили прорыв, представив технологию в области мультимодальной форензики. “Шерлок 2o” способен одновременно работать с изображениями документов из оптического, ультрафиолетового и инфракрасного спектров, видео-последовательностями с документом, текстовыми полями, данными с бесконтактной RFID микросхемы, штрих-кодами, метаданными и сигнатурами. Даже если часть информации отсутствует, "Шерлок 2o” сохраняет высокую точность детекции подделки.

При этом модель воспринимает документ не как набор разрозненных данных, а как единую взаимосвязанную систему. “Шерлок 2o” анализирует не только все страницы и элементы по отдельности, но и логические связи между ними. Модель выявляет даже скрытые несоответствия – например, нарушения в нумерации страниц, различия в микрошрифтах или неочевидные расхождения между данными RFID-чипа и визуальной информацией.

Комплексный подход позволяет выявлять сложные подделки, где могут быть заменены отдельные страницы или переклеена фотография, нарушена последовательность элементов защиты или присутствуют микроскопические расхождения в оформлении. ИИ также детектирует подделки, созданные с применением дипфейк-технологий.
Соответствие закону обеспечивается как на этапе обучения ИИ, так и во время работы системы у клиента. “Шерлок 2o” работает в контуре у заказчика без использования GPU, при этом документы и данные ни в каком не передаются на обработку в сторонние сервисы, облачным верификаторам, на краудсорсинговые платформы.

«Сегодня во всем мире наблюдается тренд на разработку мультимодальных продуктов. Однако в отличие от уже известных систем, базирующихся на больших языковых моделях, технология Smart Engines использует возможности мультимодального ИИ для решения важнейшей прикладной задачи – защиты от мошеннических атак. Система может использоваться в любых сценариях, требующих предоставления документов – в банках, МФО, страховых компаниях, госсекторе», – комментирует генеральный директор Smart Engines, доктор технических наук Владимир Арлазаров.