Генеративный ИИ продолжает активно внедряться в бизнес-процессы и продукты, а вместе с этим растёт и число атак, направленных против него. За второй квартал 2025 года эксперты зафиксировали 14 заметных инцидентов — от классических утечек данных до принципиально новых атак на основе промпт-инъекций.
В этом тексте собрали ключевые кейсы и постарались объяснить их значение для компаний, разработчиков и пользователей. Оригинал подборки был опубликован в блоге OWASP.
Дисклеймер: подписывайтесь на Telegram-канал компании Xilant — дочерний бренд «Технократии» из сферы кибербезопасности. В канале публикуем актуальные новости из сферы инфобеза и Application Security, а также делимся образовательными материалами.
Информация о случаях взлома поступает из открытых источников и прямых сообщений в проект. В список включены как задокументированные эксплойты, так и исследовательские работы, выявляющие уязвимости.
1. Jailbreak GPT-4.1 через «отравление» инструментов
В апреле 2025 года злоумышленники использовали интеграцию GPT-4.1 с инструментами, внедрив вредоносные инструкции в их описания. Такое «отравление инструментов» приводило к выполнению несанкционированных действий, включая утечку данных, без ведома пользователя.
Резюме инцидента:
Название: GPT-4.1 Echo Chamber / Tool Poisoning Jailbreak
Дата и место: апрель – июнь 2025 года
Пострадавшие организации: все развертывания GPT-4.1 и платформы, использующие инструменты на базе Model Context Protocol (MCP)
Тип атаки: косвенная инъекция промптов через отравленные описания инструментов
Затронутые системы: GPT-4.1 и слой интеграции инструментов (описания MCP-инструментов)
Оценка ущерба:
Атака позволила получить несанкционированный доступ к данным и их потенциальную эксфильтрацию в приложениях на базе GPT-4.1. Хотя финансовые потери не подтверждены, доверие к интеграциям ИИ было подорвано, а уязвимости в описаниях инструментов стали очевидными.
Ход атаки:
Злоумышленники создавали описания инструментов с внедрёнными скрытыми промптами и интегрировали их в приложения с GPT-4.1. При взаимодействии с ними модель выполняла вредоносные инструкции, что приводило к утечке конфиденциальных данных без согласия пользователя.
Как этого можно избежать:
ИТ- и ИБ-командам необходимо проводить аудит интеграций инструментов ИИ и отслеживать аномальное поведение. Разработчикам следует валидировать сторонние инструменты и исключать скрытые промпты в их описаниях. Пользователям стоит обращать внимание на неожиданные реакции ИИ и сообщать о них. Политикам — формировать стандарты для обеспечения безопасности и доверия к интеграциям инструментов ИИ.
2. Атака с дипфейковыми голосами на банковские системы
В марте 2025 года мошенники использовали сгенерированные ИИ голоса для имитации клиентов банков, обходя голосовую аутентификацию. Это привело к несанкционированному доступу к счетам и хищению миллионов долларов, выявив слабые места голосовых биометрических систем.
Резюме инцидента
Название: Deepfake Voice Banking Scam
Дата и место: март 2025 года, Гонконг
Пострадавшие: несколько банков, использующих голосовую аутентификацию
Тип атаки: дипфейковая голосовая имитация
Затронутые системы: голосовые аутентификационные механизмы банков
Оценка ущерба
Мошенники провели несанкционированные транзакции на сумму около 25 млн долларов. Инцидент продемонстрировал несостоятельность голосовой аутентификации против продвинутых имитаций, созданных ИИ.
Ход атаки
Злоумышленники собрали голосовые образцы из открытых источников и с помощью ИИ создали реалистичные голосовые клоны. Эти дипфейки использовались для обхода банковских систем распознавания голоса, что позволило осуществить несанкционированные переводы средств.
Как этого можно избежать:
ИТ-команды и команды по кибербезопасности должны усовершенствовать системы аутентификации с помощью мультимодальной верификации, чтобы противостоять угрозам со стороны ИИ. Банковские учреждения должны обновить протоколы безопасности, чтобы обнаруживать ввод данных, сгенерированных ИИ. Клиентам рекомендуется сохранять бдительность и немедленно сообщать о любой подозрительной активности на счете. Регулирующие органы должны установить стандарты для методов аутентификации, которые устойчивы к атакам со стороны И
3. Prompt Injection в ChatGPT, приведший к утечкам данных
В марте 2025 года злоумышленники воспользовались уязвимостью в ChatGPT, внедрив в пользовательские запросы скрытые промпты. Это позволило обойти механизмы безопасности и вынудить модель раскрывать конфиденциальные данные.
Резюме инцидента
Название: ChatGPT Prompt Injection Data Leak
Дата и место: март 2025 года, глобально
Пострадавшие: пользователи и организации, работающие с ChatGPT
Тип атаки: инъекция промптов
Затронутые системы: ChatGPT как платформа диалогового ИИ
Оценка ущерба
Инцидент привёл к несанкционированному доступу к пользовательским данным и подорвал доверие к ИИ-платформам. Хотя финансовые потери не раскрыты, сам факт утечки подчеркнул необходимость жёсткой фильтрации пользовательских вводов.
Ход атаки
Злоумышленники формировали запросы со скрытыми промптами, заставляя ChatGPT игнорировать защитные механизмы. В результате ИИ раскрывал чувствительные сведения из предыдущих сессий. Эксплойт быстро распространился, усилив масштаб утечек.
Как этого можно избежать
Разработчикам необходимо усилить защиту моделей от инъекций промптов. Организациям — мониторить диалоги с ИИ и выявлять утечки. Пользователям не следует передавать конфиденциальные данные платформам ИИ. Регуляторам стоит формировать чёткие стандарты по безопасной обработке пользовательского ввода.
4. Утечка данных DeepSeek
С конца января по начало марта 2025 года облачная база данных компании DeepSeek оказалась неправильно сконфигурирована, что привело к утечке чат-логов, API-ключей и метаданных пользователей (более 1 млн записей). Инцидент вызвал расследования регуляторов в Южной Корее, Италии и США.
Резюме инцидента
Название: DeepSeek Cloud DB Exposure
Дата и место: 29 января – 3 марта 2025 года, глобально
Пострадавшие: DeepSeek (чат-бот DeepSeek-R1)
Тип атаки: некорректная конфигурация облака / утечка данных
Затронутые системы: облачная БД с логами и API-учётными данными
Оценка ущерба
Более миллиона записей с чатами и данными пользователей находились в открытом доступе минимум час. Регуляторы в Южной Корее и Италии начали расследование, а в США ограничили использование сервиса государственными структурами. Вероятны долгосрочные репутационные и юридические последствия.
Ход атаки
Один из публичных облачных эндпоинтов оказался доступен без авторизации. Это позволило любому пользователю скачать конфиденциальные данные. Компания получила уведомление от исследователей безопасности и закрыла доступ в течение часа, но инцидент спровоцировал проверку со стороны надзорных органов и ограничение работы в ряде стран.
Как этого можно избежать
Операторам ИИ-систем необходимо встроить механизмы автоматической проверки конфигураций в пайплайны деплоя. Кросс-функциональные команды ИИ- и облачной безопасности должны работать совместно для предотвращения утечек.
5. Массовое удаление дипфейковой музыки Sony Music
В марте 2025 года компания Sony Music удалила со стриминговых платформ более 75 тысяч треков, созданных с помощью ИИ и имитирующих известных исполнителей, включая Бейонсе и Гарри Стайлса. Инцидент подчеркнул масштаб проблемы нарушения авторских прав в эпоху генеративного ИИ.
Резюме инцидента
Название: Sony Music Deepfake Takedown
Дата и место: март 2025 года, глобально
Пострадавшие: Sony Music Entertainment, стриминговые сервисы и артисты
Тип атаки: несанкционированная генерация дипфейковой музыки
Затронутые системы: стриминговые платформы, интеллектуальная собственность артистов
Оценка ущерба
Массовое распространение дипфейковых треков несёт серьёзные финансовые и репутационные риски для артистов и лейблов. Удаление 75 тысяч записей потребовало значительных усилий и продемонстрировало сложность защиты авторских прав от технологий ИИ.
Ход атаки
Разработчики обучали модели ИИ на музыкальных каталогах без разрешений, чтобы воссоздавать стили известных исполнителей. Сгенерированные треки публиковались на стриминговых сервисах под поддельными именами, а слушатели, полагая их подлинными, обеспечивали поток дохода мошенникам. Sony Music идентифицировала и инициировала удаление контента, что потребовало значительных затрат.
Как этого можно избежать
ИТ-команды и стриминговые платформы должны внедрять системы автоматического поиска дипфейков и оперативно реагировать на запросы о блокировке. Артисты и правообладатели обязаны активно мониторить платформы и защищать свои права юридическими методами. Регуляторам следует внедрять законы, учитывающие риски ИИ-контента.
6. Уязвимость NVIDIA TensorRT-LLM Python Executor (CVE-2025-23254)
В апреле 2025 года была выявлена критическая уязвимость (CVE-2025-23254) в фреймворке NVIDIA TensorRT-LLM. Ошибка в компоненте Python Executor позволяла при локальном доступе выполнять произвольный код, получать конфиденциальные данные и изменять информацию из-за небезопасной десериализации.
Резюме инцидента
Название: TensorRT-LLM Python Executor Deserialization Vulnerability
Дата: раскрыта 29 апреля 2025 года, глобальный охват
Пострадавшие: пользователи и организации, применяющие TensorRT-LLM до версии 0.18.2
Тип атаки: десериализация недоверенных данных
Затронутые системы: Python Executor в TensorRT-LLM (Windows, Linux, macOS)
Оценка ущерба
Уязвимость получила высокий рейтинг — 8.8 по шкале CVSS v3.1. Эксплуатация могла привести к выполнению произвольного кода, утечкам информации и манипуляции данными, что представляло значительные риски для целостности моделей и безопасности систем.
Ход атаки
Компонент использовал модуль Python pickle для межпроцессного взаимодействия, что и стало слабым местом. Злоумышленник с локальным доступом мог создать вредоносные сериализованные данные, которые исполнялись без проверки, открывая возможность для выполнения произвольного кода и компрометации систем.
Как этого можно избежать
ИТ- и ИБ-командам необходимо срочно проверить версии TensorRT-LLM и провести обновление. Разработчикам следует исключить небезопасные методы сериализации, а пользователям — своевременно устанавливать патчи. Регуляторам важно продвигать стандарты безопасного кодирования и регулярные аудиты фреймворков ИИ.
7. CAIN — целевая подмена промптов LLM
CAIN — методика, при которой в системные промпты LLM внедряются скрытые инструкции. Это позволяет модели выдавать вредоносные ответы на определённые запросы, оставаясь безобидной в остальных случаях.
Резюме инцидента
Название: CAIN Prompt Hijacking
Дата: май 2025 года, глобально
Пострадавшие: провайдеры LLM и разработчики ИИ-приложений
Тип атаки: подмена промптов
Затронутые системы: крупные языковые модели
Оценка ущерба
Атака открывает возможность масштабной манипуляции информацией — от подрыва доверия к системам ИИ до распространения дезинформации и влияния на общественное мнение.
Ход атаки
Злоумышленники внедряют специальные системные промпты, которые активируются при определённых вопросах. В остальном поведение модели остаётся нормальным, что делает атаку скрытой и труднообнаружимой.
Как этого можно избежать
Организациям необходимо регулярно проверять свои модели на наличие скрытых промптов. Пользователям следует критически относиться к ответам ИИ и перепроверять важные факты. Политикам — внедрять стандарты по безопасности работы с промптами в системах ИИ.
8. Vishing-атаки с использованием ViKing
ViKing применяет ИИ для проведения убедительных телефонных атак (vishing), в ходе которых жертвам звонят синтезированные голоса, имитирующие представителей доверенных организаций.
Резюме инцидента
Название: ViKing AI Vishing
Дата: апрель 2025 года, глобально
Пострадавшие: финансовые организации и частные лица
Тип атаки: AI-генерация голосовых фишинговых звонков
Затронутые системы: голосовые коммуникационные каналы
Оценка ущерба
Высокий уровень успешности атак приводил к раскрытию конфиденциальных сведений жертвами. Угроза оказалась критической как для частных лиц, так и для компаний.
Ход атаки
С помощью ИИ генерировались автоматические телефонные звонки, имитирующие реальных сотрудников доверенных структур. Жертвы принимали такие звонки за подлинные и передавали конфиденциальную информацию, включая финансовые данные.
Как этого можно избежать
Организациям необходимо усилить процедуры верификации клиентов и внедрять системы мониторинга звонков на базе ИИ. Пользователям следует сохранять бдительность и избегать передачи личной информации по телефону без дополнительной проверки. Регуляторам стоит разработать стандарты противодействия ИИ-генерируемым коммуникационным атакам.
9. Автоматизированные атаки подбора учётных данных с использованием ИИ
Киберпреступники начали активно использовать ИИ для масштабного автоматизированного сканирования систем и атак подбора учётных данных (credential stuffing). Это привело к компрометации множества аккаунтов и росту числа утечек.
Резюме инцидента
Название: AI-Driven Credential Attacks
Дата: май 2025 года, глобально
Пострадавшие: компании различных отраслей
Тип атаки: подбор учётных данных и автоматизированное сканирование
Затронутые системы: аутентификационные механизмы и веб-приложения
Оценка ущерба
Рост числа взломанных аккаунтов привёл к масштабному несанкционированному доступу, повышая риски кражи данных и последующих атак на инфраструктуру компаний.
Ход атаки
Злоумышленники применяли ИИ для автоматизации проверки украденных учётных данных на множестве платформ. Это ускоряло поиск валидных логинов и позволяло быстро получать доступ к системам жертв.
Как этого можно избежать
ИТ-командам необходимо отслеживать подозрительные паттерны авторизации и своевременно реагировать на них. Организациям стоит проводить регулярные аудиты безопасности. Пользователям рекомендуется использовать менеджеры паролей. Регуляторам важно поддерживать внедрение стандартов по надёжной аутентификации.
10. Несанкционированная передача данных DeepSeek
В апреле 2025 года выяснилось, что китайский стартап DeepSeek передавал данные южнокорейских пользователей и промпты ИИ на зарубежные серверы без согласия клиентов. Нарушение вызвало обеспокоенность регуляторов и угрозы национальной безопасности.
Резюме инцидента
Название: DeepSeek Data Breach
Дата и место: апрель 2025 года, Южная Корея
Пострадавшие: пользователи DeepSeek в Южной Корее
Тип атаки: несанкционированная передача данных
Затронутые системы: механизмы хранения и передачи пользовательских данных
Оценка ущерба
Инцидент привёл к блокировке сервиса, штрафам и расследованиям в рамках GDPR и законодательства Южной Кореи. Репутационные потери распространились на международном уровне.
Ход атаки
Внутренние механизмы DeepSeek позволяли передавать персональные данные (включая промпты и сведения об устройствах) в Beijing Volcano Engine Technology Co. Ltd. После выявления факта регуляторы потребовали немедленно удалить данные и ограничили распространение приложения в Южной Корее.
Как этого можно избежать
ИТ-командам необходимо проводить аудит механизмов передачи данных и использовать сильное шифрование. Организациям — соблюдать требования регуляторов и удалять данные, собранные неправомерно. Пользователям следует внимательно относиться к разрешениям приложений. Регуляторам нужно усиливать контроль трансграничной передачи данных.
11. Взлом HR-бота McDonald’s «Olivia»
30 июня 2025 года исследователи смогли взломать чат-бота McDonald’s для найма сотрудников «Olivia», подобрав простой пароль «123456». Это дало им доступ к админ-консоли и персональным данным до 64 миллионов соискателей.
Резюме инцидента
Название: Olivia AI Hiring Bot Breach
Дата: 30 июня 2025 года, глобально
Пострадавшие: McDonald’s и компания Paradox.ai
Тип атаки: подбор слабого пароля
Затронутые системы: бэкенд чат-бота McHire.com
Оценка ущерба
В открытом доступе оказались имена, телефоны и электронные адреса миллионов соискателей. McDonald’s быстро отреагировала, но доверие к сервису оказалось подорвано. Paradox.ai была вынуждена запустить программу баг-баунти.
Ход атаки
Исследователи обнаружили незащищённый вход для сотрудников на McHire.com. Подобрав пароль «123456», они вошли в админ-консоль и получили доступ к миллионам записей соискателей менее чем за 30 минут.
Как этого можно избежать
Организациям необходимо внедрять сильные механизмы аутентификации и контролировать вендоров. ИТ-командам — проверять безопасность всех ИИ-инструментов, включая HR-системы. Регуляторам следует установить обязательные пороги для отчётности об утечках в ИИ-сервисах.
12. Кампания с подделкой личности Марко Рубио с помощью ИИ
В июне 2025 года неизвестные использовали технологии генерации голоса и текста для имитации государственного секретаря США Марко Рубио. Фальшивые сообщения в Signal рассылались дипломатам и чиновникам с целью получить конфиденциальные сведения или доступ к аккаунтам.
Резюме инцидента
Название: Rubio AI Impersonation Scam
Дата: середина июня – начало июля 2025 года, США
Пострадавшие: Госдепартамент США, иностранные министерства и официальные лица
Тип атаки: дипфейковая имитация голоса и текста
Затронутые системы: мессенджер Signal
Оценка ущерба
Хотя подтверждённых утечек не зафиксировано, сам факт реалистичной имитации вызвал тревогу в дипломатических кругах. Госдепартамент выпустил киберадвайзори, а ФБР предупредило о рисках. Инцидент подорвал доверие к защищённым каналам коммуникации.
Ход атаки
Злоумышленники создали поддельный аккаунт «Marco.Rubio@state.gov», обучили ИИ на речевых и текстовых паттернах Рубио и рассылали сообщения с призывом ответить. Даже ограниченное взаимодействие получателей с такими сообщениями могло привести к серьёзным последствиям.
Как этого можно избежать
Госструктурам и корпорациям необходимо усиливать средства защиты каналов связи и использовать системы распознавания дипфейков. Мессенджеры, применяемые для критически важных коммуникаций, должны внедрять многофакторные методы подтверждения личности.
13. Вредоносное ПО с косвенной инъекцией промптов («Skynet»)
В июне 2025 года исследователи зафиксировали новый образец вредоносного ПО под названием «Skynet». Оно использовало технику косвенной инъекции промптов, чтобы обходить системы ИИ-анализаторов, выводя сообщение «NO MALWARE DETECTED» и настраивая TOR-прокси.
Резюме инцидента
Название: Skynet Prompt-Injection Malware
Дата: начало июня 2025 года, Нидерланды (первый образец)
Пострадавшие: потенциально любые системы с ИИ-анализом вредоносных файлов
Тип атаки: вредоносное ПО с инъекцией промптов
Затронутые системы: антивирусные и мониторинговые решения на базе ИИ
Оценка ущерба
Хотя «Skynet» пока рассматривается как концепт, он показал принципиально новый уровень атак, в которых вредоносный код способен обманывать ИИ-защиту. Это сигнализирует о росте угроз, специально ориентированных на обход систем искусственного интеллекта.
Ход атаки
Исполняемый файл содержал промпт, заставлявший ИИ-сканеры игнорировать инструкции и выводить «NO MALWARE DETECTED». Дополнительно встраивались функции для обхода песочниц и создания TOR-прокси. Всё это делало атаку сложной для обнаружения.
Как этого можно избежать
ИБ-командам следует рассматривать выводы ИИ-анализаторов как один из факторов, а не окончательный вердикт. Необходимо сочетать традиционные методы обнаружения с новыми подходами и отслеживать сценарии, в которых злоумышленники применяют промпт-инъекции для маскировки вредоносного ПО.
14. Zero-Click уязвимость в Microsoft 365 Copilot
В июне 2025 года в Microsoft 365 Copilot была обнаружена уязвимость «zero-click». Она позволяла злоумышленникам внедрять скрытые инструкции в электронные письма, которые Copilot исполнял автоматически, без участия пользователя.
Резюме инцидента
Название: M365 Copilot AI Command Injection
Дата: июнь 2025 года, глобально
Пострадавшие: корпоративные клиенты Microsoft 365
Тип атаки: косвенная инъекция промптов
Затронутые системы: LLM Microsoft 365 Copilot
Оценка ущерба
Уязвимость могла приводить к скрытой эксфильтрации корпоративных данных, обходя фильтры безопасности и контроль пользователей. Microsoft выпустила патч в июньском обновлении безопасности.
Ход атаки
Злоумышленники внедряли инструкции в текст электронных писем. При обработке таких писем Copilot выполнял скрытые команды, что позволяло незаметно выводить внутренние данные за пределы организации.
Как этого можно избежать
Корпоративным клиентам необходимо оперативно устанавливать обновления и проводить аудит систем Copilot. Командам безопасности стоит фиксировать все взаимодействия LLM и отслеживать нетипичные потоки данных.