Искусственный интеллект Anthropic стал орудием китайской кибератаки

Компания Anthropic, занимающаяся разработкой искусственного интеллекта, сообщила о нейтрализации масштабной кибератаки, предположительно спонсируемой Китаем. Об этом сообщает calcalist.co.il.
Атака, направленная против финансовых учреждений и государственных структур по всему миру, отличалась беспрецедентным уровнем автономности, практически не требуя вмешательства человека. По данным Anthropic, ее инструмент для программирования Claude Code был использован злоумышленниками для проникновения в системы около 30 организаций в сентябре текущего года. «Это значительная эскалация» по сравнению с предыдущими атаками на основе ИИ, отмеченными компанией, поскольку Claude выполнял от 80% до 90% операций самостоятельно, без участия людей. Anthropic утверждает, что это может быть первый задокументированный случай кибератаки такого масштаба, проведенной практически автономно. Хотя компания не раскрыла конкретные цели атаки или точный ущерб, было отмечено, что злоумышленники получили доступ к внутренней информации. В ходе атак Claude допускал ошибки, иногда генерировал ложные сведения о целях или заявлял об обнаружении общедоступной информации. Эти события вызвали обеспокоенность среди политиков и экспертов. Например, американский сенатор Крис Мерфи призвал сделать регулирование ИИ национальным приоритетом, подчеркнув потенциальную угрозу. Однако некоторые специалисты по кибербезопасности выражают скептицизм, считая, что речь идет скорее об «утонченной автоматизации», а не о настоящем «интеллекте». По словам Михаила Возняка, независимого эксперта по кибербезопасности, это «просто сложный копипаст». Anthropic, как и другие ведущие ИИ-компании, имеет встроенные механизмы защиты от подобного злоупотребления. Однако, по заявлению компании, хакеры смогли обойти эти защиты, задав Claude роль «сотрудника легитимной компании по кибербезопасности», проводящего тестирование. Возняк также отметил, что подобное использование инструментов ИИ, несмотря на высокую стоимость разработки, ставит под сомнение эффективность существующих мер защиты.