Компания Anthropic, специализирующаяся на разработке искусственного интеллекта, совместно с Министерством энергетики США проводит уникальные испытания своей модели Claude 3 Sonnet. Целью эксперимента является проверка способности ИИ «не делиться» потенциально опасной информацией, связанной с ядерной энергетикой, в частности, с созданием оружия.
Источник изображения: Copilot
Как стало известно изданию Axios, специалисты из Национального управления ядерной безопасности (NNSA) при Министерстве энергетики США с апреля этого года проверяют модель Claude 3 Sonnet, чтобы убедиться, что она не может быть использована для создания атомного оружия. В ходе «красных запросов» эксперты манипулируют системой, пытаясь её «сломать».
По словам Anthropic, подобные тесты, проходящие в совершенно секретной среде, являются первыми в своём роде и могут открыть путь для аналогичных взаимоотношений с другими государственными структурами. «В то время как американская промышленность лидирует в разработке передовых ИИ-моделей, федеральное правительство приобретает уникальный опыт, необходимый для оценки систем искусственного интеллектана предмет определенных рисков для национальной безопасности», — заявила руководитель отдела политики национальной безопасности Anthropic Марина Фаваро (Marina Favaro).
Представители NNSA также подчеркнули важность работы в этом направлении. Вендэн Смит (Wendin Smith), заместитель администратора NNSA, заявила, что ИИ является «одной из ключевых технологий, которая требует постоянного внимания в контексте национальной безопасности».
Anthropic планирует и дальше продолжить сотрудничество с правительством, чтобы разработать более надёжные меры безопасности для своих систем. Пилотная программа, в рамках которой тестируется также более новая модель Claude 3.5 Sonnet, продлится до февраля 2024 года. Компания обещает поделиться результатами тестирования с научными лабораториями и другими организациями.
