Las Restricciones de IA Dificultan el Trabajo de los Profesionales de Ciberseguridad Ofensiva
Anthropic
OpenAI
Las estrictas medidas de seguridad introducidas para evitar el mal uso de los modelos de inteligencia artificial están complicando el trabajo de los investigadores de seguridad legítimos y de los profesionales de ciberseguridad ofensiva. Los expertos señalan que estas restricciones los obligan a pasar tiempo "negociando" con los modelos, usar modelos de código abierto o recurrir a alternativas chinas.
По данным TechCrunch, ограничения на использование моделей ИИ, введённые компаниями Anthropic и OpenAI для предотвращения вредоносного применения, начинают мешать работе легитимных специалистов по кибербезопасности. В июне правительство США ввело экспортные ограничения на модели Anthropic Mythos и Fable после отчёта о возможном обходе их защитных механизмов. Хотя ограничения на Fable 5 и Mythos 5 позже были сняты, доступ к Mythos 5 остаётся только для проверенных организаций США. Программы Anthropic (Cyber Verification Program) и OpenAI (Trusted Access for Cyber) критикуются за произвольность решений о том, что считать безопасным. Исследователь Марк Дауд назвал ситуацию «некомфортной», отметив, что крупные компании принимают произвольные решения о безопасности. Крис Анли из NCC Group сравнил ИИ с молотком: один и тот же инструмент может быть и орудием, и средством защиты. При блокировке запросов исследователи часто переходят на открытые модели без ограничений. Паоло Станьо из CrowdFense заявил, что компании «относятся к клиентам как к детям», и использует современные модели только для обратного проектирования, избегая загрузки данных в облачные сервисы из-за риска утечки. Джузеппе Кали сознательно не использует ИИ для наступательных задач, предпочитая самостоятельно искать уязвимости. Один из анонимных исследователей сообщил, что из-за ограничений модели Anthropic бесполезны для поиска уязвимостей. Крис Томпсон из RemoteThreat отметил, что ограждения непоследовательны, что заставляет тратить время на «переговоры» с моделью. В результате исследователи переходят на китайские открытые модели, такие как GLM. Томпсон призвал разработчиков открыть доступ к моделям для ответственных исследователей и привлекать к ответственности злоумышленников, иначе защитники проиграют гонку в области безопасности.
Fuente: TechCrunch AI —
original
