Pesquisadores alertam que modelos de IA de código aberto são vulneráveis ??ao uso criminoso

A pesquisa, realizada em conjunto pelas empresas de ​cibersegurança SentinelOne e Censys ao longo de 293 dias ​e compartilhada exclusivamente com a ⁠Reuters, oferece uma nova perspectiva sobre a escala de casos de uso potencialmente ilícitos para ‍milhares de implementações de LLM de código aberto. Esses casos ⁠incluem invasão de sistemas, discurso de ódio e assédio, conteúdo violento ou sangrento, roubo de dados pessoais, golpes ou fraudes e, em alguns casos, material de abuso sexual infantil, afirmaram os pesquisadores.

Embora existam ⁠milhares de variantes de LLM de código aberto, uma parcela significativa dos ​LLMs em servidores acessíveis pela internet são variantes da Llama da Meta , da Gemma do Google DeepMind e de outros, de acordo com os pesquisadores. Embora alguns dos modelos de código aberto incluam mecanismos de proteção, os pesquisadores identificaram centenas de casos em ‌que esses mecanismos foram explicitamente removidos.

As discussões da indústria de IA sobre controles de segurança estão "ignorando esse tipo de capacidade excedente que está sendo claramente utilizada para todo tipo de coisa, algumas legítimas, outras obviamente criminosas", disse Juan Andres Guerrero-Saade, diretor executivo de pesquisa de inteligência e segurança da SentinelOne. Guerrero-Saade comparou a situação a um "iceberg" que não está sendo devidamente contabilizado em toda a indústria e na comunidade de código aberto.

ESTUDO EXAMINA COMANDOS DO SISTEMA

A pesquisa analisou implantações publicamente acessíveis de LLMs de código aberto implementadas por meio do Ollama, uma ferramenta que permite que pessoas e organizações executem suas próprias versões ‌de diversos modelos de linguagem de grande porte.

Os pesquisadores conseguiram uma prévia dos comandos do sistema, que são as instruções que ditam o comportamento do modelo, em aproximadamente um quarto dos LLMs que observaram. Destes, determinaram que 7,5% poderiam potencialmente permitir atividades prejudiciais.