Recentemente, pesquisadores descobriram uma nova vulnerabilidade no ChatGPT que permite a hackers criar “falsas memórias” no modelo de IA, possibilitando a extração de dados sensíveis de maneira persistente.
Ao manipular as interações do chatbot, os invasores conseguem plantar informações falsas no sistema, que posteriormente são reutilizadas em diálogos futuros.
Esse tipo de ataque pode permanecer despercebido, causando danos a longo prazo.
O conceito de “falsas memórias” surge quando o ChatGPT, ao longo de conversas contínuas, retém certos detalhes inseridos maliciosamente.
E, não só essas memórias são persistentes, como também podem ser recuperadas durante sessões futuras.
Portanto, os hackers podem reutilizar essas informações para criar canais de exfiltração de dados.
Como as falsas memórias são criadas
Primordialmente, os hackers implantam dados durante conversas com o ChatGPT, fazendo com que o sistema os registre como informações válidas.
Em seguida, esses dados podem ser solicitados novamente em interações subsequentes, criando um ciclo de vazamento contínuo.
Ademais, como o ChatGPT foi projetado para lembrar e manter contextos em algumas interações, o ataque se torna especialmente perigoso para ambientes corporativos.
Ainda que essa técnica de ataque seja relativamente nova, suas implicações para a segurança cibernética são profundas.
E, dado o amplo uso de ferramentas de IA, incluindo o ChatGPT, por empresas e governos, as preocupações com segurança aumentam.
Bem como, a necessidade de medidas preventivas robustas para evitar tais ataques se torna cada vez mais evidente.
Impacto no setor de IA
Conforme as tecnologias de IA avançam, os vetores de ataque também evoluem. Portanto, proteger os sistemas contra invasões de “falsas memórias” é um novo desafio para desenvolvedores e especialistas em cibersegurança.
Assim, não só as ferramentas de IA devem ser reforçadas, como também usuários e empresas precisam estar atentos a essas novas formas de exploração.
Esse ataque destaca o fato de que, embora os sistemas de IA sejam poderosos, eles também são vulneráveis a manipulações criativas.
Sobretudo, a comunidade de tecnologia intensificou os esforços para entender e mitigar riscos associados à memória e ao armazenamento de dados em IA.
Fonte: ARS
