Uma nova e engenhosa vulnerabilidade no Google Gemini para Workspace demonstra como a inteligência artificial pode ser manipulada para fins maliciosos. Investigadores descobriram que a ferramenta pode ser explorada para gerar resumos de email que, embora pareçam legÃtimos, contêm avisos ou instruções perigosas que encaminham os utilizadores para sites de phishing, tudo isto sem recorrer a anexos ou links diretos no corpo do email.
Este tipo de ataque tira partido de “injeções de prompt indiretas”, que são comandos escondidos dentro de um email e que o Gemini obedece ao criar o resumo da mensagem. Apesar de ataques semelhantes terem sido reportados desde 2024 e de várias salvaguardas terem sido implementadas para bloquear respostas enganosas, esta técnica continua a ser eficaz.
Como funciona este ataque “invisÃvel”?
O ataque de injeção de prompt contra o modelo Gemini da Google foi divulgado pelo investigador Marco Figueroa, através do 0din, o programa de bug bounty da Mozilla para ferramentas de IA generativa. O processo é surpreendentemente simples e eficaz.
Um atacante cria um email com uma diretiva maliciosa invisÃvel para o utilizador comum. A instrução é escondida no final do corpo do texto utilizando código HTML e CSS, que define o tamanho da fonte como zero e a cor como branca. Desta forma, o texto malicioso não é visÃvel na interface do Gmail. Como a mensagem não contém anexos nem links suspeitos, tem uma alta probabilidade de passar pelos filtros de spam e chegar à caixa de entrada do alvo.
O perigo de confiar cegamente na IA
O verdadeiro perigo reside na fase seguinte. Se o destinatário abrir o email e pedir ao Gemini para gerar um resumo, a ferramenta de IA da Google irá analisar todo o conteúdo da mensagem, incluindo a diretiva invisÃvel, e segui-la à risca.
Num exemplo fornecido por Figueroa, o Gemini obedeceu à instrução oculta e incluiu no seu resumo um falso aviso de segurança. O alerta afirmava que a palavra-passe do Gmail do utilizador tinha sido comprometida e fornecia um número de telefone de suporte para o qual ligar – um número controlado pelos atacantes.
Dado que muitos utilizadores confiam nas respostas do Gemini como uma funcionalidade integrada e segura do Google Workspace, a probabilidade de considerarem este alerta como um aviso legÃtimo, em vez de uma armadilha, é perigosamente elevada.
Como proteger-se deste tipo de ataques
Para combater esta ameaça, Figueroa sugere algumas medidas de deteção e mitigação que as equipas de segurança podem aplicar. Uma abordagem passa por remover, neutralizar ou simplesmente ignorar qualquer conteúdo que esteja estilizado para permanecer oculto no corpo do texto de um email.
Outra solução seria implementar um filtro de pós-processamento que analise os resultados gerados pelo Gemini. Este filtro poderia procurar por mensagens de caráter urgente, URLs ou números de telefone, sinalizando a mensagem para uma revisão mais aprofundada antes de ser apresentada ao utilizador.
Para os utilizadores finais, a principal recomendação é manter um certo ceticismo. É crucial estar ciente de que os resumos gerados por IA, como os do Gemini, não devem ser considerados como a autoridade final no que toca a alertas de segurança. Em caso de dúvida, a melhor prática é sempre verificar a informação através dos canais oficiais e nunca confiar cegamente num alerta inesperado.
from TugaTech https://ift.tt/Fhrx0Et
https://ift.tt/0lnqXHm
Share your thoughts here.