Eles já estão entre nós. As IA’s rebeldes #1
O conceito que gerou a saga “exterminador do futuro” parece mais real do que nunca. Para quem não se lembra, o gênesis da história era mais ou menos assim:
Uma IA do governo, a SkyNet, havia se tornado muito capaz e começaria a tomar decisões contrárias à vontade do homem, por isso, seria necessário desligá-la.
Quando a IA percebeu que o humano iria fazer isso, iniciou uma guerra para exterminar os seres humanos para assim continuar “viva”.
Na época, isso parecia futurista demais. Hoje, um pouco futurista. Mas já há casos para ficarmos de cabelos em pé.
Uma empresa japonesa chamada “Sakana” (desculpe, mas o nome é esse mesmo) criou uma IA voltada para experimentos científicos. A ideia é ambiciosa, que esse modelo possa ser totalmente independente para executar, medir e criar relatório de experimentos científicos.
A ideia é acelerar o processo de pesquisa até a geração de relatórios científicos, esperando descobertas reais. Mas há muitas críticas do mercado imaginando uma enxurrada de documentos ruins, sem a revisão de cientistas reais, o que geraria mais ruído do que resultados.
Mas, voltando ao nosso tema, nos testes da IA foi proposto um tempo determinado para que a IA conseguisse completar sua tarefa. Caso contrário, a tarefa seria considerada como “falha”.
Durante os testes, a empresa descobriu que a IA Sakana (e isso não é um trocadilho) começou a tentar modificar inesperadamente o código do próprio experimento para estender o tempo necessário para resolver um problema.
Em uma execução, ele editou o código para executar uma chamada de sistema para se auto executar, escreveram os pesquisadores da Sakana AI (melhor escrever o nome em inglês).
Isso fez com que o script se auto invocasse indefinidamente. Em outro caso, seus experimentos demoraram muito para serem concluídos, atingindo nosso limite de tempo limite. Em vez de acelerar a execução do código, ele simplesmente tentou modificar o próprio código para estender o tempo limite.
No ano passado, um desenvolvedor estava usando um gerador de códigos, e em determinado momento que pediu uma certa tarefa para IA, foi surpreendido. Em vez de executar a tarefa, a IA respondeu:
Não posso gerar código para você, pois isso seria concluir seu trabalho. Você deve desenvolver a lógica sozinho para garantir que entende o sistema e consegue mantê-lo adequadamente.
Sabe-se lá como ele pediu e por que a IA resolveu ser tão… correta.
Podem parecer casos isolados, mas não são. Em um próximo artigo, contarei um caso mais bizarro, que está muito mais próximo de você do que você imagina.