A IA e suas inconsistências

Ah, o marketing é uma maravilha, e uma desgraça ao mesmo tempo!

Comecei a notar isso quando, há muitos anos, fiz minha pós-graduação em marketing. Sou engenheiro e logo descobri que o chip da tecnologia que eu já tinha e o do marketing que eu tentava instalar, causariam conflitos.

Notamos isso claramente hoje quando falamos de inteligência artificial. Há várias questões que podemos abordar aqui (e talvez valha escrever outros artigos sobre isso), entre elas: se tudo o que se vende como IA é IA mesmo ou se existem coisas hoje chamadas de IA, mas que tinham outros nomes antigamente.

O que é curioso é percebermos que uma das tecnologias mais avançadas da história do mundo, faturando bilhões de dólares todos os dias, divulguem sem qualquer atenção dos seus usuários algo como:

“As respostas fornecidas por nossa IA podem estar erradas.”

Pode olhar em qualquer assistente de IA, vai estar lá no cantinho escrito para você ver.

Me imagino fazendo uma aplicação corporativa há 10 anos atrás utilizando este “disclaimer”: 

Nossos resultados podem não estar certos. 

Certamente teríamos já sido por ter processados.

Nessa época, quando a gente definia o que era um sistema informatizado, usávamos este chart:

A função de nossos desenvolvedores era criar um algoritmo que, com base nas entradas de dados recebidas, gerasse uma resposta desejada. Após um conjunto de testes unitários e testes integrados, poderíamos afirmar, com alguma garantia, que a resposta seria sempre certa. Todos já fizemos perguntas como:

Calculou certo até agora, se ninguém mexeu, por que calcularia errado agora?

As soluções simples que utilizam inteligência artificial, principalmente aquelas que usam modelos de conversação LLM, podem ser expressas em um diagrama muito parecido como este aqui embaixo:

Familiar, não?

Contudo, apesar de toda a tecnologia de inteligência artificial que estamos conhecendo, existe um problema que poucos estão prestando atenção: 

A falta de consistência das respostas da inteligência artificial.

Nos projetos que estamos trabalhando, isso tem sido um dos grandes desafios. É verdade que você pode alterar um certo “índice de criatividade”, solicitando respostas menos variáveis. Apesar disso, variações no modo de formular uma mesma questão podem obter respostas bastante diferentes. 

Isso não é um problema para um usuário que está fazendo perguntas genéticas para o GPT, mas um problemão se estivermos usando IA para dar um suporte técnico ou tentando fazer uma venda automatizada. Imagine uma resposta errada numa hora dessas, sugerindo ao usuário apagar seus arquivos ou dando, como já aconteceu, descontos proibitivos.

E nem estou falando aqui dos casos que chamamos de “alucinação”, quando o modelo responde com uma certeza absoluta o que está redondamente errado (parece aquele meu amigo quando fala de política). Digo aqui apenas de variações de respostas.

E aí vivemos um dilema interessante: 

Antes, com menos tecnologia, conseguimos garantir mais precisão do que agora.

Antes que alguém diga, me refiro aqui às soluções simplistas utilizando modelos LLM. Em modelos especialistas, normalmente, acompanhando com o resultado, temos algum “índice de certeza” onde o próprio modelo nos diz se podemos confiar em suas respostas.

Ao utilizar esses modelos de linguagem, temos que nos virar em trinta para domar suas respostas, criando fluxos de controle para garantir algum nível de consistência naquilo que daremos como resultado de nossa operação.

Enfim, a IA está fazendo coisas incríveis, mas nunca esqueça que ela pode estar errada.

Ah, o marketing!