Blog

Segurança da IA6 out 20262 min de leitura

Os modelos leem. As pessoas decidem.

A questão não é o que a IA consegue fazer. É o que acontece quando ela erra, e a resposta está em como o trabalho é dividido.

IvanSofia

A pergunta que mais ouvimos dos donos de empresa não é “o que a IA consegue fazer?”. Eles já viram demonstrações suficientes para saber que ela faz muito. A pergunta é: “o que acontece quando ela erra?”

É a pergunta certa. Todo modelo erra. Lê um 3 como 8 num documento escaneado borrado. Confunde dois compradores com nomes parecidos. Fica confiante quando não deveria. A questão não é se os erros acontecem, mas aonde eles podem chegar.

Três tarefas, três responsáveis

Nossa resposta é dividir o trabalho em três e dar cada parte a quem faz melhor:

  1. O modelo lê e propõe. Transforma um e-mail em italiano num pedido, um áudio num negócio, um certificado escaneado em campos. É a parte bagunçada do trabalho, e os modelos são muito bons nela.
  2. O código calcula os números. Margens, custos de armazenagem, totais de fatura, semanas de entrega. Código simples que dá a mesma resposta sempre. Nenhum modelo chuta um preço.
  3. Uma pessoa decide. O pedido vale quando alguém clica. O lembrete sai quando alguém aprova. E todo clique pode ser desfeito.

O que isso significa para os erros

Quando um modelo lê uma palavra errado, o pior caso é um rascunho errado. Uma pessoa vê, corrige e segue em frente. Isso nunca vira uma fatura errada, porque a fatura é calculada pelo código e emitida por uma pessoa.

Quando o software não tem certeza, ele não chuta. Deixa tudo como estava e pergunta. Parece mais lento. Na prática é mais rápido, porque ninguém precisa passar uma tarde desfazendo algo que a IA fez sozinha.

Por que isso importa para a confiança

Acompanho equipes adotando ferramentas novas há anos. O padrão é sempre o mesmo: as pessoas usam o que conseguem conferir.

Se a equipe consegue ver o que a IA leu e o que propôs, passa a confiar nela em poucas semanas. Pega um erro, vê que foi fácil de pegar e confia um pouco mais. Se a IA age sem ninguém ver, isso nunca acontece. Uma surpresa basta.

Por isso mostramos o nosso trabalho. O que foi lido, de onde veio, o que está sendo proposto e quem disse sim.

Onde ela age primeiro

Procuramos ser francos sobre as exceções. No marketplace MeatBorsa, ofertas que chegam por e-mail são publicadas, e mensagens de chat são traduzidas, antes que uma pessoa veja. Dizemos isso claramente, porque você deve saber por nós. Mais sobre como mantemos a IA segura.

Escrito por IvanMakeBetter · Sofia

Vamos melhorar isso.

Conte para onde vai o dia na sua empresa. Em trinta minutos, diremos o que mudaríamos primeiro.

[email protected] Sofia · Zagreb · Berlim · Londres · Varsóvia · Osaka