Percebi uma tendência interessante no mercado. Empresas que há pouco tempo gastavam tokens de forma luxuosa, como se fosse água da torneira, agora estão sentadas a fazer contas com uma calculadora na mão. A era do uso gratuito terminou oficialmente.

Há dois anos, tudo era simples. Grandes investidores pagavam as contas, escrevíamos prompts longos, enviávamos documentos PDF inteiros ao modelo, e ninguém se preocupava. Agora? Cada token é dinheiro real. Não unidades condicionais, mas dinheiro de verdade.

Realmente, o que mudou? Primeiro, o custo de poder computacional aumentou rapidamente. A luta pelos chips NVIDIA H100 transformou-se numa disputa geopolítica. Em segundo lugar, quando o volume diário de pedidos API ultrapassa milhões, aquele “1K Tokens” aparentemente insignificante torna-se uma máquina de escoar dinheiro. O token equiparou-se à moeda real.

Entendo que muitos não perceberam para onde o dinheiro ia. Olhar para a conta — choque. Mas o problema não está nos preços em si, e sim na forma como gastamos. A solução passa por três coisas: cache semântico, compressão de prompts e roteamento de modelos. Isto já não é luxo, é necessidade.

O cache semântico é a forma mais simples de poupar. O utilizador pergunta “Como redefinir a senha?” centenas de vezes por dia. Por que executar o GPT-4 toda vez? Na primeira, calculamos, guardamos o resultado no cache, e nas próximas perguntas devolvemos do cache. O atraso de segundos passa a milissegundos, os custos quase desaparecem.

A compressão de prompts é já uma cirurgia. Algoritmos analisam quais palavras são críticas e quais são redundantes. Pode-se comprimir um texto de 1000 tokens para 300, mantendo o sentido. Permito que as máquinas comuniquem na sua própria linguagem — o resultado é o mesmo, mas a tarifa diminui em 70%.

O roteamento de modelos é uma tarefa arquitetónica. Nem tudo precisa do GPT-4. Para simples extração de dados? Roteio para o Llama 3 8B barato ou Claude 3 Haiku. Para raciocínio lógico complexo? Então sim, uso um modelo potente. Como numa empresa: a receção não passa a questão ao CEO.

Tenho observado como fazem as equipas avançadas. O OpenClaw em dispositivos móveis quase controla tokens. Em vez de geração livre, faz a modelo preencher um esquema JSON. Parece limitador, mas na verdade poupa tráfego. O Hermes Agent segue outro caminho — memória dinâmica. Guarda as últimas 3–5 conversas, resume as mais antigas com um modelo leve e armazena numa base vetorial. Isto não é capricho — é uma gestão cirúrgica do contexto.

Agora, o mais importante — é uma mudança de mentalidade. Antes, os tokens eram vistos como um bem de consumo. Vês uma promoção — colocas no carrinho. Ligavas cegamente o LLM a tudo, até para que a IA criasse menus de cantina. A conta no final do mês — choque.

Agora, é preciso passar a uma mentalidade de investimento. Cada token é um investimento. Perguntamos a nós próprios: o que isto me trouxe? Aumentou a taxa de resolução de tickets? Reduziu o tempo de correção de bugs? Ou é só entretenimento? Se uma função baseada em regras custa 10 cêntimos, e o LLM exige um dólar por token, mas aumenta a conversão em 2%, cortamos sem hesitar.

Passamos de soluções “grandes e abrangentes” para “pequenas e aprimoradas” com precisão. Quando uma empresa pergunta: “O AI consegue ler 100 mil relatórios?”, eu pergunto: “A receita cobre alguns milhões de tokens?” Contamos. Economizamos. Contamos tokens como um proprietário de loja de produtos.

Soa longe de ser tecnológico, mais parece agrícola. Mas é exatamente essa a fase de maturidade da indústria de IA. A era de subsídios ilimitados acabou. Restam aqueles que entendem a arquitetura, sabem como otimizar em dispositivos móveis, e olham para os números de tokens com frieza e cálculo. Quando a maré recuar, será evidente quem nada nu. Desta vez, serão as empresas que não aprenderam a economizar. Quem extrair cada gota como ouro, sobreviverá.