O Google encontrou uma maneira de tornar a IA local até 3x mais rápida—sem necessidade de novo hardware

Resumidamente

• A Google lançou os rascunhadores de Predição Multi-Tokens (MTP) para o Gemma 4, oferecendo até 3x mais velocidade na inferência sem degradação na qualidade da saída.
• A técnica—chamada decodificação especulativa—usa um modelo leve de “rascunho” para prever vários tokens de uma vez, que o modelo principal então verifica em paralelo, evitando o gargalo de um token por vez.
• Os rascunhadores MTP estão disponíveis no Hugging Face, Kaggle e Ollama sob a mesma licença Apache 2.0 do Gemma 4, e funcionam com ferramentas como vLLM, MLX e SGLang.

Executar um modelo de IA no seu próprio computador é ótimo—até que não seja mais. A promessa é privacidade, sem taxas de assinatura e sem dados saindo da sua máquina. A realidade, para a maioria das pessoas, é ver o cursor piscar por cinco segundos entre frases. Esse gargalo tem um nome: velocidade de inferência. E não tem nada a ver com quão inteligente o modelo é. É um problema de hardware. Modelos padrão de IA geram texto um fragmento de palavra—chamado token—de cada vez. O hardware precisa transferir bilhões de parâmetros da memória para suas unidades de processamento só para produzir cada token. É lento por design. Em hardware de consumo, é doloroso.

A solução alternativa que a maioria das pessoas busca é rodar modelos menores e mais fracos—ou versões altamente comprimidas, chamadas modelos quantizados, que sacrificam alguma qualidade por velocidade. Nenhuma das soluções é ótima. Você consegue algo que roda, mas não é o modelo que realmente queria. Agora a Google tem uma ideia diferente. A empresa acabou de lançar os rascunhadores de Predição Multi-Tokens (MTP) para sua família de modelos abertos Gemma 4—uma técnica que pode entregar até 3x mais velocidade sem alterar a qualidade ou a capacidade de raciocínio do modelo.

A abordagem é chamada decodificação especulativa, e existe como conceito há anos. Pesquisadores do Google publicaram o artigo fundamental em 2022. A ideia não virou mainstream até agora porque exigia a arquitetura certa para funcionar em escala.

Aqui está a versão resumida de como funciona. Em vez de fazer o modelo grande e poderoso fazer todo o trabalho sozinho, você o combina com um modelo “rascunho” minúsculo. O rascunho é rápido e barato—ele prevê vários tokens de uma vez em menos tempo do que o modelo principal levaria para produzir apenas um. Então, o grande modelo verifica todas essas suposições em uma única passagem. Se as previsões estiverem corretas, você obtém toda a sequência pelo preço de uma única passagem. Segundo o Google, “se o modelo alvo concordar com o rascunho, ele aceita toda a sequência em uma única passagem—e até gera um token adicional por conta própria nesse processo.” Nada é sacrificado: o grande modelo—como a versão densa de 31B do Gemma 4—ainda verifica cada token, e a qualidade da saída é idêntica. Você está apenas aproveitando o poder de processamento ocioso que ficava parado durante as partes lentas.  O Google diz que os modelos rascunho compartilham o cache KV do modelo alvo—uma estrutura de memória que armazena o contexto já processado—para não perder tempo recalculando coisas que o modelo maior já sabe. Para os modelos menores voltados para celulares e dispositivos Raspberry Pi, a equipe até criou uma técnica de agrupamento eficiente para reduzir ainda mais o tempo de geração. Essa não é a única tentativa do mundo da IA de paralelizar a geração de texto. Modelos de linguagem baseados em difusão—como Mercury, da Inception Labs—tentaram uma abordagem completamente diferente: em vez de prever um token de cada vez, eles começam com ruído e refinam iterativamente toda a saída. Isso é rápido no papel, mas os LLMs de difusão têm dificuldade em igualar a qualidade dos modelos tradicionais de transformadores, deixando-os mais como uma curiosidade de pesquisa do que uma ferramenta prática. A decodificação especulativa é diferente porque não altera o modelo subjacente. É uma otimização de serviço, não uma substituição de arquitetura. O mesmo Gemma 4 que você já roda fica mais rápido. A vantagem prática é real. Um modelo Gemma 4 de 26B rodando em uma GPU de desktop Nvidia RTX Pro 6000 consegue aproximadamente o dobro de tokens por segundo com o rascunhador MTP ativado, segundo benchmarks do próprio Google. No Apple Silicon, tamanhos de lote de 4 a 8 solicitações desbloqueiam cerca de 2,2x de aceleração. Não é exatamente o limite de 3x em todos os cenários, mas ainda assim uma diferença significativa entre “quase inutilizável” e “realmente rápido o suficiente para funcionar.”

O contexto aqui é importante. Quando o modelo chinês DeepSeek chocou o mercado em janeiro de 2025—apagando US$ 600 bilhões do valor de mercado da Nvidia em um único dia—a lição principal foi que ganhos de eficiência podem ser mais impactantes do que pura capacidade de processamento. Rodar de forma mais inteligente supera gastar mais hardware no problema. O rascunhador MTP do Google é mais um movimento nessa direção, mas voltado diretamente ao mercado de consumo. Toda a indústria de IA atualmente é um triângulo que considera inferência, treinamento e memória. Cada avanço em uma dessas áreas tende a impulsionar ou chocar todo o ecossistema. A abordagem de treinamento do DeepSeek (conseguindo modelos poderosos com hardware de baixo nível) foi um exemplo, enquanto o artigo do Google sobre TurboQuant (reduzindo a memória de IA sem perder qualidade) foi outro. Ambos fizeram os mercados despencarem enquanto as empresas tentavam entender o que fazer. O Google diz que o rascunhador desbloqueia “resposta mais rápida: reduz drasticamente a latência para chat quase em tempo real, aplicações de voz imersivas e fluxos de trabalho agenticos”—tarefas que exigem baixa latência para serem úteis. Casos de uso entram em foco rapidamente: um assistente de codificação local que não trava; uma interface de voz que responde antes que você esqueça o que perguntou; um fluxo de trabalho agentico que não faz você esperar três segundos entre etapas. Tudo isso, em hardware que você já possui. Os rascunhadores MTP estão disponíveis agora no Hugging Face, Kaggle e Ollama, sob a licença Apache 2.0. Eles funcionam com vLLM, MLX, SGLang e Hugging Face Transformers prontamente.