O Google DeepMind mostrou que um modelo de difusão de texto não precisa necessariamente de uma nova rodada de pré-treinamento em grande escala. Em um relatório técnico coberto pelo The Decoder, a empresa descreve como converteu o Gemma 4-26B-A4B existente em DiffusionGemma usando menos de 10% do orçamento original de tokens de treinamento.

O sistema resultante gera blocos de até 256 tokens em paralelo, em vez de se comprometer com um token por vez. Em uma Nvidia H100, o Google relata throughput de cerca de 1.500 tokens por segundo. A compensação é importante: o DiffusionGemma ainda fica atrás de seu predecessor autoregressivo na qualidade geral de benchmarks, mas a abordagem pode oferecer a pesquisadores e equipes de produto um caminho mais barato para experimentos de difusão de texto.

Uma adaptação em vez de uma nova rodada de pré-treinamento

Os modelos de linguagem autoregressivos tradicionais constroem uma resposta sequencialmente, prevendo o próximo token a partir dos tokens já produzidos. O DiffusionGemma segue um caminho diferente, refinando repetidamente um bloco de texto ruidoso até que a saída fique utilizável. Em espírito, o método se aproxima mais de sistemas de difusão de imagem, embora seja aplicado à linguagem.

O Google DeepMind começou com o Gemma 4 em vez de projetar e treinar um modelo novo especificamente para difusão. A primeira fase de treinamento ensinou o modelo a recuperar blocos de texto corrompidos. Uma segunda fase combinou aprendizado por reforço com destilação de amostrador, um processo que o Google chama de SD·RL. O aprendizado por reforço foi usado para melhorar as respostas, enquanto a destilação de amostrador reduziu o número de etapas de refinamento necessárias no momento da inferência.

Essa decisão de design é a principal notícia no relatório. Ela sugere que um modelo de linguagem existente pode servir de base para um mecanismo de geração diferente, potencialmente reduzindo o custo e o tempo necessários para explorar arquiteturas alternativas. Isso não estabelece que a adaptação posterior vá consistentemente igualar um modelo treinado para difusão desde o início.

A geração paralela traz velocidade, com condições

O relatório diz que o SD·RL melhorou os resultados de benchmarks de raciocínio em média 10 pontos dentro do sistema adaptado, enquanto quase quadruplicou o número de tokens processados por etapa de computação. Segundo o Google, as respostas do DiffusionGemma também são cerca de 50% mais curtas, o que contribui ainda mais para suas alegações de velocidade.

Segundo relatos, o modelo pode alternar entre geração no estilo difusão e seu modo original palavra por palavra. Essa flexibilidade poderia permitir que uma aplicação use refinamento iterativo para tarefas estruturadas e decodificação convencional onde a geração sequencial for mais confiável.

Os números de desempenho mais fortes ainda são relatados pelo fornecedor. O The Decoder diz que o DiffusionGemma atinge aproximadamente 1.500 tokens por segundo em uma H100 em condições de usuário único. A vantagem diminui à medida que a concorrência aumenta: com cerca de 32 solicitações simultâneas, modelos de linguagem padrão supostamente alcançam o throughput. Isso torna o desenho da implantação tão importante quanto o número de velocidade de destaque.

Evidências, melhorias e fraquezas conhecidas

O relatório do Google identifica várias tarefas em que o refinamento paralelo pode ser útil. Em um exemplo matemático, o modelo de difusão pode desenvolver uma resposta antes de finalizar a saída visível, permitindo corrigir um erro inicial em vez de anexar uma correção depois. O relatório também descreve um desempenho em Sudoku próximo de 85% após um ajuste fino mínimo, enquanto o modelo base supostamente falha na tarefa.

Saídas estruturadas podem ser um caso de uso particularmente prático. O Google diz que a geração de JSON e o reparo de código podem ser concluídos em duas ou três etapas de refinamento quando grande parte da estrutura final já é restringida pela entrada. Esses resultados são promissores, mas são afirmações específicas da tarefa, vindas do relatório técnico do modelo, e não avaliações independentes.

O relatório também documenta limitações importantes. O DiffusionGemma pode entrar em ciclos de repetição, às vezes repetindo palavras individuais. A fase de treinamento do modelo foi relativamente curta, e a etapa SD·RL favoreceu menores requisitos de computação em vez da máxima qualidade. Como a arquitetura, os dados e outras configurações foram herdados do Gemma 4, eles podem não ser ideais para geração por difusão.

O The Decoder relata ainda que o modelo às vezes falha ao encerrar sua seção de raciocínio em tarefas multimodais, reduzindo as pontuações medidas por razões que podem não refletir a resposta subjacente. O desempenho geral continua abaixo do modelo base autoregressivo, algo que o Google atribui em parte à estratégia de adaptação e ao treinamento de acompanhamento limitado.

O que isso significa para builders e equipes corporativas

Para desenvolvedores de IA, o DiffusionGemma oferece um ponto de partida concreto de pesquisa, e não um substituto finalizado para modelos de linguagem convencionais. Equipes que investigam assistentes de baixa latência, geração restrita ou sistemas interativos podem testar se o refinamento paralelo reduz o tempo de resposta sem criar problemas inaceitáveis de repetição ou precisão.

A economia dependerá do formato da carga de trabalho. Aplicativos de usuário único podem se beneficiar mais do throughput relatado, enquanto serviços de alta concorrência podem ver uma vantagem menor. As equipes também precisarão medir latência total, etapas de refinamento, utilização de aceleradores e taxas de correção, em vez de confiar apenas em números de tokens por segundo.

Fluxos de trabalho estruturados parecem mais imediatamente adequados à abordagem do que raciocínio aberto. Produção de JSON, reparo de código e outras tarefas com fortes restrições de entrada podem exigir menos iterações de remoção de ruído. Por outro lado, aplicações que dependem de raciocínio consistentemente forte ou de respostas longas e bem elaboradas podem preferir o modelo autoregressivo original até que o treinamento específico para difusão melhore a qualidade.

A disponibilidade do modelo sob Apache 2.0 no Hugging Face reduz a barreira para experimentação. O The Decoder relata que a Interfaze já o está usando para reconhecimento de fala multilíngue, enquanto outro projeto de pesquisa está explorando a geração interativa de laudos radiológicos. Esses são sinais iniciais de adoção, não evidência de implantação ampla em produção, e a fonte disponível não fornece detalhes independentes sobre desempenho ou escala.

O que observar a seguir

O próximo sinal importante será se modelos treinados especificamente para difusão de texto fecham a lacuna de qualidade com sistemas adaptados. Os pesquisadores também devem testar o DiffusionGemma sob cargas de trabalho concorrentes realistas, e não apenas em benchmarks de uma única solicitação.

Avaliações adicionais devem examinar falhas de repetição, validade de saídas estruturadas, precisão de raciocínio e energia ou custo por tarefa concluída. Também será útil ver se o ajuste fino especializado produz ganhos confiáveis em codificação, reconhecimento de fala e geração de documentos corporativos.

A demonstração anterior Gemini Diffusion do Google indica que a empresa continua investigando a abordagem, mas o DiffusionGemma é explicitamente descrito como experimental. O valor do modelo, portanto, pode ser medido menos pela substituição imediata de modelos de linguagem padrão e mais por quão rapidamente ele viabiliza pesquisa independente e adaptações direcionadas.

Perspectiva da Creati.ai

O DiffusionGemma é significativo porque reformula a difusão de texto como um problema de adaptação. Começar com um modelo estabelecido torna a experimentação mais acessível, mas também expõe os limites de reutilizar uma arquitetura e uma receita de treinamento feitas para decodificação sequencial.

Para as equipes de produto, a questão prática não é se a geração paralela é universalmente mais rápida. É se um fluxo de trabalho específico tem estrutura suficiente para se beneficiar de menos etapas de refinamento, preservando precisão e confiabilidade da saída. O DiffusionGemma dá aos builders uma forma de testar essa questão com um custo de entrada relativamente baixo, mas sua diferença em benchmarks e seus limites de concorrência defendem uma avaliação cuidadosa em nível de carga de trabalho, em vez de alegações amplas sobre substituir modelos autoregressivos.