Resumo em 60 segundos

• Inferência virou o centro da briga: latência, custo por token e previsibilidade (TTFT) estão decidindo produto.
• Edge está entrando no jogo: a Akamai diz que vai distribuir milhares de GPUs NVIDIA Blackwell em mais de 4.000 localidades e afirma até 2,5× menos latência e até 86% menos custo de inferência vs. hyperscalers.
• Otimização “de baixo nível” (kernels) voltou a ser diferencial: a Together AI anuncia o FlashAttention-4 e reporta até 2,7× vs. Triton e 1,3× vs. cuDNN 9.13 (em Blackwell).
• Agentes exigem sistemas “program-aware”: o paper do ThunderAgent reporta 1,5–3,6× mais throughput em serving e até 4,2× de economia de disco (em comparação com baselines do estudo).
• Long context pede roteamento por reutilização: CPD (cache-aware disaggregation) é apresentado com ganhos de 35–40% de QPS sustentável em workloads de contexto longo.

A tendência: do “treinar gigante” para “servir melhor”

Treino continua importante, mas a sensação de mercado é que o “próximo salto” de experiência do usuário (e de margem) está vindo de inferência: responder mais rápido, com menor variância, e com custo previsível.

Isso muda a conversa de compra e produto:

• Produtos em tempo real (voz, copilots, agentes) têm tolerância baixíssima a TTFT e jitter.
• Contexto longo (RAG, memória de agente, análise de documentos) precisa de arquiteturas que reaproveitem trabalho (KV cache) em vez de recomputar tudo.
• Distribuição geográfica importa: inferência perto do usuário pode ser tão valiosa quanto “mais parâmetros”.

1) Edge + GPUs: inferência mais perto do usuário

A notícia mais clara desse movimento veio da Akamai. Segundo a Data Center Knowledge, a empresa disse que pretende disponibilizar milhares de GPUs NVIDIA Blackwell (além de DPUs e servidores) para fortalecer capacidades de IA em mais de 4.000 localidades globalmente, com promessas de até 2,5× menos latência e até 86% menos custo de inferência em comparação com infraestrutura de hyperscalers.

O ponto-chave aqui não é só “mais GPU”. É topologia:

• Inferência distribuída reduz ida-e-volta de rede.
• Cria espaço para casos de uso que não toleram atraso (edge industrial, robótica, redes, logística).
• Pressiona o ecossistema a tratar inferência como produto, não como “sobras de cluster”.

2) Kernels e atenção: onde o ganho por dólar aparece

A Together AI publicou um conjunto de anúncios e, entre eles, o FlashAttention-4, focado em co-design de algoritmo + kernel para GPUs NVIDIA Blackwell. No post de lançamento do FlashAttention-4, a empresa afirma que, em B200 com BF16, chega a “até 1605 TFLOPs/s (71% de utilização)”, e reporta até 1,3× mais rápido do que cuDNN 9.13 e até 2,7× mais rápido do que Triton (nos cenários descritos).

Por que isso importa para quem não escreve CUDA?

• Custo por token: se o kernel de atenção é mais eficiente, você compra menos GPU para entregar o mesmo SLA.
• Contexto longo fica “menos proibitivo”: otimizações em atenção e pipeline ajudam workloads que antes explodiam latência.
• Hardware escalou assimétrico: o próprio texto do FA-4 destaca que throughput de tensor cores cresce mais rápido do que outros recursos (ex.: SFUs/exp e bandwidth de shared memory), exigindo re-balanceamento do kernel.

Vale lembrar: FlashAttention (o trabalho original) já defendia atenção “IO-aware” como caminho para ganhos reais de wall-clock, e virou peça central do stack moderno de serving/treino.

3) Agentes: o gargalo não é só token — é orquestração

Quando você entra em agentes (tool calls, múltiplas etapas, ambientes de execução), a performance deixa de ser apenas “tokens/segundo”. O paper do ThunderAgent (arXiv) argumenta que sistemas existentes costumam acoplar um motor de inferência (ex.: vLLM) com um orquestrador (ex.: Kubernetes) de forma “por requisição”, sem visão end-to-end do workflow — o que prejudica uso de KV cache e gestão de recursos de ferramentas.

Nos resultados reportados no resumo do arXiv, o ThunderAgent alcança:

• 1,5–3,6× de ganho de throughput em serving (dependendo do cenário do estudo).
• 1,8–3,9× em rollout de RL.
• Até 4,2× de economia de memória em disco.

Tradução: se sua empresa está “virando agente tudo”, provavelmente o próximo gargalo não está no modelo — está em agendamento, cache, e ciclo de vida de ferramentas.

4) Long context: separar “quente” e “frio” vira arquitetura

Contexto longo hoje é normal (copilots, RAG, memória). O problema: em tráfego real, você mistura requisições frias (muito contexto novo) e quentes (muito reaproveitamento). Se tudo disputa o mesmo caminho de prefill, TTFT vira loteria.

A Together descreve a abordagem CPD (cache-aware prefill–decode disaggregation): adicionar uma camada “pre-prefill” e fazer roteamento baseado em taxa de reaproveitamento de cache, usando uma hierarquia de KV cache (GPU, DRAM, cache distribuído via RDMA). No texto, a empresa reporta que a abordagem melhora QPS sustentável em 35–40% sobre baselines disaggregated em sua avaliação.

O insight prático é simples e poderoso: não deixe prompts gigantes e frios bloquearem o fast-path do que é reaproveitável.

5) Telco e AI-native: quando rede vira plataforma de IA

Um sinal de que “inferência distribuída” não é só papo de datacenter: Samsung e Vodafone anunciaram a validação de uma chamada com vRAN da Samsung em Intel Xeon 6 SoC, citando uma trajetória para redes mais autônomas, cloud-native e prontas para AI — com a expectativa de implantação comercial durante 2026 (segundo o texto).

Mesmo que você não seja telco, a leitura é estratégica:

• Compute vai “vazar” para a borda (cell site/edge/core) conforme redes se tornam software.
• Infra de conectividade começa a ser vista como lugar para rodar inferência e aplicações (não só transportar dados).
• Isso abre espaço para novos players e novos SLAs (latência, confiabilidade, custo por chamada/ação).

O que isso significa na prática

Para produto (PMs e founders)

• Defina SLAs de inferência (TTFT, tokens/s, p95/p99) como requisitos de produto — não como “detalhe técnico”.
• Separe caminhos: requisições “frias” e “quentes” precisam de tratamento diferente (roteamento e cache).
• Agentes exigem orçamento de infraestrutura para ferramentas (sandbox, rede, storage) além do orçamento de tokens.

Para engenharia (infra/ML/plat)

• Invista em observabilidade de KV cache hit-rate, tempo de prefill vs decode, e fila por tipo de requisição.
• Otimização “baixo nível” voltou: kernels e bibliotecas (atenção, GEMM, quantização) podem ser o maior multiplicador de capacidade.
• Arquiteturas distribuídas (edge) fazem sentido quando latência e egress dominam o custo — mas exigem governança (deploy, atualizações, segurança).

Para negócios (custos e compliance)

• Custo por resposta deve virar KPI: uma queda de 30–40% em throughput “sustentável” (ou o inverso: um ganho desse tamanho) muda margem.
• Dados + busca sem sair do banco entram no debate: soluções como “vector search no banco” (ex.: Oracle 26ai) prometem reduzir complexidade e mover menos dados.

Fique de olho amanhã

• Edge de verdade: anúncios de “GPU em milhares de PoPs” só viram vantagem quando aparecem métricas estáveis (p95/p99, custo real por requisição) e casos de uso em produção.
• Padronização de serving para agentes: sistemas “program-aware” tendem a ganhar tração conforme agentes viram workload dominante.
• Contexto longo como padrão: a próxima disputa deve ser “quem serve 100k+ tokens com previsibilidade”, não apenas “quem suporta 100k”.

Receba os próximos posts

Se você quer acompanhar (sem barulho) o que realmente muda no dia a dia de IA — produto, infra, custos e casos práticos — assine a nossa newsletter (MailPoet) e favorite o blog para voltar amanhã.