Análise do Zhipu sobre o GLM-5 «Gate de caracteres ilegíveis»: milhões de chamadas diárias do Coding Agent, dois bugs de condição de corrida escondidos no KV Cache

Notícias do site Coinjie, a Zhipu publicou um artigo revisando os problemas de caracteres ilegíveis, repetições e caracteres pouco comuns no modelo da série GLM-5 em cenários de agente de codificação. Desde março, os usuários relataram que as anomalias eram acionadas apenas em tarefas de alta concorrência e com contexto longo (média superior a 70 mil tokens). A Zhipu afirmou que seu sistema de inferência suporta bilhões de chamadas diárias de agentes de codificação. Após investigação, a equipe identificou dois bugs de condição de corrida independentes. O primeiro bug ocorreu na arquitetura de separação do pd, onde, após o timeout na decodificação, a solicitação é interrompida e o cache kv é recuperado, mas a escrita RDMA na pré-preenchimento não terminou, fazendo com que uma nova solicitação sobrescrevesse os dados antigos. A solução foi adicionar uma sincronização explícita antes da recuperação, reduzindo a taxa de anomalias de dezenas de partes por milhão para menos de três por milhão. O segundo bug ocorreu no hicache, onde as linhas de pipeline de carregamento e cálculo não tinham pontos de sincronização, podendo o lado de cálculo ler dados antes de serem totalmente carregados. Após a correção, as anomalias desapareceram completamente, e o patch foi enviado à comunidade sglang. A equipe também descobriu que o índice de aceitação da amostragem especulativa pode servir como sinal de detecção de anomalias: durante caracteres ilegíveis, quase todos os tokens de rascunho são rejeitados, enquanto na repetição a taxa de aceitação é relativamente alta.