Notícias do CoinWorld, a equipe Qwen lançou uma biblioteca de operadores de alto desempenho chamada FlashQLA, voltada para GDN (gated delta network, camada de atenção linear usada na série Qwen3-next / 3.5 / 3.6). Nos testes no H200, a velocidade de cálculo direta foi de 2 a 3 vezes mais rápida do que o kernel Fla Triton, e a velocidade de cálculo reverso foi o dobro. Em cenários TP8, a velocidade de cálculo direta atingiu até 5,33 vezes mais rápido. O principal motivo do aumento de velocidade é o uso da característica de decaimento exponencial do valor de gate do GDN para implementar paralelismo de contexto automático (autocp), pulando a etapa de cálculo da matriz de correção tradicional. O sistema decide automaticamente se deve ativar o CP com base no tamanho do lote, número de cabeças e comprimento da sequência, sem necessidade de configuração manual.

Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixar