币界网消息、OneMillion\_AI報道、論文「thinking without words」提出abstract-cot方法、通过在模型词表中引入64个全新的「抽象符号」、これらの記号は人間の言語に対応しない。モデルは質問に答える前にまずこのような記号の小さな列を出力し、直接答えを示し、従来の自然言語推論過程をスキップする。math-500数学問題の実験では、推論過程のトークン数が数百から数十に圧縮され、トークン使用量は最大11.6倍削減され、正答率は変わらない。実験はqwen3-8b、qwen3-4b、ibm granite 4.0 microの3つのモデルファミリーを対象とし、効果は一貫している。この64個の記号は訓練過程で自然言語に似た使用規則を自発的に形成し、一部の記号は高頻度で再利用され、多くは稀に出現し、その分布は人間の言語における頻出語の規則と一致している。記号の順序を乱すと、回答の正確性が著しく低下し、モデルがこの「暗号」を用いた構造的推論を学習したことが示されている。
AIに人間には理解できない記号で思考させ、回答の正確さは維持しつつ12倍速くなる
币界网消息、OneMillion_AI報道、論文「thinking without words」提出abstract-cot方法、通过在模型词表中引入64个全新的「抽象符号」、これらの記号は人間の言語に対応しない。モデルは質問に答える前にまずこのような記号の小さな列を出力し、直接答えを示し、従来の自然言語推論過程をスキップする。math-500数学問題の実験では、推論過程のトークン数が数百から数十に圧縮され、トークン使用量は最大11.6倍削減され、正答率は変わらない。実験はqwen3-8b、qwen3-4b、ibm granite 4.0 microの3つのモデルファミリーを対象とし、効果は一貫している。この64個の記号は訓練過程で自然言語に似た使用規則を自発的に形成し、一部の記号は高頻度で再利用され、多くは稀に出現し、その分布は人間の言語における頻出語の規則と一致している。記号の順序を乱すと、回答の正確性が著しく低下し、モデルがこの「暗号」を用いた構造的推論を学習したことが示されている。