Пусть ИИ думает на символах, которые человек не понимает, ответы такие же точные, но в 12 раз быстрее

robot
Генерация тезисов в процессе

币界网消息,OneMillion_AI报道,论文「thinking without words」提出abstract-cot方法,通过在模型词表中引入64个全新的「抽象符号」,这些符号不对应任何人类语言。模型在回答问题前先输出一小串这种符号作为草稿,直接给出答案,跳过传统的自然语言推理过程。在math-500数学题实验中,推理过程的token数量从几百个压缩到几十个,token用量减少最高达11.6倍,答对率保持不变。实验覆盖qwen3-8b、qwen3-4b和ibm granite 4.0 micro三个模型家族,效果一致。这64个符号在训练过程中自发形成类似自然语言的使用规律,少数符号高频复用,多数符号偶尔出现,分布曲线与人类语言中的常用词规律一致。将符号顺序打乱后,答题准确率明显下降,表明模型学会了用这套「密码」进行有结构的推理。

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить