ラックスケールアーキテクチャ？これまでに完璧に実現できたのは、NVIDIA、AWS、Googleの3社だけ。

Trn3が際立っているのは、そのスイッチドスケールアップトポロジーです。これを実現したのはNVIDIAに次いで2社目。この設計は、柔軟性が力技よりも重要となる最先端のMixture of Expertsモデルを扱う際に特に威力を発揮します。

AWSはTrainium3で一部のソフトウェアの問題を解決しようとしているようで、これは賢明な判断です。一方で、スイッチ設計に関する決断については……注目を集めています。大胆な一手なのか、実行力に疑問符がつくのか、それともまだ見えていない天才的発想なのか。答えが出るのはこれからです。