GPT Path to Maturity 公式ノート | OpenAI Developer Day

記事のソース: 量子ビット

画像出典:Unbounded AIによって生成

ChatGPTのプロダクト作成の詳細は、OpenAI自身によって説明されています。

そして、この乾物共有の波は、以下を含むがこれらに限定されない、本当に情報に満ちています。

• ChatGPTの背後にある製品チームとR&Dチームがどのように協力するか *大規模モデルアプリケーションでプロトタイプから成熟に移行する方法
• OpenAI が大規模モデルのパフォーマンスを最適化する方法
  …

上記の情報は、今年の新しい「Science and Technology Spring Festival Gala」であるOpenAI Developer Dayからのものです。

ウルトラマンの見事なオープニングスピーチに加えて、当日はさらに多くの分科会があり、ビデオはYouTubeに正式にアップロードされました。

そしてこれは、OpenAIのチームが世界を席巻する前の「インサイダー」のデモンストレーションと見なすことができます。

何から学ぶ価値があるのか、メモを整理しましたので、見てみましょう~

**製品と研究チームのコラボレーション「前例のない」 **

2022年10月、OpenAIの研究チームと製品チームは、ベースモデル用の会話型インターフェースを作るというアイデアについて議論を始めました。

当時はまだChatGPTの黎明期でしたが、研究チームとプロダクトチームの緊密な連携はすでに始まっており、両者の相互影響の度合いはさらにユニークでした。

このチームワークモデルは、他の企業も見習うべきモデルになるかもしれません。

OpenAIのモデルビヘイビアプロダクト責任者であるJoanne Jang氏は、次のように述べています。

OpenAIでは、研究チームと製品チームの間の相互作用は、業界で前例のないレベルに達しています。

ChatGPT自体が最も明白な例です。

OpenAI Post-Training チームの責任者である Barret Zoph 氏と Joanne 氏は、ChatGPT の開発と改良における 2 つのチーム間のコラボレーションの詳細を共有しました。

Barret チームの主な責任は、ChatGPT と API に追加される前にモデル機能を微調整することです。 具体的には、ネットワーキングや、後工程でChatGPTが追加したファイルの分析などの機能は、すべてポストトレーニングチームが担当します。

Barret氏は、研究チームがどのようなモデル応答をタイムリーに得ることができるかが、現実世界のユーザーや開発者にとって本当に役立つことを可能にしたのは、製品チームの設計であると強調した。

たとえば、ChatGPT の「いいね!」ボタンは、研究自体に多くの価値をもたらします。

そのフィードバックに基づいて作業を調整し、何がうまくいっていて何がうまくいっていないかを理解できるので、モデルの応答性をますますユーザーフレンドリーにすることができます。
研究では、オフラインの評価指標やベンチマークでモデルの進捗を測定することがよくありますが、実際にはそうではないこともあります。 製品チームの助けを借りて、一般的で堅牢なシステムの構築を順調に進めることができました。

製品チームの観点から、Joanne氏はOpenAIのプロダクトマネージャーが果たす役割はユニークだと考えている。

まず第一に、OpenAIで製品を作る目的は、収益、エンゲージメント、成長などの従来の製品指標ではなく、全人類の利益のために一般的な人工知能を作成することです。

第二に、OpenAIのプロダクトマネージャーは、ユーザーの観点からではなく、技術的な視点から製品の機能を設計する傾向があります。

最後に、OpenAIの研究チームとプロダクトチームの相互作用の度合いは非常に高く、業界では前例のないレベルに達していると言えます。

ChatGPTの誕生までの過程を例にとってみましょう。 GPT-3からInstructGPT、ChatGPTまで、研究チームは、複数の会話ラウンドでモデルを直接トレーニングすることで、モデルに新しい動作をより効果的に教えることができることを発見しました。

モデルの振る舞いを教える(設計する)具体的な作業は、プロダクトチームの関与のもとで行われ、例えば、ユーザーがChatGPTに「あなたは今、猫です」と言ったとき、ChatGPTはどのようなデフォルト行動を示すべきなのでしょうか?

製品チームは、ほとんどのユーザーのデフォルトモードで何が機能するかを理解するために、これについて多くの実験を行いました。

(p.s. しかし、Joanneは、ユーザーにとって最良のモデルはパーソナライズされたモデルであり、これは大規模モデルの将来の開発方向に関する予測の1つでもあるとも述べています。 ）

非線形戦略による大規模モデルのパフォーマンスの最適化

コラボレーションの「インサイダー」についてお話しした後、技術的な詳細を見てみましょう。

開発者デーでは、OpenAIの技術スタッフがGPT-4で使用されている大規模モデル最適化技術を共有しました。

重要な点は、2次元と4象限を含む非線形戦略を採用することです。

OpenAI は、プロンプト エンジニアリング、検索拡張生成 (RAG)、微調整の 3 つの手法を含む多層非線形最適化フレームワークを提案しています。

従来のモデル最適化手法では、これら3つの技術を直線的に使用する傾向があり、OpenAIは「解決すべき真の問題」を解決できないと考えています。

OpenAI は、大規模なモデルのパフォーマンスの最適化は 2 つの次元に分けられ、1 つは独自のパフォーマンスであり、もう 1 つはコンテキストであると考えています。

これら2つの次元における需要の程度の違いに応じて、4つの象限が形成されます。

具体的には、両方の最適化方向の出発点はプロンプトエンジニアリングですが、RAGと微調整(またはその両方)を使用するかどうかはコンテキストの問題です。

これら3つの技術それぞれのメリットを詳細に比較することで、OpenAIの技術者2名が具体的な解説を行いました。

1つ目はプロンプトエンジニアリングで、これは大規模なモデル最適化の出発点と見なされており、モデルのパフォーマンスを向上させるプロンプトを設計することで、テストと迅速な反復が可能です。

具体的な戦略としては、プロンプトをより明確に設計すること、複雑なタスクを分割すること、サンプル テキストを提供したり、外部ツールを呼び出したりすることが含まれます。

しかし、新しい情報を学習するモデルを取得したり、新しいプログラミング言語の学習などの複雑な方法を複製したりすることは、プロンプトエンジニアリングの能力を超えています。

また、タスクの精緻化はトークンの増加にもつながるため、プロンプトエンジニアリングもトークン消費の削減に悪影響を及ぼします。

RAGで解決する問題とfine-tuningには共通点もありますが、主な違いは、RAGはモデルが与えられた情報(短期記憶)から答えを得るのに適しているのに対し、fine-tuningはモデルの長期記憶に着目することです。

RAGの中核となる強みは、知識ベースを活用してモデルにコンテキスト情報を提供することで、モデルの幻覚を減らすことです。

しかし、この種の知識や情報は、通常、非常に特殊な分野に限定されており、広い範囲の分野(「法律」や「医学」など)では自明ではありません。

同時に、大量のコンテキスト情報を提供すると、プロジェクトにプロンプトを表示するよりも多くのトークン消費が発生し、トークンの節約にも悪影響を及ぼします。

さらに、RAGを過剰に適用すると、ユーザーがGPTにドキュメントからの情報のみを使用するように要求し、モデルが「幻覚」であることを発見するなど、逆の効果をもたらす可能性もあります。

しかし、事後的に、これはモデルの錯覚ではなく、ユーザーが提供した情報が本質的に間違っていることが判明しました。

一方、微調整は、パフォーマンスと効率を向上させたり、出力構造を変更したりするために、小さなデータセットでモデルをトレーニングするプロセスです。

RAGと比較すると、微調整はモデルの既存の知識を強調し、複雑なタスクのガイダンスを提供することに重点を置いているため、新しい知識を学習したり、新しいユースケースを反復したりするには適していません。

要約すると、これらの戦略の特性と使用領域に基づいて、実際のニーズに応じて最適化戦略を選択する必要があります。

これは、GPT-4を調整するためのOpenAIの魔法の武器でもあり、アプリケーションレベルでは、OpenAIは起業家のグループにも素晴らしい贈り物を贈っています。

起業家に「ギフトパッケージ」を送る

OpenAIのエンジニアリングリードとアプライドのチームメンバーが、OpenAIモデルで構築されたアプリケーションをプロトタイプから完全な製品に移行する方法を共有しました。

OpenAIのAPIに基づいてアプリケーションの革新を行うことにも興味がある場合は、公式が共有するエンジニアリングの実践的な経験の一部を次に示します。

まず、人間指向のユーザー エクスペリエンスを作成する、つまり、モデルの不確実性を減らし、モデルのセキュリティと制御性を強化します。

第 2 に、一貫性のあるエクスペリエンスを提供します。 たとえば、ナレッジ ベースなどのツールは、モデルの不整合を減らすために使用されます。 エンジニアは、OpenAIがシードを制御することで結果の再現性を制御し、現在のシステムの「フィンガープリント」を提供してシステム全体の状態を表すと述べました。

第三に、業績評価に注意してください。 また、OpenAIは、手作業によるパフォーマンス評価の代わりに大規模なモデルを使用することが大きな効果をもたらすことを発見しました。

第 4 に、レイテンシーとコストを管理します。 主な戦略は2つあり、1つ目はセマンティックキャッシュを追加して実際のAPIへのアクセスを減らすこと、もう1つはGPT-4を直接使用するのではなく、GPT-3.5 TurboをGPT-4の出力で微調整するなど、より安価なモデルを使用することです。

製品のアップデートに関しては、APIの新しいバージョンにも注目する価値があり、OpenAIの宣伝スローガンは「開発されたアプリケーションで直接世界クラスのアシスタントを構築できる」ことです。

APIの新しいバージョンは、コードインタプリタと外部知識の呼び出しをサポートしており、OpenAIのAPIエンジニアリング責任者であるMichelleがライブデモを行いました。

さらに、関数 (サードパーティ API) 呼び出しが改善され、新しい JSON 出力モードが追加され、複数の関数を同時に呼び出すことができます。

もう1つ

ちなみに、開発者カンファレンスの開会式では、OpenAIがその場で全員に500ドルを配布したため、オフラインの視聴者は羨望の眼差しを向けました。

しかし、実際には、チケットに450ドルを支払わなければならなかったため、彼らは50しか稼ぎませんでした。

最新の価格によると、$50 は API を介して 500 万の入力トークンまたは 1,666,000 の出力トークンを処理できます。

したがって、今日の乾物のメモはここで共有されています、詳細を知りたい場合は、公式のリプレイにアクセスして見ることができます。