GPT Path to Maturity Catatan Resmi | Hari Pengembang OpenAI

Sumber artikel: qubits

Sumber gambar: Dihasilkan oleh Unbounded AI

Detail pembuatan produk ChatGPT sekarang dijelaskan oleh OpenAI sendiri.

Dan gelombang berbagi barang kering ini benar-benar penuh dengan informasi, termasuk tetapi tidak terbatas pada:

• Bagaimana tim produk dan R&D di belakang ChatGPT berkolaborasi
• Bagaimana beralih dari prototipe ke kematangan dalam aplikasi model skala besar
• Bagaimana OpenAI mengoptimalkan kinerja model besar
  …

Informasi di atas masih dari “Gala Festival Musim Semi Sains dan Teknologi” baru tahun ini - OpenAI Developer Day.

Selain pidato pembukaan Ultraman yang menakjubkan, ada lebih banyak sesi pelarian pada hari itu, dan video secara resmi diunggah ke YouTube.

Dan ini dapat dianggap sebagai demonstrasi “orang dalam” tim OpenAI sebelum menangkap dunia.

Apa yang perlu dipelajari, kami telah memilah-milah catatan kami, mari kita lihat ~

**Kolaborasi Tim Produk &; Riset ‘Belum Pernah Terjadi Sebelumnya’ **

Kembali pada Oktober 2022, tim peneliti dan tim produk OpenAI memulai diskusi seputar sebuah ide: untuk membuat antarmuka percakapan untuk model dasar mereka.

Saat itu, masih dalam tahap awal ChatGPT, tetapi kolaborasi erat antara tim peneliti dan tim produk sudah dimulai, dan tingkat pengaruh timbal balik di antara mereka bahkan lebih unik.

Mungkin model kerja tim ini bisa menjadi model bagi perusahaan lain untuk belajar.

Dalam kata-kata Joanne Jang, Kepala Produk Perilaku Model di OpenAI:

Di OpenAI, interaksi antara tim peneliti dan tim produk telah mencapai tingkat yang belum pernah terjadi sebelumnya di industri.

ChatGPT sendiri, adalah contoh yang paling jelas.

Barret Zoph, kepala tim OpenAI Post-Training, dan Joanne berbagi beberapa detail kolaborasi antara kedua tim selama pengembangan dan penyempurnaan ChatGPT.

Tanggung jawab utama tim Barret adalah mengubah kemampuan model sebelum ditambahkan ke ChatGPT dan API. Secara khusus, fungsi seperti jaringan dan menganalisis file yang ditambahkan oleh ChatGPT pada tahap selanjutnya semuanya ditangani oleh tim Pasca-Pelatihan.

Barret menyoroti bahwa itu adalah desain tim produk yang memungkinkan tim peneliti untuk mendapatkan respons model seperti apa pada waktu yang tepat akan sangat berguna bagi pengguna dan pengembang di dunia nyata.

Misalnya, tombol klik suka ChatGPT membawa banyak nilai pada penelitian itu sendiri:

Kami dapat menyesuaikan apa yang kami lakukan berdasarkan umpan balik itu dan memahami apa yang bekerja dengan baik dan apa yang tidak, sehingga kami dapat membuat model responsif semakin ramah pengguna.
Dalam penelitian, kami sering mengukur kemajuan model dengan metrik dan tolok ukur evaluasi offline, tetapi terkadang bukan itu cara orang benar-benar menggunakan model. Dengan bantuan tim produk, kami dapat memastikan bahwa kami berada di jalur yang tepat untuk membangun sistem umum yang kuat.

Dari perspektif tim produk, Joanne juga percaya bahwa peran yang dimainkan oleh manajer produk OpenAI adalah unik:

Pertama-tama, tujuan pembuatan produk di OpenAI bukanlah indikator produk tradisional seperti pendapatan, keterlibatan, dan pertumbuhan, tetapi untuk menciptakan kecerdasan buatan umum untuk kepentingan seluruh umat manusia.

Kedua, manajer produk OpenAI cenderung merancang fitur produk dari perspektif teknis daripada pengguna.

Akhirnya, tingkat interaksi antara tim peneliti OpenAI dan tim produk sangat tinggi, dan dapat dikatakan telah mencapai tingkat yang belum pernah terjadi sebelumnya di industri.

Mari kita ambil contoh proses kelahiran ChatGPT. Dari GPT-3 hingga InstructGPT hingga ChatGPT, tim peneliti telah menemukan bahwa melatih model secara langsung pada beberapa putaran percakapan membuatnya lebih efektif untuk mengajarkan model perilaku baru.

Pekerjaan khusus mengajar (merancang) perilaku model dilakukan dengan keterlibatan tim produk: misalnya, ketika pengguna memberi tahu ChatGPT, “Anda kucing sekarang”, perilaku default seperti apa yang harus ditunjukkan ChatGPT?

Tim produk melakukan banyak percobaan dengan ini untuk mencari tahu apa yang akan bekerja untuk mode default bagi sebagian besar pengguna.

Namun, Joanne juga menyebutkan bahwa bagi pengguna, model terbaik adalah model yang dipersonalisasi, yang juga merupakan salah satu prediksi mereka tentang arah pengembangan model besar di masa depan. ）

Strategi Nonlinier Mengoptimalkan Kinerja Model Besar

Setelah berbicara tentang “orang dalam” kolaborasi, mari kita lihat detail teknisnya.

Pada hari pengembang, staf teknis OpenAI berbagi teknologi pengoptimalan model besar yang digunakan dalam GPT-4.

Poin kuncinya adalah mengadopsi strategi nonlinier, termasuk dua dimensi dan empat kuadran.

OpenAI mengusulkan kerangka optimasi nonlinier berlapis-lapis yang melibatkan tiga teknik: rekayasa cepat, pencarian generasi yang disempurnakan (RAG), dan fine-tuning.

Metode pengoptimalan model tradisional cenderung menggunakan ketiga teknologi ini secara linier, yang diyakini OpenAI tidak dapat menyelesaikan “masalah nyata yang perlu dipecahkan”.

OpenAI percaya bahwa pengoptimalan kinerja model besar dibagi menjadi dua dimensi, satu adalah kinerjanya sendiri, dan yang lainnya adalah konteks.

Menurut tingkat permintaan yang berbeda dalam dua dimensi ini, empat kuadran terbentuk.

Secara khusus, titik awal untuk kedua arah optimasi adalah rekayasa cepat, tetapi apakah akan menggunakan RAG atau fine-tuning (atau keduanya) adalah masalah konteks.

Dengan membandingkan keunggulan masing-masing dari ketiga teknologi ini secara rinci, dua teknisi dari OpenAI memberikan penjelasan spesifik.

Yang pertama adalah rekayasa cepat, yang dipandang sebagai titik awal untuk pengoptimalan model besar, yang dapat diuji dan diiterasi dengan cepat dengan merancang petunjuk untuk meningkatkan performa model.

Strategi khusus termasuk merancang petunjuk agar lebih jelas, memecah tugas yang kompleks, dan menyediakan teks sampel atau meminta alat eksternal.

Tetapi mendapatkan model untuk mempelajari informasi baru, atau mereplikasi metode yang kompleks, seperti mempelajari bahasa pemrograman baru, berada di luar kemampuan rekayasa cepat.

Selain itu, penyempurnaan tugas juga akan menyebabkan peningkatan token, sehingga mendorong rekayasa juga merugikan untuk mengurangi konsumsi token.

Ada beberapa kesamaan antara masalah yang diselesaikan oleh RAG dan fine-tuning, tetapi perbedaan utamanya adalah bahwa RAG lebih cocok untuk membuat model mendapatkan jawaban dari informasi tertentu (memori jangka pendek), sementara fine-tuning berfokus pada memori jangka panjang model.

Kekuatan inti RAG adalah mengurangi halusinasi model dengan memanfaatkan basis pengetahuan untuk memberikan informasi kontekstual kepada model.

Namun, pengetahuan dan informasi semacam ini biasanya terbatas pada bidang yang sangat spesifik, tetapi tidak jelas untuk berbagai bidang (seperti “hukum”, “kedokteran”, dll.).

Pada saat yang sama, memberikan sejumlah besar informasi kontekstual akan membawa lebih banyak konsumsi token daripada mendorong proyek, yang juga merugikan penghematan token.

Selain itu, penerapan RAG yang berlebihan juga dapat memiliki efek sebaliknya, seperti pengguna meminta GPT untuk hanya menggunakan informasi dari dokumen, dan kemudian menemukan bahwa model tersebut “berhalusinasi”.

Namun, setelah fakta, ditemukan bahwa ini bukan ilusi model, tetapi bahwa informasi yang diberikan oleh pengguna secara inheren salah.

Fine-tuning, di sisi lain, adalah proses melatih model pada dataset kecil untuk meningkatkan kinerja dan efisiensi, atau untuk memodifikasi struktur output.

Dibandingkan dengan RAG, fine-tuning lebih berfokus pada penekanan pengetahuan model yang ada dan memberikan panduan untuk tugas-tugas kompleks, yang bukan pilihan yang baik untuk mempelajari pengetahuan baru atau iterasi ke kasus penggunaan baru.

Singkatnya, berdasarkan karakteristik dan bidang penggunaan strategi ini, strategi optimasi harus dipilih sesuai dengan kebutuhan aktual.

Ini juga merupakan senjata ajaib OpenAI untuk menyetel GPT-4, dan pada tingkat aplikasi, OpenAI juga telah memberikan hadiah besar kepada sekelompok pengusaha.

Kirim “paket hadiah” untuk pengusaha

Pemimpin teknik OpenAI dan anggota tim Terapan berbagi cara memindahkan aplikasi yang dibangun di atas model OpenAI dari prototipe ke produk lengkap.

Jika Anda juga tertarik untuk melakukan beberapa inovasi aplikasi berdasarkan API OpenAI, berikut ini adalah beberapa pengalaman praktis teknik yang dibagikan oleh pejabat:

Pertama, ciptakan pengalaman pengguna yang berorientasi pada orang, yaitu, mengurangi ketidakpastian model dan meningkatkan keamanan dan kemampuan kontrol model.

Kedua, berikan pengalaman yang konsisten. Misalnya, alat seperti basis pengetahuan digunakan untuk mengurangi inkonsistensi model. Para insinyur menyebutkan bahwa OpenAI mengontrol reproduktifitas hasil dengan mengendalikan benih, dan menyediakan “sidik jari” dari sistem saat ini untuk mewakili keadaan seluruh sistem.

Ketiga, perhatikan evaluasi kinerja. Dan OpenAI menemukan bahwa menggunakan model besar untuk menggantikan evaluasi kinerja manual memiliki efek yang signifikan.

Keempat, mengelola latensi dan biaya. Ada dua strategi utama: yang pertama adalah menambahkan caching semantik untuk mengurangi akses ke API nyata, dan yang kedua adalah menggunakan model yang lebih murah, seperti menyempurnakan GPT-3.5 Turbo dengan output GPT-4 daripada menggunakan GPT-4 secara langsung.

Ketika datang ke pembaruan produk, versi baru API juga patut diperhatikan, dan slogan iklan OpenAI adalah dapat “membangun asisten kelas dunia langsung di aplikasi yang dikembangkan”.

Versi baru API mendukung pemanggilan penerjemah kode dan pengetahuan eksternal, dan Michelle, kepala teknik API OpenAI, memberikan demonstrasi langsung.

Selain itu, perbaikan telah dilakukan pada panggilan fungsi (API pihak ketiga), dengan mode output JSON baru dan memungkinkan beberapa fungsi dipanggil secara bersamaan.

Satu Hal Lagi

Ngomong-ngomong, pada upacara pembukaan konferensi pengembang, OpenAI membagikan $500 kepada semua orang di tempat, yang membuat penonton offline iri.

Namun pada kenyataannya mereka hanya menghasilkan 50 karena mereka harus membayar $ 450 untuk tiket.

Menurut harga terbaru, $ 50 dapat memproses 5 juta token input atau 1.666.000 token output melalui API.

Jadi, catatan barang kering hari ini dibagikan di sini, jika Anda ingin mengetahui lebih detail, Anda dapat pergi ke replay resmi untuk melihatnya.