NEAR Co-Creation: Kemajuan mengganggu seperti apa yang akan dibawa Web3 ke AI?

Pada tanggal 17 April, IOSG Ventures mengadakan Reuni Teman Lama Tahunan ke-12 dengan tema “Singularity: AI x Kripto Convergence”. Tujuan dari pertemuan ini adalah agar para peserta dapat mendiskusikan di mana AI dan ruang Aset Kripto bertemu dan implikasi dari konvergensi ini untuk masa depan. Pada acara semacam itu, peserta memiliki kesempatan untuk berbagi wawasan, pengalaman, dan ide mereka, sehingga mendorong kolaborasi dan inovasi dalam industri.

Selanjutnya adalah salah satu keynote acara, “Mengapa AI Perlu Terbuka” oleh Illia Polosukhin, Co-Founder Portfolio NEAR Protocol dari IOSG Ventures

Mengapa AI Perlu Terbuka

Mari kita jelajahi mengapa AI harus terbuka. Latar belakang saya adalah pembelajaran mesin dan saya telah mengerjakan berbagai pekerjaan pembelajaran mesin selama sekitar satu dekade atau lebih dalam karir saya. Tetapi sebelum berkecimpung dalam Kripto, pemahaman bahasa alami, dan mendirikan NEAR, saya bekerja di Google. Kami sekarang telah mengembangkan kerangka kerja yang disebut Transformer yang menggerakkan sebagian besar kecerdasan buatan modern. Setelah meninggalkan Google, saya memulai sebuah perusahaan pembelajaran mesin sehingga kami dapat mengajarkan mesin untuk memprogram dan dengan demikian mengubah cara kami berinteraksi dengan komputer. Tetapi kami tidak melakukan itu pada tahun 2017 atau '18, itu terlalu dini dan tidak ada daya komputasi dan data untuk melakukan itu.

Apa yang kami lakukan adalah menarik orang-orang dari seluruh dunia untuk melakukan pekerjaan pelabelan untuk kami, paling lama dari mereka adalah siswa. Mereka berada di Cina, Asia dan Eropa Timur. Banyak long dari mereka tidak memiliki akun bank di negara-negara ini. AS enggan mengirim uang dengan mudah, jadi kami mulai ingin menggunakan Blockchain sebagai solusi untuk masalah kami. Kami ingin mempermudah pembayaran orang di seluruh dunia dengan cara terprogram, di mana pun mereka berada. Ngomong-ngomong, tantangan saat ini dengan Kripto adalah bahwa sekarang sementara NEAR memecahkan banyak masalah long, biasanya, Anda perlu membeli beberapa Kripto sebelum Anda dapat berdagang di Blockchain untuk mendapatkannya, dan prosesnya berjalan sebaliknya.

Ini seperti bisnis, mereka akan berkata, hei, pertama-tama, Anda perlu membeli beberapa ekuitas di perusahaan untuk menggunakannya. Ini adalah salah satu masalah long yang kami selesaikan di NEAR. Sekarang mari kita bicara sedikit lebih dalam tentang aspek kecerdasan buatan. Model bahasa bukanlah hal baru, mereka sudah ada sejak tahun 50-an. Ini adalah alat statistik yang banyak digunakan dalam alat bahasa alami. Untuk waktu yang long, mulai tahun 2013, sebuah inovasi baru dimulai saat Kedalaman Learning diluncurkan kembali. Inovasinya adalah Anda dapat mencocokkan kata-kata, menambahkannya ke vektor terpanjang dan mengubahnya menjadi bentuk matematika. Ini bekerja dengan baik dengan model Kedalaman Learning, yang hanya banyak fungsi perkalian dan aktivasi matriks.

Ini memungkinkan kami untuk mulai melakukan pembelajaran mendalam tingkat lanjut dan melatih model untuk melakukan hal-hal menarik terpanjang. Melihat ke belakang sekarang, apa yang kami lakukan pada saat itu adalah jaringan saraf saraf, yang sangat banyak dimodelkan setelah manusia, di mana kami dapat membaca satu kata pada satu waktu. Jadi, sangat lambat untuk melakukan itu, kan. Jika Anda mencoba menunjukkan sesuatu kepada pengguna di Google.com, tidak ada yang akan menunggu untuk membaca Wikipedia, katakanlah lima menit sebelum memberikan jawaban, tetapi Anda ingin mendapatkan jawaban segera. Jadi, model Transformers, model yang mendorong ChatGPT, Midjourney, dan semua kemajuan baru-baru ini, semuanya berasal dari ide yang sama untuk memiliki model yang dapat memproses data secara paralel, dapat bernalar, dan dapat memberikan jawaban langsung.

Jadi salah satu inovasi utama dari ide di sini adalah bahwa setiap kata, setiap token, setiap blok gambar diproses secara paralel, memanfaatkan GPU kami dan akselerator lain yang memiliki tingkat daya komputasi paralel yang tinggi. Dengan demikian, kami dapat menalarnya dalam skala besar. Skala ini meningkatkan pelatihan untuk memproses data pelatihan otomatis. Jadi, setelah itu, kami melihat Dopamine, yang melakukan pekerjaan luar biasa dalam periode waktu yang short, mencapai ledakan pelatihan. Ini memiliki sejumlah besar teks dan mulai mencapai hasil yang luar biasa dalam penalaran dan pemahaman bahasa-bahasa dunia.

Arahnya sekarang adalah untuk mempercepat inovasi dalam AI, yang sebelumnya merupakan alat yang akan digunakan oleh para ilmuwan data, insinyur pembelajaran mesin, dan kemudian entah bagaimana menjelaskan apa yang ada dalam produk mereka atau mampu mendiskusikan data dengan para pembuat keputusan. Sekarang kami memiliki model AI yang berkomunikasi langsung dengan orang-orang. Anda bahkan mungkin tidak tahu bahwa Anda berkomunikasi dengan model karena sebenarnya tersembunyi di balik produk. Jadi kami telah melalui pergeseran ini, dari memahami cara kerja AI, menjadi memahami dan dapat menggunakannya.

Jadi saya di sini untuk memberi Anda sedikit latar belakang, ketika kami mengatakan kami menggunakan GPU untuk melatih model, itu bukan jenis GPU gaming yang kami gunakan saat kami bermain video game di desktop kami.

Setiap mesin biasanya dilengkapi dengan delapan GPU, yang semuanya terhubung satu sama lain melalui motherboard dan kemudian ditumpuk ke rak, masing-masing dengan sekitar 16 mesin. Sekarang, semua rak ini juga terhubung satu sama lain melalui kabel jaringan khusus untuk memastikan bahwa informasi dapat ditransfer langsung antar GPU dengan kecepatan tinggi. Oleh karena itu, informasi tersebut tidak sesuai untuk CPU. Sebenarnya, Anda tidak akan menghadapinya di CPU sama sekali. Semua perhitungan terjadi pada GPU. Jadi ini adalah pengaturan superkomputer. Sekali lagi, ini bukan tradisional “hei, ini masalah GPU”. Jadi model berukuran GPU4 dilatih pada 10.000 H100 selama sekitar tiga bulan dengan biaya $ 64 juta. Dapatkan gambaran tentang skala biaya saat ini dan seberapa kecil biayanya long untuk melatih beberapa model modern.

Yang penting adalah ketika saya mengatakan bahwa sistem terhubung satu sama lain, kecepatan koneksi H100 saat ini, yaitu generasi sebelumnya, adalah 900GB per detik, dan kecepatan koneksi antara CPU internal dan RAM komputer adalah 200GB per detik, yang bersifat lokal ke komputer. Akibatnya, mengirim data dari satu GPU ke GPU lain di pusat data yang sama lebih cepat daripada komputer Anda. Komputer Anda pada dasarnya dapat berkomunikasi sendiri dalam sebuah kotak. Dan kecepatan koneksi generasi baru pada dasarnya 1,8 terabyte per detik. Dari sudut pandang pengembang, ini bukan unit komputasi individual. Ini adalah superkomputer dengan sejumlah besar memori dan daya komputasi, memberi Anda komputasi skala sangat besar.

Sekarang, itu mengarah pada masalah yang kita hadapi, yaitu bahwa perusahaan-perusahaan besar ini memiliki sumber daya dan kapasitas untuk membangun model-model ini, dan model-model itu sudah cukup banyak memberi kita layanan semacam ini sekarang, dan saya tidak tahu persis berapa banyak pekerjaan long ada di dalamnya, bukan? Jadi itu contohnya, bukan? Anda pergi ke penyedia perusahaan yang sepenuhnya terpusat dan memasukkan kueri. Akibatnya, ada tim yang bukan tim rekayasa perangkat lunak, tetapi tim yang memutuskan bagaimana hasilnya ditampilkan, bukan? Anda memiliki tim yang memutuskan data apa yang masuk ke himpunan data.

Sebagai contoh, jika Anda hanya merayapi data dari internet, berapa kali Barack Obama lahir di Kenya dan Barack Obama lahir di Hawaii persis sama karena orang suka berspekulasi tentang kontroversi. Jadi Anda memutuskan apa yang ingin Anda latih. Anda akan memutuskan untuk menyaring beberapa informasi karena Anda tidak percaya itu benar. Jadi, jika seorang individu seperti ini telah membuat keputusan tentang data apa yang akan diadopsi dan data itu ada, keputusan itu sebagian besar dipengaruhi oleh orang-orang yang membuatnya. Anda memiliki tim hukum yang memutuskan apa yang tidak dapat kami lihat adalah hak cipta dan apa yang ilegal. Kami memiliki “tim etika” yang memutuskan apa yang tidak etis dan apa yang tidak boleh kami tunjukkan.

Jadi sampai batas tertentu, ada perilaku penyaringan dan manipulasi terpanjang ini. Model-model ini adalah model statistik. Mereka dipilih dari data. Jika ada sesuatu dalam data, mereka tidak akan tahu jawabannya. Jika ada sesuatu dalam data, mereka cenderung menganggapnya sebagai fakta. Sekarang, ketika Anda mendapatkan jawaban dari AI, itu bisa mengkhawatirkan. Tepat. Sekarang, Anda seharusnya mendapatkan jawaban dari model, tetapi tidak ada jaminan. Anda tidak tahu bagaimana hasilnya dihasilkan. Sebuah perusahaan mungkin benar-benar mengubah hasilnya dengan menjual sesi khusus Anda kepada penawar tertinggi. Bayangkan Anda bertanya jenis mobil apa yang harus Anda beli, dan Toyota memutuskan bahwa ia berpikir itu harus mendukung Toyota, dan Toyota akan membayar perusahaan 10 sen untuk melakukannya.

Jadi, bahkan jika Anda menggunakan model ini sebagai basis pengetahuan yang seharusnya netral dan mewakili data, sebenarnya ada long hal yang terjadi sebelum Anda mendapatkan hasil yang bias oleh hasil dengan cara yang sangat spesifik. Itu sudah menimbulkan pertanyaan terpanjang, bukan? Ini pada dasarnya adalah minggu pertempuran hukum yang berbeda antara perusahaan besar dan media. SEC, sekarang hampir semua orang mencoba untuk saling menuntut karena model-model ini membawa long ketidakpastian dan kekuatan. Dan, jika Anda melihat ke depan, masalahnya adalah perusahaan teknologi besar akan selalu memiliki insentif untuk terus meningkatkan pendapatan, bukan? Misalnya, jika Anda adalah perusahaan publik, Anda perlu melaporkan pendapatan, Anda harus terus meningkat.

Dalam pesanan untuk mencapai hal ini, jika Anda sudah menempati target pasar, katakanlah Anda sudah memiliki 2 miliar pengguna. Tidak ada lagi long pengguna baru di internet lagi. Anda tidak memiliki terlalu long pilihan, selain memaksimalkan pendapatan rata-rata, yang berarti Anda perlu mengekstrak lebih banyak nilai long dari pengguna yang mungkin tidak memiliki banyak nilai sama sekali, atau Anda perlu mengubah perilaku mereka. AI generatif sangat pandai memanipulasi dan mengubah perilaku pengguna, terutama jika orang berpikir bahwa itu datang dalam bentuk semua kecerdasan intelektual. Jadi kita berada dalam situasi yang sangat berbahaya ini, di mana ada banyak tekanan regulasi dan regulator tidak sepenuhnya memahami cara kerja teknologi ini. Kami memiliki sedikit atau tidak ada kasus untuk melindungi pengguna dari manipulasi.

Konten manipulatif, konten menyesatkan, bahkan tanpa iklan, Anda cukup mengambil tangkapan layar dari sesuatu, mengubah keterangan, mempostingnya di Twitter, dan orang-orang akan menjadi gila. Anda memiliki insentif keuangan yang menuntun Anda untuk terus memaksimalkan penghasilan Anda. Dan, sebenarnya tidak seperti di dalam Google Anda melakukan kejahatan, bukan? Ketika Anda memutuskan model mana yang akan diluncurkan, Anda melakukan tes A atau B untuk melihat mana yang menghasilkan lebih banyak pendapatan long. Hasilnya, Anda akan terus memaksimalkan pendapatan dengan mengekstrak nilai lebih lama dari pengguna. Selain itu, pengguna dan komunitas tidak memiliki masukan tentang apa model itu, data apa yang digunakannya, dan apa yang sebenarnya ingin dicapai. Ini adalah kasus untuk pengguna aplikasi. Ini adalah pengkondisian.

ITULAH SEBABNYA KAMI TERUS MENDORONG KONVERGENSI WEB 3 DAN AI, YANG DAPAT MENJADI ALAT PENTING YANG MEMUNGKINKAN KAMI CARA-CARA BARU UNTUK MEMOTIVASI KAMI DAN MEMBERI INSENTIF KEPADA KAMI UNTUK MENGHASILKAN PERANGKAT LUNAK DAN PRODUK YANG LEBIH BAIK DALAM BENTUK DESENTRALISASI. Ini adalah arah umum dari seluruh pengembangan AI web 3, dan sekarang di pesanan untuk membantu memahami detailnya, saya akan berbicara secara singkat tentang bagian-bagian spesifik, pertama-tama, bagian pertama adalah Reputasi Konten.

Sekali lagi, ini bukan masalah AI murni, meskipun model bahasa telah membawa pengaruh dan skala yang sangat besar bagi orang untuk memanipulasi dan mengeksploitasi informasi. Yang Anda inginkan adalah reputasi enkripsi keterlacakan yang dapat dilacak yang akan muncul ketika Anda melihat konten yang berbeda. Jadi bayangkan Anda memiliki beberapa node komunitas yang benar-benar dienkripsi dan dapat ditemukan di setiap halaman setiap situs web. Sekarang, jika Anda melampaui itu, semua platform distribusi ini akan terganggu, karena model-model ini sekarang akan membaca hampir semua konten itu dan memberi Anda ringkasan yang dipersonalisasi dan output yang dipersonalisasi.

Jadi kami benar-benar memiliki kesempatan untuk membuat konten kreatif baru, dan alih-alih mencoba menemukannya kembali, mari tambahkan Blockchain dan NFT ke konten yang ada. Ekonomi kreator baru seputar pelatihan model dan waktu inferensi, data yang dibuat orang, baik itu publikasi baru, foto, YouTube, atau musik yang Anda buat, akan masuk ke jaringan berdasarkan seberapa besar kontribusi mereka pada pelatihan model. Jadi, menurut itu, ada beberapa remunerasi yang dapat dibayarkan secara global berdasarkan konten. Sebagai hasilnya, kami telah beralih dari ekonomi menarik yang sekarang didorong oleh jaringan iklan ke ekonomi yang benar-benar menghadirkan inovasi dan informasi menarik.

Satu hal penting yang ingin saya sebutkan adalah bahwa banyak ketidakpastian berasal dari aritmatika floating-point. Semua model ini melibatkan banyak operasi floating-point dan perkalian. Ini adalah operasi yang tidak pasti.

Sekarang, jika Anda mengalikannya pada GPU dari arsitektur yang berbeda. Jadi Anda mengambil A100 dan H100 dan hasilnya akan berbeda. Akibatnya, pendekatan yang long mengandalkan kepastian, seperti enkripsi ekonomi dan optimisme, justru long sulit dan membutuhkan banyak inovasi long untuk mewujudkannya. Dan akhirnya, ada ide menarik bahwa kami telah membangun Programmabilitas koin dan Programmabilitas aset, tetapi jika Anda dapat membayangkan bahwa Anda menambahkan kecerdasan itu kepada mereka, Anda dapat memiliki aset pintar, dan mereka sekarang tidak ditentukan oleh kode, tetapi oleh kemampuan bahasa alami untuk berinteraksi dengan dunia, bukan? Di situlah kita dapat memiliki optimasi hasil yang sangat long menarik, Keuangan Desentralisasi, dan kita dapat memiliki strategi perdagangan di dalam dunia.

Tantangannya sekarang adalah bahwa tidak ada peristiwa saat ini yang memiliki perilaku Kuat yang kuat. Mereka tidak dilatih untuk menjadi kuat secara bermusuhan, karena tujuan pelatihan adalah untuk memprediksi token berikutnya. Karena itu, akan lebih mudah meyakinkan model untuk memberi Anda semua uang. Sangat penting untuk benar-benar mengatasi hal ini sebelum melanjutkan. Jadi saya akan meninggalkan Anda dengan ide ini, kita berada di persimpangan jalan, bukan? Ada ekosistem AI tertutup yang memiliki insentif ekstrem dan roda gila karena ketika mereka meluncurkan produk, mereka menghasilkan banyak pendapatan dan kemudian memasukkan pendapatan itu ke dalam membangun produk. Namun, produk ini secara inheren dirancang untuk memaksimalkan pendapatan perusahaan dan dengan demikian nilai yang diambil dari pengguna. Atau kami memiliki pendekatan terbuka milik pengguna ini, di mana pengguna memegang kendali.

Model-model ini benar-benar bekerja sesuai keinginan Anda dan mencoba memaksimalkan manfaat Anda. Mereka memberi Anda cara untuk benar-benar melindungi Anda dari kerinduan akan bahaya di internet. Jadi itulah mengapa kita membutuhkan pengembangan dan penerapan AI x Kripto yang lebih long. Terima kasih.