Model besar sisi perangkat telah menjadi fokus, dan smartphone telah memasuki era "perang inti" AI.

Sumber asli: Titanium Media

Penulis: Deng Jianyun

Sumber gambar: Dihasilkan oleh Unbounded AI

Ketika “AI generatif” telah menjadi kata panas di industri, sambil berfokus pada berbagai aplikasi yang muncul, “daya komputasi” sebagai dukungan yang mendasari aplikasi juga mulai menjadi salah satu fokus perhatian.

Untuk terminal daya komputasi tinggi tradisional, “kesenjangan daya komputasi” yang diperlukan untuk pelatihan model besar dan generasi AI dapat diisi dengan menambahkan perangkat keras GPU tambahan, tetapi misalnya, terminal cerdas seluler dibatasi oleh batasan integrasi dan konsumsi daya, dan lebih sulit untuk menyingkirkan kebutuhan akan jaringan dan mewujudkan penyebaran AI generatif di sisi perangkat.

Bidang AI chip andalan telah memimpin, dan jalur tata letak kelas menengah telah membuat perbedaan

Dalam dua bulan terakhir, MediaTek dan Qualcomm telah berturut-turut merilis generasi baru chip SoC andalan, dan keduanya selalu menyebutkan peningkatan kemampuan penyebaran AI di sisi perangkat.

Mengambil MediaTek sebagai contoh, chip Dimensity 9300 yang dirilis sebelumnya mengintegrasikan prosesor AI generasi ketujuh MediaTek APU 790, yang dirancang untuk AI generatif, dengan kinerja 2 kali lipat dari operasi integer dan operasi floating-point dari generasi sebelumnya, dan pengurangan konsumsi daya sebesar 45%. APU 790 memiliki mesin AI generatif tingkat perangkat keras bawaan untuk mencapai komputasi AI tepi yang lebih cepat dan lebih aman, dan sangat disesuaikan dengan model Transformer untuk sub-akselerasi.

Menurut data resmi, kecepatan pemrosesannya 8 kali lipat dari generasi sebelumnya, dan gambar dapat dihasilkan dalam 1 detik, pada saat yang sama, berdasarkan karakteristik model bahasa besar parameter tingkat 100 juta, MediaTek telah mengembangkan teknologi kuantisasi INT4 presisi campuran, dikombinasikan dengan teknologi kompresi perangkat keras memori NeuroPilot Compression, yang dapat membuat penggunaan bandwidth memori lebih efisien, mengurangi pendudukan memori terminal oleh model besar AI, dan mendukung terminal untuk menjalankan model bahasa besar AI dengan hingga 33 miliar parameter.

Rilis chip smartphone generasi baru telah memungkinkan AI generatif untuk mendapatkan dukungan di sisi perangkat keras, tetapi posisi pasar produk yang dilengkapi dengan chip SoC unggulan pada dasarnya terbatas pada pasar kelas atas. Menurut data IDC, pada kuartal ketiga tahun 2023, pasar smartphone kelas atas domestik (lebih dari 3.500 yuan) menyumbang 33% dari pengiriman.

Dengan kata lain, bahkan jika semua ponsel kelas atas mulai mendukung AI generatif di sisi perangkat, hanya 3 dari 10 orang yang memiliki akses ke fitur tersebut di tingkat pengguna. Pasar mesin kelas menengah dengan posisi lebih rendah,Untuk saat ini, tidak akan dapat menikmati peningkatan pengalaman yang dibawa oleh model besar,Anda tahu,2500~3499Pangsa pasar penjualan ponsel di kisaran yuan juga telah mencapai 19%,Dan sedang dalam tren yang berkembang。

Bagaimana memperluas cakupan aplikasi dan membuat AI generatif tidak hanya “produk pengikat” dari produk kelas atas, tetapi juga masalah utama yang dihadapi berbagai produsen terminal dan pemasok chip hulu. Snapdragon 7 generasi ketiga Qualcomm untuk produk kelas menengah ke atas generasi berikutnya tidak menyebutkan kemajuan fungsi AI, dan peningkatan utama masih kinerja CPU dan GPU serta konsumsi energi untuk kasus penggunaan tradisional.

Di sisi lain, MediaTek, sejak rilis seri Dimensity 8000, model kelas menengah ke atas selain flagship telah menjadi “disk dasar” untuk mempercepat penetrasi pasar chip seluler, dan kecepatan iterasi chip lebih cepat, dan juga memperdalam kerja sama dengan merek ponsel terminal. Dimensity 8300 yang baru dirilis juga merupakan yang pertama di kelasnya yang mendukung AI generatif, dengan hingga 10 miliar model bahasa besar parameter AI.

Chip ini mengintegrasikan prosesor AI MediaTek APU 780 dan dilengkapi dengan mesin AI generatif, yang memiliki kinerja 2 kali lipat dari operasi bilangan bulat dan aritmatika floating-point dibandingkan dengan generasi sebelumnya, mendukung akselerasi operator Transformer dan teknologi kuantisasi INT4 presisi campuran, dan kinerja AI komprehensif adalah 3,3 kali lipat dari generasi sebelumnya, yang dapat dengan lancar menjalankan aplikasi inovatif AI generatif di sisi terminal.

Menurut Li Yanji, wakil manajer umum divisi komunikasi nirkabel MediaTek, Xiaomi telah menjadi produsen ponsel pertama yang mewujudkan aplikasi AI generatif sisi akhir dengan bantuan kemampuan chipnya.

Lu Weibing, presiden Xiaomi Group dan general manager merek Redmi, mengatakan: “Ponsel Redmi akan dilengkapi dengan chip Dimensity 8300-Ultra untuk pertama kalinya di dunia, dan mesin ini akan diterapkan pada generasi baru teknologi kecerdasan tenaga manusia dalam hal penjadwalan kinerja, aplikasi sistem, dan pengembangan kemampuan yang mendasari perangkat keras.” "Redmi K70E yang baru saja dirilis adalah produk ponsel pertama yang menurut Lu Weibing mendukung kecerdasan buatan generatif end-to-end.

Dari sisi cloud ke sisi perangkat, apa yang bisa kita harapkan di era model besar seluler?

Meskipun produk memiliki dan aplikasi juga tersedia, ketika datang ke teknologi model besar, tampaknya masih jauh dari pengguna biasa, dan alasannya adalah bahwa ada kurangnya pendaratan dalam skenario tertentu, dan untuk konsumen massal, mereka tidak dapat merasakan perbedaan pengalaman yang dibawa oleh model besar sama sekali.

Untungnya, aplikasi model besar ponsel semakin mempercepat popularitas, saat ini, termasuk Huawei, Xiaomi, vivo dan produsen ponsel lainnya telah menempatkan aplikasi ponsel model besar dalam agenda, seperti kombinasi asisten suara dan model besar Banyak yang telah mencapai tes internal atau bahkan tahap beta publik.

Orang dalam industri mengatakan kepada Titanium Media App: "Penambahan model besar dapat membuat asisten suara cerdas melompat keluar dari mode ‘pertanyaan dan jawaban mekanis’ algoritma yang ada, dan kemampuan untuk memahami instruksi pengguna dan memecahkan masalah akan ditingkatkan, dan ini hanya langkah pertama. "

Dalam jangka panjang, model besar dan AI generatif end-to-end memang dapat membawa gameplay yang lebih menarik atau praktis ke perangkat keras terminal seperti smartphone. Namun, setelah mengalami aplikasi model ponsel skala besar pada tahap ini, Titanium Media App hanya dapat dikatakan “menjanjikan di masa depan” daripada “inovasi langsung”.

Terus terang, aplikasi model besar saat ini di ponsel lebih hanya tipu muslihat, dan “peningkatan cerdas” yang dapat dirasakan sangat terbatas, meskipun asisten suara dapat memahami dan menjawab lebih banyak pertanyaan, dan bahkan memiliki beberapa pemikiran logis tentang hubungan antara depan dan belakang jawaban singkat, tetapi masih ada celah besar dengan Chat GPT terkemuka di trek.

Jika Anda melihat aplikasi menggambar AI, ada banyak tantangan yang dihadapi oleh terminal seluler, seperti tingkat daya komputasi, Difusi Stabil arus utama saat ini di industri telah diuji, setidaknya Anda memerlukan kartu grafis RTX 3070 atau lebih tinggi untuk mendapatkan pengalaman aplikasi yang lebih lancar, dan ambang batasnya untuk memulai tidak rendah, karena lukisan AI sering kali perlu memilih model pembelajaran panggilan, dan pada saat yang sama terus-menerus mengajukan persyaratan baru dan menyesuaikan gambar dalam lukisan, untuk akhirnya mendapatkan gambar dengan kualitas yang baik.

Difusi Stabil, alat yang terus ditingkatkan sejak munculnya aplikasi menggambar AI, masih demikian, dan penyebaran terminal seluler akan menjadi masalah yang lebih besar, jika hanya melalui deskripsi teks yang dapat menghasilkan gambar, maka bagi konsumen biasa, yang paling banyak adalah mencobanya, dan begitu kesegaran berlalu, itu akan segera menjadi keterampilan yang tidak populer, dan aplikasi model besar akan turun jalan lama yang sama dengan asisten suara cerdas saat itu, dan pasar perlahan-lahan akan mendingin setelah ledakan.

Oleh karena itu, penerapan model besar di sisi perangkat juga perlu menemukan skenario frekuensi tinggi untuk adaptasi, dan Li Yanji percaya bahwa “penjadwalan kinerja” akan menjadi pijakan yang baik. “Model besar tidak hanya dapat mempelajari teks tradisional dan data gambar, tetapi juga mempelajari kebiasaan pengguna, dan kemudian memiliki kemampuan untuk beradaptasi untuk beralih skenario aplikasi,” katanya.

Secara khusus, ini untuk menghilangkan logika penjadwalan algoritma tetap tradisional, sehingga AI lebih terlibat di dalamnya, misalnya, ketika pengguna menggunakan ponsel dalam kehidupan sehari-hari mereka, ketika mereka memproses informasi sosial, game, dan video pendek, persyaratan untuk kinerja ponsel berbeda.

Dengan kemampuan AI sisi perangkat, smartphone dapat lebih proaktif dalam penjadwalan kinerja, dan dapat dioptimalkan secara real time sesuai dengan kebutuhan skenario saat ini, daripada mengadaptasi perangkat lunak dan strategi sesuai dengan skrip.

Analisis Titanium Media App percaya bahwa dibandingkan dengan pengalaman aplikasi yang tampaknya inovatif seperti obrolan dan gambar AI, kemampuan untuk secara akurat memberdayakan skenario frekuensi tinggi yang ada adalah kunci untuk menciptakan nilai pengalaman dalam jangka pendek untuk model besar sisi akhir, apakah itu optimalisasi gambar dan kinerja atau penyesuaian cerdas real-time perangkat keras seperti layar dan speaker, ini adalah dimensi yang dapat membawa peningkatan persepsi pengalaman pengguna dengan lebih baik.

Misalkan suatu hari, melalui model besar sisi perangkat yang dikombinasikan dengan kebiasaan pengguna dan persepsi aplikasi untuk dipelajari, penjadwalan komprehensif tingkat perangkat lunak dan perangkat keras dapat digunakan untuk meningkatkan masa pakai baterai smartphone sebesar 20% atau bahkan 50%, siapa yang akan mengatakan bahwa itu hanya “gimmick”?