تناقش دائرة النماذج الكبيرة بشدة "ضعف وحدة معالجة الرسومات": فقد تم الكشف عن أن Google تمتلك قوة حاسوبية أكبر من الشركات الأخرى مجتمعة، الأمر الذي يثير قلق الشركات الناشئة.

المصدر: كيوبتس

عندما استيقظت ذات ليلة، كان هناك نقاش ساخن في دوائر النماذج الكبيرة - “GPU Poor” (GPU-Poor).

كشف تقرير صادر عن SemiAnalogy، وهي منظمة لتحليل الصناعة، أن تمتلك Google موارد حوسبة أكثر من OpenAI وMeta وAmazon وOracle وCoreWeave مجتمعة.

يتوقع المحلل ديلان باتل أنه بحلول نهاية العام، سيسحق نموذج Gemini واسع النطاق من الجيل التالي الذي تم تطويره بشكل مشترك بواسطة Google DeepMind (Smash) GPT-4 ليحقق 5 أضعاف الأخير.

ويشير التقرير إلى أنه في مواجهة هذه الميزة الساحقة، أصبحت معظم الشركات الناشئة وقوى المصادر المفتوحة “فقيرة في وحدة معالجة الرسومات” وتكافح بموارد محدودة.

سرعان ما أصبح هذا البيان الجذاب والمثير للقلب بمثابة ميم جديد وانتشر في الصناعة.

آخر مرة حظيت فيها بشعبية كبيرة كانت “لا يوجد خندق”. من قبيل الصدفة، تم صنعه أيضًا بواسطة نفس المؤلف، وقام أيضًا بالكشف الكبير عن تفاصيل البنية الداخلية لـ GPT-4.

قال جوليان شوموند، المؤسس المشارك لشركة HuggingFace، الرائدة في مجال المصادر المفتوحة: لا تقلل من شأننا نحن الفقراء.

كما اشتكى بعض الأشخاص عبر الإنترنت نيابة عن الطلاب: “نحن فقراء من حيث المال، ولكننا فقراء أيضًا من حيث القدرة الحاسوبية. نحن طلاب الدكتوراه الذين نتحدث عن هذا”.

قال تشين تيانكي، وهو عالم معروف يعمل على جعل الهواتف المحمولة تعمل بنماذج كبيرة، إن كل شخص سيكون لديه مساعد الذكاء الاصطناعي الخاص به في المستقبل، وسيكون معظمهم “فقيرًا في وحدة معالجة الرسومات”، لكن لا تقلل من شأن الإجمالي كمية.

هناك أيضًا العديد من الأشخاص الذين يعتقدون أنه بغض النظر عن المحتوى المثير للجدل ومعظم رسوم المحتوى، فإن المقدمة المجانية لهذا التقرير هي نقد جيد وملخص للوضع الحالي لصناعة النماذج واسعة النطاق.

“وحدة معالجة الرسومات الضعيفة” تقوم بعمل غير مفيد

التقرير قاسٍ للغاية وينص بصراحة على أن العديد من الشركات الناشئة تقضي الكثير من الوقت والطاقة في القيام بأشياء تكون بلا جدوى عندما تكون تعاني من نقص في وحدات معالجة الرسومات.

على سبيل المثال، يحرص العديد من الأشخاص على استخدام مخرجات النماذج الكبيرة لتحسين النماذج الصغيرة، ثم ينتقلون إلى تحسين التصنيفات، ولكن طرق التقييم غير مثالية و **تركز أكثر على الأسلوب بدلاً من الدقة أو التطبيق العملي **.

ويعتقد التقرير أيضًا أن التصنيفات نفسها التي تحتوي على معايير قياس غير مثالية هي أيضًا مضللة للشركات الصغيرة، مما يؤدي إلى عدد كبير من النماذج غير العملية، وهو ما يضر أيضًا بحركة المصادر المفتوحة.

من ناحية أخرى، لا يستخدم الفقراء في وحدة معالجة الرسومات الموارد بكفاءة، ويستخدم معظمهم نماذج كثيفة تعتمد بشكل أساسي على نظام الألبكة البيئي مفتوح المصدر.

لكن عمالقة مثل OpenAI وGoogle يلعبون بالفعل بنماذج متفرقة** مثل بنية وزارة التعليم، ويستخدمون نماذج صغيرة** لأخذ العينات التأملية (فك التشفير التأملي) لتحسين كفاءة الاستدلال، وهما لعبتان مختلفتان تمامًا**.

ويأمل المؤلف أن وحدة معالجة الرسومات الضعيفة ** لا ينبغي أن تبالغ في تحديد حجم النموذج والإفراط في تقدير حجمه، مع تجاهل الانخفاض في جودة النموذج **. يجب أن تركز على توفير نماذج مضبوطة بكفاءة على البنية التحتية المشتركة، وتقليل زمن الوصول ومتطلبات النطاق الترددي للذاكرة، تلبية احتياجات الحوسبة المتطورة.

عند رؤية ذلك، طرح بعض الأشخاص أيضًا آراء مختلفة، معتقدين أن الإنجازات الإبداعية غالبًا ما تأتي من بيئة مقيدة، وهي ميزة.

لكن أرافيند سرينيفاس، المؤسس المشارك لـ Perplexity.AI، يعتقد أن المؤسسات الغنية بوحدة معالجة الرسومات سوف تستثمر فعليًا في الأبحاث ذات القيود.

وللعثور على الاختراق التالي مثل Transformer، يلزم إجراء آلاف التجارب، والموارد المطلوبة ليست منخفضة بالتأكيد.

كيف تلعب لعبة “GPU Rich”

إذن، ما الذي يفعله الجانب الآخر من مدنيي وحدة معالجة الرسومات، Google، “قطب وحدة معالجة الرسومات”،؟ .

بالمعنى الدقيق للكلمة، القوة الحاسوبية لشركة Google ليست وحدة معالجة الرسومات (GPU)، بل هي مادة TPU الخاصة بها. يعتقد التقرير أنه على الرغم من أن أداء الوحدة الواحدة لـ TPUv5 ليس جيدًا مثل NVIDIA H100، إلا أن Google تمتلك بنية البنية التحتية الأكثر كفاءة.

بعد اندماج Google Brain وDeepMind، قاموا بتدريب نموذج Gemini بشكل مشترك ضد GPT-4.

يتولى قيادة فريق مكون من 100 شخص نائبان سابقان لأبحاث DeepMind كوراي كافوكوجلو وأوريول فينيالس** ورئيس Google Brain السابق جيف دين.

وفقًا لتقارير مختلفة، من المتوقع إصدار الجوزاء في غضون سنوات، وبشكل أكثر دقة، ضمن نطاق الخريف في الولايات المتحدة (23 سبتمبر - 21 ديسمبر).

ستقوم Gemini بدمج النماذج الكبيرة مع قدرات توليد الصور بالذكاء الاصطناعي، باستخدام 9.36 مليار دقيقة من التدريب على ترجمة الفيديو على يوتيوب، ويقدر إجمالي حجم مجموعة البيانات بضعف حجم GPT-4.

كشف مؤسس DeepMind السابق هاسابيس أن Gemini ستجمع بين بعض قدرات نظام من نوع AlphaGo مع “ابتكارات أخرى مثيرة للاهتمام للغاية”.

بالإضافة إلى ذلك، شارك مؤسس Google Brin شخصيًا في أبحاث وتطوير Gemini، بما في ذلك تقييم النموذج والمساعدة في التدريب.

لا توجد أخبار أكثر تحديدًا حول Gemini، لكن بعض الأشخاص يتوقعون أنها ستستخدم أيضًا هندسة MoE وتقنية أخذ العينات التأملية مثل GPT-4.

من المحتمل أن يكون هناك بحث جديد بعنوان “من خليط متفرق إلى مزيج ناعم من الخبراء” نشره Google DeepMind في أوائل أغسطس، مرتبطًا ببرج الجوزاء.

يمكن لأخذ العينات التخمينية تسريع الاستدلال بمقدار 2-3 مرات لنماذج المحولات الكبيرة دون فقدان جودة التوليد.

على وجه التحديد، اسمح للنموذج الصغير بإنشاء بعض الرموز المميزة مسبقًا ودع النموذج الكبير يقوم بالتحكيم. إذا تم قبوله، دع النموذج الكبير يقوم بإنشاء الرمز المميز التالي وكرر الخطوة الأولى. إذا كانت الجودة الناتجة عن النموذج الصغير ليست عالية ، قم بالتبديل إلى النموذج الكبير.

تم نشر ورقة أخذ العينات التخمينية من Google فقط في نوفمبر 2022، لكن التقارير السابقة أشارت إلى أن GPT-4 يستخدم أيضًا تقنية مماثلة.

في الواقع، فإن Blockwise Parallel Decoding، وهو سلف تقنية أخذ العينات التأملية، يأتي أيضًا من Google، ومن بين المؤلفين Noam Shazeer من بين مؤلفي Transformer.

شارك نعوم شازير في أبحاث Transformer وMoE وأخذ العينات التخمينية عندما كان في Google، والتي تعد جميعها بالغة الأهمية للنماذج الكبيرة الحالية. بالإضافة إلى ذلك، شارك أيضًا في أبحاث نماذج كبيرة متعددة مثل T5 وLaMDA وPaLM.

كما روى تقرير SemiAnalys أحد ثرثرته.

في وقت مبكر من عصر GPT-2، كتب نعوم شازير مذكرة داخلية في جوجل، توقع فيها دمج النماذج الكبيرة في حياة الناس بطرق مختلفة في المستقبل، لكن جوجل لم تأخذ هذا الرأي على محمل الجد في ذلك الوقت.

والآن يبدو أن العديد من الأشياء التي تنبأ بها قد حدثت بالفعل بعد إصدار ChatGPT.

ومع ذلك، ترك نعوم شازير جوجل في عام 2021 ليؤسس شركة Character.ai، ووفقًا لهذا التقرير، فهو الآن أيضًا عضو في “فقراء GPU”.

الرابط المرجعي: [1] [2] [3] [4]