بقلم جاي: FP
تصنيف: ديب تايد تك فلو
أثار إصدار الورقة البيضاء الخاصة بالبيتكوين في عام 2008 إعادة التفكير في مفهوم الثقة. ثم وسعت Blockchain تعريفها ليشمل مفهوم النظام غير الموثوق به وتطورت بسرعة لتقول إن أنواعًا مختلفة من القيمة ، مثل السيادة الفردية والديمقراطية المالية والملكية ، يمكن تطبيقها على الأنظمة الحالية. بالطبع ، قد تكون هناك حاجة إلى الكثير من التحقق من الصحة والمناقشة قبل أن يمكن استخدام blockchain في الممارسة العملية ، لأن خصائصها قد تبدو جذرية إلى حد ما مقارنة بالأنظمة المختلفة الموجودة. ومع ذلك ، إذا كنا متفائلين بشأن هذه السيناريوهات ، فإن بناء خطوط أنابيب البيانات وتحليل المعلومات القيمة الموجودة في تخزين blockchain لديه القدرة على أن يصبح نقطة تحول مهمة أخرى في تطوير الصناعة ، لأنه يمكننا ملاحظة Web3 التي لم تكن موجودة من قبل. الأعمال الأصلية ذكاء.
تستكشف هذه الورقة إمكانات خطوط أنابيب البيانات الأصلية Web3 من خلال إسقاط خطوط أنابيب البيانات المستخدمة بشكل شائع في أسواق تكنولوجيا المعلومات الحالية في بيئة Web3. يناقش المقال فوائد خطوط الأنابيب هذه ، والتحديات التي يجب معالجتها ، وتأثير هذه الأنابيب على الصناعة.
“اللغة هي أحد أهم الفروق بين البشر والحيوانات الدنيا. إنها ليست فقط القدرة على إصدار الأصوات ، ولكن لربط أصوات محددة بأفكار محددة واستخدام هذه الأصوات كرموز لتوصيل الأفكار.” - داروين
تاريخياً ، صاحب التقدم الكبير في الحضارة الإنسانية ابتكارات في تبادل المعلومات. استخدم أسلافنا اللغة ، المنطوقة والمكتوبة ، للتواصل مع بعضهم البعض ونقل المعرفة إلى الأجيال القادمة. هذا يمنحهم ميزة كبيرة على الأنواع الأخرى. جعل اختراع الكتابة والورق والطباعة من الممكن مشاركة المعلومات على نطاق أوسع ، مما أدى إلى تقدم كبير في العلوم والتكنولوجيا والثقافة. كانت الطباعة المعدنية المنقولة لكتاب جوتنبرج على وجه الخصوص لحظة فاصلة حيث أتاحت الإنتاج الضخم للكتب والمواد المطبوعة الأخرى. كان لهذا تأثير عميق على بدايات الإصلاح والثورة الديمقراطية والتقدم العلمي.
سمح التطور السريع لتكنولوجيا تكنولوجيا المعلومات في العقد الأول من القرن الحادي والعشرين باكتساب فهم أعمق للسلوك البشري. وقد أدى ذلك إلى تغيير في نمط الحياة حيث يتخذ معظم الناس في العصر الحديث قرارات مختلفة بناءً على المعلومات الرقمية. ولهذا السبب نشير إلى المجتمع الحديث باسم “عصر الابتكار في تكنولوجيا المعلومات”.
بعد 20 عامًا فقط من التسويق التجاري الكامل للإنترنت ، أذهلت تقنية الذكاء الاصطناعي العالم مرة أخرى. هناك العديد من التطبيقات التي يمكن أن تحل محل العمالة البشرية ، ويناقش الكثير من الناس الحضارة التي سيتغيرها الذكاء الاصطناعي. حتى أن البعض في حالة إنكار ، ويتساءل كيف يمكن لمثل هذه التكنولوجيا أن تظهر بسرعة بحيث يمكن أن تهز أسس مجتمعنا. على الرغم من وجود “قانون مور” الذي يوضح أن أداء أشباه الموصلات سيزداد أضعافا مضاعفة بمرور الوقت ، فإن التغييرات التي أحدثها ظهور GPT مفاجئة للغاية بحيث لا يمكن مواجهتها على الفور.
من المثير للاهتمام ، مع ذلك ، أن نموذج GPT نفسه ليس في الواقع بنية رائدة للغاية. من ناحية أخرى ، ستدرج صناعة الذكاء الاصطناعي العناصر التالية باعتبارها عوامل النجاح الرئيسية لنماذج GPT: 1) تحديد مجالات الأعمال التي يمكن أن تستهدف قاعدة كبيرة من العملاء ، و 2) ضبط النموذج من خلال خطوط أنابيب البيانات - من استيعاب البيانات حتى النهاية النتائج وردود الفعل القائمة على النتائج. باختصار ، تتيح هذه التطبيقات الابتكار عن طريق تحسين أغراض تقديم الخدمة ورفع مستوى عمليات معالجة البيانات / المعلومات.
يعتمد معظم ما نسميه الابتكار في الواقع على التلاعب بالبيانات المتراكمة ، وليس الصدفة أو الحدس. كما يقول المثل ، “في السوق الرأسمالية ، ليس الأقوياء هم من ينجو ، ولكن الناجون هم الأقوياء”. تتمتع الأعمال التجارية اليوم بقدرة تنافسية عالية والسوق مشبع. ومن ثم ، تقوم الشركات بجمع وتحليل جميع أنواع البيانات للاستيلاء حتى على أصغر مكان.
قد نكون مهووسين جدًا بنظرية شومبيتر عن “التدمير الإبداعي” والتركيز الشديد على اتخاذ القرارات بناءً على الحدس. ومع ذلك ، فحتى الحدس العظيم هو في النهاية نتاج البيانات والمعلومات المتراكمة للفرد. سوف يتغلغل العالم الرقمي بشكل أعمق في حياتنا في المستقبل ، وسيتم تقديم المزيد والمزيد من المعلومات الحساسة في شكل بيانات رقمية.
يحظى سوق Web3 باهتمام كبير نظرًا لقدرته على منح المستخدمين إمكانية التحكم في بياناتهم. ومع ذلك ، فإن مجال blockchain ، وهو التقنية الأساسية لـ Web3 ، يهتم حاليًا أكثر بحل مشكلة ثلاثية (Deep Tide Note: المعضلة الثلاثية ، أي قضايا الأمان واللامركزية وقابلية التوسع). لكي تكون التقنيات الجديدة مقنعة في العالم الحقيقي ، من المهم تطوير التطبيقات والذكاء التي يمكن استخدامها بطرق متعددة. لقد رأينا هذا يحدث في مساحة البيانات الضخمة ، وقد تطورت منهجيات بناء معالجة البيانات الضخمة وخطوط البيانات بشكل ملحوظ منذ حوالي عام 2010. في سياق Web3 ، يجب بذل الجهود لدفع الصناعة إلى الأمام وبناء أنظمة تدفق البيانات لتوليد ذكاء قائم على البيانات.
إذن ، ما هي الفرص التي يمكننا اقتناصها من أنظمة البث Web3 الأصلية ، وما هي التحديات التي نحتاج إلى مواجهتها لاغتنام هذه الفرص؟
! [من الجزيرة المعزولة إلى التعاون: معنى خط أنابيب البيانات الأصلية Web3] (https://img-cdn.gateio.im/resized-social/moments-7f230462a9-cc80ceca81-dd1a6f-1c6801)
باختصار ، تتمثل قيمة تكوين تدفقات بيانات Web3 الأصلية في أنه يمكن توزيع البيانات الموثوقة بأمان وكفاءة على كيانات متعددة بحيث يمكن استخراج رؤى قيمة.
الثقة هي أساس الكيانات المختلفة للتفاعل مع بعضها البعض واتخاذ القرارات. لذلك ، عندما يمكن توزيع البيانات الموثوقة بأمان ، فهذا يعني أنه يمكن اتخاذ العديد من التفاعلات والقرارات من خلال خدمات Web3 التي تشارك فيها كيانات مختلفة. يساعد هذا في تعظيم رأس المال الاجتماعي ، ويمكننا أن نتخيل العديد من حالات الاستخدام أدناه.
** 3.2.1 تطبيق الخدمة / البروتوكول **
نظام القرار الآلي المستند إلى القواعد - تستخدم البروتوكولات المعلمات الأساسية لتشغيل الخدمات. يتم تعديل هذه المعلمات بانتظام لتحقيق الاستقرار في حالة الخدمة وتزويد المستخدمين بأفضل تجربة. ومع ذلك ، لا يمكن للبروتوكول دائمًا مراقبة حالة الخدمة وإجراء تغييرات ديناميكية على المعلمات في الوقت المناسب. هذا ما يفعله تدفق البيانات على السلسلة. يمكن استخدام تدفقات البيانات على السلسلة لتحليل حالة الخدمة في الوقت الفعلي واقتراح أفضل مجموعة من المعلمات لمطابقة متطلبات الخدمة (على سبيل المثال ، تطبيق آلية معدل عائم تلقائي لبروتوكولات الإقراض).
** 3.2.2 مبادرات التعاون والحوكمة **
** 3.2.3 تشخيص الشبكة **
تتمتع البيانات على السلسلة بمزايا فريدة يمكن أن تزيد من قيمة الصناعة. ومع ذلك ، لتحقيق هذه الفوائد بالكامل ، يجب معالجة العديد من التحديات داخل وخارج الصناعة.
لا توجد اتصالات بين البيانات الأولية الحالية لـ Web3 ، فهم يستخرجون البيانات ويعالجونها بشكل مستقل. هذا يجعل من الصعب تجربة التآزر في معالجة المعلومات. لمعالجة هذه المشكلة ، تقدم هذه الورقة خط أنابيب بيانات شائع الاستخدام في سوق تكنولوجيا المعلومات وترسم خرائط لأساسيات بيانات Web3 الموجودة على خط الأنابيب هذا. هذا سيجعل حالة الاستخدام أكثر واقعية.
! [من الجزيرة المعزولة إلى التعاون: معنى خط أنابيب البيانات الأصلية Web3] (https://img-cdn.gateio.im/resized-social/moments-7f230462a9-76a912bbaf-dd1a6f-1c6801)
يشبه بناء خط أنابيب البيانات عملية تصور وأتمتة عمليات صنع القرار المتكررة في الحياة اليومية. من خلال القيام بذلك ، تكون المعلومات ذات الجودة المحددة متاحة بسهولة وتستخدم في صنع القرار. كلما زادت البيانات غير المهيكلة المطلوب معالجتها ، كلما زاد استخدام المعلومات ، أو كلما تطلب الأمر المزيد من التحليل في الوقت الفعلي ، يمكن توفير الوقت والتكلفة لاكتساب الاستباقية اللازمة للقرارات المستقبلية من خلال أتمتة هذه العمليات.
يوضح الرسم البياني أعلاه بنية مشتركة لبناء خطوط أنابيب البيانات في سوق البنية التحتية لتكنولوجيا المعلومات الحالي. يتم جمع البيانات المناسبة للأغراض التحليلية من مصدر البيانات الصحيح وتخزينها في حل تخزين مناسب وفقًا لطبيعة البيانات والمتطلبات التحليلية. على سبيل المثال ، توفر بحيرات البيانات حلول تخزين البيانات الخام لتحليل قابل للتطوير والمرن ، بينما تركز مستودعات البيانات على تخزين البيانات المنظمة للاستعلام والتحليل المحسّن لمنطق عمل محدد. يتم بعد ذلك معالجة البيانات إلى بصيرة أو معلومات مفيدة بطرق مختلفة.
كل مستوى حل متاح أيضًا كخدمة مجمعة. هناك أيضًا اهتمام متزايد بمجموعات منتجات SaaS (استخراج وتحويل وتحميل) ETL التي تربط سلسلة العمليات من استخراج البيانات إلى التحميل (على سبيل المثال FiveTran و Panoply و Hivo و Rivery). لا يكون التسلسل أحادي الاتجاه دائمًا ، ويمكن أن تتصل الطبقات ببعضها البعض بطرق متنوعة ، اعتمادًا على الاحتياجات المحددة للمؤسسة. أهم شيء عند إنشاء مسار بيانات هو تقليل مخاطر فقد البيانات الذي يمكن أن يحدث أثناء إرسال البيانات واستلامها إلى كل طبقة خادم. يمكن تحقيق ذلك من خلال تحسين فصل الخوادم واستخدام حلول تخزين ومعالجة موثوقة للبيانات.
! [من الجزيرة المعزولة إلى التعاون: معنى خط أنابيب البيانات الأصلية Web3] (https://img-cdn.gateio.im/resized-social/moments-7f230462a9-d19a383e7f-dd1a6f-1c6801)
يمكن تطبيق الرسم التخطيطي المفاهيمي لخط أنابيب البيانات الذي تم تقديمه مسبقًا على بيئة السلسلة ، كما هو موضح في الشكل أعلاه ، ولكن تجدر الإشارة إلى أنه لا يمكن تشكيل خط أنابيب لامركزي تمامًا ، لأن كل مكون أساسي يعتمد إلى حد ما على حل مركزي خارج السلسلة. بالإضافة إلى ذلك ، لا يتضمن الشكل أعلاه حاليًا جميع حلول Web3 ، وقد تكون حدود التصنيف غير واضحة - على سبيل المثال ، KYVE ، بالإضافة إلى العمل كمنصة وسائط متدفقة ، يتضمن أيضًا وظيفة بحيرة البيانات ، والتي يمكن أن تكون يعتبر خط أنابيب البيانات نفسه. أيضًا ، تم تصنيف Space and Time كقاعدة بيانات لامركزية ، ولكنها تقدم خدمات بوابة API مثل RestAPI والتدفق ، بالإضافة إلى خدمات ETL.
** 4.2.1 الالتقاط / المعالجة **
لكي يتمكن المستخدمون العاديون أو dApps من استهلاك / تشغيل الخدمات بكفاءة ، يجب أن يكونوا قادرين على تحديد والوصول بسهولة إلى مصادر البيانات التي تم إنشاؤها بشكل أساسي داخل البروتوكول ، مثل المعاملات والحالة وأحداث السجل. هذه الطبقة هي المكان الذي يتم فيه تشغيل البرامج الوسيطة ، مما يساعد في العمليات بما في ذلك oracles والمراسلة والمصادقة وإدارة API. الحلول الرئيسية هي كما يلي.
** منصة البث / الفهرسة **
Bitquery ، و Ceramic ، و KYVE ، و Lens ، و Streamr Network ، و The Graph ، ومستكشفات الكتل من البروتوكولات المختلفة ، وما إلى ذلك.
** العقدة كخدمة وخدمات RPC / API الأخرى **
الكيمياء 、 كل تلك العقدة 、 Infura Pocket Network Quicknode 等。
وحي
API 3 ، و Band Protocol ، و Chainlink ، و Nest Protocol ، و Pyth ، و Supra oracles ، إلخ.
** 4.2.2 التخزين **
بالمقارنة مع حلول التخزين Web2 ، تتمتع حلول التخزين Web3 بالعديد من المزايا مثل المثابرة واللامركزية. ومع ذلك ، فإن لديهم أيضًا بعض العيوب ، مثل التكلفة العالية وصعوبة تحديث البيانات والاستعلام. نتيجة لذلك ، ظهرت حلول مختلفة لمعالجة أوجه القصور هذه وتمكين المعالجة الفعالة للبيانات المنظمة والديناميكية على Web3 - لكل منها خصائص مختلفة مثل نوع البيانات التي تتم معالجتها ، وما إذا كانت منظمة وما إذا كانت مع وظيفة الاستعلام المضمنة وما إلى ذلك. على.
** شبكة تخزين لامركزية **
Arweave ، Filecoin ، KYVE ، Sia ، Storj إلخ.
** قاعدة بيانات لامركزية **
قواعد البيانات المستندة إلى Arweave (Glacier و HollowDB و Kwil و WeaveDB) و ComposeDB و OrbitDB و Polybase و Space and Time و Tableland ، إلخ.
\ * لكل بروتوكول آلية تخزين دائمة مختلفة. على سبيل المثال ، Arweave هو نموذج قائم على blockchain ، مشابه لتخزين Ethereum ، حيث يقوم بتخزين البيانات بشكل دائم على السلسلة ، بينما Filecoin و Sia و Storj هي نماذج قائمة على العقود ، وتخزين البيانات خارج السلسلة.
** 4.2.3 التحويل **
في سياق Web3 ، لا تقل أهمية طبقة الترجمة عن أهمية طبقة التخزين. هذا لأن بنية blockchain تتكون أساسًا من مجموعة موزعة من العقد ، مما يجعل من السهل استخدام منطق الواجهة الخلفية القابل للتطوير. في صناعة الذكاء الاصطناعي ، يستكشف الناس بنشاط استخدام هذه المزايا للبحث في مجال التعلم الموحد ، وقد ظهرت بروتوكولات مخصصة للتعلم الآلي وعمليات الذكاء الاصطناعي.
** تدريب البيانات / النمذجة / الحساب **
عكاش 、 باكالهو 、 بيتنسور 、 جينسين 、 غولم 、 معا 等。
\ * التعلم الموحد هو طريقة لتدريب نماذج الذكاء الاصطناعي عن طريق توزيع النموذج الأصلي على العديد من العملاء الأصليين ، واستخدام البيانات المخزنة لتدريبها ، ثم تجميع المعلمات التي تم تعلمها على خادم مركزي.
! [من الجزيرة المعزولة إلى التعاون: معنى خط أنابيب البيانات الأصلية Web3] (https://img-cdn.gateio.im/resized-social/moments-7f230462a9-4f9ccabdde-dd1a6f-1c6801)
** 4.2.4 التحليل / الاستخدام **
خدمات لوحة المعلومات ورؤى المستخدم النهائي وحلول التحليلات المدرجة أدناه هي منصات تتيح للمستخدمين مراقبة واكتشاف رؤى مختلفة من بروتوكولات محددة. توفر بعض هذه الحلول أيضًا خدمات API للمنتج النهائي. ومع ذلك ، من المهم ملاحظة أن البيانات الموجودة في هذه الحلول ليست دقيقة دائمًا لأنها تستخدم في الغالب أدوات منفصلة خارج السلسلة لتخزين البيانات ومعالجتها. يمكن أيضًا ملاحظة الأخطاء بين الحلول.
في الوقت نفسه ، هناك نظام أساسي يسمى “وظائف Web3” يمكنه تلقائيًا / تشغيل تنفيذ العقود الذكية ، تمامًا مثل المنصات المركزية مثل Google Cloud Trigger / تنفيذ منطق عمل محدد. باستخدام هذا النظام الأساسي ، يمكن للمستخدمين تنفيذ منطق الأعمال بطريقة Web3 الأصلية ، بدلاً من مجرد معالجة البيانات على السلسلة للحصول على رؤى.
** خدمات لوحة القيادة **
تحليلات الكثبان الرملية 、 تشفير الوجه 、 البصمة 、 تبديل 等。
** رؤى وتحليلات المستخدم النهائي **
Chainalaysis و Glassnode و Messari و Nansen و Tie و Token Terminal إلخ.
** وظائف Web3 **
وظائف تشينلينك ، شبكة جيلاتو ، إلخ.
! [من الجزيرة المعزولة إلى التعاون: معنى خط أنابيب البيانات الأصلية Web3] (https://img-cdn.gateio.im/resized-social/moments-7f230462a9-965044b34c-dd1a6f-1c6801)
كما قال كانط ، يمكننا أن نشهد فقط ظهور الأشياء ، ولكن ليس جوهرها. ومع ذلك ، فإننا نستخدم سجلات الملاحظات المسماة “البيانات” لمعالجة المعلومات والمعرفة ، ونرى كيف تقود الابتكارات في تكنولوجيا المعلومات تطور الحضارة. لذلك ، فإن بناء خط أنابيب بيانات في سوق Web3 ، بالإضافة إلى كونه لامركزيًا ، يمكن أن يلعب دورًا رئيسيًا كنقطة انطلاق لاغتنام هذه الفرص بالفعل. أود أن أنهي هذا المقال ببعض الأفكار.
يعد إنشاء البيانات وحوكمة واجهة برمجة التطبيقات من أهم المتطلبات المسبقة لامتلاك خط بيانات. في نظام إيكولوجي متنوع بشكل متزايد ، سيستمر إعادة إنشاء المواصفات التي ينشئها كل بروتوكول ، كما أن سجلات المعاملات المجزأة من خلال النظم الإيكولوجية متعددة السلاسل ستجعل من الصعب على الأفراد استخلاص رؤى شاملة. ومن ثم ، فإن “حلول التخزين” هي الكيانات التي يمكنها توفير بيانات متكاملة بتنسيق موحد من خلال جمع المعلومات المجزأة وتحديث مواصفات كل بروتوكول. نلاحظ أن حلول تخزين السوق الحالية مثل Snowflake و Databricks تنمو بسرعة ، ولديها قواعد عملاء كبيرة ، ومتكاملة رأسياً من خلال التشغيل على مستويات مختلفة في خط الأنابيب ، وتقود هذه الصناعة.
بدأت حالات الاستخدام الناجحة في الظهور عندما أصبح الوصول إلى البيانات أكثر سهولة وتحسنت المعالجة. يخلق هذا تأثيرًا دائريًا إيجابيًا حيث تتفجر مصادر البيانات وأدوات التجميع - منذ عام 2010 ، نمت أنواع وأحجام البيانات الرقمية التي يتم جمعها كل عام بشكل كبير منذ عام 2010 ، وذلك بفضل التقدم الهائل في التكنولوجيا لبناء خطوط أنابيب البيانات. بتطبيق هذه الخلفية على سوق Web3 ، يمكن إنشاء العديد من مصادر البيانات بشكل متكرر على السلسلة في المستقبل. هذا يعني أيضًا أن blockchain سوف يتوسع في مجالات الأعمال المختلفة. في هذه المرحلة ، يمكننا أن نتوقع تقدمًا في الحصول على البيانات من خلال أسواق البيانات مثل Ocean Protocol أو DeWi (اللاسلكي اللامركزي) مثل Helium و XNET ، بالإضافة إلى حلول التخزين.
ومع ذلك ، فإن الشيء الأكثر أهمية هو الاستمرار في التساؤل عن البيانات التي يجب إعدادها لاستخراج الأفكار المطلوبة حقًا. لا يوجد شيء أكثر إهدارًا من بناء خط بيانات من أجل بناء خط أنابيب بيانات بدون افتراضات صريحة للتحقق من صحتها. لقد حققت الأسواق الحالية العديد من الابتكارات من خلال بناء خطوط أنابيب البيانات ، ولكنها دفعت أيضًا ثمناً لا حصر له من خلال الإخفاقات المتكررة التي لا طائل من ورائها. من الجيد أيضًا إجراء مناقشات بناءة حول تطوير مجموعة التكنولوجيا ، لكن الصناعة تحتاج إلى وقت للتفكير ومناقشة المزيد من القضايا الأساسية ، مثل البيانات التي يجب تخزينها في مساحة الكتلة ، أو الغرض الذي يجب استخدام البيانات من أجله . يجب أن يكون “الهدف” هو إدراك قيمة Web3 من خلال معلومات استخباراتية قابلة للتنفيذ وحالات استخدام ، وفي هذه العملية ، يعد تطوير مكونات أساسية متعددة وإكمال خط الأنابيب “وسيلة” لتحقيق هذا الهدف.