الاستدلال الخوارزمي العصبي: التقاط الحساب الكلاسيكي في الشبكات العصبية العميقة
OpenAI
يهدف الاستدلال الخوارزمي العصبي إلى إضفاء خصائص الخوارزميات الكلاسيكية على الشبكات العصبية العميقة: الصحة القابلة للإثبات، التعميم القوي، قابلية التفسير، والتركيبية. يستكشف هذا المقال كيفية تصميم الشبكات العصبية الرسومية (GNNs) لتتوافق مع خوارزميات مثل بلمان-فورد، مما يتيح تعلم تنفيذ هذه الخوارزميات والتعميم إلى مدخلات أكبر. تشمل الابتكارات الرئيسية نموذج الترميز-المعالجة-فك الترميز، التجميع الأقصى، والإشراف خطوة بخطوة.
تتناول المقالة الاستدلال الخوارزمي العصبي، مع التركيز على التقاط الحساب الكلاسيكي (مثل إيجاد أقصر مسار، والفرز) في الشبكات العصبية العميقة. وتسلط الضوء على أهمية التوافق الخوارزمي: تصميم المعماريات العصبية التي تطابق بنيويًا تدفق بيانات الخوارزمية. وباستخدام خوارزمية بلمان-فورد والشبكات العصبية الرسومية (GNNs) كمثال، يشرح المؤلف كيف يمكن للشبكات العصبية الرسومية أن تتوافق مع البرمجة الديناميكية. يحدد عمل المؤلف حول التنفيذ العصبي للخوارزميات الرسومية (NEGA) ثلاثة تحيزات استقرائية رئيسية: الترميز-المعالجة-فك الترميز مع الحساب التكراري، وتجميع الحد الأقصى للتحسين المحلي، والإشراف خطوة بخطوة لتعليم الثوابت. تسمح هذه التحسينات للشبكات العصبية الرسومية بالتعميم إلى مدخلات أكبر بمقدار 5 مرات. يتتبع المقال النسب من آلات تورينج العصبية إلى التوافق الخوارزمي الحديث، مع الإشارة إلى التطورات النظرية الجارية في التوافق الخوارزمي الخطي، والاستدلال السببي، ونظرية الفئات.
المصدر: The Gradient —
الأصلي