كتب high parameter algorithms
اذا لم تجد ما تبحث عنه يمكنك استخدام كلمات أكثر دقة.
خوارزميات المعلمات العليا (معلومة)
طوبولوجيا الشبكة
يمكن تغيير الطريقة التي يتم بها تجميع المخرجات المحلية الإحصائية والطريقة التي تتواصل بها العقد مع بعضها البعض من النموذج المركزي الموضح في القسم السابق. يؤدي ذلك إلى مجموعة متنوعة من مناهج التعليم الموحدة: على سبيل المثال لا يوجد خادم مركزي للتنسيق ، أو اتصال عشوائي.
على وجه الخصوص ، تعد الشبكات الموزعة الخالية من أوركسترا أحد الاختلافات المهمة. في هذه الحالة ، لا يوجد خادم مركزي يرسل استعلامات إلى العقد المحلية ويجمع النماذج المحلية. ترسل كل عقدة محلية مخرجاتها إلى عدة أخريات تم اختيارها عشوائيًا ، والتي تجمع نتائجها محليًا. هذا يقيد عدد المعاملات ، وبالتالي تقليل وقت التدريب وتكلفة الحوسبة في بعض الأحيان.
بمجرد اختيار هيكل شبكة العقدة ، يمكن للمرء التحكم في المعلمات المختلفة لعملية التعلم المتحدة (في مقابل المعلمات الفائقة لنموذج التعلم الآلي) لتحسين التعلم :
- عدد جولات التعلم الموحدة : ت
- إجمالي عدد العقد المستخدمة في العملية : ك
- جزء من العقد المستخدمة في كل تكرار لكل عقدة : ج
- حجم الدفعة المحلية المستخدمة في كل تكرار التعلم : ب
يمكن أيضًا استخدام المعلمات الأخرى المعتمدة على النموذج ، مثل :
- عدد مرات التكرار للتدريب المحلي قبل التجميع : ن
- معدل التعلم المحلي : η
يجب تحسين هذه المعلمات وفقًا لقيود تطبيق التعلم الآلي (على سبيل المثال ، قوة الحوسبة المتاحة والذاكرة المتاحة وعرض النطاق الترددي ). على سبيل المثال ، يؤدي اختيار عشوائي لعدد C محدود من العقد لكل تكرار إلى تقليل تكلفة الحوسبة وقد يحول دون التداخل الزائد ، بنفس الطريقة التي يمكن أن يؤدي بها انخفاض تدرج مؤشر ستوكاستيك إلى تقليل التداخل الزائد .
