التعلّم العميق
افهم الشبكات العصبية بما يكفي لتصحيحها في الثانية فجراً.
يُدرَّس التعلّم العميق بالمقلوب في كل مكان تقريباً. تنفق الدورات ثمانية أسابيع على مخططات البنى وعشرين دقيقة على حلقة التدريب، ثم يكتشف الخريجون أن البنية هي الجزء الذي تنسخه وأن الحلقة هي الجزء الذي يفسد شهرك. الحقيقة غير رومانسية: معظم أخطاء الشبكات العصبية أخطاء أبعاد، أو بثّ صامت للأبعاد، أو وضع تقييم منسي، أو معدّل تعلّم خاطئ بعامل عشرة. نموذجك لا يفشل باستثناء برمجي، بل يفشل بالتقارب نحو شيء معقول وخاطئ. هذا المسار منظَّم حول ذلك. تبدأ بالموتّرات والاشتقاق التلقائي، وتنفّذ الانتشار العكسي يدوياً مرة واحدة بالضبط — لا لإعادة اختراعه، بل ليتوقّف التدرّج عن كونه سحراً ويصير حساباً تستطيع مراجعته على ورقة. ثم تغطّي البنى التي استحقّت مكانها: الالتفافات والانحياز الاستقرائي الذي يجعلها تعمل على الصور، والطريق من التكرار إلى الانتباه، لأنك لا تفهم لماذا فازت Transformers دون أن تفهم ما الذي حلّت محله. أما المرحلة الأخيرة فهي التي يعيش فيها المحترفون فعلاً: جعل التدريب يتقارب، والتنظيم بنزاهة، والضبط الدقيق لنموذج مُدرَّب مسبقاً بدل حرق ثروة في التدريب من الصفر. لا أحد تقريباً يدرّب من الصفر. وعلى الجميع تقريباً التوقّف عن التظاهر بأنهم سيفعلون.
ما ستتعلّمه
المتطلبات المسبقة
- إتقان بايثون؛ تستطيع تصحيح شيفرة غيرك
- أساسيات تعلّم الآلة: التحقّق والإفراط في الملاءمة والمقاييس
- أساسيات الجبر الخطي — يجب أن يكون ضرب المصفوفات روتيناً
- الوصول إلى وحدة معالجة رسومية، ولو مستأجرة، في المراحل الأخيرة
الآفاق المهنية
- مهندس تعلّم عميق
- مهندس أبحاث
- مهندس رؤية حاسوبية / معالجة لغة
- عالِم تطبيقي
المراحل
المرحلة 1 — الموتّرات والتدرّجات
اجعل التدرّجات مملّة. حين يصير الانتشار العكسي حساباً، ينفتح باقي المجال.
المدة التقديرية · 10-12 أسبوعاًالموتّر والأبعاد والخلل الصامت
تسعون بالمئة من الوقت الذي ستعلق فيه في سنتك الأولى ستكون أخطاء أبعاد، وأقساها لا يرفع استثناءً إطلاقاً: البثّ يحوّل بهدوء موتّراً بأبعاد (32، 1) أمام (32،) إلى (32، 32)، فتصير خسارتك متوسطاً فوق هراء، ويمضي التدريب بسلاسة إلى نموذج عديم الفائدة. ستتعلّم توثيق الأبعاد أثناء الكتابة، وعدم الثقة بأي عملية لم تفكّر فيها، ومعاملة الجهاز ونوع البيانات لكل موتّر كحقائق تتحقّق منها لا كافتراضات.
المواضيع المغطّاة
ما ستبنيه
- اكتب عشر عمليات على الموتّرات تتنبأ بأبعادها على الورق أولاً؛ وسجّل كل حالة أخطأت فيها
- اصنع خلل بثّ متعمّداً يتدرّب دون خطأ، ثم اكتب التحقّق الذي يضبطه
- حلّل استهلاك ذاكرة المعالج الرسومي في خطوة تدريب واحدة وفسّر مصدر كل تخصيص
الانتشار العكسي يدوياً، مرة واحدة
ينبغي أن تنفّذ شبكة صغيرة وممرّها العكسي من الصفر مرة واحدة بالضبط في حياتك، ثم لا تفعلها أبداً بعدها. المقصود ليس الشيفرة، فستكون أسوأ من المكتبة. المقصود أن التدرّج المتلاشي بعدها يتوقّف عن كونه عبارة تردّدها ويصير سلسلة ضربٍ تراها تتقلّص. من يتخطّى هذا ينتهي به الأمر ينسخ ترقيعات من المنتديات، ومن يفعلها يستطيع الاستدلال على بنية جديدة في بعد ظهيرة واحدة.
المواضيع المغطّاة
ما ستبنيه
- نفّذ شبكة بطبقتين بممرّين أمامي وعكسي يدويين في NumPy، وتحقّق من كل تدرّج عددياً
- أعد إنتاج شبكة NumPy في إطار عمل وأكّد تطابق الخسارة حتى أربع منازل عشرية بالبذرة نفسها
- اكسر التهيئة عمداً (أصفار كلها، ثم كبيرة جداً) ووثّق بدقة شكل كل فشل على منحنى الخسارة
المرحلة 2 — البنى التي استحقّت مكانها
افهم ما تفترضه كل بنية عن بياناتها — هذا الافتراض هو التصميم كله.
المدة التقديرية · 12-16 أسبوعاًالالتفافات والانحياز الذي يجعلها تعمل
الشبكة الالتفافية ليست سحراً، بل قناعة مبرمَجة بأن البكسلات المتجاورة مترابطة وأن القطة قطة أينما وقعت في الإطار. هذه القناعة هي سبب حاجة CNN إلى بيانات أقل بكثير من شبكة موصولة بالكامل على الصور نفسها. تعلّم أن ترى البنية كافتراضات مشفّرة فتستطيع التنبؤ بمواضع فشل النموذج: فـCNN لا يدري أن أعلى الصورة هو السماء، ولهذا بالضبط سيصنّف صورة مقلوبة بثقة تامة.
المواضيع المغطّاة
ما ستبنيه
- درّب شبكة CNN صغيرة وشبكة موصولة بالكامل بعدد معاملات متساوٍ على الصور نفسها؛ وأبلغ عن الفجوة وفسّرها بلغة الانحياز الاستقرائي
- تصوّر الحقل الاستقبالي لعصبون مختار وأكّد مطابقته لحسابك
- انسَ عمداً استدعاء وضع التقييم، وقِس هبوط الدقة الناتج عن التطبيع الدفعي، ودوّن العَرَض لتتعرّف عليه لاحقاً
من التكرار إلى الانتباه
لن تبني شبكات تكرارية احترافياً، ومع ذلك تحتاج إلى فهمها، لأن Transformer جواب عن سؤال طرحه التكرار بشكل سيّئ. المعالجة التسلسلية تعني أن على الاعتماد البعيد أن ينجو من مئات عمليات الضرب؛ وهو لا ينجو. الانتباه يتخلّى عن التكرار كلياً ويدع كل موضع ينظر إلى سائر المواضع في خطوة واحدة — ولهذا يتوازى، ولهذا يتوسّع، ولهذا تكلّف ذاكرته تربيعياً. افهم هذه المقايضة يصر المشهد الحديث كله مقروءاً بدل أن يكون قائمة أسماء.
المواضيع المغطّاة
ما ستبنيه
- نفّذ الانتباه أحادي الرأس من الصفر وتحقّق من مخرجاتك مقابل تنفيذ إطار عمل على مدخلات متطابقة
- درّب شبكة تكرارية وTransformer صغيراً على مهمة تسلسلية واحدة، ثم ارسم الدقة مقابل طول التسلسل لتُظهر أين ينهار التكرار
- استخرج أوزان الانتباه على جملة واحدة وتصوّرها، وقل بصدق أي تفسيراتك تدعمه البيانات فعلاً
المرحلة 3 — التدريب والضبط الدقيق
اجعل التدريب يتقارب عمداً، ثم توقّف عن التدريب من الصفر وابدأ بالتكييف.
المدة التقديرية · 12-16 أسبوعاًحلقة التدريب هي المهنة
قبل أن تلمس بيانات حقيقية، أفرِط في ملاءمة دفعة واحدة حتى خسارة تقارب الصفر. إن لم تستطع فحلقتك مكسورة ولن تنقذك أي بنية: التسمية غير محاذية، أو الخسارة خاطئة، أو التدرّج لا يصل إلى أوزانك. هذا الاختبار وحده يضبط أخطاء أكثر مما يضبطه أي قدر من التحديق في الشيفرة. بعد ذلك، معدّل التعلّم هو المعامل الفائق الذي يهم، وأغلب ما تبقّى فولكلور يردّده من لم يجرِ التجربة الحذفية قط.
المواضيع المغطّاة
ما ستبنيه
- أفرِط في ملاءمة دفعة واحدة حتى خسارة تقارب الصفر على ثلاث مهام مختلفة؛ ووثّق ما كان مكسوراً في المرات التي فشلت فيها
- شغّل اختبار مدى معدّل التعلّم وأنتج المنحنى الذي يبرّر القيمة التي اخترتها
- اكتب سكربت تدريب يستأنف بشكل صحيح من نقطة حفظ في منتصف الحقبة، وأثبت ذلك بقتل العملية
التنظيم والضبط الدقيق لما هو موجود أصلاً
بيانات أكثر تهزم بنية أفضل، والتوسيع هو أرخص بيانات ستحصل عليها — لكن فقط التوسيع الذي يحافظ على التسمية، ولهذا فإن قلب صورة لافتة طريق قد يدمّر نموذجك بهدوء. ثم تقبّل اقتصاديات المجال: لن تدرّب نموذجاً أساسياً، بل ستكيّف واحداً. الضبط الدقيق تخصّص قائم بذاته، وله فشله الخاص — النسيان الكارثي، حيث يصير نموذجك ممتازاً على أمثلتك الخمسة آلاف وينسى كل ما جعله جديراً بأن تنطلق منه.
المواضيع المغطّاة
ما ستبنيه
- اضبط نموذجاً مُدرَّباً مسبقاً على مجال خاص بك واهزم نموذجاً من الصفر دُرِّب عشرة أضعاف المدة
- اعثر على توسيع يضرّ بمهمتك، وأثبت الضرر بالأرقام، واشرح لماذا لم تنجُ التسمية منه
- قِس النسيان الكارثي: قيّم نموذجك المضبوط على المهمة الأصلية قبل وبعد، وأبلغ عن الخسارة
أسئلة
هل أحتاج فعلاً إلى معالج رسومي، أم يمكنني التعلّم على حاسوب محمول؟
المرحلة الأولى تعمل بارتياح على حاسوب محمول، والأفضل أن تبقيها كذلك: الجهاز البطيء يجبرك على التفكير قبل التشغيل، وهي عادة تستحق الاكتساب. من المرحلة الثانية فصاعداً تحتاج تسريعاً، لكنك على الأرجح لا تحتاج إلى امتلاكه. الحوسبة المستأجرة بالساعة هي الخيار العاقل، والانضباط الذي تفرضه ميزة: حين يعمل العدّاد تتوقّف عن إطلاق مهام على أمل وتبدأ بقراءة منحنيات الخسارة. صحّح دائماً على مجموعة جزئية صغيرة محلياً، ولا ترسل مهمة إلى معالج رسومي إلا بعد أن تكون قد تدرّبت بنجاح على عشرة أمثلة على جهازك.
هل ما زال تعلّم الشبكات التكرارية يستحق العناء بعد فوز Transformers؟
خصّص لها أياماً لا أشهراً، والغاية تشخيصية لا عملية. Transformer جواب، والجواب الذي لا تستطيع تتبّعه إلى سؤاله مجرّد معلومة عابرة. التكرار يجعلك تشعر في صميمك بثمن الاعتماد بعيد المدى، ولماذا تموت التدرّجات عبر خطوات كثيرة، ولماذا ركّبت LSTM بوابات لإبقاء الإشارة حيّة. وحين تشعر بذلك يتوقّف الانتباه عن كونه مكعّباً اعتباطياً في مخطط ويصير خطوة بديهية. تخطَّها وستستطيع استخدام Transformer دون أن تستطيع الاستدلال عليه — وهي بالضبط الفجوة التي تظهر في المقابلة وفي الإنتاج.
نموذجي يتدرّب والخسارة تنخفض لكن النتائج سيئة. من أين أبدأ أصلاً؟
بالترتيب ودون تخطٍّ: انظر بعينيك إلى المدخلات الفعلية التي يتلقّاها نموذجك، بعد كل تحويل — ففي أغلب الأحيان يكون الخلل مرئياً هناك ولا مكان سواه. ثم تأكّد أن تسمياتك محاذية لتلك المدخلات؛ فانزياح بمقدار واحد في محمّل البيانات يتدرّب بإتقان ولا يتنبأ بشيء. ثم حاول الإفراط في ملاءمة دفعة واحدة: إن أبت الخسارة الاقتراب من الصفر فالمشكلة ميكانيكية لا إحصائية، ولن يصلحها أي قدر من الضبط. وبعد هذه الثلاث فقط تفكّر في البنية، وغالباً لن تحتاج إليها عندئذٍ. هذا الترتيب بلا بريق، وهو ما يفصل من يطلقون النماذج عمّن يعبثون بها ستة أسابيع.
مسارات ذات صلة
هل تريد اتّباع هذا المسار مع مدرّب ومجموعة؟
← اكتشف أكاديمية 212AY