الترميز الموضعي هو التقنية التي تعطي نماذج المحول معلومات عن ترتيب الرموز في متتالية، نظراً لمعالجة المعمارية جميع الرموز بالتوازي لا بالتسلسل. بدون الترميز الموضعي، سيعامل النموذج «الكلب يعض الرجل» و«الرجل يعض الكلب» بشكل متطابق. تشمل الأساليب الحديثة التضمينات المُتعلّمة والترميز الموضعي الدوراني (RoPE)، الذي يمكّن النماذج من التعميم على متتاليات أطول مما رُؤي أثناء التدريب.
نماذج ولغوية كبيرةPositional Encoding
الترميز الموضعي
مصطلحات ذات صلة
تعلّم استخدام هذه المفاهيم عملياً.
انضم إلى 212AY Academy ←