الترميز الموضعي الدوراني (RoPE) تقنية تُحقن المعلومات الموضعية في نماذج المحول بتدوير متجهات الاستعلام والمفتاح في طبقات الانتباه. يُرمّز المواقع النسبية طبيعياً ويُمكّن التعميم على أطوال لم تُرَ أثناء التدريب. يستخدمه LLaMA وMistral وQwen.
نماذج ولغوية كبيرةRotary Positional Encoding (RoPE)
الترميز الموضعي الدوراني (RoPE)
مصطلحات ذات صلة
تعلّم استخدام هذه المفاهيم عملياً.
انضم إلى 212AY Academy ←