الرمز هو أصغر وحدة نصية يعالجها نموذج اللغة. للإنجليزية، يعادل الرمز نحو 4 أحرف أو ¾ كلمة؛ للعربية والفرنسية، تختلف حدود الرمز. تستخدم النماذج عدد الرموز لإدارة نافذة السياق وحساب التكاليف. فهم الرموز مهم لهندسة الأوامر: الأوامر الطويلة تستهلك المزيد من الرموز، ولكل نموذج حد أقصى للرموز في كل طلب.
نماذج ولغوية كبيرةToken
الرمز (Token)
مصطلحات ذات صلة
تعلّم استخدام هذه المفاهيم عملياً.
انضم إلى 212AY Academy ←