التدريب المسبق هو المرحلة الأولى لتدريب نموذج لغة كبير على جسم نصي ضخم — غالباً مئات المليارات من الرموز — ليتعلم أنماط اللغة والمعرفة العامة وقدرات التفكير. يُحسّن النموذج للتنبؤ بالرمز التالي. التدريب المسبق مكلف لكنه يُنتج نموذجاً أساسياً يمكن ضبطه بكفاءة.