LoRA est une méthode de fine-tuning à faible coût qui gèle les poids originaux du modèle et injecte de petites matrices entraînables dans chaque couche, réduisant drastiquement la mémoire et le calcul nécessaires. Au lieu de mettre à jour des milliards de paramètres, on n'en entraîne que quelques millions, rendant l'adaptation de modèles abordable sur des GPU grand public. Une startup marocaine peut affiner un LLM open source sur des données clients darija avec un seul GPU au lieu d'un cluster coûteux.