Le fine-tuning efficient en paramètres (PEFT) regroupe des techniques qui adaptent de grands modèles pré-entraînés en ne mettant à jour qu'une petite fraction des paramètres. Méthodes : LoRA, QLoRA, adapters, prefix tuning, IA3. Le PEFT réduit drastiquement la mémoire et le calcul nécessaires, rendant possible l'adaptation de modèles à milliards de paramètres sur un seul GPU.
LLM & ModèlesParameter-Efficient Fine-Tuning (PEFT)
Fine-tuning efficient en paramètres (PEFT)
Termes liés
Apprends à utiliser ces concepts en pratique.
Rejoindre la 212AY Academy →