NLP & Transformers
Comprendre comment les machines lisent le langage — et pourquoi elles lisent mal l’arabe.
La vérité inconfortable de ce domaine, c’est que presque tout ce que vous lisez sur le traitement du langage a été mesuré sur de l’anglais, sur du texte propre, sur des benchmarks dont les jeux de test ont probablement fuité dans les données d’entraînement. Puis vous pointez le même pipeline vers un corpus de messages clients marocains — moitié darija, un tiers de français, quelques miettes d’arabe standard, des numéros écrits en chiffres latins et arabes dans la même phrase — et la précision promise s’évapore. Ce parcours existe parce que cet écart n’est pas une note de bas de page : c’est le travail lui-même. Vous commencez là où tout cours sérieux de NLP devrait commencer et où presque aucun ne commence : la tokenisation, et plus précisément ce que la tokenisation détruit. Un mot arabe porte une préposition, un article défini, une racine, un schème, un suffixe possessif, tous fusionnés ; un tokeniseur sous-mot entraîné surtout sur de l’anglais le déchiquette en fragments dénués de sens et vous facture trois fois plus de tokens pour ce privilège. Ensuite vous construisez honnêtement — représentations, attention, Transformer, fine-tuning — mais toujours avec la question de ce qui casse quand la langue n’est pas l’anglais. La dernière phase porte sur l’évaluation, car c’est la discipline où l’auto-illusion est la plus facile : un bon score sur un benchmark contaminé, un F1 calculé sur des annotations que deux personnes n’ont pas su accorder, une métrique qui récompense un charabia fluide. Au bout de ce parcours, vous crierez victoire plus lentement que la majorité du secteur. C’est précisément l’objectif.
Ce que vous allez apprendre
Prérequis
- Python solide et aisance avec tableaux et tenseurs
- Algèbre linéaire et probabilités au niveau opérationnel, pas au niveau démonstration
- Avoir déjà entraîné un réseau de neurones de bout en bout
- Accès à un GPU, loué ou emprunté, pour la phase de fine-tuning
Débouchés
- Ingénieur NLP
- Chercheur en recherche appliquée
- Ingénieur ML (langage)
- Linguiste informaticien / spécialiste des langues peu dotées
Phases
Phase 1 — Le texte n’est pas encore une donnée
Comprendre ce qui se passe entre une phrase et un tenseur, et tout ce que la conversion jette silencieusement.
Durée estimée · 8-10 semainesLa tokenisation et ce qu’elle détruit
La tokenisation sous-mot est un schéma de compression ajusté au corpus qui l’a entraînée, et ce corpus était surtout anglophone. L’arabe paie deux fois : sa morphologie fusionne du sens qui se retrouve déchiqueté entre fragments, et son écriture consomme plus de tokens par mot — le même paragraphe coûte plus cher et tient moins bien. La darija paie une troisième fois, car elle n’a pas d’orthographe standard : le même mot apparaît sous cinq graphies, et pour un tokeniseur ce sont cinq mots différents.
Sujets couverts
Ce que vous allez construire
- Mesurer la fertilité en tokens du même paragraphe traduit en anglais, français, arabe standard et darija, puis publier le ratio
- Prendre cent messages en darija et compter combien de graphies distinctes vous trouvez pour dix mots courants
- Casser un tokeniseur : trouver de vraies phrases où sa segmentation rend une tâche aval impossible
Représentations : des comptages aux embeddings
Un embedding est l’affirmation que le sens a une géométrie ; une affirmation utile et partiellement fausse. Vous progresserez du sac de mots aux vecteurs contextuels en voyant exactement ce que chaque représentation peut encoder ou non — y compris le fait qu’un espace d’embeddings multilingue est le plus souvent un espace anglais où les autres langues sont poliment logées près des bords.
Sujets couverts
Ce que vous allez construire
- Battre un modèle fine-tuné avec TF-IDF sur une tâche de classification réelle, puis expliquer honnêtement pourquoi c’était possible
- Sonder un espace multilingue : montrer deux phrases de même sens en français et en darija qui se retrouvent éloignées
- Construire une recherche sémantique sur un corpus mixte français–arabe et documenter où elle ramène du n’importe quoi
Phase 2 — Transformers et adaptation
Comprendre l’architecture assez bien pour la déboguer, et adapter un modèle pré-entraîné sans gâcher un mois de calcul.
Durée estimée · 10-12 semainesL’attention et l’architecture
L’attention est une table de correspondance douce, et le Transformer est essentiellement cette idée répétée, tenue ensemble par des connexions résiduelles et de la normalisation. Vous l’implémenterez une fois à la main — non pas que vous en écrirez un en production, mais parce qu’on ne diagnostique pas un effondrement d’entraînement ou un problème de longueur de contexte depuis une bibliothèque qu’on n’a jamais fait qu’appeler. La distinction encodeur–décodeur compte toujours, quoi qu’en dise la mode.
Sujets couverts
Ce que vous allez construire
- Implémenter une attention mono-tête à la main et reproduire la sortie d’une bibliothèque sur la même entrée, à l’identique numériquement
- Visualiser l’attention sur une phrase arabe et montrer où la segmentation du tokeniseur égare les têtes
- Profiler le coût d’inférence quand le contexte grandit et tracer la courbe face à votre propre prédiction
Fine-tuning, et quand s’en passer
Le fine-tuning répond à une question plus étroite qu’on ne le croit. Il enseigne un format, un style, un espace d’étiquettes spécialisé ; c’est un moyen médiocre et coûteux d’enseigner des faits. La vraie contrainte n’est jamais le GPU, c’est la donnée : trois cents exemples bien annotés battent trente mille exemples ramassés à la pelle, et personne ne veut l’entendre parce que l’annotation est ennuyeuse alors que louer un GPU donne l’impression d’avancer.
Sujets couverts
Ce que vous allez construire
- Fine-tuner un modèle compact pour la NER sur des entités marocaines — marques, villes, adresses — et battre un modèle généraliste sur votre propre jeu retenu
- Faire la même tâche par prompting, récupération et fine-tuning, puis reporter coût, latence et score côte à côte
- Provoquer volontairement un oubli catastrophique, le détecter via un jeu témoin, et l’atténuer
Phase 3 — Évaluation et réalité multilingue
Apprendre à se méfier de ses propres chiffres, et bâtir des systèmes pour les langues que les benchmarks ignorent.
Durée estimée · 8-10 semainesLes métriques qui mentent
Toute métrique populaire a été conçue pour un usage qu’elle a depuis débordé, et l’écart entre ce qu’elle mesure et ce qui vous importe est l’endroit où des carrières déraillent en silence. Accuracy sur un jeu déséquilibré, métriques de recouvrement qui récompensent la paraphrase fluide, scores issus de jeux de test ayant fuité dans le pré-entraînement. Sous tout cela il y a l’annotation : si deux annotateurs compétents divergent une fois sur trois, aucune métrique calculée sur leurs étiquettes ne veut dire quoi que ce soit.
Sujets couverts
Ce que vous allez construire
- Rédiger un guide d’annotation, faire étiqueter deux cents items par deux personnes, et publier le score d’accord avant tout résultat de modèle
- Prendre une affirmation de benchmark publiée et la reproduire sur des données réellement fraîches que vous avez collectées
- Produire une taxonomie d’erreurs pour un modèle avec des effectifs par catégorie et une correction par catégorie
Langues peu dotées et dialectes
La darija est parlée par des dizaines de millions de personnes et ne dispose presque d’aucun corpus annoté propre, d’aucun standard orthographique, et emprunte massivement au français, à l’amazighe et à l’espagnol dans la même phrase. Ce n’est pas une déficience de la langue, c’est une déficience de nos jeux de données — et c’est aussi une opportunité, car celui qui construit la ressource tient le terrain. Cette étape porte sur la collecte éthique, la gestion de l’alternance codique, et l’honnêteté d’admettre qu’un modèle peut être état de l’art et rester inutile à Casablanca.
Sujets couverts
Ce que vous allez construire
- Collecter et publier un petit jeu de données darija sous licence propre pour une tâche, avec un guide d’annotation documenté
- Livrer un classifieur gérant l’alternance français–darija et reporter son score séparément sur inputs monolingues et mixtes
- Montrer un cas où un modèle multilingue bien noté échoue sur du texte utilisateur marocain réel, et expliquer le mécanisme, pas seulement le symptôme
Questions
Les grands modèles de langage rendent-ils le NLP classique obsolète ?
Ils en ont rendu une grande partie inutile, et une petite partie plus précieuse que jamais. Personne ne devrait bâtir aujourd’hui un classifieur de sentiment à la main quand un prompt fait quatre-vingts pour cent du chemin en un après-midi. Mais les vingt pour cent restants, c’est là qu’est l’argent, et y parvenir exige précisément les compétences classiques : savoir ce que votre tokeniseur a fait de l’entrée, concevoir un schéma d’annotation sur lequel deux personnes s’accordent, calculer une métrique qui ne vous ment pas, et reconnaître que votre benchmark a fuité. Un grand modèle est un excellent choix par défaut et une très mauvaise excuse pour ne pas comprendre ses données. Par ailleurs, à volume réel, un petit classifieur fine-tuné est souvent dix fois moins cher et tourne là où un grand modèle ne peut pas — ce qui compte davantage en pratique que sur un classement.
Qu’est-ce qui rend précisément l’arabe et la darija difficiles pour ces modèles ?
Quatre facteurs s’empilent. D’abord la morphologie : un mot arabe peut porter ce que l’anglais étale sur cinq, si bien qu’un tokeniseur entraîné sur l’anglais coupe à travers le sens plutôt qu’autour. Ensuite, l’écriture coûte plus de tokens par unité de sens : vous payez plus et logez moins de contexte pour le même paragraphe. Troisièmement, les diacritiques sont généralement absents, ce qui rend certains mots réellement ambigus. Quatrièmement, et c’est le pire pour la darija, il n’existe ni standard orthographique ni grand corpus annoté propre : le même mot apparaît en écriture arabe et en écriture latine avec des chiffres, en une demi-douzaine de graphies, dans une seule conversation. Rien de tout cela n’est exotique ni insoluble. Cela signifie simplement que les chiffres publiés ne se transfèrent pas et qu’il faut mesurer sur ses propres données. La plupart des gens sautent cette étape, puis s’étonnent en production.
De combien de mathématiques ai-je réellement besoin ?
Assez pour lire une multiplication matricielle et comprendre pourquoi un softmax sature — pas assez pour démontrer un théorème de convergence. Concrètement : de l’algèbre linéaire jusqu’à être à l’aise avec les formes et les projections, des probabilités jusqu’à comprendre une vraisemblance, et de l’analyse juste assez pour savoir ce qu’est un gradient et pourquoi il s’évanouit. C’est un niveau opérationnel, atteignable en quelques mois d’effort honnête. Ceux qui souffrent dans ce parcours ne sont presque jamais les faibles en maths : ce sont ceux qui ne résistent pas à l’envie de sauter le travail sur les données. On survit à des intuitions floues sur l’attention. On ne survit pas à un jeu d’entraînement qu’on n’a jamais regardé.
Parcours liés
Envie de suivre ce parcours avec un coach et une cohorte ?
Découvrir la 212AY Academy →