معالجة اللغة والمحوّلات

افهم كيف تقرأ الآلات اللغة — ولماذا تقرأ العربية بشكل سيئ.

الحقيقة المزعجة في هذا المجال أن كل ما تقرأه تقريباً عن معالجة اللغة الطبيعية قيس على الإنجليزية، وعلى نصوص نظيفة، وعلى معايير قياس تسرّبت مجموعات اختبارها على الأرجح إلى بيانات التدريب. ثم توجّه المسار نفسه إلى مدوّنة رسائل زبائن مغاربة — نصفها دارجة، وثلثها فرنسية، ورشّة من العربية الفصحى، وأرقام هاتف بأرقام لاتينية وأخرى عربية في الجملة ذاتها — فتتبخّر الدقة التي وُعدت بها. هذا المسار موجود لأن هذه الفجوة ليست حاشية، بل هي العمل نفسه. تبدأ من حيث ينبغي أن يبدأ كل مقرر جاد في معالجة اللغة ولا يبدأ منه أحد تقريباً: التقطيع، وتحديداً ما الذي يدمّره التقطيع. الكلمة العربية تحمل حرف جر وأداة تعريف وجذراً ووزناً ولاحقة ملكية، كلها ملتحمة؛ ومقطّع الوحدات الفرعية المدرَّب أساساً على الإنجليزية يمزّقها إلى شظايا بلا معنى ويحاسبك ثلاثة أضعاف الرموز مقابل هذا الامتياز. من هناك تبني بصدق — التمثيلات، الانتباه، المحوّل، الضبط الدقيق — لكن دائماً مع سؤال: ما الذي ينكسر حين لا تكون اللغة إنجليزية؟ المرحلة الأخيرة للتقييم، لأن هذا هو الحقل الذي يسهل فيه خداع النفس أكثر من غيره: نتيجة جيدة على معيار ملوّث، ودرجة F1 محسوبة على تعليقات اختلف عليها اثنان، ومقياس يكافئ الهراء الفصيح. إن أنهيت هذا المسار ستكون أبطأ في إعلان النصر من معظم أهل الصناعة. وهذا هو المقصود.