الاستدلال هو المرحلة التي يستخدم فيها نموذج الذكاء الاصطناعي المدرب فعلياً لإنتاج تنبؤات أو إجابات، على عكس مرحلة التدريب التي يتعلم فيها من البيانات. في كل مرة تطرح فيها سؤالاً على تشات جي بي تي أو يقيم فيها بنك طلب قرض، فهذا استدلال. الأمر يشبه الفرق بين طالب طب يدرس لسنوات وطبيب يمارس مهنته يومياً: التدريب يحدث مرة واحدة وبتكلفة عالية، بينما يتكرر الاستدلال ملايين المرات ويجب أن يكون سريعاً ورخيصاً. تكلفة الاستدلال وسرعته تحددان معظم ميزانيات الذكاء الاصطناعي في الواقع.