L'IA multimodale désigne des modèles capables de traiter et de générer plusieurs types de données — texte, images, parfois audio et vidéo — au sein d'un seul système. GPT-4V peut analyser des images et y répondre ; Gemini traite texte, images et audio ensemble. Cela brise les cloisons entre types de données : une usine peut montrer une image de caméra à un modèle multimodal et lui demander par texte quel défaut elle montre, en obtenant une réponse textuelle faisant référence au visuel.