Microsoft prépare une nouvelle IA pour concurrencer les plus grands LLM

Microsoft développe un nouveau grand modèle de langage (LLM) sous le nom de code MAI-1, qui a le potentiel de concurrencer les LLM d’IA de Google et d’OpenAI. C’est la première fois que Microsoft développe un LLM de cette envergure, après avoir investi des milliards de dollars dans OpenAI pour obtenir les droits d’utiliser la technologie de ce dernier dans sa gamme de logiciels de productivité.

Le développement de MAI-1 est supervisé par Mustafa Suleyman, le co-fondateur de Google DeepMind et d’Inflection, selon un rapport de The Information. En mars 2024, Microsoft a embauché plusieurs employés d’Inflection dans le cadre d’un accord de 650 millions de dollars.

Selon le rapport publié le 6 mai, MAI-1 aura environ 500 milliards de paramètres, le plaçant entre le billion de paramètres annoncé par GPT-4 d’OpenAI et les 70 milliards de paramètres du modèle Meta Llama 3 AI. Il devrait également être « beaucoup plus grand » et plus coûteux que n’importe lequel des précédentes petites IA open-source de Microsoft (Phi-3 et WizardLM-2), car il nécessitera plus de puissance de calcul et de données d’entraînement.

Bien que MAI-1 puisse tirer parti des techniques et des données d’entraînement d’Inflection, il reste distinct de tous les modèles ou technologies produits par OpenAI ou Inflection. Selon les employés de Microsoft qui connaissent le projet, MAI-1 est un LLM entièrement nouveau développé en interne par Microsoft.

Microsoft n’a pas encore annoncé l’objectif exact de MAI-1, et son cas d’usage dépendra de ses performances. En attendant, la société a alloué des grandes grappes de serveurs équipés de GPU Nvidia et utilise de grandes quantités de données provenant de diverses sources pour améliorer le modèle.

Selon les rapports, en fonction de ses progrès, la société pourrait présenter MAI-1 à la conférence des développeurs Build plus tard ce mois-ci, mais cela n’est pas encore confirmé.