Red Hat annonçait en novembre la signature d’un accord définitif portant sur l’acquisition de Neural Magic, une entreprise spécialisée dans les algorithmes conçus pour accélérer les charges d’inférence d’IA générative. L’acquisition a été finalisée il y a quelques jours.
Pour Red Hat, l’idée est de disposer d’une solution permettant de déployer n’importe quelle application ou workload — IA incluse — sur le cloud hybride, sur site, dans les environnements de cloud publics ou à l’edge.
Qui est Neural Magic ?
Neural Magic a été créée par le MIT en 2018 dans l’optique de créer des logiciels d’inférence performants destinés au deep learning. L’éditeur apportera son expertise dans les domaines de l’ingénierie des performances de l’IA générative, des algorithmes d’optimisation et du déploiement d’inférence des processeurs GPU et CPU hautes performances.
Neural Magic s’appuie sur son expertise et ses connaissances de la bibliothèque vLLM pour créer une pile d’inférences. Par ailleurs, l’entreprise mène des recherches concernant l’optimisation des modèles, développe le LLM Compressor (une bibliothèque unifiée d’optimisation des LLM qui comporte des algorithmes de quantification et de parcimonie), et maintient un référentiel de modèles pré-optimisés et prêts à être déployés avec le référentiel vLLM.
Tout pour l’IA
Red Hat développera des modèles sous licence open source (échelle de paramètres de 1B à 405B) capables de fonctionner en tous points des environnements de cloud hybrides — dans les datacenters d’entreprise, en environnements multiclouds et en périphérie du réseau. L’éditeur met également « son écosystème open source et de partenaires, ainsi que des structures d’assistance qui permettent d’élargir le choix offert aux clients, des grands modèles de langage aux outils, aux serveurs homologués et aux architectures microélectroniques sous-jacentes ».
Les technologies de Neural Magic seront intégrées à Red Hat AI pour les environnements hybrides. Cette offre regroupera plusieurs composantes, notamment Red Hat Enterprise Linux AI (RHEL AI), qui fournit un socle pour créer, tester et exécuter les modèles de base (foundation models) Granite d’IBM sur des serveurs Linux, et Red Hat OpenShift AI, une plateforme visant à développer, entraîner, déployer et superviser rapidement des modèles de machine learning dans des environnements Kubernetes distribués, qu’ils soient déployés en interne, dans le cloud public ou à la périphérie du réseau. Red Hat AI inclura également InstructLab, un projet open source né d’une collaboration entre Red Hat et IBM, qui permettra de perfectionner de manière collaborative les LLM Granite grâce à des technologies de fine-tuning accessibles à tous. Les outils vLLM, LLM Compressor et plusieurs modèles pré-optimisés rejoindront aussi l’écosystème Red Hat AI, faisant de Neural Magic un élément majeur de l’offre IA de Red Hat.
La transaction était sujette aux réserves réglementaires applicables et aux conditions de clôture habituelles. Les dernières incertitudes ont été levées : l’acquisition est désormais officiellement finalisée.
