Red Hat profite (également) de Kubecon pour dévoiler la version 2.15 de sa plateforme d’IA/ML basée sur OpenShift. Au menu, selon l’éditeur : des performances optimisées et des workflows rationalisés pour soutenir l’innovation en matière d’IA à grande échelle. Présentation.
Red Hat OpenShift AI 2.15 propose l’exécution de modèles open source grâce à la bibliothèque vLLM, qui améliore la flexibilité et les performances des LLM. Les entreprises peuvent également personnaliser leurs exécutions en fonction de leurs besoins spécifiques.
La nouvelle version de RedHat OpenShift AI 2.15 comprend plusieurs nouveautés importantes :
- Registre de modèles (en avant-première) : un espace centralisé pour la gestion, le suivi et le partage des modèles d’IA. Ce projet est aussi partagé avec la communauté Kubeflow.
- Détection de dérive de données : surveille les écarts entre les données réelles et celles utilisées pour l’entraînement des modèles afin de garantir leur fiabilité.
- Outils de détection de biais : issus de la communauté TrustyAI, ils aident à créer des modèles d’IA équitables et responsables.
- Optimisation via LoRA : permet un ajustement efficace des grands modèles de langage (LLM) comme Llama 3, réduisant les coûts et les ressources nécessaires.
- Support de NVIDIA NIM : facilite l’inférence et le déploiement d’applications d’IA générative à l’aide de microservices spécifiques.
- Support des GPU AMD : une nouveauté pour le développement et le réglage de modèles avec des GPU AMD.
La nouvelle version ajoute des référentiels OCI pour le stockage et l’accès aux modèles conteneurisés, avec la possibilité de définir des routes privées ou publiques pour améliorer la sécurité des terminaux, notamment en orientant les modèles vers des usages internes si nécessaire.
Red Hat OpenShift AI 2.15 sera disponible dans les prochains jours.
