Dans le cadre de Kubecon 2024, qui se tenait à Paris la semaine dernière, Red Hat a tenu à rappeler son implication directe dans des projets d’IA. Un nouveau projet est lancé en matière d’IA open source.
L‘éditeur a en effet officialisé le projet Open Data Hub, dans le but d’aider à développer et à soutenir les projets de données et d’IA/ML open source. Red Hat le fait déjà avec Kubeflow et KServe.
Open Data Hub et Kubeflow
Open Data Hub a débuté sous la forme d’un simple opérateur dédié au déploiement de logiciels d’IA/ML et de données sur les clusters Red Hat OpenShift avec un certain degré d’intégration mutuelle. Néanmoins, lorsque Red Hat a commencé à rencontrer des obstacles liés à la prise en charge, l’entreprise s’est tournée vers Kubeflow – un nouveau projet dont l’objectif principal consiste à simplifier et à mettre à l’échelle les déploiements de charges de travail de Machine Learning sur Kubernetes. En réécrivant Open Data Hub sur le code Kubeflow, les équipes ont été en mesure de créer une nouvelle matrice de prise en charge des fonctionnalités.
Ces dernières années, Red Hat a décidé de s’impliquer davantage au sein de la communauté Kubeflow, non seulement dans le but de contribuer à la création de code, mais également pour aider la communauté à atteindre des degrés de maturité et d’adoption par les utilisateurs supérieurs. Voici une vue d’ensemble du travail réalisé jusqu’à ce jour par Red Hat au sein de la communauté Kubeflow.
Lancement de Kubeflow 1.9
Après avoir rejoint la communauté Kubeflow, Ricardo Martinelli, ingénieur chez Red Hat, s’est porté volontaire pour travailler en tant que manager sur le lancement de Kubeflow 1.9, en collaboration avec d’autres contributeurs Kubeflow, dans le but d’établir la feuille de route de cette opération de lancement.
Le registre de modèles, une fonctionnalité en vogue, est devenu l’une des principales contributions de Red Hat à Kubeflow 1.9. Il s’intègre avec les pipelines et les composants fonctionnels de Kubeflow afin de créer un catalogue d’artefacts, qui rassemble des modèles, des ensembles de données, des indicateurs et bien plus encore, tout en permettant de déployer les modèles à partir du stockage des artefacts.
Red Hat a également commencé à contribuer au projet Kubeflow Pipelines 2.0 en facilitant la mise à niveau des pipelines vers Argo Workflows 3.4, ce qui permet de résoudre les problèmes liés à la sécurité et aux licences MinIO, tout en améliorant les performances de développement au sein des implémentations Argo et Tekton.
Notebooks 2.0
À l’occasion du lancement de Kubeflow 1.9, la communauté a décidé de mettre à exécution ses plans pour Kubeflow Notebooks 2.0, qui doit s’accompagner d’un nouvel ensemble de définitions de ressources sur mesure (CRD) – Workspace et WorkspaceKind.
Ces CRD permettent à l’administrateur de jouir d’un degré de contrôle supérieur sur les espaces de travail, ce qui inclut la capacité à mettre à jour une configuration de notebook existante.
Ce projet est entré dans sa phase de conception au début de l’année 2024 et le groupe de travail Notebooks dirige le projet d’architecture.
KServe
KServe est un projet autonome issu de Kubeflow Incubation. La communauté KServe travaille en étroite collaboration avec la communauté Kubeflow au sein du groupe de travail fonctionnel Kubeflow afin d’intégrer KServe avec Kubeflow tout en développant une communauté KServe qui s’agrandit rapidement et en encourageant la création de fonctionnalités innovantes.
Red Hat travaille avec d’autres membres de la communauté afin de mener ces efforts dans divers domaines, y compris en ajoutant des environnements d’exécution originaux HuggingFace et vLLM, en ajoutant un environnement de « runtime explicatif enfichable », des améliorations et des correctifs au mode RawDeployment, tout en optimisant les CRD KServe très volumineux, en renforçant la sécurité, en améliorant le processus de lancement et bien davantage.
Et demain ?
Depuis les premières contributions de Red Hat au projet Kubeflow, l’entreprise a toujours suivi l’idée qu’une « distribution certifiée » constituerait une thématique essentielle et, grâce au nouveau comité de pilotage et à la mise en œuvre du processus de certification par la CNCF, Kubeflow pourrait revoir ses plans afin de créer un test de conformité dans le but de certifier les Distributions Kubeflow.
Il reste encore du travail à accomplir pour obtenir la certification de Kubeflow par la CNCF. En attendant, Red Hat a entrepris de présenter une proposition au Google Summer of Code pour le compte de la communauté Kubeflow.
