La Linux Foundation vient de frapper un grand coup lors de la KubeCon Europe à Amsterdam, en acceptant officiellement SQLMesh au sein de ses projets hébergés. Ce framework de transformation de données, initialement développé par Tobiko Data et soutenu par Fivetran, promet de révolutionner la manière dont les équipes Data déploient leurs pipelines avec une efficacité et une fiabilité inédites.
Le projet ne sort pas de nulle part : il a été conçu par des ingénieurs chevronnés passés par Airbnb, Apple et Netflix. L’objectif de SQLMesh est simple, permettre aux équipes de définir, tester et déployer des transformations de données rapidement, sans erreur et à n’importe quelle échelle.
Contrairement aux outils traditionnels, il offre une visibilité totale sur les changements avant leur mise en production. Il supporte nativement le SQL et le Python, tout en intégrant des fonctions de versioning et d’automatisation. Des membres fondateurs de poids, tels que Benzinga, CloudKitchens ou encore Harness, soutiennent déjà la gouvernance du framework sous licence Apache-2.0. Pour Fivetran, qui a fait don du projet, la couche de transformation doit impérativement rester ouverte pour garantir l’interopérabilité de l’infrastructure mondiale.
L’IA n’est pas en reste avec l’arrivée de llm-d
En parallèle de SQLMesh, la Cloud Native Computing Foundation (CNCF) a accueilli llm-d en tant que projet Sandbox. Ce framework d’inférence distribuée est soutenu par une coalition impressionnante incluant Red Hat, Google Cloud, IBM, Nvidia et Intel.
Le but de llm-d est de standardiser l’inférence des grands modèles de langage sur Kubernetes. Actuellement, les mécanismes classiques de routage ne gèrent pas bien l’état de l’IA, ce qui crée de la latence. llm-d introduit une gestion du trafic « sensible à l’inférence » et une désagrégation entre les phases de compréhension (prefill) et de génération (decode). Cette approche rappelle l’effort de standardisation que nous évoquions ce lundi concernant la synthèse vocale Voxtral de Mistral, où l’ouverture devient le moteur de l’adoption industrielle.
Pourquoi c’est une victoire pour l’open source ?
L’infrastructure de données fonctionne mieux lorsque ses composants sont transparents et collaboratifs. Avec SQLMesh, la transformation de données sort des silos propriétaires pour devenir un standard communautaire. En rejoignant la Linux Foundation, le projet s’assure une pérennité et une neutralité indispensables pour les entreprises qui souhaitent bâtir des plateformes de données souveraines et évolutives.
