Apache Spark 4.0 beta est disponible dès maintenant, annonce Canonical, comprenant une nouvelle API Spark Connect qui prend en charge Python, Java, Scala, Golang et Rust. Une nouvelle API de source de données basée sur Python simplifie la création de connecteurs pour Spark sans passer par Scala.Résumé des nouveautés.
Apache Spark est un framework destiné au développement d’applications de traitement de données distribuées et parallèles. La solution de Cancnical pour Spark sur Kubernetes a beaucoup progressé au cours de l’année écoulée, depuis son lancement. La solution inclut désormais le support d’Apache Iceberg, une nouvelle image accélérée par GPU utilisant le plugin NVIDIA Spark-RAPIDS, ainsi que le support du planificateur de charge de travail Kubernetes Volcano.
Une nouvelle image bêta de Spark 4 fait également son apparition cette semaine. Cette version rejoint la collection d’images Spark 3 et, bien que cette version bêta ne soit pas officiellement prise en charge par Canonical, elle vous permet de tester dès aujourd’hui les dernières fonctionnalités de Spark 4 en amont.
Les nouveautés
Voici les nouveautés de Spark 4.0 bêta :
- API Spark Connect : simplifie la création d’applications connectées à un cluster Spark distant. Support pour les langages : Python, Java, Scala, Golang, Rust.
- ANSI SQL activé par défaut.
- Nouvelle API de source de données basée sur Python : facilite la création de connecteurs de données pour Spark sans avoir à utiliser Scala.
- UDTFs (User-defined Table Functions) en Python : permet de créer des fonctions personnalisées dans les requêtes, similaire aux UDFs dans les systèmes de gestion de bases de données traditionnels.
Comment tester
Vous pouvez maintenant prévisualiser la version bêta d’Apache Spark 4 en utilisant Charmed Spark et l’image du conteneur disponible sur GitHub Container Registry. Vous pouvez accéder à l’image ici : GitHub Container Registry. Si vous souhaitez obtenir plus d’informations, rendez-vous sur la page produit Charmed Spark.
