Confluent et Databricks étendent leur partenariat existant en intégrant Tableflow d’un côté et Delta Lake et Unity Catalog de l’autre. Cette intégration entend unifier la gouvernance des données et, surtout, casser les silos.
Concurrents sur de nombreux marchés, Confluent et Databricks savent pourtant travailler ensemble. Les deux éditeurs spécialisés en data management ont annoncé approfondir l’intégration de leurs solutions respectives, en l’occurrence Tableflow de Confluent et Delta Lake et Unity Catalog de Databricks.
D’un côté, Tableflow, présenté il y a un an, est un outil permettant d’automatiser l’ingestion de données Apache Kafka vers un lac de données, un entrepôt ou un moteur d’analyse sous forme de tables Apache Iceberg. De l’autre, Delta Lake est une couche de stockage en open format conçue pour les cas d’usage en streaming.
Grâce à leur intégration, les deux outils permettent aux utilisateurs d’exploiter immédiatement leurs données opérationnelles au sein de l’écosystème Delta Lake. Les clients de Confluent et Databricks pourront ainsi utiliser n’importe quel moteur ou outil tels que Apache Spark, Trino, Polars, DuckDB et Daft, directement sur leurs données au sein d’Unity Catalog.
En outre, les intégrations entre Tableflow et Unity Catalog automatisent l’association des données échangées d’une plateforme à l’autre avec leurs métadonnées. « Les données en temps réel sont le moteur de l’IA » souligne Jay Kreps, co-fondateur et CEO de Confluent. « Pourtant, les entreprises sont encore trop souvent freinées par des systèmes cloisonnés, incapables de fournir les données nécessaires, sous la bonne forme et au bon moment. Avec Databricks, nous leur permettons enfin d’exploiter pleinement le potentiel des données en temps réel pour concevoir des applications IA sophistiquées adaptées à leurs cas d’usage stratégiques ».
