Starburst annonce la compatibilité de sa plateforme analytique avec Confluent Tableflow, une intégration qui vise à simplifier le traitement des données en temps réel issues d’Apache Kafka. Grâce à cette nouveauté, les utilisateurs peuvent convertir automatiquement leurs flux Kafka en tables Apache Iceberg, immédiatement exploitables dans un environnement lakehouse, sans recourir à des pipelines ETL manuels.
Une conversion directe des flux Kafka
Confluent Tableflow permet de transformer des flux de données Kafka (en formats Avro, JSON ou Protobuf) en tables Apache Iceberg nettoyées, structurées et optimisées. Ces données, une fois converties, sont directement accessibles depuis Starburst, sans duplication ni traitement manuel supplémentaire. L’intégration prend également en charge l’évolution des schémas, la compaction pour l’optimisation du stockage, et la synchronisation avec les principaux catalogues de données.
Un déploiement dans une architecture unifiée
Cette compatibilité s’inscrit dans la stratégie de Starburst autour de l’association Trino-Iceberg, également appelée “Icehouse”. Elle vise à proposer une architecture ouverte permettant d’exécuter des workloads analytiques et des traitements liés à l’intelligence artificielle sur des données en temps réel. L’éditeur complète ainsi ses solutions existantes, comme Galaxy Streaming Ingest, qui permet déjà l’ingestion directe de flux continus dans des tables analytiques.
En automatisant la conversion des flux en tables prêtes pour l’analytique, Starburst et Confluent Tableflow répondent à la nécessité de simplifier l’accès aux données en temps réel. Cette approche réduit la dépendance aux développements d’ETL complexes, tout en offrant une solution structurée pour exploiter les données issues de Kafka, que ce soit pour des analyses décisionnelles ou l’entraînement de modèles d’intelligence artificielle.
