Rivery annonce la mise en place d’un pipeline de données de MongoDB vers un entrepôt de données Snowflake grâce à la réplication de données CDC Change Data Capture (Capture des Données Modifiées) de Rivery.
MongoDB a ses propres modèles de données et d’accès recommandés, qui ne sont pas toujours aussi flexibles que le SQL standard à des fins d’analyse. Ses modèles permettent une écriture et une récupération rapides, ainsi que de nombreux autres facteurs tels que la disponibilité et la flexibilité de la structure des données.
Les bases de données transactionnelles telles que MongoDB permettent l’exécution d’analyses sur des plateformes de stockage avancées telles que Snowflake, pour une analyse efficace où les données peuvent non seulement être rapidement analysées via SQL, mais aussi facilement combinées et modélisées avec d’autres sources de données.
Rivery s’appuie sur MongoDB Change Streams, qui est la fonctionnalité de MongoDB qui permet le CDC pour MongoDB. Rivery utilise le mode d’extraction « All » dans un premier temps pour faire une migration initiale des tables choisies dans leur état actuel. À partir de là, la plateforme prend les enregistrements Change Stream existants et effectue un Upsert-Merge vers la table cible une fois la migration de l’historique terminée, tout en continuant à récupérer les nouveaux enregistrements dans le journal au fur et à mesure de leur création, permettant ainsi d’avoir une copie « miroir » de la base source MongoDB dans Snowflake à tout instant.
La pipeline créée va migrer continuellement les données de MongoDB vers Snowflake, permettant ainsi une analyse efficace des données. Les données sont facilement et rapidement analysées via SQL mais aussi combinées et modélisées avec d’autres sources de données.
