Technologies et marché

L'objectif des solutions proposées est d'agréger, de manipuler et d'analyser un volume très important de données, tant structurées que non structurées, émanant de sources diverses, le plus rapidement et efficacement possible. Pour ce faire, une large palette de techniques et de technologies venues d'horizons divers, comme les mathématiques appliquées, la statistique, l'économie et l'informatique, ont été développées et adaptées. Selon les dernières prévisions du cabinet IDC, le marché du Big Data devrait connaître une croissance de 40% par an pour atteindre 16,9 milliards de dollars en 2015. Cela représente une croissance de l'ordre de sept fois celle du reste du marché de l'informatique. Le socle du Big Data demeure le stockage : on retrouve sur ce marché, au-delà du stockage traditionnel, notamment des “appliances” spécifiques, comme les produits de Teradata, le leader historique, ou encore Oracle Big Data Appliance, mais aussi les produits comme Netezza d'IBM, Greenplum d'EMC ou Vertica de HP. Ils mettent en oeuvre des technologies d'accélération matérielle (mémoires dynamiques), des bases de données massivement parallèles ou encore des bases de données non relationnelles, de type NoSQL (Not Only SQL). Google,Amazon. com, Twitter, LinkedIn, Facebook ou eBay sont utilisateurs de bases de données NoSQL. Les traitements en mémoire représentent une alternative plus récente et très prometteuse (cf. encadré “La réponse de SAP aux problématiques de Big Data”). Pour simplifier la mise en oeuvre d’une telle solution et rendre l’infrastructure simple et évolutive, il faut un framework de “gestion”, dont Hadoop et son écosystème sont l'archétype. Initialement développé par Yahoo, Hadoop est désormais supporté par la fondation Apache (cf. encadré “Hadoop monte en puissance”). Il met en oeuvre un système de fichiers massivement distribués (HDFS) et un moteur Map Reduce. Par-dessus ce socle d'infrastructure, une solution d'analyse des données est nécessaire : l’innovation porte aujourd'hui sur des solutions d'entrepôts de données de type Hive ou Greenplum, conçues pour Hadoop.