Orchestration du big data

mapreduce, hadoop, etl/elt, infrastructure, cloud, workflows, meta-ordonnancement et optimisation des coûts

big data job scheduling over secured environments


Le stockage, le traitement et l’extraction de la valeur des données sont en train de devenir l’objectif principal des DSIs. Les données massives, ou le big data, ont quatre propriétés : Volume, Variété, Vitesse et Véracité. Les systèmes tels que Hadoop, Spark, Storm, etc. sont de facto les principaux éléments constitutifs des architectures big data (par exemple, des datalakes), mais ne répondent qu’en partie aux exigences.

De plus, en plus de ce mélange de caractéristiques qui représente un défi pour les entreprises, de nouvelles opportunités vont ajouter encore plus de complexité. Les entreprises cherchent maintenant à intégrer encore plus de sources de données, à briser les silos (la variété augmente avec les données structurées et non structurées) et à intégrer des données exploitables en temps réel. Tout cela devient essentiel pour les décideurs.

Pour organiser l’ensemble de ces solutions et optimiser la parallélisation, un orchestrateur ou un méta-ordonnanceur sera nécessaire. Il permettra de mettre à l’essai diverses applications pour s’assurer que le flux de processus est respecté, et que les données respectent les politiques de l’entreprise (p. ex. en termes de localisation des données). Il est également important d’intégrer une gestion des erreurs et d’autres solutions comme les outils de BI, les rapports, etc. De plus, pour surmonter les défis de chaque solution individuelle, les orchestrateurs permettent de sécuriser les transferts de données, de sélectionner les ressources à travers des pare-feu, d’équilibrer efficacement la charge globale, etc.

Obtenez le livre blanc rédigé par notre équipe pour en savoir plus sur la façon d’orchestrer le big data à partir de différentes sources et applications dans votre organisation.

Téléchargez le livre blanc

We’ll send you maximum 1 email per month