Ordonnacement sur l’infrastructure HPC et scalabilité élastique
CNES est l’agence spatiale française chargée de définir et de mettre en œuvre la politique spatiale française en Europe. Sa mission est d’inventer les systèmes spatiaux du futur, de faire mûrir les technologies spatiales et de garantir l’accès indépendant de la France à l’espace. PEPS est la plateforme française qui offre un accès aux produits des satellites Sentinel (S1A et S1B, S2A et S2B, S3A et S3B) du programme de l’Union européenne pour l’observation et la surveillance de la Terre par Copernicus.
La solution ProActive fournie par ActiveEon permet d’orchestrer et de distribuer un algorithme de traitement des 7 Po d’images actuellement disponibles via la plateforme PEPS (Plateforme d’Exploitation des produits Sentinel).
L’équipe du projet PEPS du CNES a réalisé avec ActiveEon un POC de débordement sur le cloud de traitement d’imagerie satellite radar Sentinel-1. La plateforme PEPS vise à fournir, en mode SaaS, l’accès aux données issues de l’imagerie satellite aux utilisateurs externes des secteurs de la recherche, éducation et commercial. PEPS compte plus de 5000 utilisateurs et stocke plus de 10 To de données par jour. Afin de favoriser l’usage des données, PEPS inclut des services en ligne tels que différents traitements de données (p.ex. Orthorectification pour permettre la superposition à une carte sur le globe terrestre) ce qui est géré par l’ordonnanceur ProActive Workflows & Scheduling d’ActiveEon.
La solution ProActive Workflows & Scheduling, fournie par ActiveEon, assure la partie traitement et la scalabilité élastique au niveau de l’infrastructure HPC en tant que méta-ordonnanceur. ProActive Workflows & Scheduling fournit une API ouverte de manière à transformer les requêtes provenant de la plateforme PEPS en soumission de jobs sur les infrastructures de calcul du datacenter du CNES de façon expérimentale en débordement sur le cloud Azure. La charge de travail IT est alors répartie entre le datacenter sur site et le cloud grâce au resource manager de ProActive Workflows & Scheduling, permettant de gérer des infrastructures hybrides et multi-cloud.
L’utilisation de ProActive Workflows & Scheduling pour le projet PEPS du CNES a permis une augmentation de puissance et de capacités de calcul pour le traitement de données issues de l’imagerie satellite. Au sein de son centre informatique de pointe, le CNES dispose de 8000 processeurs pour l’ensemble des projets de traitements de données, mais les besoins sont parfois supérieurs dû notamment à la variabilité des traitements à la demande qui sont offerts dans le cadre du projet PEPS. Les expérimentations de débordement ont permis de montrer que la chaîne de traitement pouvait aussi bien s’exécuter sur les moyens internes qu’externes. Les expérimentations ont également permis de comparer les performances et les coûts entre les ressources du datacenter du CNES et celles du cloud Azure.
Pour en savoir plus, lisez l’article “CNES: open access to satellite data”.