Cette tâche de service du SNO SKATE concerne la mise à disposition des données de FR606 et de NenuFAR via le centre de données LOFAR-NenuFAR ainsi que la préparation de la participation française au réseau des SKA Regional Centers aussi bien au niveau européen que mondial.
Les instruments de radioastronomie basse fréquence sont producteurs de données massives et nécessitent des moyens de calculs importants ; si SKA est annoncé comme le premier « télescope Exascale », l’archive long-terme de LOFAR contient de l’ordre de 100 Po, et NenuFAR produit plusieurs Po par an de données pré-traitées. Pour la communauté française, le Centre de Données de Nançay (CDN) fournit les espaces de stockage et les moyens de calcul (matériels et logiciels) et de distribution des données permettant une exploitation optimale des instruments de radioastronomie basses fréquences auxquelles la communauté contribue, en particulier les instruments situés à Nançay, FR606 et NenuFAR (la production de données massives rend pertinents leur traitement et leur archivage sur le site). Son objectif premier est le soutien à l’exploitation de LOFAR (y compris pour le mode standalone de FR606) et de NenuFAR. Les besoins éventuels pour l’exploitation d’autres précurseurs de SKA comme MeerKAT ou ASKAP sont envisagés au cas par cas.
L’accès aux données de SKA, que ce soient les données d’archive ou les données d’observation des PI ou des Key Science Projects, est un des rôles principaux des SKA Regional Centers. Aujourd’hui, la participation française au travail de conception du réseau de SRCs au niveau mondial et européen s’articule autour de plusieurs volets :
1/ la participation aux groupes de travail mis en place en fin 2020 par le SRC Steering Committee (SRCSC) afin d’identifier les solutions technologiques et méthodologiques pour le futur réseau de SRCs au niveau mondial, 2/ la contribution technique au SKA Data Challenges - SDC. Au travers de la coordination de SKA-France et GENCI, des nœuds de la partition GPU de la machine Jean-Zay de l’IDRIS sont mis à disposition de la communauté qui participe aux challenges, et 3/ l’expertise acquise au travers de la mise en œuvre du CDN.
En détail, les tâches de service sont :
- Maintien à jour des logiciels de traitement scientifique
- Mise en place des moyens de traitement et d’archivage des données LOFAR de la communauté française
- Mise en place de moyens de traitement et d’archivage des données FR606, mise en place d’une base de données
- Conception, opération et pérennisation du traitement et de l’archivage des données de NenuFAR : nature des données archivées, des données mises en ligne, contrôle qualité, etc.
- Mise en place de l’accès de la communauté française et internationale aux données de NenuFAR : membres des Key Programmes, puis PI de propositions d’observations à partir de fin 2022
- Archivage des données et mise à disposition des données publiques (les données de NenuFAR seront publiques après une période propriétaire d’un an après achèvement du programme)
- Contribution française à la préparation du futur SKA Regional Centre Network : dans cette phase, les pays membres de SKAO sont appelés à contribuer à la conception et au prototypage du futur SKA Regional Centre Network (SRC-Net), une fédération mondiale de ressources qui doit être mise en place pour traiter, archiver, curer et analyser scientifiquement les produits d’observation de SKAO. Ces activités sont pilotées par le SRC Steering Commitee (SRCSC) et évoluent au cours du temps.
Aujourd’hui les principales activités sur lesquelles la France a besoin d’impliquer des ressources et des expertises au travers de la participation à différentes équipes Agile/SAFe pilotées par le SRCSC sont :- Activités de prototypage de différents sous-systèmes du SRC ciblant les implémentations suivantes :
- Gestion et logistique des données distribuées en synergie avec les standards IVOA
- Visualisation et exploration de gros volumes de données distribuées
- Plateformes scientifiques déployables sur des ressources fédérées et distribuées
- Authentification, autorisation et identification
- Infrastructures et services distribuées de type HPC et Cloud
- Participation au groupe de travail du SRCSC portant sur l’interface entre le SRC-Net et les utilisateurs de SKA :
- Définition des scénarios d’utilisation des données, des applications scientifiques et des ressources associées
- Définition de workflows typiques d’analyse scientifique de données du SRC, et identification des besoins logiciels associés
- Participation aux activités de SKA-France : définition et prototypage d’un nœud français contribuant au SRC-Net et reposant sur une fédération de ressources à l’échelle nationale (OSU, mésocentres/centres de données régionaux, centres nationaux de calcul et de données)
- Activités de prototypage de différents sous-systèmes du SRC ciblant les implémentations suivantes :