Data flux schema#
Hint
Schema pour illustrer les chemins de données entre MinIO, la Vm et le HPC.
flowchart TD
subgraph minio["` **MinIO** `"]
direction TB
input[(INPUT)]
internal[(INTERNAL)]
output[(OUTPUT)]
end
subgraph vm[VM]
subgraph files[Files]
retrieve_uploaded_archives -->|T1|unzip_archives
end
subgraph workflow[Workflow]
retrieve_chosen_files -->|T2|upload_files
end
subgraph run[Run]
direction LR
update_run_status-->|T3|get_chronos_files
end
scheduler["`**scheduler**`"] -.-|"S1(every 5 sec)"|retrieve_uploaded_archives
scheduler -.-|S2|retrieve_chosen_files
scheduler -.-|S3|update_run_status
end
subgraph redis[REDIS]
0_minio_input[(0/minio_input\nupload_events)]
end
hpc[ \n\n\n\nHPC\n\n\n\n\n]
subgraph legend["` **Légende** `"]
direction LR
a[ \n]-.-|taches lancées par\nle scheduler|b[ \n]
c[ \n]-->|taches lancées par \nune autre tache|d[ \n]
e[ \n]-->|Flux de fichier|f[ \n]
subgraph g[Worker Celery]
i[Tâche]
end
g~~~h[(Bucket\nMinIO)]
end
hpc ~~~ vm
legend ~~~ minio
input -->|F1|0_minio_input
redis -->|F2|retrieve_uploaded_archives
unzip_archives -->|F3|internal
internal -->|F4|retrieve_chosen_files
upload_files -->|F5|hpc-->|F6|get_chronos_files
get_chronos_files -->|F7|output
%%% Apply styles to links
linkStyle 3,4,5,6 stroke:green
linkStyle 0,1,2,7 stroke:red
%%% Apply styles on nodes
classDef classdefault fill:#ffffde
hpc:::classdefault
classDef white fill:#fff
legend:::white
classDef class1 fill:#FAEBD7
g:::class1
run:::class1
workflow:::class1
files:::class1
classDef class2 fill:#e1f7d5
scheduler:::class2
Orchestration#
F(X) |
Description |
|---|---|
F1 |
Transfert des fichiers zip de MinIO vers Redis |
F2 |
Transfert des fichiers de Redis vers la Vm |
F3 |
Transfert des fichiers de la Vm vers MinIO |
F4 |
Retour des fichiers choisis de MinIO vers la Vm |
F5 |
Transfert de fichiers de la Vm vers le HPC |
F6 |
Transfert des fichiers chronos du HPC vers la Vm |
F7 |
Transfert des fichiers chronos de la Vm vers MinIO |
Tâches#
T(X) |
Description |
|---|---|
T1 |
déclenche unzip_archives |
T2 |
déclenche upload_files |
T3 |
déclenche get_chronos_files |
Scheduler#
S(X) |
Fréquence |
Description |
|---|---|---|
S1 |
toute les 5 secondes |
retrieve_upload_archives s’active, provoquant l’orchestration “F2” |
S2 |
</> |
retrieve_chosen_files s’active |
S3 |
</> |
update_run_status s’active |