Gestion sources multiples

[lpojgc]

Feature description

Lorsqu'on a plusieurs sources dans une fichier, si l'une d'entre elles n'est pas disponible, l'exécution est stoppée, sans passer à la suivante (pour le full a minima, pas testé sur l'update).
Il faudrait prévoir un mécanisme pour passer à la suivante même en cas d'échec de la précédente (ou test de la dispo de la source avant de lancer le téléchargement ?)...
Ou prévoir de ne mettre qu'une source par fichier ;-)

Additional context

No response

[camillemonchicourt]

Je vois pas à quoi correspondent les sources ?

[lpofredc]

Ce sont les différentes sources de données à importer dans GN2PG, cf. https://github.com/lpoaura/GN2PG/blob/main/gn2pg/data/gn2pgconfig.toml

[camillemonchicourt]

Ah oui OK je capte, en effet, il est important de pouvoir en avoir plusieurs, potentiellement pas mal et que si une rencontre un soucis, que cela ne bloque pas les suivantes.

[DonovanMaillard]

Oui, ca dépend de la manière d'utiliser gn2pg.

Soit on fait un seul fichier de conf, on met toutes les sources bout à bout, et dans ce cas en effet elles doivent être gérées indépendamment les unes des autres et sans bloquages. On a dans ce cas un seul schéma gn2pg, un seul lot de tables, et une seule fois les triggers qui sont appliqués de la même manière à toutes les sources.

On peut aussi (je le fais pour le moment sur le pôle invertébrés) avoir n fichiers de configuration, n schemas, et du coup gérer les n triggers pour traiter les données lors de leur envoi en synthèse. A voir si c'est pérenne avec la multiplication des sources, ca amène une meilleure visibilité dans la base mais ca duplique tout quand on a 10 sources.

[jpm-cbna]

On peut aussi (je le fais pour le moment sur le pôle invertébrés) avoir n fichiers de configuration, n schemas, et du coup gérer les n triggers pour traiter les données lors de leur envoi en synthèse.

C'est aussi la solution retenue dans le cadre du SINP AURA. Nous avons 2 sources de données et c'est vrai que c'est assez pratique tant que l'on a peut de source. C'est pratique pour tester quelque chose sur le schéma d'une source en étant certain que cela ne changera rien aux autres...

[DonovanMaillard]

Dans mon cas ça me permet d'adapter les triggers en gardant les validations de certaines sources et pas d'autres par exemple, mais ça peut se contourner avec des conditions dans le trigger.