sources de données cf madada

[Erwan-le-Gall]

https://madada.fr/body/list/all
sources de données :

• https://gitlab.com/madada-team/dada-france-authorities
• https://www.data.gouv.fr/fr/datasets/projet-de-loi-de-finances-pour-2019-plf-2019-annexe-budget-des-operateurs-de-letat-pour-2018/
• https://www.data.gouv.fr/fr/datasets/service-public-fr-annuaire-de-l-administration-base-de-donnees-locales/#

[JulienPalard]

Merci pour les liens.

Je viens d'essayer avec dada-france-authorities j'ai appris trois choses :

• Je suis incapable d'écrire dada, mes doigts écrivent systémantiquement data.
• 976 domains sont nouveaux du point de vue de "noms-de-domaine-organismes-secteur-public", youpi.
• il y a qq erreurs côté dada-france-authorities

Mon test :

import csv
from pathlib import Path

with open("french-authorities.csv", encoding="cp1252") as f:
    reader = csv.reader(f)
    dada_urls = [row[4] for row in reader][1:]
    dada_domains = {url.split("/")[2] for url in dada_urls if "://" in url}

with open("/home/mdk/src/etalab/noms-de-domaine-organismes-publics/domains.csv", encoding="UTF-8") as f:
    reader = csv.reader(f)
    known_domains = set([row[0] for row in reader][1:])

print(*(dada_domains - known_domains), sep="\n")

Résultats surprenants :

• www.chasse-nature-occitanie.frhaute-garonne
• www.greta.ac-amiens.frsomme
• orientation.ac-creteil.frcio-saintdenis
• orientation.ac-creteil.frcio-tremblay
• vg-agglo.localeo.frsaint_martin_petit
• ...

il y a aussi quelques domaines qu'on ne peut pas importer (cananblog.com, wixsite.com, ...) vu qu'on est plus orientés noms de domaines que page.

Ça laisse beaucoup de choses à importer c'est cool.