Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Maak NLExtract voor BAG multithreaded #126

Open
justb4 opened this issue Sep 15, 2014 · 2 comments
Open

Maak NLExtract voor BAG multithreaded #126

justb4 opened this issue Sep 15, 2014 · 2 comments

Comments

@justb4
Copy link
Contributor

justb4 commented Sep 15, 2014

Voor nog meer versnelling aangezien:

a) de volgorde van bestandsverwerking er niet toe doet
b) slechts 1 core iets staat te doen

Middels een queue met Workers pattern moet dit met Python multithreading te realiseren zijn.
Wachtend op PR van Stefan de K.

@justb4 justb4 added this to the Versie 1.1.5 milestone Sep 15, 2014
@justb4 justb4 modified the milestones: Versie 1.1.6, Versie 1.1.5 Jan 6, 2015
@justb4
Copy link
Contributor Author

justb4 commented Jan 6, 2015

Nog even vooruitschuiven...ik blijf er nog steeds bij dat de in-memory creatie van de objecten de huidige bottleneck is.

@SanderH
Copy link

SanderH commented Feb 9, 2018

Om meerdere threads iets te doen te geven heb ik de volgende in m'n bash script in gebruik:

unzip inspireadressen.zip -d inspireadressen
$scripts/NLExtract/bag/bin/bag-extract.sh -cj

FILES=$scripts/inspireadressen/*.zip
for f in $FILES
do
	$scripts/NLExtract/bag/bin/bag-extract.sh -e $f &
done

wait

gewoon de zip uitpakken dus en parallel verwerken (door de & op het eind).
Lang niet zo ideaal/snel als via worker threads, maar de import tijd wordt er wel door verkort tot de tijd die het duurt om de pand tabel (de grootste) te vullen. De rest is dan al gebeurd.

@justb4 justb4 modified the milestones: Versie 1.4.0, Versie 1.5.0 Feb 14, 2020
@justb4 justb4 modified the milestones: Versie 1.5.0, Versie 1.6.0 Oct 23, 2020
@justb4 justb4 modified the milestones: Versie 1.5.5, Versie 1.6.0 Nov 17, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

2 participants