Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Adapt ad-hk Gradle transformation to new source file format #104

Merged
merged 2 commits into from
May 29, 2024
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
15 changes: 6 additions & 9 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -72,24 +72,21 @@ Alle weiteren *Tasks* stehen für die Transformation eines bestimmten Projekts,

### Transformation für Hauskoordinaten

Die Transformation von Hauskoordinaten zu Adressen ist ein Spezialfall, da hier kein XML als Quelle vorhanden ist, sondern CSV-Dateien.
Die Transformation von Hauskoordinaten zu Adressen ist ein Spezialfall, da hier kein XML als Quelle vorhanden ist, sondern eine CSV-Datei.

Das Kürzel `ad-hk` steht für diese Transformation und wird anders behandelt als die restlichen Transformationen.
Die Quell-Dateien müssen hier einzeln angegeben werden, als Gradle properties (z.B. in der Datei `gradle.properties`):
Die Quell-Datei muss hier über folgende Eingenschaft konfiguriert werden (z.B. in der Datei `gradle.properties`):

- **hkSchluesselDatei** - Pfad zur CSV-Datei mit Schlüssel-Informationen
- **hkDatei** - Pfad zur Datei mit Hauskoordinaten

Sind diese Eigenschaften nicht angegeben, werden standardmäßig Testdaten aus dem Repository verwendet.
Ist diese Eigenschaft nicht konfiguriert, wird standardmäßig eine Testdatei aus dem Repository verwendet.

Zusätzlich muss für jede der beiden Dateien angegeben werden, ob die erste Zeile der Datei übersprungen werden soll. Dies geschieht ebenfalls über Gradle properties. Eine Konfiguration kann beispielsweise so aussehen:
Zusätzlich muss für die Datei angegeben werden, wie viele Zeilen beim Einlesen übersprungen werden sollen. Dies geschieht ebenfalls über die Datei `gradle.properties`. Wird kein Wert für `hkSkipFirst` konfiguriert, wird standardmäßig davon ausgegangen, dass eine Zeile übersprungen werden muss. Eine Konfiguration kann beispielsweise so aussehen:

```
# Hauskoordinaten (CSV-Dateien)
hkSchluesselDatei=hk/schluessel.csv
hkSchluesselSkipFirst=false
# Hauskoordinaten (CSV-Datei)
hkDatei=hk/adressen.csv
hkSkipFirst=true
hkSkipFirst=1
```

Weitere Einstellungen zum Lesen der CSV-Dateien (z.B. Trennzeichen) sind im Moment fest konfiguriert.
Expand Down
20 changes: 3 additions & 17 deletions build.gradle
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ plugins {
apply plugin: 'to.wetransform.hale'

hale {
cliVersion = '5.1.0-SNAPSHOT' // for update to hale-connect
cliVersion = '5.1.0'
}

configurations.all {
Expand Down Expand Up @@ -442,8 +442,7 @@ transformations.each { name, config ->
// Hauskoordinaten project

// file locations
def hkSchluesselDatei = project.hasProperty('hkSchluesselDatei') ? project.getProperty('hkSchluesselDatei') : project.file('testdaten/Hauskoordinaten/schluessel_test.csv')
def hkDatei = project.hasProperty('hkDatei') ? project.property('hkDatei') : project.file('testdaten/Hauskoordinaten/adressen_test.csv')
def hkDatei = project.hasProperty('hkDatei') ? project.property('hkDatei') : project.file('testdaten/Hauskoordinaten/5.0/adressen-testdaten.csv')

// common settings
def hkQuote = '"'
Expand All @@ -454,24 +453,11 @@ transformations.each { name, config ->

// define sources

source(hkSchluesselDatei) {
provider 'eu.esdihumboldt.hale.io.csv.reader.instance'

setting 'typename', 'Schlüssel'
setting 'skip', project.hasProperty('hkSchluesselSkipFirst') ? project.getProperty('hkSchluesselSkipFirst') : false

setting 'charset', hkCharset
setting 'quote', hkQuote
setting 'decimal', hkDecimal
setting 'separator', hkSeparator
setting 'escape', hkEscape
}

source(hkDatei) {
provider 'eu.esdihumboldt.hale.io.csv.reader.instance'

setting 'typename', 'Hauskoordinaten'
setting 'skip', project.hasProperty('hkSkipFirst') ? project.getProperty('hkSkipFirst') : false
setting 'skip', project.hasProperty('hkSkipFirst') ? project.getProperty('hkSkipFirst') : 1

setting 'charset', hkCharset
setting 'quote', hkQuote
Expand Down
6 changes: 2 additions & 4 deletions gradle.properties.sample
Original file line number Diff line number Diff line change
Expand Up @@ -43,11 +43,9 @@ haleMaxHeapSize=2048
# Other system properties
# - Custom temporary directory
#systemProp.java.io.tmpdir=
# Hauskoordinaten (CSV-Dateien)
#hkSchluesselDatei=
#hkSchluesselSkipFirst=false
# Hauskoordinaten (CSV-Datei)
#hkDatei=
#hkSkipFirst=false
#hkSkipFirst=1
# WFS-T upload
#uploadWFS=http://localhost:8080/services/wfs
# hale connect
Expand Down
Loading