Merge pull request #37 from inbo/read-data-pipeline

Read data pipeline

.gitignore

@@ -10,24 +10,33 @@
 *.gddoc
 *.gdsheet
 *.gpkg
+*.prj
 *.html
 *.mdb
 *.shp*
 *.geojson
 *.kml
 *.csv
+!data/gewasgroepen/*.csv
 *.png
 *.shx
 *.xls*
 *_files
+*.tex
 *.pdf
 *.png
+*.cpg
+*.sbn
+*.sbx
+*.accdb
+*.tif
+*.cpg
 docs
 libs
 renv/library
 temp
+*wfsrequest.txt
 
 # knitr and R markdown default cache directories
 *_cache/
 /cache/
-

.zenodo.json

@@ -1,7 +1,7 @@
 {
   "access_right": "open",
   "title": "MBAG - MAS (akkervogels)",
-  "description": "<p>Repository voor de code met betrekking to steekproefdesign,\n-trekking, analyses … van de data afkomstig van het MAS protocol\n(akkervogels) binnen het MBAG project.<\/p>",
+  "description": "<p>De toestand van de biodiversiteit in het agrarisch gebied gaat achteruit, met negatieve gevolgen voor de biodiversiteit buiten het landbouwgebied, voor de landbouw zelf en voor de veerkracht tegenover klimaatverandering. Met het Meetnet Biodiversiteit Agrarisch Gebied (MBAG) trachten we deze toestand beter op te volgen, als basis voor gerichte maatregelen om de achteruitgang te keren. Dit deelproject legt de basis voor een meetnet voor agrarische soorten (MAS).<\/p> <p>Dit in kaart brengen gebeurt op een snelle en efficiënte manier via puntentellingen, waarbij alle vogels en zoogdieren (o.a. haas, ree en vos) worden genoteerd binnen een straal van 300 m, op vier momenten tijdens het broedseizoen. In 2023 bestrijken we de Leemstreek, de Moeren en de Zandleemstreek, in 2024 willen we een meetnet uitrollen met zeggingskracht over heel Vlaanderen.<\/p>",
   "keywords": [
     "MBAG",
     "MAS",
@@ -16,29 +16,29 @@
   "contributors": [
     {
       "name": "Langeraert, Ward",
-      "affiliation": "Research Institute for Nature and Forest (INBO)",
+      "affiliation": "Instituut voor Natuur- en Bosonderzoek (INBO)",
       "orcid": "0000-0002-5900-8109",
-      "type": "ContactPerson"
+      "type": "contactperson"
     },
     {
-      "name": "Research Institute for Nature and Forest (INBO)",
-      "type": "RightsHolder"
+      "name": "Instituut voor Natuur- en Bosonderzoek (INBO)",
+      "type": "rightsholder"
     }
   ],
   "creators": [
     {
       "name": "Langeraert, Ward",
-      "affiliation": "Research Institute for Nature and Forest (INBO)",
+      "affiliation": "Instituut voor Natuur- en Bosonderzoek (INBO)",
       "orcid": "0000-0002-5900-8109"
     },
     {
       "name": "Cartuyvels, Emma",
-      "affiliation": "Research Institute for Nature and Forest (INBO)",
+      "affiliation": "Instituut voor Natuur- en Bosonderzoek (INBO)",
       "orcid": "0000-0001-7856-6360"
     },
     {
       "name": "Van Calster, Hans",
-      "affiliation": "Research Institute for Nature and Forest (INBO)",
+      "affiliation": "Instituut voor Natuur- en Bosonderzoek (INBO)",
       "orcid": "0000-0001-8595-8426"
     }
   ],

CITATION.cff

@@ -1,18 +1,18 @@
 cff-version: 1.2.0
 message: If you use this software, please cite it using these metadata.
-title: MBAG - MAS (akkervogels)
+title: "MBAG - MAS (akkervogels)"
 authors:
 - given-names: Ward
   family-names: Langeraert
-  affiliation: Research Institute for Nature and Forest (INBO)
+  affiliation: Instituut voor Natuur- en Bosonderzoek (INBO)
   orcid: 0000-0002-5900-8109
 - given-names: Emma
   family-names: Cartuyvels
-  affiliation: Research Institute for Nature and Forest (INBO)
+  affiliation: Instituut voor Natuur- en Bosonderzoek (INBO)
   orcid: 0000-0001-7856-6360
 - given-names: Hans
   family-names: Van Calster
-  affiliation: Research Institute for Nature and Forest (INBO)
+  affiliation: Instituut voor Natuur- en Bosonderzoek (INBO)
   orcid: 0000-0001-8595-8426
 keywords:
 - MBAG
@@ -24,11 +24,20 @@ keywords:
 contact:
 - given-names: Ward
   family-names: Langeraert
-  affiliation: Research Institute for Nature and Forest (INBO)
+  affiliation: Instituut voor Natuur- en Bosonderzoek (INBO)
   orcid: 0000-0002-5900-8109
 doi: ~
 license: CC-BY-4.0
 repository-code: https://github.com/inbo/mbag-mas/
 type: software
-abstract: Repository voor de code met betrekking to steekproefdesign, -trekking, analyses
-  ... van de data afkomstig van het MAS protocol (akkervogels) binnen het MBAG project.
+abstract: "De toestand van de biodiversiteit in het agrarisch gebied gaat achteruit,
+  met negatieve gevolgen voor de biodiversiteit buiten het landbouwgebied, voor de
+  landbouw zelf en voor de veerkracht tegenover klimaatverandering. Met het Meetnet
+  Biodiversiteit Agrarisch Gebied (MBAG) trachten we deze toestand beter op te volgen,
+  als basis voor gerichte maatregelen om de achteruitgang te keren. Dit deelproject
+  legt de basis voor een meetnet voor agrarische soorten (MAS).\n\nDit in kaart brengen
+  gebeurt op een snelle en efficiënte manier via puntentellingen, waarbij alle vogels
+  en zoogdieren (o.a. haas, ree en vos) worden genoteerd binnen een straal van 300
+  m, op vier momenten tijdens het broedseizoen. In 2023 bestrijken we de Leemstreek,
+  de Moeren en de Zandleemstreek, in 2024 willen we een meetnet uitrollen met zeggingskracht
+  over heel Vlaanderen."

LICENSE.md

@@ -1,6 +1,4 @@
-## creative commons
-
-# Attribution 4.0 International
+# Creative Commons Attribution 4.0 International
 
 Creative Commons Corporation (“Creative Commons”) is not a law firm and does not provide legal services or legal advice. Distribution of Creative Commons public licenses does not create a lawyer-client or other relationship. Creative Commons makes its licenses and related information available on an “as-is” basis. Creative Commons gives no warranties regarding its licenses, any material licensed under their terms and conditions, or any related information. Creative Commons disclaims all liability for damages resulting from their use to the fullest extent possible.
 

README.md

@@ -1,4 +1,3 @@
-<!-- spell-check: ignore:start -->
 <!-- badges: start -->
 ![GitHub](https://img.shields.io/github/license/inbo/mbag-mas)
 ![GitHub repo size](https://img.shields.io/github/repo-size/inbo/mbag-mas)
@@ -18,12 +17,36 @@ Instituut voor Natuur- en Bosonderzoek (INBO)[^cph][^fnd]
 [^inbo.be]: Instituut voor Natuur- en Bosonderzoek (INBO)
 
 **keywords**: MBAG; MAS; akkervogels; biodiversiteit; beheerovereenkomsten; meetnet
-<!-- spell-check: ignore:end -->
 
 <!-- community: inbo -->
 
+### Beschrijving
+
 <!-- description: start -->
 De toestand van de biodiversiteit in het agrarisch gebied gaat achteruit, met negatieve gevolgen voor de biodiversiteit buiten het landbouwgebied, voor de landbouw zelf en voor de veerkracht tegenover klimaatverandering. Met het Meetnet Biodiversiteit Agrarisch Gebied (MBAG) trachten we deze toestand beter op te volgen, als basis voor gerichte maatregelen om de achteruitgang te keren. Dit deelproject legt de basis voor een meetnet voor agrarische soorten (MAS).
 
 Dit in kaart brengen gebeurt op een snelle en efficiënte manier via puntentellingen, waarbij alle vogels en zoogdieren (o.a. haas, ree en vos) worden genoteerd binnen een straal van 300 m, op vier momenten tijdens het broedseizoen. In 2023 bestrijken we de Leemstreek, de Moeren en de Zandleemstreek, in 2024 willen we een meetnet uitrollen met zeggingskracht over heel Vlaanderen.
 <!-- description: end -->
+
+### Repo structuur
+
+```
+├── .github                        ├ Code of conduct, contributing and GitHub actions
+├── data                           ├ input and processed data files, see individual README.txt files within this folder
+├── inst
+│   └── nl_be.dic                  ├ dictionary with words that should not be checked by the checklist package
+├── media                          ├ media (often figures) created by scripts (often R Markdown)
+├── output                         ├ output files (often datasets/pdf reports) created by scripts
+├── source
+│   ├── R                          ├ R script files, separate functions or small scripts
+│   ├── bookdown                   ├ R bookdown files, scripts and files to create bookdown documents
+│   ├── markdown                   ├ R Markdown files, small-medium report scripts
+│   └── targets                    ├ R scripts with targets pipelines
+├── .gitignore                     ├ files to ignore
+├── .zenodo.json                   ├ zenodo metadata
+├── CITATION.cff                   ├ citation info
+├── LICENSE.md                     ├ licence
+├── README.md                      ├ project description
+├── checklist.yml                  ├ options checklist package (https://github.com/inbo/checklist)
+└── mbag-mas.Rproj                 ├ R project
+```

checklist.yml

@@ -11,8 +11,6 @@ allowed:
     value: no website badge found in README.md
 required:
 - checklist
-- filename conventions
-- folder conventions
 - license
 - lintr
 - spelling
@@ -21,5 +19,7 @@ spelling:
   ignore:
   - .github
   - LICENSE.md
-  - source/targets
+  - source/targets/mas_steekproef_weidestreek/targets_steekproef_weidestreek.Rmd
+  - source/targets/mas_steekproef_za_kp_po/targets_steekproef_za_kp_po.Rmd
   - source/R
+  - data

data/SOVON/.gitignore

@@ -1,2 +1,3 @@
 *
+!README.txt
 !.gitignore

data/SOVON/README.txt

@@ -0,0 +1,10 @@
+This folder contains data files related Sovon (https://www.sovon.nl/).
+
+- avimap_601_0_MAS_Vlaanderen_telpunten_xy.shp
+  - Existing MAS locations before monitoring network
+  - Used for recycling in sampling design
+
+- Any files related to Sovon for input or output in scripts 
+
+MAS pilot repository: https://github.com/inbo/mas-piloot
+MBAG MAS repository: https://github.com/inbo/mbag-mas

data/bo_vlm/README.txt

@@ -0,0 +1,20 @@
+This folder contains the following data files related to agricultural management agreements.
+
+- akkervogelgebieden2022.shp
+  - Determination within and outside sbp strata for sampling frame (partim agricultural birds)
+  - Published as attachment to https://www.vlaanderen.be/inbo/publicaties/advies-over-de-ontwerpkaarten-meest-kansrijke-gebieden-voor-akkervogels-in-vlaanderen-in-het-kader-van-het-soortbeschermingsprogramma-akkervogels
+- akkervogelgebieden.shp
+  - Determination within and outside sbp strata for sampling frame of the MAS pilot study, default still in some function code
+  - See also: https://www.vlaanderen.be/datavindplaats/catalogus/beheergebieden-akkervogelsoorten-toestand-11-8-2017
+- sbp_overige_soorten.shp
+  - Determination within and outside sbp strata for sampling frame (partim other species)
+  - Derived from https://www.vlaanderen.be/datavindplaats/catalogus/soortenbeschermingsprogrammas
+- BO_2022_VLM_EXTERN.shp
+  - Variable used for proportion management agreements, used for sample distribution and as explanatory variable
+  - Not publicly available
+- BO_2021_VLM_EXTERN.shp
+  - Variable used for proportion management agreements used in the MAS pilot study, default still in some function code
+  - Not publicly available
+
+MAS pilot repository: https://github.com/inbo/mas-piloot
+MBAG MAS repository: https://github.com/inbo/mbag-mas

data/dem/README.txt

@@ -0,0 +1,49 @@
+This folder contains the following data files related to elevation in Flanders.
+
+- DHMVIIDSMRAS5m.tif
+  - DSM input file
+  - Downloaded from: https://www.vlaanderen.be/digitaal-vlaanderen/onze-oplossingen/earth-observation-data-science-eodas/het-digitaal-hoogtemodel/digitaal-hoogtemodel-vlaanderen-ii
+  - Used to calculate strata openness of landscape for sampling frame and for calculation of openness variable (see further)
+  - Used directly to calculate visibility at sampling locations for sampling frame
+- DHMVIIDTMRAS5m.tif
+  - DTM input file
+  - Downloaded from: https://www.vlaanderen.be/digitaal-vlaanderen/onze-oplossingen/earth-observation-data-science-eodas/het-digitaal-hoogtemodel/digitaal-hoogtemodel-vlaanderen-ii
+  - Used to calculate strata openness of landscape for sampling frame and for calculation of openness variable (see further)
+  - Used directly to calculate visibility at sampling locations for sampling frame
+- vlaanderen_chm5.tif
+  - Intermediate file for calculation of openness
+  - Difference calculated DSM - DTM
+  - See landschap_dsm_openheid.R in MAS pilot repository
+
+- openness300m_chm_res5_vlaanderen.tif
+  - Intermediate file for calculation of openness on 300 m scale
+  - Calculation of openness from vlaanderen_chm5.tif
+  - See landschap_dsm_openheid.R in MAS pilot repository
+- openness300m_chm_res25_vlaanderen.tif
+  - Openness300m_chm_res5_vlaanderen.tif aggregated to 25 m resolution
+  - See landschap_dsm_openheid.R in MAS pilot repository
+- openness300m_chm_res25_c300_mean_vlaanderen.tif
+  - Average openness in 300 m radius landscape
+  - See landschap_dsm_openheid.R in MAS pilot repository
+  - Used to calculate strata openness of landscape for sampling frame
+- openness300m_chm_res25_c300_mean_vlaanderen_classified.tif
+  - Categorised openness300m_chm_res25_c300_mean_vlaanderen.tif
+  - See landschap_dsm_openheid.R in MAS pilot repository
+
+- openness1000m_chm_res5_vlaanderen.tif
+  - Intermediate file for calculation of openness on 1000 m scale
+  - Calculation of openness from vlaanderen_chm5.tif
+  - See landschap_chm_openheid_1000m.R in MAS pilot repository
+- openness1000m_chm_res25_vlaanderen.tif
+  - openness1000m_chm_res5_vlaanderen.tif aggregated to 25 m resolution
+  - See landschap_chm_openheid_1000m.R in MAS pilot repository
+- openness1000m_chm_res25_c1000_mean_vlaanderen.tif
+  - Average openness in 300 m radius landscape
+  - See landschap_chm_openheid_1000m.R in MAS pilot repository
+  - Used for calculation of openness variable
+- openness1000m_chm_res25_c1000_mean_vlaanderen_classified.tif
+  - Categorised openness1000m_chm_res25_c1000_mean_vlaanderen.tif
+  - See landschap_chm_openheid_1000m.R in MAS pilot repository
+
+MAS pilot repository: https://github.com/inbo/mas-piloot
+MBAG MAS repository: https://github.com/inbo/mbag-mas

data/gewasgroepen/README.txt

@@ -0,0 +1,11 @@
+This folder contains the following data files related to agricultural crop type groups.
+
+- hoofdteelten_groep.csv
+  - Groups used for categorising main crop types
+  - Used for calculating proportion of crop types variable
+- voorteelten_groep.csv
+  - Groups used for categorising early crop types
+  - Used for calculating proportion of crop types variable
+
+MAS pilot repository: https://github.com/inbo/mas-piloot
+MBAG MAS repository: https://github.com/inbo/mbag-mas