notebooks/convert-MaStR-Migration-to-CSV.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## MaStR Data - Migration Part 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total 208M\r\n",
      "-rw-rw-r-- 1 jovyan 1000 208M Jul  4  2019 190703_MaStRDaten_MIGRATION_Teil1.xlsx\r\n",
      "drwxr-xr-x 6 jovyan 1000 4.0K Jun 11 18:53 extracted-xlsx\r\n"
     ]
    }
   ],
   "source": [
    "!ls -lh \"/data/MaStRDatenMigration1\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Load Excel File"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "xlsx = pd.ExcelFile(\"/data/MaStRDatenMigration1/190703_MaStRDaten_MIGRATION_Teil1.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Sheets in Excel-File"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Hinweise',\n",
       " 'Tabelle_IDX_Teil_1',\n",
       " 'Tabelle_ENH_Teil_1',\n",
       " 'Tabelle_EEG_Teil_1',\n",
       " 'Tabelle_KWK_Teil_1',\n",
       " 'Tabelle_SGE_Teil_1']"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "xlsx.sheet_names"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Info Sheet"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "sheet0 = pd.read_excel(xlsx, xlsx.sheet_names[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Hinweise zu diesem Datenauszug aus dem Marktstammdatenregister\n",
      "Enthalten sind alle Einheiten samt EEG- sowie KWK-Gruppierungsobjekten und Genehmigungen, die zum Start der MaStRs migriert wurden.\n",
      "Aufgrund der Zeilenbegrenzung in MS Excel wurden die 1.844.526 migrierten Datensätze auf zwei Dateien aufgeteilt:\n",
      "Teil 1 enthält 999.999 Datensätze, Teil 2 enthält 844.527 Datensätze.\n",
      "Tabelle IDX\n",
      "Enthalten sind die relevanten IDs aus den Tabellen ENH (Einheiten), EEG (EEG-Anlagen), KWK (KWK-Anlagen) und SGE (Genehmigungen). \n",
      "Stehen die IDs in der gleichen Zeile, dann gehören diese zusammen.\n",
      "Tabelle ENH\n",
      "Enthalten sind sämtliche Felder der Einheit.\n",
      "Tabelle EEG\n",
      "Enthalten sind sämtliche Felder der EEG-Anlage.\n",
      "Nicht alle Einheiten in Planung haben ein dazugehöriges EEG-Objekt.\n",
      "Eine EEG-Anlage kann mehrere Einheiten enthalten (z.B. Biomasseanlage mit mehreren Generatoren).\n",
      "Tabelle KWK\n",
      "Enthalten sind sämtliche Felder der KWK-Anlage.\n",
      "Nicht alle Einheiten in Planung haben ein dazugehöriges KWK-Objekt.\n",
      "Eine KWK-Anlage kann mehrere Einheiten enthalten (z.B. Biomasseanlage mit mehreren Generatoren).\n",
      "Tabelle SGE\n",
      "Enthalten sind sämtliche Felder der Genehmigung.\n",
      "Eine Genehmigung kann für mehrere Einheiten erteilt worden sein (z.B. Genehmigung für einen Windpark).\n",
      "Tabelle MAK\n",
      "Enthalten sind sämtliche Felder der Marktakteure, wobei viele Datenfelder der Vertraulichkeit unterliegen und daher leer sind.\n",
      "Ein Marktakteur kann mehreren Einheiten zugeordnet sein (z.B. Betreiber von Windparks).\n",
      "Beziehungen der Tabellen\n",
      "Tabelle IDX\n",
      "(Indexverknüpfung)\n",
      "IDX_ENH_MastrID\n",
      "IDX_EEG_MastrID\n",
      "IDX_KWK_MastrID\n",
      "IDX_SGE_MastrID\n",
      "Ja/Nein Angaben\n",
      "0 = nein\n",
      "-1 = ja\n",
      "Filterung\n",
      "Alle Datensätze wurden folgendermaßen gefiltert:\n",
      "Systemstatus = \"aktiviert\"\n",
      "Datensatz wurde migriert = \"Ja\"\n",
      "Datenstand\n",
      "2019-07-03 00:00:00\n",
      "Bezeichnung der Datenfelder\n",
      "Feldtypen, Wertebereiche oder Katalognamen, Einheiten und Zeichenanzahl sind im Dokument \"MaStR - Datendefinition Einheiten und Gruppierungsobjekte (Stand September 2018) (xlsx / 278 KB)\" veröffentlicht:\n",
      "https://www.bundesnetzagentur.de/DE/Sachgebiete/ElektrizitaetundGas/Unternehmen_Institutionen/MaStR/MaStR_node.html#doc514816bodyText6\n",
      "Einheit\n",
      "Bezeichnung im Marktstammdatenregister\n",
      "MaStR-Nr. der Einheit\n",
      "Systemstatus\n",
      "Betriebsstatus\n",
      "Einheitentyp\n",
      "Name der Einheit\n",
      "Name des Windparks\n",
      "Name des Kraftwerks\n",
      "Name des Kraftwerksblocks\n",
      "Datum Beginn der vorübergehenden Stilllegung\n",
      "Datum Wiederaufnahme des Betriebs \n",
      "Geplantes Inbetriebnahmedatum\n",
      "Inbetriebnahmedatum\n",
      "Datum der endgültigen Stilllegung\n",
      "Meldedatum\n",
      "Datum der letzten Aktualisierung\n",
      "Land\n",
      "Lage (Wind)\n",
      "Postleitzahl\n",
      "Ort\n",
      "Art der Standortangabe\n",
      "Straße\n",
      "Hausnummer\n",
      "Adresszusatz\n",
      "Gemarkung\n",
      "Flur und Flurstück\n",
      "Bundesland\n",
      "Landkreis\n",
      "Gemeinde\n",
      "Gemeindeschlüssel\n",
      "Seelage\n",
      "Cluster Ostsee\n",
      "Cluster Nordsee\n",
      "Küstenentfernung\n",
      "Wassertiefe\n",
      "Breitengrad\n",
      "Längengrad\n",
      "Anzahl der Module\n",
      "Bruttoleistung\n",
      "Nettonennleistung\n",
      "Zugeordnete  Wirkleistung des/der Wechselrichter\n",
      "Gemeinsamer Wechselrichter mit Stromspeicher\n",
      "Leistungsbegrenzung\n",
      "Bestandteil eines Grenzkraftwerkes\n",
      "Nettonennleistung (Deutschland)\n",
      "Anlage ist im Kombibetrieb\n",
      "Steigerung der Nettonennleistung durch Kombibetrieb\n",
      "MaStR-Nummern Kombibetrieb\n",
      "Lage (PV)\n",
      "Nutzungsbereich der Solaranlage\n",
      "Einheitliche Ausrichtung der Module\n",
      "(Haupt)Ausrichtung\n",
      "Neigungswinkel der (Haupt)Ausrichtung\n",
      "Nebenausrichtung\n",
      "Neigungswinkel der Nebenausrichtung\n",
      "In Anspruch genommene Fläche\n",
      "Art der Fläche\n",
      "In Anspruch genommene Ackerfläche\n",
      "(Naben)Höhe\n",
      "Rotordurchmesser\n",
      "Auflagen Abschaltungen/Leistungsbegrenzungen\n",
      "Hersteller\n",
      "Typenbezeichnung\n",
      "Technologie (bzw. Ausrichtung der Rotor-Achse bei WEA)\n",
      "Energieträger\n",
      "Hauptbrennstoff\n",
      "Weiterer Hauptbrennstoff\n",
      "Netzreserve: Beginn der gesetzlichen Hinderung an der Stilllegung \n",
      "Datum Übergang in die Sicherheitsbereitschaft\n",
      "Datum des Baubeginns\n",
      "Biomasseart\n",
      "Art der Wasserkraftanlage\n",
      "Art des Zuflusses\n",
      "Minderung der Stromerzeugung\n",
      "AC oder DC gekoppeltes System\n",
      "Batterietechnologie\n",
      "Leistungsaufnahme im Pumpbetrieb \n",
      "Kontinuierliche Regelbarkeit im Pumpbetrieb\n",
      "Einsatzverantwortlicher\n",
      "Fernsteuerbarkeit durch Netzbetreiber\n",
      "Fernsteuerbarkeit durch Direktvermarkter\n",
      "Fernsteuerbarkeit durch Dritte\n",
      "An Hoch/Höchstspannung angeschlossen\n",
      "Art der Einspeisung\n",
      "Anteilig Nutzungsberechtigte\n",
      "Ersatzversorgung bei Stromnetzstörung\n",
      "Einsatzort\n",
      "Anzeige einer Stilllegung nach §13b Abs.1 Satz 1\n",
      "Art der Stilllegung nach §13b\n",
      "Datum des Beginns der vorläufigen oder endgültigen Stilllegung (§13b)\n",
      "Datum der Beendigung der vorläufigen Stilllegung (§13b)\n",
      "W-EIC\n",
      "Displayname W-EIC\n",
      "Kraftwerksnummer\n",
      "Anteil beeinflussbarer Last\n",
      "Präqualifizierte Leistung (AbLaV)\n",
      "Art der abschaltbaren Last (AbLaV)\n",
      "Stromverbrauchseinheiten größer 50 MW\n",
      "Erzeugungsleistung\n",
      "Gasverbrauch dient der Stromerzeugung\n",
      "Maximale Gasbezugsleistung\n",
      "MaStR-Nummern der Stromerzeugungseinheiten\n",
      "Anschlussnetzbetreiber\n",
      "Datum der Netzbetreiberprüfung\n",
      "Prüfstatus\n",
      "*: Bei Einheiten mit einer Nettoleistung < 30 kW sind die Datenfelder in diesem Export leer  (vgl. § 15 Absatz 1 Nummer 1 MaStRV).\n",
      "EEG-Anlage\n",
      "Bezeichnung im Marktstammdatenregister\n",
      "MaStR-Nr. der EEG-Anlage\n",
      "EEG-Inbetriebnahmedatum\n",
      "Installierte Leistung\n",
      "Anlagenschlüssel EEG\n",
      "Anlagenkennziffer aus dem Anlagenregister\n",
      "Registrierungsnummer (PV-Melderegister)\n",
      "Meldedatum\n",
      "Datum der letzten Aktualisierung\n",
      "Inanspruchnahme von Zahlungen nach §19 EEG\n",
      "Ausschließliche Verwendung von Biomasse im Sinne der Biomasse-Verordnung\n",
      "Zuschlag erlangt\n",
      "Zuschlagsnummer\n",
      "Zugeordnete Gebotsmengen\n",
      "Pilotwindanlage\n",
      "Prototypanlage\n",
      "Mieterstrom angemeldet\n",
      "Datum der erstmaligen Zuordnung zur Veräußerungsform des Mieterstromzuschlags\n",
      "Meldedatum Mieterstrom\n",
      "Verhältnis der Ertragseinschätzung zum Referenzertrag \n",
      "Verhältnis des Ertrags zum Referenzertrag nach fünf Jahren\n",
      "Verhältnis des Ertrags zum Referenzertrag nach zehn Jahren\n",
      "Verhältnis des Ertrags zum Referenzertrag nach fünfzehn Jahren\n",
      "Gaserzeugungskapazität\n",
      "Höchstbemessungsleistung\n",
      "Inanspruchnahme Flexibilitätsprämie\n",
      "Datum der Inanspruchnahme der Flexibilitätsprämie\n",
      "Leistungserhöhung\n",
      "Datum der Leistungserhöhung\n",
      "Umfang der Leistungserhöhung\n",
      "Datum des erstmaligen ausschließlichen Einsatzes von Biomethan\n",
      "KWK\n",
      "Bezeichnung im Marktstammdatenregister\n",
      "MaStR-Nummer der KWK-Anlage\n",
      "Datum der Meldung der KWK-Anlage\n",
      "Datum der letzten Aktualisierung\n",
      "Thermische Nutzleistung\n",
      "Elektrische KWK Leistung\n",
      "Inbetriebnahmedatum der KWK-Anlage\n",
      "Genehmigung\n",
      "Bezeichnung im Marktstammdatenregister\n",
      "MaStR-Nr. der Genehmigung\n",
      "Art der Genehmigung \n",
      "Genehmigungsdatum \n",
      "Genehmigungsbehörde \n",
      "Aktenzeichen der Genehmigung gemäß Genehmigungsbehörde \n",
      "Genehmigungsfrist \n",
      "Genehmigungsnummer nach dem Wasserrecht (Wasserrechtsnummer)\n",
      "Ablaufdatum der Genehmigung nach dem Wasserrecht\n",
      "Meldedatum\n",
      "Datum der letzten Aktualisierung\n"
     ]
    }
   ],
   "source": [
    "columnName = sheet0.columns[1]\n",
    "for text in sheet0[columnName].dropna().values:\n",
    "    print(text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "sheet1 = pd.read_excel(xlsx, xlsx.sheet_names[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "IDX_ENH_MastrID    999999\n",
       "IDX_EEG_MastrID    999999\n",
       "IDX_KWK_MastrID      1719\n",
       "IDX_SGE_MastrID      3612\n",
       "dtype: int64"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sheet1.count()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Plants"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "sheet2 = pd.read_excel(xlsx, xlsx.sheet_names[2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Shape: (999999, 105)\n",
      "100.0 MB\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "Solareinheit    994131\n",
       "Windeinheit       3181\n",
       "Biomasse          2059\n",
       "Wasser             616\n",
       "Geothermie          12\n",
       "Name: ENH_EinheitenTyp, dtype: int64"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "print(\"Shape:\", sheet2.shape)\n",
    "print(round(sheet2.size / 1024 / 1024), 'MB')\n",
    "sheet2['ENH_EinheitenTyp'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "interestingColumns = ['ENH_Strasse', 'ENH_Hausnummer', 'ENH_Plz', 'ENH_Ort', 'ENH_Bruttoleistung', 'ENH_Breitengrad',\n",
    "       'ENH_Laengengrad', 'ENH_InbetriebnahmeDatum']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ENH_Strasse</th>\n",
       "      <th>ENH_Hausnummer</th>\n",
       "      <th>ENH_Plz</th>\n",
       "      <th>ENH_Ort</th>\n",
       "      <th>ENH_Bruttoleistung</th>\n",
       "      <th>ENH_Breitengrad</th>\n",
       "      <th>ENH_Laengengrad</th>\n",
       "      <th>ENH_InbetriebnahmeDatum</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Gardelegener Str. 4 87 88 89 90/1 90/2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>39359.0</td>\n",
       "      <td>Calvörde / Calvörde</td>\n",
       "      <td>4736.16</td>\n",
       "      <td>52.368611</td>\n",
       "      <td>11.308611</td>\n",
       "      <td>2015-12-11 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Lüderitzer Weg 1 28/29/30</td>\n",
       "      <td>NaN</td>\n",
       "      <td>39576.0</td>\n",
       "      <td>Stendal / Insel</td>\n",
       "      <td>75.00</td>\n",
       "      <td>52.593751</td>\n",
       "      <td>11.860974</td>\n",
       "      <td>2016-06-30 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Im Wald u auf d Wiese</td>\n",
       "      <td>66/0</td>\n",
       "      <td>39606.0</td>\n",
       "      <td>Osterburg OT Krevese</td>\n",
       "      <td>3450.00</td>\n",
       "      <td>52.814297</td>\n",
       "      <td>11.674749</td>\n",
       "      <td>2017-03-30 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Neuendorf am Speck 5 28</td>\n",
       "      <td>NaN</td>\n",
       "      <td>39576.0</td>\n",
       "      <td>Stendal, OT Neuendorf am Speck</td>\n",
       "      <td>75.00</td>\n",
       "      <td>52.666448</td>\n",
       "      <td>11.789414</td>\n",
       "      <td>2017-03-01 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Schwarzer Weg</td>\n",
       "      <td>8</td>\n",
       "      <td>39606.0</td>\n",
       "      <td>Hansestadt Osterburg, OT Erxleben</td>\n",
       "      <td>3000.00</td>\n",
       "      <td>52.753086</td>\n",
       "      <td>11.791000</td>\n",
       "      <td>2017-02-24 00:00:00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              ENH_Strasse ENH_Hausnummer  ENH_Plz  \\\n",
       "0  Gardelegener Str. 4 87 88 89 90/1 90/2            NaN  39359.0   \n",
       "1               Lüderitzer Weg 1 28/29/30            NaN  39576.0   \n",
       "2                   Im Wald u auf d Wiese           66/0  39606.0   \n",
       "3                 Neuendorf am Speck 5 28            NaN  39576.0   \n",
       "4                           Schwarzer Weg              8  39606.0   \n",
       "\n",
       "                             ENH_Ort  ENH_Bruttoleistung  ENH_Breitengrad  \\\n",
       "0                Calvörde / Calvörde             4736.16        52.368611   \n",
       "1                    Stendal / Insel               75.00        52.593751   \n",
       "2               Osterburg OT Krevese             3450.00        52.814297   \n",
       "3     Stendal, OT Neuendorf am Speck               75.00        52.666448   \n",
       "4  Hansestadt Osterburg, OT Erxleben             3000.00        52.753086   \n",
       "\n",
       "   ENH_Laengengrad ENH_InbetriebnahmeDatum  \n",
       "0        11.308611     2015-12-11 00:00:00  \n",
       "1        11.860974     2016-06-30 00:00:00  \n",
       "2        11.674749     2017-03-30 00:00:00  \n",
       "3        11.789414     2017-03-01 00:00:00  \n",
       "4        11.791000     2017-02-24 00:00:00  "
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sheet2[interestingColumns].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Save as CSV"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "sheet2.to_csv(\"/data/MaStRDatenMigration1/190703_MaStRDaten_MIGRATION_Teil1.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total 534M\r\n",
      "-rw-r--r-- 1 jovyan users 327M Jun 16 21:04 190703_MaStRDaten_MIGRATION_Teil1.csv\r\n",
      "-rw-rw-r-- 1 jovyan  1000 208M Jul  4  2019 190703_MaStRDaten_MIGRATION_Teil1.xlsx\r\n",
      "drwxr-xr-x 6 jovyan  1000 4.0K Jun 11 18:53 extracted-xlsx\r\n"
     ]
    }
   ],
   "source": [
    "!ls -lh \"/data/MaStRDatenMigration1\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## MaStR Data - Migration Part 2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total 155M\r\n",
      "-rw-rw-r-- 1 jovyan 1000 155M Jul  4  2019 190703_MaStRDaten_MIGRATION_Teil2.xlsx\r\n"
     ]
    }
   ],
   "source": [
    "!ls -lh \"/data/MaStRDatenMigration2\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Load Excel File"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "xlsx = pd.ExcelFile(\"/data/MaStRDatenMigration2/190703_MaStRDaten_MIGRATION_Teil2.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Sheets in Excel-File"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Hinweise',\n",
       " 'Tabelle_IDX_Teil_2',\n",
       " 'Tabelle_ENH_Teil_2',\n",
       " 'Tabelle_EEG_Teil_2',\n",
       " 'Tabelle_KWK_Teil_2',\n",
       " 'Tabelle_SGE_Teil_2']"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "xlsx.sheet_names"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "sheet1 = pd.read_excel(xlsx, xlsx.sheet_names[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "IDX_ENH_MastrID    844527\n",
       "IDX_EEG_MastrID    838625\n",
       "IDX_KWK_MastrID      7046\n",
       "IDX_SGE_MastrID      7590\n",
       "dtype: int64"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sheet1.count()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Plants"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "sheet2 = pd.read_excel(xlsx, xlsx.sheet_names[2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Shape: (844527, 105)\n",
      "85.0 MB\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "Solareinheit            773445\n",
       "Windeinheit              26289\n",
       "Stromspeichereinheit     19544\n",
       "Biomasse                 12926\n",
       "Wasser                    6535\n",
       "Verbrennung               5702\n",
       "Geothermie                  79\n",
       "Kernenergie                  7\n",
       "Name: ENH_EinheitenTyp, dtype: int64"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "print(\"Shape:\", sheet2.shape)\n",
    "print(round(sheet2.size / 1024 / 1024), 'MB')\n",
    "sheet2['ENH_EinheitenTyp'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ENH_Strasse</th>\n",
       "      <th>ENH_Hausnummer</th>\n",
       "      <th>ENH_Plz</th>\n",
       "      <th>ENH_Ort</th>\n",
       "      <th>ENH_Bruttoleistung</th>\n",
       "      <th>ENH_Breitengrad</th>\n",
       "      <th>ENH_Laengengrad</th>\n",
       "      <th>ENH_InbetriebnahmeDatum</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>27386</td>\n",
       "      <td>Brockel</td>\n",
       "      <td>21.60</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2012-10-30 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>25879</td>\n",
       "      <td>Süderstapel</td>\n",
       "      <td>5.70</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2013-06-17 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>77731</td>\n",
       "      <td>Willstätt</td>\n",
       "      <td>9.18</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2015-10-30 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>40589</td>\n",
       "      <td>Düsseldorf</td>\n",
       "      <td>4.86</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2009-12-17 00:00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>76646</td>\n",
       "      <td>Bruchsal</td>\n",
       "      <td>6.25</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2012-03-26 00:00:00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  ENH_Strasse ENH_Hausnummer ENH_Plz      ENH_Ort  ENH_Bruttoleistung  \\\n",
       "0         NaN            NaN   27386      Brockel               21.60   \n",
       "1         NaN            NaN   25879  Süderstapel                5.70   \n",
       "2         NaN            NaN   77731    Willstätt                9.18   \n",
       "3         NaN            NaN   40589   Düsseldorf                4.86   \n",
       "4         NaN            NaN   76646     Bruchsal                6.25   \n",
       "\n",
       "   ENH_Breitengrad  ENH_Laengengrad ENH_InbetriebnahmeDatum  \n",
       "0              NaN              NaN     2012-10-30 00:00:00  \n",
       "1              NaN              NaN     2013-06-17 00:00:00  \n",
       "2              NaN              NaN     2015-10-30 00:00:00  \n",
       "3              NaN              NaN     2009-12-17 00:00:00  \n",
       "4              NaN              NaN     2012-03-26 00:00:00  "
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sheet2[interestingColumns].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Save as CSV"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "sheet2.to_csv(\"/data/MaStRDatenMigration2/190703_MaStRDaten_MIGRATION_Teil2.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total 421M\r\n",
      "-rw-r--r-- 1 jovyan users 267M Jun 16 21:14 190703_MaStRDaten_MIGRATION_Teil2.csv\r\n",
      "-rw-rw-r-- 1 jovyan  1000 155M Jul  4  2019 190703_MaStRDaten_MIGRATION_Teil2.xlsx\r\n"
     ]
    }
   ],
   "source": [
    "!ls -lh \"/data/MaStRDatenMigration2\""
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}