ScrapingOtherTerrorismAdvisories.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "fb411c85-a58f-4834-8323-6b9107882c35",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2022-06-11\n"
     ]
    }
   ],
   "source": [
    "import re\n",
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import os\n",
    "from tqdm.notebook import tqdm\n",
    "from dateutil import parser\n",
    "import jsonlines\n",
    "import datetime\n",
    "import pandas as pd\n",
    "import warnings\n",
    "import string\n",
    "import unicodedata\n",
    "import pdfminer\n",
    "import glob\n",
    "warnings.simplefilter(\"ignore\")\n",
    "pd.set_option('max_colwidth', 350)\n",
    "\n",
    "\n",
    "transtable = str.maketrans(dict.fromkeys(string.punctuation))\n",
    "\n",
    "def to_string(s):\n",
    "    \"\"\"\n",
    "    takes input s and returns a string type and encoding if necessary\n",
    "    \"\"\"\n",
    "    try:\n",
    "        return str(s)\n",
    "    except:\n",
    "        # Change the encoding type if needed\n",
    "        return s.encode('utf-8')\n",
    "\n",
    "\n",
    "def unicodeToAscii(s):\n",
    "    \"\"\"\n",
    "    input: string\n",
    "    output: string ascii\n",
    "    \"\"\"\n",
    "    return ''.join(\n",
    "        c for c in unicodedata.normalize('NFD', s)\n",
    "        if unicodedata.category(c) != 'Mn'\n",
    "        )\n",
    "\n",
    "pd.set_option('max_colwidth', 100)\n",
    "\n",
    "todaysdate = datetime.datetime.today().strftime('%Y-%m-%d')\n",
    "print(f\"{todaysdate}\")\n",
    "# making transtable\n",
    "\n",
    "transtable = str.maketrans(dict.fromkeys(string.punctuation))\n",
    "\n",
    "def cln(i, extent=1):\n",
    "    \"\"\"\n",
    "    String white space 'cleaner'.\n",
    "    :param i:\n",
    "    :param extent: 1 --> all white space reduced to length 1; 2 --> removal of all white space.\n",
    "    :return:\n",
    "    \"\"\"\n",
    "\n",
    "    if isinstance(i, str) and i != \"\":\n",
    "        if extent == 1:\n",
    "            return re.sub(r\"\\s\\s+\", \" \", i)\n",
    "        elif extent == 2:\n",
    "            return re.sub(r\"\\s+\", \"\", i)\n",
    "    else:\n",
    "        return i\n",
    "\n",
    "\n",
    "def strip_punctuation(input_string):\n",
    "    \"\"\"cleans string by stripping punctuation \"\"\"\n",
    "    return input_string.translate(transtable)\n",
    "\n",
    "\n",
    "\n",
    "def chunks(l, n):\n",
    "    \"\"\"Yield n number of sequential chunks from l.\"\"\"\n",
    "    d, r = divmod(len(l), n)\n",
    "    for i in range(n):\n",
    "        si = (d + 1) * (i if i < r else r) + d * (0 if i < r else i - r)\n",
    "        yield l[si:si + (d + 1 if i < r else d)]\n",
    "\n",
    "\n",
    "flatten = lambda l: [item for sublist in l for item in sublist]\n",
    "\n",
    "def get_match(text, rex):\n",
    "    if isinstance(rex, (list, tuple, set)):\n",
    "        rex = '(' + '|'.join(rex) + ')'\n",
    "    result = re.findall(rex, text)\n",
    "    return result\n",
    "\n",
    "\n",
    "def make_url_from_href(href, base='https://www.dhs.gov'):\n",
    "    if str(href).lower() in ['nan', 'none', 'np.nan', 'na']:\n",
    "        return None\n",
    "    \n",
    "    else:\n",
    "        if 'www.' in href: \n",
    "            return href\n",
    "        else:\n",
    "            return base + href\n",
    "        \n",
    "def name_to_regex(name):\n",
    "    decoded_name = unidecode(name)\n",
    "    if name != decoded_name:\n",
    "        regex = fr'\\b({name}|{decoded_name})\\b'\n",
    "    else:\n",
    "        regex = fr'\\b{name}\\b'\n",
    "    return re.compile(regex, flags=re.IGNORECASE)\n",
    "\n",
    "\n",
    "def get_date(date_string):\n",
    "\n",
    "\n",
    "    try:\n",
    "        date = parser.parse(date_string.split('update')[0], fuzzy=True)\n",
    "        return date\n",
    "    except Exception:\n",
    "        return None\n",
    "    \n",
    "def get_date_multiple_strings(row):\n",
    "    d1 = get_date(row['text'])\n",
    "    if not d1:\n",
    "        return get_date(row['href'])\n",
    "    else:\n",
    "        return d1\n",
    "\n",
    "        \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "423b1833-f8d3-4171-9206-656fb7d15429",
   "metadata": {},
   "outputs": [],
   "source": [
    "dir_path = 'NationalTerrorismAdvisories/'\n",
    "if not os.path.exists(dir_path):\n",
    "    os.mkdir(dir_path)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3ab3a2de-06d9-4b80-8f72-7b8a534176af",
   "metadata": {},
   "source": [
    "```python\n",
    "# grabbing file\n",
    "soup = BeautifulSoup(requests.get('https://www.dhs.gov/national-terrorism-advisory-system').text, 'html.parser')\n",
    "\n",
    "dfbulletins= pd.DataFrame({'text': a.text.strip(), 'href': a.attrs.get('href') } \\\n",
    "                          for a in soup.find_all('a', href = re.compile(r'.*/advisory*|.*/publication*')))\n",
    "dfbulletins['url'] = dfbulletins['href'].map(make_url_from_href)\n",
    "dfbulletins['date'] = dfbulletins.apply(get_date_multiple_strings, axis=1)\n",
    "dfbulletins['year'] = dfbulletins['date'].dt.year\n",
    "dfbulletins = dfbulletins[dfbulletins['year'].notnull()].reset_index(drop=True)\n",
    "dfbulletins['language'] = dfbulletins['href'].map(lambda x: 'Translation' if 'translation' in x.lower() else 'English')\n",
    "filename = 'NationalTerrorismAdvisories/meta-dfbulletins.csv'\n",
    "dfbulletins.to_csv(filename, index=False)\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "d5c98ae2-9915-4f6e-8856-18dcd439bf5e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>href</th>\n",
       "      <th>url</th>\n",
       "      <th>date</th>\n",
       "      <th>year</th>\n",
       "      <th>language</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>National Terrorism Advisory System Bulletin - June 7, 2022</td>\n",
       "      <td>/ntas/advisory/national-terrorism-advisory-system-bulletin-june-7-2022</td>\n",
       "      <td>https://www.dhs.gov/ntas/advisory/national-terrorism-advisory-system-bulletin-june-7-2022</td>\n",
       "      <td>2022-06-07</td>\n",
       "      <td>2022.0</td>\n",
       "      <td>English</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Read this Bulletin translated into various languages</td>\n",
       "      <td>/publication/national-terrorism-advisory-system-bulletin-june-7-2022-translations</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-june-7-2022-translat...</td>\n",
       "      <td>2022-06-07</td>\n",
       "      <td>2022.0</td>\n",
       "      <td>Translation</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>National Terrorism Advisory System Bulletin - February 07, 2022</td>\n",
       "      <td>/ntas/advisory/national-terrorism-advisory-system-bulletin-february-07-2022</td>\n",
       "      <td>https://www.dhs.gov/ntas/advisory/national-terrorism-advisory-system-bulletin-february-07-2022</td>\n",
       "      <td>2022-02-07</td>\n",
       "      <td>2022.0</td>\n",
       "      <td>English</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Read this Bulletin translated into various languages</td>\n",
       "      <td>/publication/national-terrorism-advisory-system-bulletin-february-7-2022-translations</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-february-7-2022-tran...</td>\n",
       "      <td>2022-02-07</td>\n",
       "      <td>2022.0</td>\n",
       "      <td>Translation</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>National Terrorism Advisory System Bulletin - November 10, 2021</td>\n",
       "      <td>/ntas/advisory/national-terrorism-advisory-system-bulletin-november-10-2021</td>\n",
       "      <td>https://www.dhs.gov/ntas/advisory/national-terrorism-advisory-system-bulletin-november-10-2021</td>\n",
       "      <td>2021-11-10</td>\n",
       "      <td>2021.0</td>\n",
       "      <td>English</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                              text  \\\n",
       "0       National Terrorism Advisory System Bulletin - June 7, 2022   \n",
       "1             Read this Bulletin translated into various languages   \n",
       "2  National Terrorism Advisory System Bulletin - February 07, 2022   \n",
       "3             Read this Bulletin translated into various languages   \n",
       "4  National Terrorism Advisory System Bulletin - November 10, 2021   \n",
       "\n",
       "                                                                                    href  \\\n",
       "0                 /ntas/advisory/national-terrorism-advisory-system-bulletin-june-7-2022   \n",
       "1      /publication/national-terrorism-advisory-system-bulletin-june-7-2022-translations   \n",
       "2            /ntas/advisory/national-terrorism-advisory-system-bulletin-february-07-2022   \n",
       "3  /publication/national-terrorism-advisory-system-bulletin-february-7-2022-translations   \n",
       "4            /ntas/advisory/national-terrorism-advisory-system-bulletin-november-10-2021   \n",
       "\n",
       "                                                                                                   url  \\\n",
       "0            https://www.dhs.gov/ntas/advisory/national-terrorism-advisory-system-bulletin-june-7-2022   \n",
       "1  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-june-7-2022-translat...   \n",
       "2       https://www.dhs.gov/ntas/advisory/national-terrorism-advisory-system-bulletin-february-07-2022   \n",
       "3  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-february-7-2022-tran...   \n",
       "4       https://www.dhs.gov/ntas/advisory/national-terrorism-advisory-system-bulletin-november-10-2021   \n",
       "\n",
       "         date    year     language  \n",
       "0  2022-06-07  2022.0      English  \n",
       "1  2022-06-07  2022.0  Translation  \n",
       "2  2022-02-07  2022.0      English  \n",
       "3  2022-02-07  2022.0  Translation  \n",
       "4  2021-11-10  2021.0      English  "
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "filename = 'NationalTerrorismAdvisories/meta-dfbulletins.csv'\n",
    "dfbulletins = pd.read_csv(filename)\n",
    "dfbulletins.head()\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f74ae02a-87f8-43b6-9d14-73dff828bfe3",
   "metadata": {},
   "source": [
    "```python\n",
    "def get_table_from_url(url):\n",
    "    \n",
    "    df = pd.read_html(url)[0]\n",
    "    response = requests.get(url)\n",
    "    soup = BeautifulSoup(response.text, 'html.parser')\n",
    "    tempdf = pd.DataFrame({'Attachment': t.text.strip(), 'href': t.attrs.get('href')} for t \\\n",
    "     in soup.find('tbody').find_all('a', href = re.compile(r'.*pdf*|.*PDF*'))\n",
    "    ).merge(df)\n",
    "    tempdf['Date']=tempdf.apply(lambda row: get_date(row['Attachment']) if pd.isnull(row['Date']) else row['Date'], axis=1)\n",
    "    tempdf['orig_url'] = url\n",
    "    return tempdf\n",
    "\n",
    "\n",
    "lines = (line for line in open(filename))\n",
    "list_line = (s.rstrip().split(\",\") for s in lines)\n",
    "cols = next(list_line)\n",
    "_dicts = (dict(zip(cols, data)) for data in list_line)\n",
    "urls_ = pd.concat(\n",
    "   ( get_table_from_url(_dict[\"url\"])\n",
    "    for _dict in _dicts\n",
    "    if _dict[\"language\"] == \"Translation\")\n",
    ")\n",
    "urls_['lang'] =urls_['Attachment'].map(unicodeToAscii).map(lambda x: get_match(cln(strip_punctuation(x.lower())),rex=['arabic',\n",
    " 'chinesefrench',\n",
    " 'chinesesimplified',\n",
    " 'chinesetraditional', 'chinese traditional', 'chinese simplified', 'simplified chinese', 'traditional chinese',\n",
    " 'french',\n",
    " 'korean',\n",
    " 'portugese',\n",
    " 'portuguese',\n",
    " 'russian',\n",
    " 'simplifiedchinese',\n",
    " 'somali',\n",
    " 'spanish',\n",
    " 'tagalog',\n",
    " 'thai',\n",
    " 'traditionalchinese',\n",
    " 'vietnamese'])).map(lambda x: x[0] if len(x) > 0 else None)\n",
    "\n",
    "def normalize_lang(x):\n",
    "    if not 'chinese' in x.lower():\n",
    "        return x\n",
    "    \n",
    "    if 'simplified' in x.lower(): return 'simplified-chinese'\n",
    "    elif 'traditional' in x.lower(): return 'traditional-chinese'\n",
    "\n",
    "\n",
    "urls_['Date'] = urls_['Date'].map(str).map(get_date)\n",
    "\n",
    "urls_['lang'] = urls_['lang'].map(normalize_lang)\n",
    "urls_.to_csv(dir_path + '/meta-all-translation-pdfs.csv', index=False)\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e0b13ee5-055f-4e47-9bc2-27222256de8e",
   "metadata": {},
   "source": [
    "```python\n",
    "urls_ = pd.read_csv(dir_path + '/meta-all-translation-pdfs.csv')\n",
    "files = urls_.to_dict('records')\n",
    "for row in tqdm(files, total=len(files)):\n",
    "    link_href = row['href']\n",
    "    \n",
    "    link_filename = f\"{row['index']}_{row['Date']}_{row['lang']}.pdf\"\n",
    "    pdf_res = requests.get(link_href)\n",
    "    with open(os.path.join(dir_path, link_filename), 'wb') as f:\n",
    "        f.write(pdf_res.content)\n",
    "``` "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f1c6087f-1c4e-4401-989f-758af1420a6a",
   "metadata": {},
   "source": [
    "```python\n",
    "from io import StringIO\n",
    "\n",
    "from PyPDF2 import PdfFileReader\n",
    "from pdfminer.converter import TextConverter\n",
    "from pdfminer.layout import LAParams\n",
    "from pdfminer.pdfdocument import PDFDocument\n",
    "from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter\n",
    "from pdfminer.pdfpage import PDFPage\n",
    "from pdfminer.pdfparser import PDFParser\n",
    "\n",
    "\n",
    "def extract_information(pdf_path, verbose=False):\n",
    "    with open(pdf_path, 'rb') as f:\n",
    "        pdf = PdfFileReader(f)\n",
    "        information = pdf.getDocumentInfo()\n",
    "        number_of_pages = pdf.getNumPages()\n",
    "\n",
    "    txt = f\"\"\"\n",
    "    Information about {pdf_path}: \n",
    "\n",
    "    Author: {information.author}\n",
    "    Creator: {information.creator}\n",
    "    Producer: {information.producer}\n",
    "    Subject: {information.subject}\n",
    "    Title: {information.title}\n",
    "    Number of pages: {number_of_pages}\n",
    "    \"\"\"\n",
    "    ad = {}\n",
    "    ad['pdf_path'] = pdf_path\n",
    "    ad['num_pages'] = number_of_pages\n",
    "    for k,val in information.items():\n",
    "        ad[strip_punctuation(k)] = val\n",
    "    if verbose: print(txt)\n",
    "    return ad\n",
    "\n",
    "ld = []\n",
    "pdf_files = glob.glob('NationalTerrorismAdvisories/*russian*pdf')\n",
    "for file in tqdm(pdf_files):\n",
    "    d = extract_information(file)\n",
    "    \n",
    "    idx, date, lang = file.split('/')[-1].split('_')\n",
    "    d['file_idx'] = idx\n",
    "    d['bulletin_date'] = date\n",
    "    d['lang'] = lang\n",
    "    d['file']  = file\n",
    "    \n",
    "    output_string = StringIO()\n",
    "    with open(file, 'rb') as in_file:\n",
    "        parser = PDFParser(in_file)\n",
    "    \n",
    "        doc = PDFDocument(parser)\n",
    "  \n",
    "\n",
    "        rsrcmgr = PDFResourceManager()\n",
    "        device = TextConverter(rsrcmgr, output_string, laparams=LAParams())\n",
    "        interpreter = PDFPageInterpreter(rsrcmgr, device)\n",
    "\n",
    "        for page in PDFPage.create_pages(doc):\n",
    "        \n",
    "            \n",
    "\n",
    "            interpreter.process_page(page)\n",
    "\n",
    "    d['text'] = output_string.getvalue()\n",
    "    ld.append(d)\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "id": "7431a688-2e7b-497d-bb18-546e1e96157f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>num_pages</th>\n",
       "      <th>CreationDate</th>\n",
       "      <th>Creator</th>\n",
       "      <th>Producer</th>\n",
       "      <th>bulletin_date</th>\n",
       "      <th>lang</th>\n",
       "      <th>...</th>\n",
       "      <th>Title</th>\n",
       "      <th>Keywords</th>\n",
       "      <th>Subject</th>\n",
       "      <th>text</th>\n",
       "      <th>href</th>\n",
       "      <th>orig_url</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>D:20210129170043-05'00'</td>\n",
       "      <td>Acrobat PDFMaker 20 for Word</td>\n",
       "      <td>Adobe PDF Library 20.12.73</td>\n",
       "      <td>2021-02-02</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>NTAS Bulletin (Russian)</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td>Бюллетень \\nНациональная система предупреждения о террористической угрозе \\n\\nwww.dhs.gov/adviso...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/21_0202_ntas-translation_russian.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-27-2021-tran...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20200110113539-05'00'</td>\n",
       "      <td>Acrobat PDFMaker 19 for Word</td>\n",
       "      <td>Adobe PDF Library 19.12.66</td>\n",
       "      <td>2020-01-04</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>National Terrorism Advisory Security Bulletin, January 2020, Russian</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td>Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/20_0104_ntas_russian_0.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-4-2020-trans...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20190207040114Z</td>\n",
       "      <td>Acrobat PDFMaker 19 for Word</td>\n",
       "      <td>Adobe PDF Library 19.10.96</td>\n",
       "      <td>2019-01-18</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>NTAS Update January 18 2019</td>\n",
       "      <td>Terrorism, NTAS, DHS</td>\n",
       "      <td>National Terrorism Advisory System Bulletin</td>\n",
       "      <td>Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/19_0118_NTAS-bulletin_Russian.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-18-2019-tran...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20180918201109Z</td>\n",
       "      <td>Acrobat PDFMaker 15 for Word</td>\n",
       "      <td>Adobe PDF Library 15.0</td>\n",
       "      <td>2018-09-14</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>NTAS_Russian_FINAL</td>\n",
       "      <td>Terrorism, NTAS, DHS</td>\n",
       "      <td>National Terrorism Advisory System Bulletin</td>\n",
       "      <td>Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/18_0914_NTAS-Bulletin_Russian.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-september-14-2018-tr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20180510105940-04'00'</td>\n",
       "      <td>Acrobat PDFMaker 18 for Word</td>\n",
       "      <td>Adobe PDF Library 15.0</td>\n",
       "      <td>2018-05-09</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>Национальная система предупреждения о</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td>Национальная система предупреждения о \\n\\nтеррористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/18_0509_NTAS_Russian.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-may-9-2018-translations</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20171109155012-05'00'</td>\n",
       "      <td>Acrobat PDFMaker 15 for Word</td>\n",
       "      <td>Adobe PDF Library 15.0</td>\n",
       "      <td>2017-11-09</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>17_1109_NTAS_Russian</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td>Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/17_1109_NTAS_Russian.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-november-9-2017-tran...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20170516132536-04'00'</td>\n",
       "      <td>PScript5.dll Version 5.2.2</td>\n",
       "      <td>Acrobat Distiller 15.0 (Windows)</td>\n",
       "      <td>2017-05-15</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>NTAS Bulletin 2017 (Russian)</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Национальная\\tсистема\\tпредупреждения\\tо\\tтеррористической\\tугрозе \\n\\t\\nБюллетень\\t \\n\\nwww.dhs...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/NTAS-Bulletin_2017_Russian.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-may-15-2017-translat...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20161115204816-05'00'</td>\n",
       "      <td>Acrobat PDFMaker 15 for Word</td>\n",
       "      <td>Adobe PDF Library 15.0</td>\n",
       "      <td>2016-11-15</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>NTAS - Russian</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Национальная система предупреждения о террористической угрозе \\n \\n\\nБюллетень \\n \\n\\nwww.dhs.go...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/16_1115_NTAS_bulletin_RU.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/ntas-bulletin-november-15-2016-translations</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>3</td>\n",
       "      <td>D:20160617095130-04'00'</td>\n",
       "      <td>Acrobat PDFMaker 11 for Word</td>\n",
       "      <td>Adobe PDF Library 11.0</td>\n",
       "      <td>2016-06-15</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>NTAS Bulletin 2016 001 Russian</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/16_0615_NTAS_bulletin_RU.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/ntas-bulletin-june-15-2016-translations</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2</td>\n",
       "      <td>D:20160201134704-05'00'</td>\n",
       "      <td>Acrobat PDFMaker 11 for Word</td>\n",
       "      <td>Adobe PDF Library 11.0</td>\n",
       "      <td>2015-12-16</td>\n",
       "      <td>russian</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...</td>\n",
       "      <td>https://www.dhs.gov/sites/default/files/publications/15_1216_NTAS_bulletin_RU.pdf</td>\n",
       "      <td>https://www.dhs.gov/publication/ntas-bulletin-december-16-2015-translations</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10 rows × 13 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   num_pages             CreationDate                       Creator  \\\n",
       "2          2  D:20210129170043-05'00'  Acrobat PDFMaker 20 for Word   \n",
       "5          3  D:20200110113539-05'00'  Acrobat PDFMaker 19 for Word   \n",
       "1          3        D:20190207040114Z  Acrobat PDFMaker 19 for Word   \n",
       "6          3        D:20180918201109Z  Acrobat PDFMaker 15 for Word   \n",
       "7          3  D:20180510105940-04'00'  Acrobat PDFMaker 18 for Word   \n",
       "3          3  D:20171109155012-05'00'  Acrobat PDFMaker 15 for Word   \n",
       "8          3  D:20170516132536-04'00'    PScript5.dll Version 5.2.2   \n",
       "9          3  D:20161115204816-05'00'  Acrobat PDFMaker 15 for Word   \n",
       "4          3  D:20160617095130-04'00'  Acrobat PDFMaker 11 for Word   \n",
       "0          2  D:20160201134704-05'00'  Acrobat PDFMaker 11 for Word   \n",
       "\n",
       "                           Producer bulletin_date     lang  ...  \\\n",
       "2        Adobe PDF Library 20.12.73    2021-02-02  russian  ...   \n",
       "5        Adobe PDF Library 19.12.66    2020-01-04  russian  ...   \n",
       "1        Adobe PDF Library 19.10.96    2019-01-18  russian  ...   \n",
       "6            Adobe PDF Library 15.0    2018-09-14  russian  ...   \n",
       "7            Adobe PDF Library 15.0    2018-05-09  russian  ...   \n",
       "3            Adobe PDF Library 15.0    2017-11-09  russian  ...   \n",
       "8  Acrobat Distiller 15.0 (Windows)    2017-05-15  russian  ...   \n",
       "9            Adobe PDF Library 15.0    2016-11-15  russian  ...   \n",
       "4            Adobe PDF Library 11.0    2016-06-15  russian  ...   \n",
       "0            Adobe PDF Library 11.0    2015-12-16  russian  ...   \n",
       "\n",
       "                                                                  Title  \\\n",
       "2                                               NTAS Bulletin (Russian)   \n",
       "5  National Terrorism Advisory Security Bulletin, January 2020, Russian   \n",
       "1                                           NTAS Update January 18 2019   \n",
       "6                                                    NTAS_Russian_FINAL   \n",
       "7                                 Национальная система предупреждения о   \n",
       "3                                                  17_1109_NTAS_Russian   \n",
       "8                                          NTAS Bulletin 2017 (Russian)   \n",
       "9                                                        NTAS - Russian   \n",
       "4                                        NTAS Bulletin 2016 001 Russian   \n",
       "0                                                                   NaN   \n",
       "\n",
       "               Keywords                                      Subject  \\\n",
       "2                                                                      \n",
       "5                                                                      \n",
       "1  Terrorism, NTAS, DHS  National Terrorism Advisory System Bulletin   \n",
       "6  Terrorism, NTAS, DHS  National Terrorism Advisory System Bulletin   \n",
       "7                                                                      \n",
       "3                                                                      \n",
       "8                   NaN                                          NaN   \n",
       "9                   NaN                                          NaN   \n",
       "4                   NaN                                          NaN   \n",
       "0                   NaN                                          NaN   \n",
       "\n",
       "                                                                                                  text  \\\n",
       "2  Бюллетень \\nНациональная система предупреждения о террористической угрозе \\n\\nwww.dhs.gov/adviso...   \n",
       "5  Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...   \n",
       "1  Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...   \n",
       "6  Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...   \n",
       "7  Национальная система предупреждения о \\n\\nтеррористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/...   \n",
       "3  Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...   \n",
       "8  Национальная\\tсистема\\tпредупреждения\\tо\\tтеррористической\\tугрозе \\n\\t\\nБюллетень\\t \\n\\nwww.dhs...   \n",
       "9  Национальная система предупреждения о террористической угрозе \\n \\n\\nБюллетень \\n \\n\\nwww.dhs.go...   \n",
       "4  Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...   \n",
       "0  Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...   \n",
       "\n",
       "                                                                                        href  \\\n",
       "2  https://www.dhs.gov/sites/default/files/publications/21_0202_ntas-translation_russian.pdf   \n",
       "5            https://www.dhs.gov/sites/default/files/publications/20_0104_ntas_russian_0.pdf   \n",
       "1     https://www.dhs.gov/sites/default/files/publications/19_0118_NTAS-bulletin_Russian.pdf   \n",
       "6     https://www.dhs.gov/sites/default/files/publications/18_0914_NTAS-Bulletin_Russian.pdf   \n",
       "7              https://www.dhs.gov/sites/default/files/publications/18_0509_NTAS_Russian.pdf   \n",
       "3              https://www.dhs.gov/sites/default/files/publications/17_1109_NTAS_Russian.pdf   \n",
       "8        https://www.dhs.gov/sites/default/files/publications/NTAS-Bulletin_2017_Russian.pdf   \n",
       "9          https://www.dhs.gov/sites/default/files/publications/16_1115_NTAS_bulletin_RU.pdf   \n",
       "4          https://www.dhs.gov/sites/default/files/publications/16_0615_NTAS_bulletin_RU.pdf   \n",
       "0          https://www.dhs.gov/sites/default/files/publications/15_1216_NTAS_bulletin_RU.pdf   \n",
       "\n",
       "                                                                                              orig_url  \n",
       "2  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-27-2021-tran...  \n",
       "5  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-4-2020-trans...  \n",
       "1  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-18-2019-tran...  \n",
       "6  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-september-14-2018-tr...  \n",
       "7  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-may-9-2018-translations  \n",
       "3  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-november-9-2017-tran...  \n",
       "8  https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-may-15-2017-translat...  \n",
       "9                          https://www.dhs.gov/publication/ntas-bulletin-november-15-2016-translations  \n",
       "4                              https://www.dhs.gov/publication/ntas-bulletin-june-15-2016-translations  \n",
       "0                          https://www.dhs.gov/publication/ntas-bulletin-december-16-2015-translations  \n",
       "\n",
       "[10 rows x 13 columns]"
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.set_option('max_columns', 12)\n",
    "mergeddata[[ 'num_pages', 'CreationDate', 'Creator',\n",
    "    'Producer', 'bulletin_date',  'lang', 'file',  'Title', 'Keywords', 'Subject', 'text',\n",
    "       'href', 'orig_url']].sort_values('bulletin_date', ascending=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "4f2d85c9-e475-44cf-a5e3-e62aec292482",
   "metadata": {},
   "outputs": [],
   "source": [
    "urls_ = pd.read_csv('NationalTerrorismAdvisories/meta-all-translation-pdfs.csv')\n",
    "urls_['pdf_path'] = urls_.apply(lambda row: f\"{dir_path}{row['index']}_{row['Date']}_{row['lang']}.pdf\", axis=1)\n",
    "\n",
    "mergeddata = pd.DataFrame(ld).merge(urls_[['pdf_path', 'href', 'orig_url','Date']], how='left', on=['pdf_path'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "28bcc62c-f49e-4189-b8d6-9650b86f19ec",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "num_pages                                                                                                          3\n",
       "bulletin_date                                                                                             2020-01-04\n",
       "text             Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advi...\n",
       "href                                 https://www.dhs.gov/sites/default/files/publications/20_0104_ntas_russian_0.pdf\n",
       "orig_url         https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-4-2020-trans...\n",
       "Date                                                                                                      2020-01-04\n",
       "Name: 5, dtype: object"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "mergeddata"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "id": "027adac5-b3b3-49db-8d7b-278cdcde65ea",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'text': 'Национальная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advisories \\n\\nДАТА ВЫПУСКА: пятница, 18 января 2019 \\n\\nОбзор террористической угрозы на территории США \\nС 2015 года Министерство национальной безопасности (МНБ) публикует в данном бюллетене сообщения о \\nсохраняющейся террористической угрозе на территории США. США находятся в эпохальной схватке с \\nтеррористами, которые стремятся совершать нападения на американский народ, нашу страну и наш образ жизни. \\nИнформированность, бдительность и вовлеченность общественности входят в число важнейших ресурсов для \\nвыявления потенциальных террористов и предотвращения терактов. \\n\\nСрок действия \\nДата выпуска: 18 января 2019 года, 14.00 восточного времени \\nДата истечения срока действия: 18 января 2019 года, 13.00 восточного времени \\nПримечание: публикация продления срока действия задерживается в связи с временным отсутствием \\nфедерального финансирования. \\n\\nДополнительная информация \\n\\n•  Мы продолжаем иметь дело с одной из наиболее сложных ситуаций со времени событий 11 сентября, \\nпоскольку иностранные террористические организации используют интернет для того, чтобы внушать \\nидеи совершения терактов, пособничать или направлять действия лиц, уже находящимся в США. Лица, \\nподозреваемые в причастности к террористический деятельности на территории США, все активнее \\nиспользуют технологию, например, приложения социальных сетей со сквозным шифрованием, чтобы \\nизбежать обнаружения. \\n\\n•  Террористические группировки призывают новобранцев брать на вооружение легкодоступные средства \\nдля совершения атак в публичных местах и во время общественных мероприятий. В число специальных \\nприемов нападения входит использование транспортных средств (включая арендованные) в качестве \\nтарана, огонь из стрелкового оружия, применение лезвий с прямой кромкой или ножей, самодельных \\nвзрывных устройств, ядовитых и токсических веществ. \\n\\n•  Некоторые террористические группы за рубежом опираются на боевой опыт применения новых \\n\\nтехнологий и тактических приемов, включая беспилотные воздушные системы и химические вещества, \\nдля использования за пределами зон конфликтов. Многие из этих технологий являются легкодоступными. \\nТеррористы также продолжают планировать атаки на коммерческое воздушное сообщение и воздушные \\nгрузы, в том числе при помощи скрытых взрывных устройств. \\n\\n•  СМИ, пропагандирующие насильственный экстремизм, призывают совершать теракты по всему миру с \\nиспользованием всех доступных способов. Многочисленные успехи США и партнеров в пресечении и \\nподавлении террористической деятельности на поле боя может побудить доморощенных террористов \\nосуществлять акты насилия на территории страны, не прибегая к попыткам выехать в район боевых \\nдействий за рубеж, а также в виде возмездия за понесенные потери. \\n\\n•  Кроме того, иностранные боевики-террористы, получившие подготовку и проверенный в боях опыт \\nтеррористической деятельности, могут покидать контролируемые террористами территории с целью \\nсовершения терактов в других местах, в том числе в США. \\n\\nБюллетень Национальной системы предупреждения о террористической угрозе | ДАТА ВЫПУСКА: пятница, 18 \\nянваря 2019 | Страница 1 \\n\\n\\x0cНациональная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advisories \\n\\nДАТА ВЫПУСКА: пятница, 18 января 2019 \\n\\nДействия Правительства США по борьбе с терроризмом \\n\\n•  МНБ и Федеральное бюро расследований (ФБР) продолжают оказывать содействие своим коллегам на \\nуровне штатов, местных органов власти, племенных и территориальных образований, информируя их о \\nтекущей обстановке и уровне угрозы. МНБ также оказывает непрерывную поддержку частному сектору в \\nплане оценки риска и координирования мер безопасности с владельцами компаний и предприятий. В \\nопределенные даты и вблизи некоторых мест с большим скоплением людей может быть заметно \\nповышенное присутствие правоохранительных органов и сил безопасности. \\n\\n•  МНБ тесно сотрудничает с ФБР и другими партнерами по разведывательной деятельности для выявления \\n\\nлиц, подозреваемых в связях с терроризмом, и пресечения их деятельности, путем применения \\nусиленных мер контроля и проверки подозрительных пассажиров и грузов, противодействия \\nраспространению идей воинствующего радикализма и вербовки среди населения, отслеживания новых \\nфакторов угрозы и взаимодействия с зарубежными партнерами. \\n\\n•  В более широком смысле МНБ сохраняет приверженность предотвращению насилия и угроз, \\n\\nнаправленных на запугивание или принуждение определенных групп населения по признаку их \\nрелигиозной и этнической принадлежности или происхождения. \\n\\n•  МНБ усиливает программы по защите легко уязвимых объектов и многолюдных мест, включая школы.  \\n\\nТипы оповещений \\n\\nБюллетень \\nОписание текущих событий или общих тенденций борьбы с террористической угрозой. \\n\\nПовышенный уровень опасности \\nПредупреждение о достоверной террористической угрозе, направленной против США. \\n\\nПредупреждение о непосредственной угрозе \\nПредупреждение о достоверной, конкретной и неминуемой террористической угрозе, направленной против \\nСША. \\n\\nКак вы можете помочь \\n\\n•  Сообщайте о подозрительных действиях в местные правоохранительные органы, которые способны \\n\\nоптимальным образом реагировать на признаки террористической деятельности. \\n\\n•  Сообщайте о подозрительной активности и передавайте информацию об угрозах, в том числе о \\n\\nдеятельности в сети, в центры Fusion Centers и в местные отделения ФБР, образующие \\nобщенациональную инициативу оповещения о подозрительной деятельности. \\n\\n•  Определите, как распознать признаки предварительного планирования, связанные с терроризмом или \\n\\nдругими преступными действиями. \\n\\nБюллетень Национальной системы предупреждения о террористической угрозе | ДАТА ВЫПУСКА: пятница, 18 \\nянваря 2019 | Страница 2 \\n\\n\\x0cНациональная система предупреждения о террористической угрозе \\n\\nБюллетень \\n\\nwww.dhs.gov/advisories \\n\\nДАТА ВЫПУСКА: пятница, 18 января 2019 \\n\\nБудьте готовы \\n\\n•  Будьте готовы к нештатной ситуации и планируйте свои действия заранее. Будьте готовы к задержкам и \\n\\nограничениям в отношении определенных предметов в людных местах и на общественных \\nмероприятиях. \\n\\n•  Относитесь с ответственностью к вопросам личной безопасности. Ознакомьтесь с расположением \\n\\nаварийных выходов и нахождением представителей сил безопасности. Имейте при себе контактные \\nданные на случай чрезвычайной ситуации, а также сведения о собственных особых потребностях. \\n\\n•  Для подготовки предприятий и работников посетите следующие страницы: Connect, Plan, Train и Report. \\n\\nДоступ к средствам/ресурсам обеспечения безопасности можно получить в рамках Кампании МНБ по \\nбезопасности в своем городе. \\n\\nБудьте осведомлены \\n\\n•  Правительство США будет предоставлять дополнительную информацию о любых возникающих угрозах по \\n\\nмере их выявления. Населению рекомендуется следовать указаниям местных правоохранительных \\nорганов и служб, ответственных за общественную безопасность. \\n\\n•  Мы призываем американцев продолжать путешествовать, посещать общественные мероприятия и \\nсвободно общаться с другими людьми, сохраняя при этом бдительность и отслеживая окружающую \\nобстановку. \\nГосударственный департамент США выпускает оповещения и предупреждения о международных \\nпоездках. \\n\\n• \\n\\n•  Дополнительную информацию можно найти по адресу Ready. \\n\\nЕсли вы заметили что-либо – сообщите об этомTM. \\n\\nСообщайте о подозрительной деятельности в местные правоохранительные органы \\n\\n или звоните по телефону 911. \\n\\nНациональная система предупреждения о террористической угрозе позволяет получать информацию, связанную \\nс вопросами национальной безопасности и с угрозами. Информация распространяется Министерством \\nнациональной безопасности (МНБ). Дополнительную информацию можно получить по адресу: \\nhttp://www.dhs.gov/advisories. Мобильные обновления: www.twitter.com/dhsgov  \\n\\nСлоган «Если вы заметили что-либо – сообщите об этом™» используется с разрешения Транспортного управления \\nгорода Нью-Йорка. \\n\\nБюллетень Национальной системы предупреждения о террористической угрозе | ДАТА ВЫПУСКА: пятница, 18 \\nянваря 2019 | Страница 3 \\n\\n\\x0c',\n",
       " 'num_pages': 3,\n",
       " 'Keywords': 'Terrorism, NTAS, DHS',\n",
       " 'Subject': 'National Terrorism Advisory System Bulletin',\n",
       " 'Title': 'NTAS Update January 18 2019',\n",
       " 'href': 'https://www.dhs.gov/sites/default/files/publications/19_0118_NTAS-bulletin_Russian.pdf',\n",
       " 'orig_url': 'https://www.dhs.gov/publication/national-terrorism-advisory-system-bulletin-january-18-2019-translations',\n",
       " 'Date': '2019-01-18'}"
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pprint\n",
    "\n",
    "(mergeddata.sort_values('bulletin_date', ascending=False)[['text', 'num_pages', 'Keywords', 'Subject', 'Title', \n",
    "       'href', 'orig_url', 'Date']].to_dict('records')[2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c4f80660-b066-4533-9e85-9d0dd27988cf",
   "metadata": {},
   "outputs": [],
   "source": [
    "# from pdfminer.converter import PDFPageAggregator\n",
    "# from pdfminer.layout import LAParams, LTFigure, LTTextBox\n",
    "# from pdfminer.pdfdocument import PDFDocument\n",
    "# from pdfminer.pdfinterp import PDFPageInterpreter, PDFResourceManager\n",
    "# from pdfminer.pdfpage import PDFPage, PDFTextExtractionNotAllowed\n",
    "# from pdfminer.pdfparser import PDFParser\n",
    "# for file in pdf_files[:1]:\n",
    "#     d = {'file': file, } \n",
    "#     textl = []\n",
    "#     stackl = []\n",
    "#     with open(file, 'rb') as f:\n",
    "#         parser = PDFParser(f)\n",
    "#         doc = PDFDocument(parser)\n",
    "#         pages = PDFPage.create_pages(doc)\n",
    "#         d = doc.info\n",
    "#         print(d[0])\n",
    "#         for page in list(pages):\n",
    "#             print(page)\n",
    "#             rsrcmgr = PDFResourceManager()\n",
    "#             device = PDFPageAggregator(rsrcmgr, laparams=LAParams())\n",
    "#             interpreter = PDFPageInterpreter(rsrcmgr, device)\n",
    "#             interpreter.process_page(page)\n",
    "#             layout = device.get_result()\n",
    "#             text = \"\"\n",
    "#             stack = []\n",
    "#             for obj in layout:\n",
    "#                 if isinstance(obj, LTTextBox):\n",
    "#                     text += obj.get_text()\n",
    "            \n",
    "#                 elif isinstance(obj, LTFigure):\n",
    "#                     stack += list(obj)\n",
    "#             print(text)\n",
    "#             textl.append(text)\n",
    "            \n",
    "#             break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "86b70fa4-8b61-41e7-a5f3-fd56a57fe638",
   "metadata": {},
   "outputs": [],
   "source": [
    "mergeddata['lang'] = mergeddata['lang'].map(lambda x: x.replace('.pdf', '')\n",
    "                                   )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "db2c476d-1734-4a18-8742-8be9b60cf96d",
   "metadata": {},
   "outputs": [],
   "source": [
    "with jsonlines.open('/Users/user/FOLDER2CLEANOLDICLOUD/Desktop/PycharmProjects/BMSC-GA-4493-Spring2021/lab12/russian-notices.jsonl', 'w') as fout:\n",
    "    fout.write_all(mergeddata.to_dict('records'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0d6270b0-f19e-4aaa-bddb-320b418f8a90",
   "metadata": {},
   "outputs": [],
   "source": [
    "urls_[urls_['lang']=='russian']['href']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "da4370e0-d19c-42b4-9ca5-b83bfbe01981",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}