Análise de dados.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Introdução ao Pandas - Viagens do Governo | Análise de dados"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Esse notebook usa uma [versão tratada](https://github.com/anicelysantos/introducao-jornalismo-de-dados/blob/main/Tratamento%20de%20dados.ipynb) da base de [viagens de funcionários do governo](http://www.portaltransparencia.gov.br/viagens) disponibilizado no portal da transparência.*"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na importação do dataframe, vou mudar os dados das colunas com datas para o tipo datetime. Vou incluir no método do `read_csv` o `parse_dates` passando como parametro as colunas que quero alterar os dados."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_viagens = pd.read_csv('viagens_tratado_2019.csv', encoding = 'latin-1', sep=';', parse_dates = ['Período - Data de início','Período - Data de fim'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 719261 entries, 0 to 719260\n",
      "Data columns (total 19 columns):\n",
      " #   Column                               Non-Null Count   Dtype         \n",
      "---  ------                               --------------   -----         \n",
      " 0   Unnamed: 0                           719261 non-null  int64         \n",
      " 1   Identificador do processo de viagem  719261 non-null  int64         \n",
      " 2   Situação                             719261 non-null  object        \n",
      " 3   Código do órgão superior             719261 non-null  int64         \n",
      " 4   Nome do órgão superior               719261 non-null  object        \n",
      " 5   Código órgão solicitante             719261 non-null  int64         \n",
      " 6   Nome órgão solicitante               719261 non-null  object        \n",
      " 7   CPF viajante                         719257 non-null  object        \n",
      " 8   Nome                                 719261 non-null  object        \n",
      " 9   Cargo                                502913 non-null  object        \n",
      " 10  Período - Data de início             719261 non-null  datetime64[ns]\n",
      " 11  Período - Data de fim                719261 non-null  datetime64[ns]\n",
      " 12  Motivo                               719260 non-null  object        \n",
      " 13  Valor diárias                        719261 non-null  object        \n",
      " 14  Valor passagens                      719261 non-null  float64       \n",
      " 15  Valor outros gastos                  719261 non-null  object        \n",
      " 16  cidade_destino                       719261 non-null  object        \n",
      " 17  estado                               719261 non-null  object        \n",
      " 18  país                                 719261 non-null  object        \n",
      "dtypes: datetime64[ns](2), float64(1), int64(4), object(12)\n",
      "memory usage: 104.3+ MB\n"
     ]
    }
   ],
   "source": [
    "df_viagens.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Contar a quantidade de um item em uma coluna**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Brasil                       590392\n",
       "Sem informação               115602\n",
       "Estados Unidos da América      2225\n",
       "Argentina                      1056\n",
       "China                           881\n",
       "                              ...  \n",
       "Zimbábue                          1\n",
       "Seichelles                        1\n",
       "Timor Leste                       1\n",
       "República do Sudão do Sul         1\n",
       "Maldivas                          1\n",
       "Name: país, Length: 170, dtype: int64"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_viagens['país'].value_counts() #Passa a coluna por parametro"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Somar os valores de uma coluna**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Valor de R$ 429356157.93\n"
     ]
    }
   ],
   "source": [
    "valor_passagens = df_viagens['Valor passagens'].sum()\n",
    "print(f'Valor de R$ {valor_passagens:.2f}')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Somar valores por categoria**<br><br>\n",
    "A sintaxe do `groupby()` pede como parametro **primeiro a coluna que possui os itens para agrupamento** e depois **a coluna que precisa trazer a quantidade** seguido do método que precisa pra trazer a quantidade (somar, média, dividir...). No caso do exemplo abaixo, eu estou querendo agrupar por países para saber quanto gastou em passagens por cada país.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "país\n",
       "Brasil                       306597339.5\n",
       "Sem informação                70916743.6\n",
       "Estados Unidos da América      9749399.4\n",
       "China                          7208724.3\n",
       "França                         3029309.7\n",
       "Argentina                      1987897.8\n",
       "Suíça                          1944638.0\n",
       "Canadá                         1813266.3\n",
       "Portugal                       1784548.6\n",
       "Alemanha                       1644550.8\n",
       "Name: Valor passagens, dtype: float64"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#O sorte_values() indica a ordem que deve aparecer. Eu quero que apareça em descendente, por isso coloquei o parametro ascendig \n",
    "#como false. Coloquei o round(1) para arredondar os valores. O head(10) é pra aparecer os 10 primeiros.\n",
    "\n",
    "df_viagens.groupby(['país'])['Valor passagens'].sum().sort_values(ascending=False).round(1).head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Maior valor em uma coluna**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "155531.36"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_viagens['Valor passagens'].max()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Procurar um valor específico**<br>\n",
    "\n",
    "No exemplo eu estou querendo saber o destino da viagem com maior valor da coluna 'Valor passagens'."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>Identificador do processo de viagem</th>\n",
       "      <th>Situação</th>\n",
       "      <th>Código do órgão superior</th>\n",
       "      <th>Nome do órgão superior</th>\n",
       "      <th>Código órgão solicitante</th>\n",
       "      <th>Nome órgão solicitante</th>\n",
       "      <th>CPF viajante</th>\n",
       "      <th>Nome</th>\n",
       "      <th>Cargo</th>\n",
       "      <th>Período - Data de início</th>\n",
       "      <th>Período - Data de fim</th>\n",
       "      <th>Motivo</th>\n",
       "      <th>Valor diárias</th>\n",
       "      <th>Valor passagens</th>\n",
       "      <th>Valor outros gastos</th>\n",
       "      <th>cidade_destino</th>\n",
       "      <th>estado</th>\n",
       "      <th>país</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>596252</th>\n",
       "      <td>596252</td>\n",
       "      <td>16154465</td>\n",
       "      <td>Realizada</td>\n",
       "      <td>24000</td>\n",
       "      <td>Ministério da Ciência, Tecnologia, Inovações e...</td>\n",
       "      <td>20402</td>\n",
       "      <td>Agência Espacial Brasileira</td>\n",
       "      <td>***.493.141-**</td>\n",
       "      <td>CARLOS EDUARDO QUINTANILHA VAZ DE OLIVEIRA</td>\n",
       "      <td>TECNOLOGISTA</td>\n",
       "      <td>09/06/2019</td>\n",
       "      <td>16/06/2019</td>\n",
       "      <td>Compor a delegação brasileira que participará ...</td>\n",
       "      <td>10761,28</td>\n",
       "      <td>155531.36</td>\n",
       "      <td>0</td>\n",
       "      <td>Londres</td>\n",
       "      <td>Sem informação</td>\n",
       "      <td>Reino Unido</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        Unnamed: 0  Identificador do processo de viagem   Situação  \\\n",
       "596252      596252                             16154465  Realizada   \n",
       "\n",
       "        Código do órgão superior  \\\n",
       "596252                     24000   \n",
       "\n",
       "                                   Nome do órgão superior  \\\n",
       "596252  Ministério da Ciência, Tecnologia, Inovações e...   \n",
       "\n",
       "        Código órgão solicitante       Nome órgão solicitante    CPF viajante  \\\n",
       "596252                     20402  Agência Espacial Brasileira  ***.493.141-**   \n",
       "\n",
       "                                              Nome         Cargo  \\\n",
       "596252  CARLOS EDUARDO QUINTANILHA VAZ DE OLIVEIRA  TECNOLOGISTA   \n",
       "\n",
       "       Período - Data de início Período - Data de fim  \\\n",
       "596252               09/06/2019            16/06/2019   \n",
       "\n",
       "                                                   Motivo Valor diárias  \\\n",
       "596252  Compor a delegação brasileira que participará ...      10761,28   \n",
       "\n",
       "        Valor passagens Valor outros gastos cidade_destino          estado  \\\n",
       "596252        155531.36                   0        Londres  Sem informação   \n",
       "\n",
       "               país  \n",
       "596252  Reino Unido  "
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_viagens[df_viagens['Valor passagens'] == 155531.36]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Saber detalhes de uma busca específica**<br>\n",
    "\n",
    "No exemplo abaixo eu quero saber detalhes sobre o motivo da viagem ter sido tão cara"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Compor a delegação brasileira que participará da Reunião Plenária da ISO  TC20/SC14 - Space Systems and Operations, no período de 09 a 16 de junho de 2019, em Londres - Inglaterra, trânsito já incluído, com ônus.'"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#O loc pede como parametro o indice da linha. Caso seja de uma coluna especifica, basta incluir um colchete com o nome da coluna\n",
    "\n",
    "df_viagens.loc[596252]['Motivo']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Agrupar por cidade**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "cidade_destino\n",
       "Brasília                             90418769.5\n",
       "Informações protegidas por sigilo    48160610.6\n",
       "Rio de Janeiro                       30880616.7\n",
       "São Paulo                            26407457.1\n",
       "Sem informação                       22756133.1\n",
       "Manaus                                9059780.3\n",
       "Recife                                7213480.2\n",
       "Belo Horizonte                        6901541.9\n",
       "Curitiba                              6668706.0\n",
       "Belém                                 6296614.0\n",
       "Porto Alegre                          6286268.8\n",
       "Salvador                              5846874.7\n",
       "Foz do Iguaçu                         5688308.2\n",
       "São José dos Campos                   5025845.4\n",
       "Florianópolis                         4945778.8\n",
       "Fortaleza                             4707840.3\n",
       "Wuhan                                 4555665.1\n",
       "Natal                                 4340580.5\n",
       "Campo Grande                          3740508.5\n",
       "Cuiabá                                2934646.4\n",
       "Name: Valor passagens, dtype: float64"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_viagens.groupby(['cidade_destino'])['Valor passagens'].sum().sort_values(ascending=False).round(1).head(20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "No meio das cidades apareceu a cidade de Wuhan onde iniciou a pandemia do Covid-19. Preciso descobrir porque houveram tantas viagens para lá."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "wuhan = df_viagens[df_viagens['cidade_destino'] == 'Wuhan']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para entender o motivo das viagens, vou chamar o conteudo da coluna 'Motivo'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Participação do proposto nos 7° Jogos Mundiais Militares (7° JMM) do Conselho Internacional do Esporte Militar (CISM), na cidade de Wuhan - China, no período de 18 a 27 de outubro de 2019.                                                                                                                                         434\n",
       "Participar dos 7° Jogos Mundiais Militares (7° JMM) do Conselho Internacional do Esporte Militar (CISM), na cidade de Wuhan - China, no período de 18 a 27 de outubro de 2019.                                                                                                                                                        41\n",
       "Participação de propostos nos 7° Jogos Mundiais Militares (7° JMM) do Conselho Internacional do Esporte Militar (CISM), na cidade de Wuhan - China, no período de 18 a 27 de outubro de 2019.                                                                                                                                         19\n",
       "Participar, como colaborador eventual, nos 7° Jogos Mundiais Militares (7° JMM) do Conselho Internacional do Esporte Militar (CISM), na cidade de Wuhan - China, no período de 18 a 27 de outubro de 2019.                                                                                                                             7\n",
       "Participar do curso de Estudo de Economia Digital oferecido pelo Ministério de Comércio da República Popular da China.                                                                                                                                                                                                                 2\n",
       "PARTICIPAR DOS 7º JOGOS MUNDIAIS MILITARES QUE OCORRERÃO DE 18 A 27 DE OUTUBRO DO CORRENTE ANO, EM WUHAN, CHINA. O PERÍODO DE ACLIMATAÇÃO OCORRERÁ NO BRASIL DE 7 A 14 DE OUTUBRO DE 2019.                                                                                                                                             2\n",
       "Participar da visita prévia à cidade de Wuhan-China que atuará como representante do presidente da CDMB e do chefe da delegação militar brasileira junto ao CISM, com a tarefa de tratar dos assuntos relativos à participação brasileira nos 7º Jogos Mundiais Militares referentes aos assuntos da Área Funcional de Logística.      1\n",
       "A Profa Irene Cristina de Mello ira participar a convite do Governo da China do Seminário de Economia Digital que será realizado nos dias 07 a 20 de novembro, em WUHAN, província de HU BEI, China. Estamos emitido o seguro de viagem, pois  governo chines somente emitiu a passagem aerea.                                         1\n",
       "Participar da visita prévia à cidade de Wuhan-China que atuará como representante da delegação militar brasileira junto ao CISM, com a tarefa de tratar dos assuntos relativos à participação brasileira nos 7º Jogos Mundiais Militares referentes às modalidades sob responsabilidade da Força Aérea Brasileira.                     1\n",
       "Participação do servidor no Curso de Estudo sobre Economia Digital, que abordará temas como política de desenvolvimento econômico digital, cloud computing e economia digital e o impacto da tecnologia da informação e comunicação na economia digital.                                                                               1\n",
       "Processo Processo 23194.009274.2019-58: Aquisição de passagens aéreas trecho Cuiabá-São Paulo (Guarulhos) - Cuiabá, para participação em Seminário de Economia Digital, em WUHAN, província de HU BEI, China. A entidade organizadora irá custear as diárias e passagens.                                                              1\n",
       "Participar nos 7° Jogos Mundiais Militares (7° JMM) do Conselho Internacional do Esporte Militar (CISM), na cidade de Wuhan - China, no período de 18 a 27 de outubro de 2019.                                                                                                                                                         1\n",
       "Participar, na condição de árbitro, dos jogos mundiais militares, na cidade de Wuhan, na República Popular da China, no período de 18 a 27 de outubro de 2019                                                                                                                                                                          1\n",
       "A servidora, irá realizar a fiscalização, vistoria e acompanhamento 'in loco' durante os 7° Jogos Mundiais Militares, em decorrência do Termo de Execução Descentralizada n° 12/2018, celebrado entre o Ministério da Defesa e o Ministério da Cidadania, a realizar-se em Wuhan, China, nos dias 18 a 27 de outubro de 2019.          1\n",
       "Participação dos 7° Jogos Mundiais Militares (7° JMM) do Conselho Internacional do Esporte Militar (CISM), na cidade de Wuhan - China, no período de 18 a 27 de outubro de 2019.                                                                                                                                                       1\n",
       "Participar do Curso de Estudo de Economia Digital, promovido pelo Ministério do Comércio da China, a se  realizar em Wuhan, China.                                                                                                                                                                                                     1\n",
       "Participar, como convidado, nos 7° Jogos Mundiais Militares (7° JMM) do Conselho Internacional do Esporte Militar (CISM), na cidade de Wuhan - China, no período de 18 a 27 de outubro de 2019.                                                                                                                                        1\n",
       "Participação no evento intitulado 'Curso de Estudo de Economia Digital', a realizar-se na cidade de Wuhan, Província Hubei, China, pelo período de 04/11/2019 a 22/11/2019, incluindo trânsito. Conforme documentos anexos.                                                                                                            1\n",
       "Name: Motivo, dtype: int64"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "wuhan['Motivo'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Percebi que o maior motivo de viagens foi devido aos jogos militares que aconteceu  nessa cidade."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Agrupar a coluna 'Motivos'**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Informação protegida por sigilo nos termos da legislação vigente                                                                                                                                                                                                                                                                                                                      90186\n",
       "ACOMPANHANTE DE PACIENTE INDÍGENA EM TRATAMENTO NA REFERENCIA III                                                                                                                                                                                                                                                                                                                      2731\n",
       "PACIENTE INDÍGENA EM TRATAMENTO NA REFERENCIA III                                                                                                                                                                                                                                                                                                                                      2728\n",
       "Nova PCDP, após encerramento do exercício anual de 2018, tendo em vista que o proposto permanece mobilizado para dar continuidade aos trabalhos desenvolvidos pela Diretoria da Força Nacional de Segurança Pública e a SENASP na manutenção da ordem pública nos Estados atendidos pelo PRONASCI e que o DFNSP está desenvolvendo missões. Centro de Custo de Passagens - 116C04.     1499\n",
       "Fiscalização do Programa Emergencial de Água Potável no Semi-Árido Nordestino - Operação Carro-Pipa, coordenada pelo 23º Batalhão de Caçadores.                                                                                                                                                                                                                                         890\n",
       "                                                                                                                                                                                                                                                                                                                                                                                      ...  \n",
       "Processo 23188.003400.2019-40: Servidor irá ministrar  curso de Gestão e Fiscalização de Contratos na Reitoria do IFMT                                                                                                                                                                                                                                                                    1\n",
       "Representar a Subsecretaria de Unidades Vinculadas (SUV) nos eventos que serão promovidos pelo Museu de Astronomia e Ciências Afins (MAST): Doação do Acervo Ronaldo Mourão ao MAST, Inauguração do Prédio Ronaldo Mourão e Inauguração do Webapp do Campus, os quais serão realizados no dia 25 de novembro de 2019, na sede da referida Unidade de Pesquisa                             1\n",
       "Participar do Curso de Anilhamento de Aves Silvestres na Floresta Nacional do Araripe-Apodi Tema: Curso de Capacitação                                                                                                                                                                                                                                                                    1\n",
       "Participar da reunião do Colégio de Dirigentes em Floresta, já que a proponente atualmente responde pela Pró-Reitoria de Pesquisa, Inovação e Pós-Graduação - PROPIP.                                                                                                                                                                                                                     1\n",
       "Participação em treinamento de utilização do SIGAE - Sistema de Gerenciamento da Assistência Estudantil, para a concessão de auxílios e bolsas nos campi do IFPR.                                                                                                                                                                                                                         1\n",
       "Name: Motivo, Length: 395297, dtype: int64"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_viagens['Motivo'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Busca por texto**<br><br>\n",
    "Existem cerca de **90186** viagens que estão colocadas como sigilosas. Quero fazer uma busca por viagens que tem esse motivo. vou usar o metódo `str.contains()` e passar por parametro a palavra que eu estou procurando. Ele vai me retornar as linhas que tiverem essa palavra."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>Identificador do processo de viagem</th>\n",
       "      <th>Situação</th>\n",
       "      <th>Código do órgão superior</th>\n",
       "      <th>Nome do órgão superior</th>\n",
       "      <th>Código órgão solicitante</th>\n",
       "      <th>Nome órgão solicitante</th>\n",
       "      <th>CPF viajante</th>\n",
       "      <th>Nome</th>\n",
       "      <th>Cargo</th>\n",
       "      <th>Período - Data de início</th>\n",
       "      <th>Período - Data de fim</th>\n",
       "      <th>Motivo</th>\n",
       "      <th>Valor diárias</th>\n",
       "      <th>Valor passagens</th>\n",
       "      <th>Valor outros gastos</th>\n",
       "      <th>cidade_destino</th>\n",
       "      <th>estado</th>\n",
       "      <th>país</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>603659</th>\n",
       "      <td>603659</td>\n",
       "      <td>15355834</td>\n",
       "      <td>Realizada</td>\n",
       "      <td>30000</td>\n",
       "      <td>Ministério da Justiça e Segurança Pública</td>\n",
       "      <td>30108</td>\n",
       "      <td>Departamento de Polícia Federal</td>\n",
       "      <td>***.000.000-**</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>2019-02-02</td>\n",
       "      <td>2019-02-02</td>\n",
       "      <td>Informação protegida por sigilo nos termos da ...</td>\n",
       "      <td>0</td>\n",
       "      <td>1492.03</td>\n",
       "      <td>0</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Sem informação</td>\n",
       "      <td>Sem informação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>603660</th>\n",
       "      <td>603660</td>\n",
       "      <td>15355867</td>\n",
       "      <td>Realizada</td>\n",
       "      <td>30000</td>\n",
       "      <td>Ministério da Justiça e Segurança Pública</td>\n",
       "      <td>30108</td>\n",
       "      <td>Departamento de Polícia Federal</td>\n",
       "      <td>***.000.000-**</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>2019-02-02</td>\n",
       "      <td>2019-02-02</td>\n",
       "      <td>Informação protegida por sigilo nos termos da ...</td>\n",
       "      <td>0</td>\n",
       "      <td>1492.03</td>\n",
       "      <td>0</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Sem informação</td>\n",
       "      <td>Sem informação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>603661</th>\n",
       "      <td>603661</td>\n",
       "      <td>15416039</td>\n",
       "      <td>Realizada</td>\n",
       "      <td>30000</td>\n",
       "      <td>Ministério da Justiça e Segurança Pública</td>\n",
       "      <td>30108</td>\n",
       "      <td>Departamento de Polícia Federal</td>\n",
       "      <td>***.000.000-**</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>2019-06-01</td>\n",
       "      <td>2019-07-01</td>\n",
       "      <td>Informação protegida por sigilo nos termos da ...</td>\n",
       "      <td>0</td>\n",
       "      <td>4304.31</td>\n",
       "      <td>0</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Sem informação</td>\n",
       "      <td>Sem informação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>603662</th>\n",
       "      <td>603662</td>\n",
       "      <td>15416105</td>\n",
       "      <td>Realizada</td>\n",
       "      <td>30000</td>\n",
       "      <td>Ministério da Justiça e Segurança Pública</td>\n",
       "      <td>30108</td>\n",
       "      <td>Departamento de Polícia Federal</td>\n",
       "      <td>***.000.000-**</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>2019-06-01</td>\n",
       "      <td>2019-07-01</td>\n",
       "      <td>Informação protegida por sigilo nos termos da ...</td>\n",
       "      <td>0</td>\n",
       "      <td>4304.31</td>\n",
       "      <td>0</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Sem informação</td>\n",
       "      <td>Sem informação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>603668</th>\n",
       "      <td>603668</td>\n",
       "      <td>15528952</td>\n",
       "      <td>Realizada</td>\n",
       "      <td>30000</td>\n",
       "      <td>Ministério da Justiça e Segurança Pública</td>\n",
       "      <td>30108</td>\n",
       "      <td>Departamento de Polícia Federal</td>\n",
       "      <td>***.000.000-**</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>2019-01-01</td>\n",
       "      <td>2019-05-01</td>\n",
       "      <td>Informação protegida por sigilo nos termos da ...</td>\n",
       "      <td>734,04</td>\n",
       "      <td>1267.96</td>\n",
       "      <td>0</td>\n",
       "      <td>Informações protegidas por sigilo</td>\n",
       "      <td>Sem informação</td>\n",
       "      <td>Sem informação</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        Unnamed: 0  Identificador do processo de viagem   Situação  \\\n",
       "603659      603659                             15355834  Realizada   \n",
       "603660      603660                             15355867  Realizada   \n",
       "603661      603661                             15416039  Realizada   \n",
       "603662      603662                             15416105  Realizada   \n",
       "603668      603668                             15528952  Realizada   \n",
       "\n",
       "        Código do órgão superior                     Nome do órgão superior  \\\n",
       "603659                     30000  Ministério da Justiça e Segurança Pública   \n",
       "603660                     30000  Ministério da Justiça e Segurança Pública   \n",
       "603661                     30000  Ministério da Justiça e Segurança Pública   \n",
       "603662                     30000  Ministério da Justiça e Segurança Pública   \n",
       "603668                     30000  Ministério da Justiça e Segurança Pública   \n",
       "\n",
       "        Código órgão solicitante           Nome órgão solicitante  \\\n",
       "603659                     30108  Departamento de Polícia Federal   \n",
       "603660                     30108  Departamento de Polícia Federal   \n",
       "603661                     30108  Departamento de Polícia Federal   \n",
       "603662                     30108  Departamento de Polícia Federal   \n",
       "603668                     30108  Departamento de Polícia Federal   \n",
       "\n",
       "          CPF viajante                               Nome  \\\n",
       "603659  ***.000.000-**  Informações protegidas por sigilo   \n",
       "603660  ***.000.000-**  Informações protegidas por sigilo   \n",
       "603661  ***.000.000-**  Informações protegidas por sigilo   \n",
       "603662  ***.000.000-**  Informações protegidas por sigilo   \n",
       "603668  ***.000.000-**  Informações protegidas por sigilo   \n",
       "\n",
       "                                    Cargo Período - Data de início  \\\n",
       "603659  Informações protegidas por sigilo               2019-02-02   \n",
       "603660  Informações protegidas por sigilo               2019-02-02   \n",
       "603661  Informações protegidas por sigilo               2019-06-01   \n",
       "603662  Informações protegidas por sigilo               2019-06-01   \n",
       "603668  Informações protegidas por sigilo               2019-01-01   \n",
       "\n",
       "       Período - Data de fim  \\\n",
       "603659            2019-02-02   \n",
       "603660            2019-02-02   \n",
       "603661            2019-07-01   \n",
       "603662            2019-07-01   \n",
       "603668            2019-05-01   \n",
       "\n",
       "                                                   Motivo Valor diárias  \\\n",
       "603659  Informação protegida por sigilo nos termos da ...             0   \n",
       "603660  Informação protegida por sigilo nos termos da ...             0   \n",
       "603661  Informação protegida por sigilo nos termos da ...             0   \n",
       "603662  Informação protegida por sigilo nos termos da ...             0   \n",
       "603668  Informação protegida por sigilo nos termos da ...        734,04   \n",
       "\n",
       "        Valor passagens Valor outros gastos  \\\n",
       "603659          1492.03                   0   \n",
       "603660          1492.03                   0   \n",
       "603661          4304.31                   0   \n",
       "603662          4304.31                   0   \n",
       "603668          1267.96                   0   \n",
       "\n",
       "                           cidade_destino          estado            país  \n",
       "603659  Informações protegidas por sigilo  Sem informação  Sem informação  \n",
       "603660  Informações protegidas por sigilo  Sem informação  Sem informação  \n",
       "603661  Informações protegidas por sigilo  Sem informação  Sem informação  \n",
       "603662  Informações protegidas por sigilo  Sem informação  Sem informação  \n",
       "603668  Informações protegidas por sigilo  Sem informação  Sem informação  "
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sigilo = df_viagens[df_viagens['cidade_destino'].str.contains('sigilo')]\n",
    "sigilo.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Quero saber qual ministério mais coloca sigilo nas suas viagens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ministério da Justiça e Segurança Pública              85384\n",
       "Sem informação                                          4077\n",
       "Controladoria-Geral da União                             651\n",
       "Presidência da República                                  47\n",
       "Ministério da Educação                                    11\n",
       "Ministério da Agricultura, Pecuária e Abastecimento       11\n",
       "Ministério das Relações Exteriores                         2\n",
       "Ministério de Minas e Energia                              1\n",
       "Advocacia-Geral da União                                   1\n",
       "Ministério da Defesa                                       1\n",
       "Name: Nome do órgão superior, dtype: int64"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sigilo['Nome do órgão superior'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Agora que eu sei que foi o Ministério da Justiça quem fez o maior número de viagens secretas, quero saber quais órgão lá dentro que mais viajaram assim."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Nome do órgão superior                               Nome órgão solicitante                                                           \n",
       "Ministério da Justiça e Segurança Pública            Departamento de Polícia Federal                                                      49952\n",
       "                                                     Departamento de Polícia Rodoviária Federal                                           35133\n",
       "Sem informação                                       Sem informação                                                                        4077\n",
       "Controladoria-Geral da União                         Controladoria-Geral da União - Unidades com vínculo direto                             651\n",
       "Ministério da Justiça e Segurança Pública            Ministério da Justiça e Segurança Pública - Unidades com vínculo direto                299\n",
       "Presidência da República                             Presidência da República - Unidades com vínculo direto                                  44\n",
       "Ministério da Agricultura, Pecuária e Abastecimento  Ministério da Agricultura, Pecuária e Abastecimento - Unidades com vínculo direto       11\n",
       "Ministério da Educação                               Centro Federal de Educação Tecnológica de Minas Gerais                                   9\n",
       "Presidência da República                             Gabinete da Vice-Presidência da República                                                2\n",
       "Ministério das Relações Exteriores                   Ministério das Relações Exteriores - Unidades com vínculo direto                         2\n",
       "Presidência da República                             Instituto Nacional de Tecnologia da Informação                                           1\n",
       "Ministério de Minas e Energia                        Agência Nacional do Petróleo, Gás Natural e Biocombustíveis                              1\n",
       "Ministério da Educação                               Fundação Universidade Federal do Mato Grosso do Sul                                      1\n",
       "                                                     Fundação Universidade Federal de Uberlândia                                              1\n",
       "Ministério da Defesa                                 Ministério da Defesa - Unidades com vínculo direto                                       1\n",
       "Advocacia-Geral da União                             Advocacia-Geral da União - Unidades com vínculo direto                                   1\n",
       "Name: Nome órgão solicitante, dtype: int64"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sigilo.groupby(['Nome do órgão superior'])['Nome órgão solicitante'].value_counts().sort_values(ascending=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Quero investigar melhor a Policia Federal, para isso vou criar um dataframe só com informações relacionadas a ela."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['Unnamed: 0', 'Identificador do processo de viagem', 'Situação',\n",
       "       'Código do órgão superior', 'Nome do órgão superior',\n",
       "       'Código órgão solicitante', 'Nome órgão solicitante', 'CPF viajante',\n",
       "       'Nome', 'Cargo', 'Período - Data de início', 'Período - Data de fim',\n",
       "       'Motivo', 'Valor diárias', 'Valor passagens', 'Valor outros gastos',\n",
       "       'cidade_destino', 'estado', 'país'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sigilo.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "policia_federal = sigilo[sigilo['Código órgão solicitante'] == 30108] "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vou renomear as colunas de data nesse novo dataframe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\anice\\anaconda3\\lib\\site-packages\\pandas\\core\\frame.py:4296: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  return super().rename(\n"
     ]
    }
   ],
   "source": [
    "policia_federal.rename(columns = {'Período - Data de início':'data_inicio','Período - Data de fim':'data_fim'}, inplace = True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Quero saber quantas viagens a Policia Federal fez por mês"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "5     5144\n",
       "3     4803\n",
       "2     4673\n",
       "11    4599\n",
       "10    4245\n",
       "1     4218\n",
       "4     4074\n",
       "8     3976\n",
       "7     3915\n",
       "6     3669\n",
       "9     3478\n",
       "12    3158\n",
       "Name: data_inicio, dtype: int64"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "policia_federal.data_inicio.dt.month.value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Descobri que foi no mês 5 (maio) que teve mais viagens feitas"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}