edital_scrap.py

#!/bin/python3

"""
enconding: utf-8

Feito por : Exodo Jaffar

Permitido o uso, compartilhamento e ediçao do codigo
Todos os direitos reservados
"""

from requests import get
from bs4 import BeautifulSoup as bs

BASE_URL = "http://selecao.ifms.edu.br/perfil/"

# Pega o conteudo HTML do sites
def get_site_content(site:str):
	# Retorna o conteudo do site passado na funcao
	return get(BASE_URL + site).content

# Separa os dados do sites
def get_tags_from_content(content_html:str): 
	# Retorna a Div que esta os editais
	bs_parser = bs(content_html, "html.parser")
	editais_tags = bs_parser.find('div',class_='well').find_all('div')

	return editais_tags

# Pegas os dados dos editais
def get_data(tags_edital) -> list:
	"""
	{
		name: str, 
		url: str,
		des: str,
	}
	"""

	edital_data = list()

	for tag in tags_edital:
		data = dict()
		tag_a = tag.find('a')

		data['name'] = tag_a.text
		data['url'] = BASE_URL + tag_a.get('href')
		data['des'] = tag.find('p').text

		edital_data.append(data)

	return edital_data

def get_editais(editais_sites:tuple) -> list:
	editais_content = list()
	editais = list()
	editais_data = []

	for edital_site in editais_sites:
		content = get_site_content(edital_site)
		editais_content.append(content)

	for edital_content in editais_content:
		tags = get_tags_from_content(edital_content )
		editais.append(tags)

	for edital in editais:
		editais_data.append(get_data(edital)) 

	return editais_data

def main():

	editais = get_editais(('estudantes','outras'))
	print(editais)

	pass

if __name__ == '__main__':
	main()