404
+ +Page not found
+ + +'+ escapeHtml(title) + '
' + escapeHtml(summary) +'
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ FAQ e problemas frequentes
+Nesta seção, você encontrará perguntas e respostas comuns e solução de problemas mais frequentes na utilização do Ro-DOU.
+Esta seção ainda está em desenvolvimento e será disponibilizada em breve.
+ +
+
+
+
+ « Previous
+
+
+ Next »
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/documentation/site/funcionamento/index.html b/documentation/site/funcionamento/index.html
new file mode 100644
index 0000000..859adf4
--- /dev/null
+++ b/documentation/site/funcionamento/index.html
@@ -0,0 +1,446 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Como funciona
+Nesta seção, você encontrará as seguintes informações sobre o Ro-DOU:
+-
+
- Compreendendo melhor a pesquisa no Diário Oficial da União +
- Recursos e funcionalidades +
- Parâmetros de pesquisa disponíveis +
- Exemplos de configuração do arquivo YAML +
Compreendendo melhor a pesquisa no Diário Oficial da União
+Todos os parâmetros disponíveis para pesquisa no Diário Oficial da União (DOU) foram criados a partir da API da Imprensa Nacional, que por sua vez é utilizada pelo buscador oficial do DOU em https://www.in.gov.br/consulta/.
+Assim, é possível notar que o Ro-DOU consegue automatizar todo, ou quase todo, tipo de pesquisa que pode ser feita no site do Diário Oficial da União. A imagem abaixo é o painel de pesquisa avançada do site:
+
Recursos e funcionalidades
+O Ro-DOU possui os seguintes recursos e funcionalidades voltados aos usuários:
+-
+
- Resultados com frequências diária, semanal ou mensal; +
- Relatórios em formato
.CSVpara facilitação do uso;
+ - Busca dinâmica das palavras-chaves de um banco de dados ou de uma variável; +
- Pesquisa em seção específica do diário oficial; +
- Envio de notificações para os canais existentes no Discord e no Slack. +
Parâmetros de pesquisa disponíveis
+A tabela abaixo resume os parâmetros de pesquisa disponíveis no Ro-DOU:
+| dou_sections | +date | +field | +
|---|---|---|
| SECAO_1 | +DIA | +TUDO | +
| SECAO_2 | +SEMANA | +TITULO | +
| SECAO_3 | +MES | +CONTEUDO | +
| EDICAO_EXTRA | +ANO | +--- | +
| EDICAO_SUPLEMENTAR | +--- | +--- | +
| TODOS | +--- | +--- | +
Por padrão, caso omitido, o valor do parâmetro dou_sections é TODOS. Nessa hipótese, a pesquisa é feita em todas as seções do Diário Oficial da União. Este campo aceita mais de uma opção.
Exemplos de configuração do arquivo YAML
+Neste segmento, você encontrará uma série de exemplos práticos de utilização do Ro-DOU. A leitura dos exemplos ajudará a visualizar de que maneira o Ro-DOU pode ser utilizado.
+Exemplo 1
+A configuração a seguir cria uma DAG que realiza a pesquisa diária dos +6 termos listados e envia o relatório para o e-mail fornecido.
+dag:
+ id: pesquisa_dou_termos_interesse_nitai
+ description: Pesquisa termos de interesse de Nitai.
+ search:
+ terms:
+ - dados abertos
+ - governo aberto
+ - engenharia de dados
+ - software livre
+ - código aberto
+ - open source
+ report:
+ emails:
+ - nitaibezerra@protonmail.com
+Exemplo 2
+A configuração a seguir realiza a pesquisa diária de segunda-feira a sexta-feira, 8AM, apenas na Seção 1 e na Edição Suplementar e envia o resultado em formato CSV, anexado ao e-mail. O parâmetro schedule
+aceita valores CRON.
dag:
+ id: dag_id_deve_ser_unico_em_todo_airflow
+ description: DAG exemplo de monitoramento no DOU.
+ schedule: 0 8 * * MON-FRI
+ search:
+ terms:
+ - alocação
+ - realoca
+ - permuta
+ - estrutura regimental
+ - organização básica
+ dou_sections:
+ - SECAO_1
+ - EDICAO_SUPLEMENTAR
+ report:
+ emails:
+ - dest1@gestao.gov.br
+ - dest2@gestao.gov.br
+ attach_csv: True
+ subject: Assunto do Email
+Note que aqui são utilizados os parâmetros opcionais schedule,
+dou_section e attach_csv.
Exemplo 3
+A configuração a seguir utiliza o parâmetro from_db_select em terms, que torna dinâmica a parametrização dos termos para pesquisa. Note também a inclusão de tags que ajudam na organização e na busca das DAGs no Airflow.
dag:
+ id: dag_ultra_dinamica
+ description: A pesquisa depende do select SQL.
+ tags:
+ - projeto_a
+ - departamento_x
+ search:
+ terms:
+ from_db_select:
+ sql: SELECT text FROM schema.tabela;
+ conn_id: airflow_conn_id
+ report:
+ emails:
+ - email-destino@gestao.gov.br
+ subject: "[String] com caracteres especiais deve estar entre aspas"
+Exemplo 4
+A configuração a seguir utiliza o parâmetro from_airflow_variable em terms, que também carrega dinamicamente a lista de termos. Neste caso, há a recuperação a partir de uma variável do Airflow. Aqui, também é utilizado o campo field para limitar as pesquisas ao campo título das publicações no Diário Oficial da União.
dag:
+ id: pesquisa_a_lista_na_variavel
+ description: É fácil editar a variável na interface do Airflow.
+ search:
+ terms:
+ from_airflow_variable: nome_da_variavel_no_airflow
+ field: TITULO
+ report:
+ emails:
+ - email-destino@gestao.gov.br
+ skip_null: False
+Caso não encontre nenhum resultado, será enviado um e-mail informando que +nenhum termo foi encontrado.
+Exemplo 5
+A configuração a seguir produz uma DAG que executa apenas uma vez por mês, no dia 1 às 8 AM, como pode ser visto no schedule. Simultaneamente, a pesquisa no Diário Oficial da União é realizada nos diários oficiais do último mês inteiro, através do uso do parâmetro date. Aqui, também é utilizado o parâmetro is_exact_search
+com valor False para utilizar uma pesquisa aproximada.
Apesar do fato de que o termo buscado "paralelpipido" contenha um erro ortográfico, a busca retorna os resultados corretos. Veja!
+dag:
+ id: relatorio_mensal_do_dou
+ description: Envia um numero menor de emails.
+ schedule: 0 8 1 * *
+ search:
+ terms:
+ - paralelpipido
+ date: MES
+ is_exact_search: False
+ report:
+ emails:
+ - email-destino@gestao.gov.br
+Exemplo 6
+A configuração a seguir produz uma DAG que pesquisa no Querido Diário pelos termos "pandemia", "dados pessoais" e "prefeitura", buscando apenas os resultados do Diário Oficial de Belo Horizonte. Para conhecer o Querido Diário, acesse +https://queridodiario.ok.org.br/.
+dag:
+ id: dou_qd_example
+ description: DAG de teste
+ search:
+ sources:
+ - QD
+ territory_id: 3106200 # Belo Horizonte
+ terms:
+ - pandemia
+ - dados pessoais
+ - prefeitura
+ report:
+ emails:
+ - destination@gestao.gov.br
+ attach_csv: True
+ subject: "Teste do Ro-dou"
+Exemplo 7
+A configuração a seguir produz uma DAG exatamente igual ao exemplo básico, mas adiciona uma descrição longa do que a DAG faz, usando o parâmetro
+doc_md. Essa descrição pode conter formatação markdown, incluindo
+títulos, listas, links etc.
Além disso, acrescenta também uma referência ao nome do arquivo que +gerou a DAG, bem como os seus parâmetros.
+dag:
+ id: markdown_docs_example
+ description: DAG com documentação em markdown
+ search:
+ terms:
+ - dados abertos
+ - governo aberto
+ - lei de acesso à informação
+ report:
+ emails:
+ - destination@gestao.gov.br
+ subject: "Teste do Ro-dou"
+ doc_md: >-
+ ## Ola!
+
+ Esta é uma DAG de exemplo com documentação em markdown. Esta
+ descrição é opcional e pode ser definida no parâmetro `doc_md`.
+
+ * Ah, aqui você também pode usar *markdown* para
+ * escrever listas, por exemplo,
+ * ou colocar [links](graph)!
+Para ver essa documentação, basta clicar o botão "DAG Docs" em qualquer +tela de visualização da DAG no Airflow.
+
Exemplo 8
+Esta configuração envia as notificações para canais Discord. É necessário ter +permissões de administrador no Discord para gerar o Webhook:
+dag:
+ id: discord_example
+ description: Envia notificações para canal Discord
+ search:
+ terms:
+ - manifestação cultural
+ - expressão cultural
+ - política cultural
+ report:
+ report:
+ discord:
+ webhook: https://discord.com/api/webhooks/105220xxxxxx811250/Q-XsfdnoHtudTQ-8A6zzzzznitai-vi0bGLE7xxxxxxxxxxxxxxxxxxxmx94R3oZ1h0ngl1
+Exemplo 9
+Esta configuração envia as notificações para canais Slack. É necessário ter +permissões de administrador no Slack para gerar o Webhook:
+dag:
+ id: slack_example
+ description: Envia notificações para canal Slack
+ search:
+ terms:
+ - manifestação cultural
+ - expressão cultural
+ - política cultural
+ report:
+ report:
+ slack:
+ webhook: https://hooks.slack.com/services/XXXXXXXX/XXXXNFDXXX/n6QXXXXrPwxQ71ZXXXXXT9
+Exemplo 10
+Esta configuração filtra os resultados por órgão/unidade selecionados. +Por enquanto disponível apenas para as pesquisas no DOU.
+dag:
+ id: department_example
+ description: DAG de teste (filtro por departamento)
+ search:
+ terms:
+ - dados abertos
+ department:
+ - Ministério da Gestão e da Inovação em Serviços Públicos
+ - Ministério da Defesa
+ report:
+ emails:
+ - destination@gestao.gov.br
+ subject: "Teste do Ro-dou"
+
+
+
+
+ « Previous
+
+
+ Next »
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/documentation/site/img/favicon.ico b/documentation/site/img/favicon.ico
new file mode 100644
index 0000000..e85006a
Binary files /dev/null and b/documentation/site/img/favicon.ico differ
diff --git a/documentation/site/index.html b/documentation/site/index.html
new file mode 100644
index 0000000..19d73ed
--- /dev/null
+++ b/documentation/site/index.html
@@ -0,0 +1,162 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ro-DOU
+
O Ro-DOU é uma ferramenta que efetua um clipping do Diário +Oficial da União (D.O.U.) e dos Diários Oficiais de municípios, por meio do Querido Diário. O Ro-DOU permite o recebimento de notificações (via e-mail, Slack, Discord ou outros) de todas as publicações que contenham as palavras-chaves que você definir.
+Neste site, você encontrará informações sobre como usar o Ro-DOU e quais funcionalidades ele proporciona, além de outras informações sobre como contribuir para melhorar a ferramenta e como contatar o MGI.
+O Ro-DOU é uma solução desenvolvida pela Secretaria de Gestão e Inovação do Ministério da Gestão e da Inovação em Serviços Públicos.
+ +
+
+
+
+
+ Next »
+
+
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/documentation/site/js/html5shiv.min.js b/documentation/site/js/html5shiv.min.js
new file mode 100644
index 0000000..1a01c94
--- /dev/null
+++ b/documentation/site/js/html5shiv.min.js
@@ -0,0 +1,4 @@
+/**
+* @preserve HTML5 Shiv 3.7.3 | @afarkas @jdalton @jon_neal @rem | MIT/GPL2 Licensed
+*/
+!function(a,b){function c(a,b){var c=a.createElement("p"),d=a.getElementsByTagName("head")[0]||a.documentElement;return c.innerHTML="x",d.insertBefore(c.lastChild,d.firstChild)}function d(){var a=t.elements;return"string"==typeof a?a.split(" "):a}function e(a,b){var c=t.elements;"string"!=typeof c&&(c=c.join(" ")),"string"!=typeof a&&(a=a.join(" ")),t.elements=c+" "+a,j(b)}function f(a){var b=s[a[q]];return b||(b={},r++,a[q]=r,s[r]=b),b}function g(a,c,d){if(c||(c=b),l)return c.createElement(a);d||(d=f(c));var e;return e=d.cache[a]?d.cache[a].cloneNode():p.test(a)?(d.cache[a]=d.createElem(a)).cloneNode():d.createElem(a),!e.canHaveChildren||o.test(a)||e.tagUrn?e:d.frag.appendChild(e)}function h(a,c){if(a||(a=b),l)return a.createDocumentFragment();c=c||f(a);for(var e=c.frag.cloneNode(),g=0,h=d(),i=h.length;i>g;g++)e.createElement(h[g]);return e}function i(a,b){b.cache||(b.cache={},b.createElem=a.createElement,b.createFrag=a.createDocumentFragment,b.frag=b.createFrag()),a.createElement=function(c){return t.shivMethods?g(c,a,b):b.createElem(c)},a.createDocumentFragment=Function("h,f","return function(){var n=f.cloneNode(),c=n.createElement;h.shivMethods&&("+d().join().replace(/[\w\-:]+/g,function(a){return b.createElem(a),b.frag.createElement(a),'c("'+a+'")'})+");return n}")(t,b.frag)}function j(a){a||(a=b);var d=f(a);return!t.shivCSS||k||d.hasCSS||(d.hasCSS=!!c(a,"article,aside,dialog,figcaption,figure,footer,header,hgroup,main,nav,section{display:block}mark{background:#FF0;color:#000}template{display:none}")),l||i(a,d),a}var k,l,m="3.7.3",n=a.html5||{},o=/^<|^(?:button|map|select|textarea|object|iframe|option|optgroup)$/i,p=/^(?:a|b|code|div|fieldset|h1|h2|h3|h4|h5|h6|i|label|li|ol|p|q|span|strong|style|table|tbody|td|th|tr|ul)$/i,q="_html5shiv",r=0,s={};!function(){try{var a=b.createElement("a");a.innerHTML="
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Links relevantes
+Para operar, o Ro-DOU utiliza diferentes tecnologias, ferramentas e dependências. Podem ser destacadas as seguintes:
+-
+
- Python +
- Apache Airflow +
- Docker +
- Docker Compose +
- Pandas +
- YAML +
O Ro-DOU também utiliza as funcionalidades da ferramenta Querido Diário:
+ +Este site de documentação do Ro-DOU foi elaborado com a ajuda do MkDocs:
+-
+
- MkDocs +
+
+
+
+ « Previous
+
+
+ Next »
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/documentation/site/midias/index.html b/documentation/site/midias/index.html
new file mode 100644
index 0000000..e364cdb
--- /dev/null
+++ b/documentation/site/midias/index.html
@@ -0,0 +1,156 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Oficinas e demais mídias sobre o Ro-DOU
+Ro-DOU - Robô de mineração do Diário Oficial da União - apresentação completa no canal da ENAP no YouTube, feita na Semana de Inovação de 2021.
+ +
+
+
+
+ « Previous
+
+
+ Next »
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/documentation/site/rodou/index.html b/documentation/site/rodou/index.html
new file mode 100644
index 0000000..a0e5ac4
--- /dev/null
+++ b/documentation/site/rodou/index.html
@@ -0,0 +1,172 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ O que é Ro-DOU?
+Nesta seção, você encontrará as seguintes informações sobre o Ro-DOU:
+-
+
- Definição +
- Arquitetura +
Definição
+Conforme dito na página inicial, o Ro-DOU é uma ferramenta que efetua um clipping do Diário +Oficial da União (D.O.U.) e dos Diários Oficiais de municípios, por meio do Querido Diário. O Ro-DOU permite o recebimento de notificações (via e-mail, Slack, Discord ou outros) de todas as publicações que contenham as palavras-chaves que você definir.
+O Ro-DOU gera dinamicamente grafos acíclicos dirigidos (DAGs) no Apache Airflow. Uma DAG nada mais é que um fluxo de tarefas executadas em sequência ou de maneira paralela, a partir de um código Python. Para entender com mais detalhes técnicos como uma DAG do Airflow funciona, clique aqui.
+Nos arquivos YAML, é possível configurar os detalhes dos termos de pesquisa desejado (as palavras-chaves) e os contatos (e.g. endereços de e-mail) para recebimento dos resultados da pesquisa.
+Arquitetura
+A maneira como os diferentes componentes do Ro-DOU se relacionam pode ser sintetizada no diagrama abaixo:
+[INSERIR DIAGRAMA]
+ +
+
+
+
+ « Previous
+
+
+ Next »
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/documentation/site/search.html b/documentation/site/search.html
new file mode 100644
index 0000000..f2fa6ce
--- /dev/null
+++ b/documentation/site/search.html
@@ -0,0 +1,148 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Search Results
+ + + +
+ Searching...
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/documentation/site/search/lunr.js b/documentation/site/search/lunr.js
new file mode 100644
index 0000000..aca0a16
--- /dev/null
+++ b/documentation/site/search/lunr.js
@@ -0,0 +1,3475 @@
+/**
+ * lunr - http://lunrjs.com - A bit like Solr, but much smaller and not as bright - 2.3.9
+ * Copyright (C) 2020 Oliver Nightingale
+ * @license MIT
+ */
+
+;(function(){
+
+/**
+ * A convenience function for configuring and constructing
+ * a new lunr Index.
+ *
+ * A lunr.Builder instance is created and the pipeline setup
+ * with a trimmer, stop word filter and stemmer.
+ *
+ * This builder object is yielded to the configuration function
+ * that is passed as a parameter, allowing the list of fields
+ * and other builder parameters to be customised.
+ *
+ * All documents _must_ be added within the passed config function.
+ *
+ * @example
+ * var idx = lunr(function () {
+ * this.field('title')
+ * this.field('body')
+ * this.ref('id')
+ *
+ * documents.forEach(function (doc) {
+ * this.add(doc)
+ * }, this)
+ * })
+ *
+ * @see {@link lunr.Builder}
+ * @see {@link lunr.Pipeline}
+ * @see {@link lunr.trimmer}
+ * @see {@link lunr.stopWordFilter}
+ * @see {@link lunr.stemmer}
+ * @namespace {function} lunr
+ */
+var lunr = function (config) {
+ var builder = new lunr.Builder
+
+ builder.pipeline.add(
+ lunr.trimmer,
+ lunr.stopWordFilter,
+ lunr.stemmer
+ )
+
+ builder.searchPipeline.add(
+ lunr.stemmer
+ )
+
+ config.call(builder, builder)
+ return builder.build()
+}
+
+lunr.version = "2.3.9"
+/*!
+ * lunr.utils
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * A namespace containing utils for the rest of the lunr library
+ * @namespace lunr.utils
+ */
+lunr.utils = {}
+
+/**
+ * Print a warning message to the console.
+ *
+ * @param {String} message The message to be printed.
+ * @memberOf lunr.utils
+ * @function
+ */
+lunr.utils.warn = (function (global) {
+ /* eslint-disable no-console */
+ return function (message) {
+ if (global.console && console.warn) {
+ console.warn(message)
+ }
+ }
+ /* eslint-enable no-console */
+})(this)
+
+/**
+ * Convert an object to a string.
+ *
+ * In the case of `null` and `undefined` the function returns
+ * the empty string, in all other cases the result of calling
+ * `toString` on the passed object is returned.
+ *
+ * @param {Any} obj The object to convert to a string.
+ * @return {String} string representation of the passed object.
+ * @memberOf lunr.utils
+ */
+lunr.utils.asString = function (obj) {
+ if (obj === void 0 || obj === null) {
+ return ""
+ } else {
+ return obj.toString()
+ }
+}
+
+/**
+ * Clones an object.
+ *
+ * Will create a copy of an existing object such that any mutations
+ * on the copy cannot affect the original.
+ *
+ * Only shallow objects are supported, passing a nested object to this
+ * function will cause a TypeError.
+ *
+ * Objects with primitives, and arrays of primitives are supported.
+ *
+ * @param {Object} obj The object to clone.
+ * @return {Object} a clone of the passed object.
+ * @throws {TypeError} when a nested object is passed.
+ * @memberOf Utils
+ */
+lunr.utils.clone = function (obj) {
+ if (obj === null || obj === undefined) {
+ return obj
+ }
+
+ var clone = Object.create(null),
+ keys = Object.keys(obj)
+
+ for (var i = 0; i < keys.length; i++) {
+ var key = keys[i],
+ val = obj[key]
+
+ if (Array.isArray(val)) {
+ clone[key] = val.slice()
+ continue
+ }
+
+ if (typeof val === 'string' ||
+ typeof val === 'number' ||
+ typeof val === 'boolean') {
+ clone[key] = val
+ continue
+ }
+
+ throw new TypeError("clone is not deep and does not support nested objects")
+ }
+
+ return clone
+}
+lunr.FieldRef = function (docRef, fieldName, stringValue) {
+ this.docRef = docRef
+ this.fieldName = fieldName
+ this._stringValue = stringValue
+}
+
+lunr.FieldRef.joiner = "/"
+
+lunr.FieldRef.fromString = function (s) {
+ var n = s.indexOf(lunr.FieldRef.joiner)
+
+ if (n === -1) {
+ throw "malformed field ref string"
+ }
+
+ var fieldRef = s.slice(0, n),
+ docRef = s.slice(n + 1)
+
+ return new lunr.FieldRef (docRef, fieldRef, s)
+}
+
+lunr.FieldRef.prototype.toString = function () {
+ if (this._stringValue == undefined) {
+ this._stringValue = this.fieldName + lunr.FieldRef.joiner + this.docRef
+ }
+
+ return this._stringValue
+}
+/*!
+ * lunr.Set
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * A lunr set.
+ *
+ * @constructor
+ */
+lunr.Set = function (elements) {
+ this.elements = Object.create(null)
+
+ if (elements) {
+ this.length = elements.length
+
+ for (var i = 0; i < this.length; i++) {
+ this.elements[elements[i]] = true
+ }
+ } else {
+ this.length = 0
+ }
+}
+
+/**
+ * A complete set that contains all elements.
+ *
+ * @static
+ * @readonly
+ * @type {lunr.Set}
+ */
+lunr.Set.complete = {
+ intersect: function (other) {
+ return other
+ },
+
+ union: function () {
+ return this
+ },
+
+ contains: function () {
+ return true
+ }
+}
+
+/**
+ * An empty set that contains no elements.
+ *
+ * @static
+ * @readonly
+ * @type {lunr.Set}
+ */
+lunr.Set.empty = {
+ intersect: function () {
+ return this
+ },
+
+ union: function (other) {
+ return other
+ },
+
+ contains: function () {
+ return false
+ }
+}
+
+/**
+ * Returns true if this set contains the specified object.
+ *
+ * @param {object} object - Object whose presence in this set is to be tested.
+ * @returns {boolean} - True if this set contains the specified object.
+ */
+lunr.Set.prototype.contains = function (object) {
+ return !!this.elements[object]
+}
+
+/**
+ * Returns a new set containing only the elements that are present in both
+ * this set and the specified set.
+ *
+ * @param {lunr.Set} other - set to intersect with this set.
+ * @returns {lunr.Set} a new set that is the intersection of this and the specified set.
+ */
+
+lunr.Set.prototype.intersect = function (other) {
+ var a, b, elements, intersection = []
+
+ if (other === lunr.Set.complete) {
+ return this
+ }
+
+ if (other === lunr.Set.empty) {
+ return other
+ }
+
+ if (this.length < other.length) {
+ a = this
+ b = other
+ } else {
+ a = other
+ b = this
+ }
+
+ elements = Object.keys(a.elements)
+
+ for (var i = 0; i < elements.length; i++) {
+ var element = elements[i]
+ if (element in b.elements) {
+ intersection.push(element)
+ }
+ }
+
+ return new lunr.Set (intersection)
+}
+
+/**
+ * Returns a new set combining the elements of this and the specified set.
+ *
+ * @param {lunr.Set} other - set to union with this set.
+ * @return {lunr.Set} a new set that is the union of this and the specified set.
+ */
+
+lunr.Set.prototype.union = function (other) {
+ if (other === lunr.Set.complete) {
+ return lunr.Set.complete
+ }
+
+ if (other === lunr.Set.empty) {
+ return this
+ }
+
+ return new lunr.Set(Object.keys(this.elements).concat(Object.keys(other.elements)))
+}
+/**
+ * A function to calculate the inverse document frequency for
+ * a posting. This is shared between the builder and the index
+ *
+ * @private
+ * @param {object} posting - The posting for a given term
+ * @param {number} documentCount - The total number of documents.
+ */
+lunr.idf = function (posting, documentCount) {
+ var documentsWithTerm = 0
+
+ for (var fieldName in posting) {
+ if (fieldName == '_index') continue // Ignore the term index, its not a field
+ documentsWithTerm += Object.keys(posting[fieldName]).length
+ }
+
+ var x = (documentCount - documentsWithTerm + 0.5) / (documentsWithTerm + 0.5)
+
+ return Math.log(1 + Math.abs(x))
+}
+
+/**
+ * A token wraps a string representation of a token
+ * as it is passed through the text processing pipeline.
+ *
+ * @constructor
+ * @param {string} [str=''] - The string token being wrapped.
+ * @param {object} [metadata={}] - Metadata associated with this token.
+ */
+lunr.Token = function (str, metadata) {
+ this.str = str || ""
+ this.metadata = metadata || {}
+}
+
+/**
+ * Returns the token string that is being wrapped by this object.
+ *
+ * @returns {string}
+ */
+lunr.Token.prototype.toString = function () {
+ return this.str
+}
+
+/**
+ * A token update function is used when updating or optionally
+ * when cloning a token.
+ *
+ * @callback lunr.Token~updateFunction
+ * @param {string} str - The string representation of the token.
+ * @param {Object} metadata - All metadata associated with this token.
+ */
+
+/**
+ * Applies the given function to the wrapped string token.
+ *
+ * @example
+ * token.update(function (str, metadata) {
+ * return str.toUpperCase()
+ * })
+ *
+ * @param {lunr.Token~updateFunction} fn - A function to apply to the token string.
+ * @returns {lunr.Token}
+ */
+lunr.Token.prototype.update = function (fn) {
+ this.str = fn(this.str, this.metadata)
+ return this
+}
+
+/**
+ * Creates a clone of this token. Optionally a function can be
+ * applied to the cloned token.
+ *
+ * @param {lunr.Token~updateFunction} [fn] - An optional function to apply to the cloned token.
+ * @returns {lunr.Token}
+ */
+lunr.Token.prototype.clone = function (fn) {
+ fn = fn || function (s) { return s }
+ return new lunr.Token (fn(this.str, this.metadata), this.metadata)
+}
+/*!
+ * lunr.tokenizer
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * A function for splitting a string into tokens ready to be inserted into
+ * the search index. Uses `lunr.tokenizer.separator` to split strings, change
+ * the value of this property to change how strings are split into tokens.
+ *
+ * This tokenizer will convert its parameter to a string by calling `toString` and
+ * then will split this string on the character in `lunr.tokenizer.separator`.
+ * Arrays will have their elements converted to strings and wrapped in a lunr.Token.
+ *
+ * Optional metadata can be passed to the tokenizer, this metadata will be cloned and
+ * added as metadata to every token that is created from the object to be tokenized.
+ *
+ * @static
+ * @param {?(string|object|object[])} obj - The object to convert into tokens
+ * @param {?object} metadata - Optional metadata to associate with every token
+ * @returns {lunr.Token[]}
+ * @see {@link lunr.Pipeline}
+ */
+lunr.tokenizer = function (obj, metadata) {
+ if (obj == null || obj == undefined) {
+ return []
+ }
+
+ if (Array.isArray(obj)) {
+ return obj.map(function (t) {
+ return new lunr.Token(
+ lunr.utils.asString(t).toLowerCase(),
+ lunr.utils.clone(metadata)
+ )
+ })
+ }
+
+ var str = obj.toString().toLowerCase(),
+ len = str.length,
+ tokens = []
+
+ for (var sliceEnd = 0, sliceStart = 0; sliceEnd <= len; sliceEnd++) {
+ var char = str.charAt(sliceEnd),
+ sliceLength = sliceEnd - sliceStart
+
+ if ((char.match(lunr.tokenizer.separator) || sliceEnd == len)) {
+
+ if (sliceLength > 0) {
+ var tokenMetadata = lunr.utils.clone(metadata) || {}
+ tokenMetadata["position"] = [sliceStart, sliceLength]
+ tokenMetadata["index"] = tokens.length
+
+ tokens.push(
+ new lunr.Token (
+ str.slice(sliceStart, sliceEnd),
+ tokenMetadata
+ )
+ )
+ }
+
+ sliceStart = sliceEnd + 1
+ }
+
+ }
+
+ return tokens
+}
+
+/**
+ * The separator used to split a string into tokens. Override this property to change the behaviour of
+ * `lunr.tokenizer` behaviour when tokenizing strings. By default this splits on whitespace and hyphens.
+ *
+ * @static
+ * @see lunr.tokenizer
+ */
+lunr.tokenizer.separator = /[\s\-]+/
+/*!
+ * lunr.Pipeline
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * lunr.Pipelines maintain an ordered list of functions to be applied to all
+ * tokens in documents entering the search index and queries being ran against
+ * the index.
+ *
+ * An instance of lunr.Index created with the lunr shortcut will contain a
+ * pipeline with a stop word filter and an English language stemmer. Extra
+ * functions can be added before or after either of these functions or these
+ * default functions can be removed.
+ *
+ * When run the pipeline will call each function in turn, passing a token, the
+ * index of that token in the original list of all tokens and finally a list of
+ * all the original tokens.
+ *
+ * The output of functions in the pipeline will be passed to the next function
+ * in the pipeline. To exclude a token from entering the index the function
+ * should return undefined, the rest of the pipeline will not be called with
+ * this token.
+ *
+ * For serialisation of pipelines to work, all functions used in an instance of
+ * a pipeline should be registered with lunr.Pipeline. Registered functions can
+ * then be loaded. If trying to load a serialised pipeline that uses functions
+ * that are not registered an error will be thrown.
+ *
+ * If not planning on serialising the pipeline then registering pipeline functions
+ * is not necessary.
+ *
+ * @constructor
+ */
+lunr.Pipeline = function () {
+ this._stack = []
+}
+
+lunr.Pipeline.registeredFunctions = Object.create(null)
+
+/**
+ * A pipeline function maps lunr.Token to lunr.Token. A lunr.Token contains the token
+ * string as well as all known metadata. A pipeline function can mutate the token string
+ * or mutate (or add) metadata for a given token.
+ *
+ * A pipeline function can indicate that the passed token should be discarded by returning
+ * null, undefined or an empty string. This token will not be passed to any downstream pipeline
+ * functions and will not be added to the index.
+ *
+ * Multiple tokens can be returned by returning an array of tokens. Each token will be passed
+ * to any downstream pipeline functions and all will returned tokens will be added to the index.
+ *
+ * Any number of pipeline functions may be chained together using a lunr.Pipeline.
+ *
+ * @interface lunr.PipelineFunction
+ * @param {lunr.Token} token - A token from the document being processed.
+ * @param {number} i - The index of this token in the complete list of tokens for this document/field.
+ * @param {lunr.Token[]} tokens - All tokens for this document/field.
+ * @returns {(?lunr.Token|lunr.Token[])}
+ */
+
+/**
+ * Register a function with the pipeline.
+ *
+ * Functions that are used in the pipeline should be registered if the pipeline
+ * needs to be serialised, or a serialised pipeline needs to be loaded.
+ *
+ * Registering a function does not add it to a pipeline, functions must still be
+ * added to instances of the pipeline for them to be used when running a pipeline.
+ *
+ * @param {lunr.PipelineFunction} fn - The function to check for.
+ * @param {String} label - The label to register this function with
+ */
+lunr.Pipeline.registerFunction = function (fn, label) {
+ if (label in this.registeredFunctions) {
+ lunr.utils.warn('Overwriting existing registered function: ' + label)
+ }
+
+ fn.label = label
+ lunr.Pipeline.registeredFunctions[fn.label] = fn
+}
+
+/**
+ * Warns if the function is not registered as a Pipeline function.
+ *
+ * @param {lunr.PipelineFunction} fn - The function to check for.
+ * @private
+ */
+lunr.Pipeline.warnIfFunctionNotRegistered = function (fn) {
+ var isRegistered = fn.label && (fn.label in this.registeredFunctions)
+
+ if (!isRegistered) {
+ lunr.utils.warn('Function is not registered with pipeline. This may cause problems when serialising the index.\n', fn)
+ }
+}
+
+/**
+ * Loads a previously serialised pipeline.
+ *
+ * All functions to be loaded must already be registered with lunr.Pipeline.
+ * If any function from the serialised data has not been registered then an
+ * error will be thrown.
+ *
+ * @param {Object} serialised - The serialised pipeline to load.
+ * @returns {lunr.Pipeline}
+ */
+lunr.Pipeline.load = function (serialised) {
+ var pipeline = new lunr.Pipeline
+
+ serialised.forEach(function (fnName) {
+ var fn = lunr.Pipeline.registeredFunctions[fnName]
+
+ if (fn) {
+ pipeline.add(fn)
+ } else {
+ throw new Error('Cannot load unregistered function: ' + fnName)
+ }
+ })
+
+ return pipeline
+}
+
+/**
+ * Adds new functions to the end of the pipeline.
+ *
+ * Logs a warning if the function has not been registered.
+ *
+ * @param {lunr.PipelineFunction[]} functions - Any number of functions to add to the pipeline.
+ */
+lunr.Pipeline.prototype.add = function () {
+ var fns = Array.prototype.slice.call(arguments)
+
+ fns.forEach(function (fn) {
+ lunr.Pipeline.warnIfFunctionNotRegistered(fn)
+ this._stack.push(fn)
+ }, this)
+}
+
+/**
+ * Adds a single function after a function that already exists in the
+ * pipeline.
+ *
+ * Logs a warning if the function has not been registered.
+ *
+ * @param {lunr.PipelineFunction} existingFn - A function that already exists in the pipeline.
+ * @param {lunr.PipelineFunction} newFn - The new function to add to the pipeline.
+ */
+lunr.Pipeline.prototype.after = function (existingFn, newFn) {
+ lunr.Pipeline.warnIfFunctionNotRegistered(newFn)
+
+ var pos = this._stack.indexOf(existingFn)
+ if (pos == -1) {
+ throw new Error('Cannot find existingFn')
+ }
+
+ pos = pos + 1
+ this._stack.splice(pos, 0, newFn)
+}
+
+/**
+ * Adds a single function before a function that already exists in the
+ * pipeline.
+ *
+ * Logs a warning if the function has not been registered.
+ *
+ * @param {lunr.PipelineFunction} existingFn - A function that already exists in the pipeline.
+ * @param {lunr.PipelineFunction} newFn - The new function to add to the pipeline.
+ */
+lunr.Pipeline.prototype.before = function (existingFn, newFn) {
+ lunr.Pipeline.warnIfFunctionNotRegistered(newFn)
+
+ var pos = this._stack.indexOf(existingFn)
+ if (pos == -1) {
+ throw new Error('Cannot find existingFn')
+ }
+
+ this._stack.splice(pos, 0, newFn)
+}
+
+/**
+ * Removes a function from the pipeline.
+ *
+ * @param {lunr.PipelineFunction} fn The function to remove from the pipeline.
+ */
+lunr.Pipeline.prototype.remove = function (fn) {
+ var pos = this._stack.indexOf(fn)
+ if (pos == -1) {
+ return
+ }
+
+ this._stack.splice(pos, 1)
+}
+
+/**
+ * Runs the current list of functions that make up the pipeline against the
+ * passed tokens.
+ *
+ * @param {Array} tokens The tokens to run through the pipeline.
+ * @returns {Array}
+ */
+lunr.Pipeline.prototype.run = function (tokens) {
+ var stackLength = this._stack.length
+
+ for (var i = 0; i < stackLength; i++) {
+ var fn = this._stack[i]
+ var memo = []
+
+ for (var j = 0; j < tokens.length; j++) {
+ var result = fn(tokens[j], j, tokens)
+
+ if (result === null || result === void 0 || result === '') continue
+
+ if (Array.isArray(result)) {
+ for (var k = 0; k < result.length; k++) {
+ memo.push(result[k])
+ }
+ } else {
+ memo.push(result)
+ }
+ }
+
+ tokens = memo
+ }
+
+ return tokens
+}
+
+/**
+ * Convenience method for passing a string through a pipeline and getting
+ * strings out. This method takes care of wrapping the passed string in a
+ * token and mapping the resulting tokens back to strings.
+ *
+ * @param {string} str - The string to pass through the pipeline.
+ * @param {?object} metadata - Optional metadata to associate with the token
+ * passed to the pipeline.
+ * @returns {string[]}
+ */
+lunr.Pipeline.prototype.runString = function (str, metadata) {
+ var token = new lunr.Token (str, metadata)
+
+ return this.run([token]).map(function (t) {
+ return t.toString()
+ })
+}
+
+/**
+ * Resets the pipeline by removing any existing processors.
+ *
+ */
+lunr.Pipeline.prototype.reset = function () {
+ this._stack = []
+}
+
+/**
+ * Returns a representation of the pipeline ready for serialisation.
+ *
+ * Logs a warning if the function has not been registered.
+ *
+ * @returns {Array}
+ */
+lunr.Pipeline.prototype.toJSON = function () {
+ return this._stack.map(function (fn) {
+ lunr.Pipeline.warnIfFunctionNotRegistered(fn)
+
+ return fn.label
+ })
+}
+/*!
+ * lunr.Vector
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * A vector is used to construct the vector space of documents and queries. These
+ * vectors support operations to determine the similarity between two documents or
+ * a document and a query.
+ *
+ * Normally no parameters are required for initializing a vector, but in the case of
+ * loading a previously dumped vector the raw elements can be provided to the constructor.
+ *
+ * For performance reasons vectors are implemented with a flat array, where an elements
+ * index is immediately followed by its value. E.g. [index, value, index, value]. This
+ * allows the underlying array to be as sparse as possible and still offer decent
+ * performance when being used for vector calculations.
+ *
+ * @constructor
+ * @param {Number[]} [elements] - The flat list of element index and element value pairs.
+ */
+lunr.Vector = function (elements) {
+ this._magnitude = 0
+ this.elements = elements || []
+}
+
+
+/**
+ * Calculates the position within the vector to insert a given index.
+ *
+ * This is used internally by insert and upsert. If there are duplicate indexes then
+ * the position is returned as if the value for that index were to be updated, but it
+ * is the callers responsibility to check whether there is a duplicate at that index
+ *
+ * @param {Number} insertIdx - The index at which the element should be inserted.
+ * @returns {Number}
+ */
+lunr.Vector.prototype.positionForIndex = function (index) {
+ // For an empty vector the tuple can be inserted at the beginning
+ if (this.elements.length == 0) {
+ return 0
+ }
+
+ var start = 0,
+ end = this.elements.length / 2,
+ sliceLength = end - start,
+ pivotPoint = Math.floor(sliceLength / 2),
+ pivotIndex = this.elements[pivotPoint * 2]
+
+ while (sliceLength > 1) {
+ if (pivotIndex < index) {
+ start = pivotPoint
+ }
+
+ if (pivotIndex > index) {
+ end = pivotPoint
+ }
+
+ if (pivotIndex == index) {
+ break
+ }
+
+ sliceLength = end - start
+ pivotPoint = start + Math.floor(sliceLength / 2)
+ pivotIndex = this.elements[pivotPoint * 2]
+ }
+
+ if (pivotIndex == index) {
+ return pivotPoint * 2
+ }
+
+ if (pivotIndex > index) {
+ return pivotPoint * 2
+ }
+
+ if (pivotIndex < index) {
+ return (pivotPoint + 1) * 2
+ }
+}
+
+/**
+ * Inserts an element at an index within the vector.
+ *
+ * Does not allow duplicates, will throw an error if there is already an entry
+ * for this index.
+ *
+ * @param {Number} insertIdx - The index at which the element should be inserted.
+ * @param {Number} val - The value to be inserted into the vector.
+ */
+lunr.Vector.prototype.insert = function (insertIdx, val) {
+ this.upsert(insertIdx, val, function () {
+ throw "duplicate index"
+ })
+}
+
+/**
+ * Inserts or updates an existing index within the vector.
+ *
+ * @param {Number} insertIdx - The index at which the element should be inserted.
+ * @param {Number} val - The value to be inserted into the vector.
+ * @param {function} fn - A function that is called for updates, the existing value and the
+ * requested value are passed as arguments
+ */
+lunr.Vector.prototype.upsert = function (insertIdx, val, fn) {
+ this._magnitude = 0
+ var position = this.positionForIndex(insertIdx)
+
+ if (this.elements[position] == insertIdx) {
+ this.elements[position + 1] = fn(this.elements[position + 1], val)
+ } else {
+ this.elements.splice(position, 0, insertIdx, val)
+ }
+}
+
+/**
+ * Calculates the magnitude of this vector.
+ *
+ * @returns {Number}
+ */
+lunr.Vector.prototype.magnitude = function () {
+ if (this._magnitude) return this._magnitude
+
+ var sumOfSquares = 0,
+ elementsLength = this.elements.length
+
+ for (var i = 1; i < elementsLength; i += 2) {
+ var val = this.elements[i]
+ sumOfSquares += val * val
+ }
+
+ return this._magnitude = Math.sqrt(sumOfSquares)
+}
+
+/**
+ * Calculates the dot product of this vector and another vector.
+ *
+ * @param {lunr.Vector} otherVector - The vector to compute the dot product with.
+ * @returns {Number}
+ */
+lunr.Vector.prototype.dot = function (otherVector) {
+ var dotProduct = 0,
+ a = this.elements, b = otherVector.elements,
+ aLen = a.length, bLen = b.length,
+ aVal = 0, bVal = 0,
+ i = 0, j = 0
+
+ while (i < aLen && j < bLen) {
+ aVal = a[i], bVal = b[j]
+ if (aVal < bVal) {
+ i += 2
+ } else if (aVal > bVal) {
+ j += 2
+ } else if (aVal == bVal) {
+ dotProduct += a[i + 1] * b[j + 1]
+ i += 2
+ j += 2
+ }
+ }
+
+ return dotProduct
+}
+
+/**
+ * Calculates the similarity between this vector and another vector.
+ *
+ * @param {lunr.Vector} otherVector - The other vector to calculate the
+ * similarity with.
+ * @returns {Number}
+ */
+lunr.Vector.prototype.similarity = function (otherVector) {
+ return this.dot(otherVector) / this.magnitude() || 0
+}
+
+/**
+ * Converts the vector to an array of the elements within the vector.
+ *
+ * @returns {Number[]}
+ */
+lunr.Vector.prototype.toArray = function () {
+ var output = new Array (this.elements.length / 2)
+
+ for (var i = 1, j = 0; i < this.elements.length; i += 2, j++) {
+ output[j] = this.elements[i]
+ }
+
+ return output
+}
+
+/**
+ * A JSON serializable representation of the vector.
+ *
+ * @returns {Number[]}
+ */
+lunr.Vector.prototype.toJSON = function () {
+ return this.elements
+}
+/* eslint-disable */
+/*!
+ * lunr.stemmer
+ * Copyright (C) 2020 Oliver Nightingale
+ * Includes code from - http://tartarus.org/~martin/PorterStemmer/js.txt
+ */
+
+/**
+ * lunr.stemmer is an english language stemmer, this is a JavaScript
+ * implementation of the PorterStemmer taken from http://tartarus.org/~martin
+ *
+ * @static
+ * @implements {lunr.PipelineFunction}
+ * @param {lunr.Token} token - The string to stem
+ * @returns {lunr.Token}
+ * @see {@link lunr.Pipeline}
+ * @function
+ */
+lunr.stemmer = (function(){
+ var step2list = {
+ "ational" : "ate",
+ "tional" : "tion",
+ "enci" : "ence",
+ "anci" : "ance",
+ "izer" : "ize",
+ "bli" : "ble",
+ "alli" : "al",
+ "entli" : "ent",
+ "eli" : "e",
+ "ousli" : "ous",
+ "ization" : "ize",
+ "ation" : "ate",
+ "ator" : "ate",
+ "alism" : "al",
+ "iveness" : "ive",
+ "fulness" : "ful",
+ "ousness" : "ous",
+ "aliti" : "al",
+ "iviti" : "ive",
+ "biliti" : "ble",
+ "logi" : "log"
+ },
+
+ step3list = {
+ "icate" : "ic",
+ "ative" : "",
+ "alize" : "al",
+ "iciti" : "ic",
+ "ical" : "ic",
+ "ful" : "",
+ "ness" : ""
+ },
+
+ c = "[^aeiou]", // consonant
+ v = "[aeiouy]", // vowel
+ C = c + "[^aeiouy]*", // consonant sequence
+ V = v + "[aeiou]*", // vowel sequence
+
+ mgr0 = "^(" + C + ")?" + V + C, // [C]VC... is m>0
+ meq1 = "^(" + C + ")?" + V + C + "(" + V + ")?$", // [C]VC[V] is m=1
+ mgr1 = "^(" + C + ")?" + V + C + V + C, // [C]VCVC... is m>1
+ s_v = "^(" + C + ")?" + v; // vowel in stem
+
+ var re_mgr0 = new RegExp(mgr0);
+ var re_mgr1 = new RegExp(mgr1);
+ var re_meq1 = new RegExp(meq1);
+ var re_s_v = new RegExp(s_v);
+
+ var re_1a = /^(.+?)(ss|i)es$/;
+ var re2_1a = /^(.+?)([^s])s$/;
+ var re_1b = /^(.+?)eed$/;
+ var re2_1b = /^(.+?)(ed|ing)$/;
+ var re_1b_2 = /.$/;
+ var re2_1b_2 = /(at|bl|iz)$/;
+ var re3_1b_2 = new RegExp("([^aeiouylsz])\\1$");
+ var re4_1b_2 = new RegExp("^" + C + v + "[^aeiouwxy]$");
+
+ var re_1c = /^(.+?[^aeiou])y$/;
+ var re_2 = /^(.+?)(ational|tional|enci|anci|izer|bli|alli|entli|eli|ousli|ization|ation|ator|alism|iveness|fulness|ousness|aliti|iviti|biliti|logi)$/;
+
+ var re_3 = /^(.+?)(icate|ative|alize|iciti|ical|ful|ness)$/;
+
+ var re_4 = /^(.+?)(al|ance|ence|er|ic|able|ible|ant|ement|ment|ent|ou|ism|ate|iti|ous|ive|ize)$/;
+ var re2_4 = /^(.+?)(s|t)(ion)$/;
+
+ var re_5 = /^(.+?)e$/;
+ var re_5_1 = /ll$/;
+ var re3_5 = new RegExp("^" + C + v + "[^aeiouwxy]$");
+
+ var porterStemmer = function porterStemmer(w) {
+ var stem,
+ suffix,
+ firstch,
+ re,
+ re2,
+ re3,
+ re4;
+
+ if (w.length < 3) { return w; }
+
+ firstch = w.substr(0,1);
+ if (firstch == "y") {
+ w = firstch.toUpperCase() + w.substr(1);
+ }
+
+ // Step 1a
+ re = re_1a
+ re2 = re2_1a;
+
+ if (re.test(w)) { w = w.replace(re,"$1$2"); }
+ else if (re2.test(w)) { w = w.replace(re2,"$1$2"); }
+
+ // Step 1b
+ re = re_1b;
+ re2 = re2_1b;
+ if (re.test(w)) {
+ var fp = re.exec(w);
+ re = re_mgr0;
+ if (re.test(fp[1])) {
+ re = re_1b_2;
+ w = w.replace(re,"");
+ }
+ } else if (re2.test(w)) {
+ var fp = re2.exec(w);
+ stem = fp[1];
+ re2 = re_s_v;
+ if (re2.test(stem)) {
+ w = stem;
+ re2 = re2_1b_2;
+ re3 = re3_1b_2;
+ re4 = re4_1b_2;
+ if (re2.test(w)) { w = w + "e"; }
+ else if (re3.test(w)) { re = re_1b_2; w = w.replace(re,""); }
+ else if (re4.test(w)) { w = w + "e"; }
+ }
+ }
+
+ // Step 1c - replace suffix y or Y by i if preceded by a non-vowel which is not the first letter of the word (so cry -> cri, by -> by, say -> say)
+ re = re_1c;
+ if (re.test(w)) {
+ var fp = re.exec(w);
+ stem = fp[1];
+ w = stem + "i";
+ }
+
+ // Step 2
+ re = re_2;
+ if (re.test(w)) {
+ var fp = re.exec(w);
+ stem = fp[1];
+ suffix = fp[2];
+ re = re_mgr0;
+ if (re.test(stem)) {
+ w = stem + step2list[suffix];
+ }
+ }
+
+ // Step 3
+ re = re_3;
+ if (re.test(w)) {
+ var fp = re.exec(w);
+ stem = fp[1];
+ suffix = fp[2];
+ re = re_mgr0;
+ if (re.test(stem)) {
+ w = stem + step3list[suffix];
+ }
+ }
+
+ // Step 4
+ re = re_4;
+ re2 = re2_4;
+ if (re.test(w)) {
+ var fp = re.exec(w);
+ stem = fp[1];
+ re = re_mgr1;
+ if (re.test(stem)) {
+ w = stem;
+ }
+ } else if (re2.test(w)) {
+ var fp = re2.exec(w);
+ stem = fp[1] + fp[2];
+ re2 = re_mgr1;
+ if (re2.test(stem)) {
+ w = stem;
+ }
+ }
+
+ // Step 5
+ re = re_5;
+ if (re.test(w)) {
+ var fp = re.exec(w);
+ stem = fp[1];
+ re = re_mgr1;
+ re2 = re_meq1;
+ re3 = re3_5;
+ if (re.test(stem) || (re2.test(stem) && !(re3.test(stem)))) {
+ w = stem;
+ }
+ }
+
+ re = re_5_1;
+ re2 = re_mgr1;
+ if (re.test(w) && re2.test(w)) {
+ re = re_1b_2;
+ w = w.replace(re,"");
+ }
+
+ // and turn initial Y back to y
+
+ if (firstch == "y") {
+ w = firstch.toLowerCase() + w.substr(1);
+ }
+
+ return w;
+ };
+
+ return function (token) {
+ return token.update(porterStemmer);
+ }
+})();
+
+lunr.Pipeline.registerFunction(lunr.stemmer, 'stemmer')
+/*!
+ * lunr.stopWordFilter
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * lunr.generateStopWordFilter builds a stopWordFilter function from the provided
+ * list of stop words.
+ *
+ * The built in lunr.stopWordFilter is built using this generator and can be used
+ * to generate custom stopWordFilters for applications or non English languages.
+ *
+ * @function
+ * @param {Array} token The token to pass through the filter
+ * @returns {lunr.PipelineFunction}
+ * @see lunr.Pipeline
+ * @see lunr.stopWordFilter
+ */
+lunr.generateStopWordFilter = function (stopWords) {
+ var words = stopWords.reduce(function (memo, stopWord) {
+ memo[stopWord] = stopWord
+ return memo
+ }, {})
+
+ return function (token) {
+ if (token && words[token.toString()] !== token.toString()) return token
+ }
+}
+
+/**
+ * lunr.stopWordFilter is an English language stop word list filter, any words
+ * contained in the list will not be passed through the filter.
+ *
+ * This is intended to be used in the Pipeline. If the token does not pass the
+ * filter then undefined will be returned.
+ *
+ * @function
+ * @implements {lunr.PipelineFunction}
+ * @params {lunr.Token} token - A token to check for being a stop word.
+ * @returns {lunr.Token}
+ * @see {@link lunr.Pipeline}
+ */
+lunr.stopWordFilter = lunr.generateStopWordFilter([
+ 'a',
+ 'able',
+ 'about',
+ 'across',
+ 'after',
+ 'all',
+ 'almost',
+ 'also',
+ 'am',
+ 'among',
+ 'an',
+ 'and',
+ 'any',
+ 'are',
+ 'as',
+ 'at',
+ 'be',
+ 'because',
+ 'been',
+ 'but',
+ 'by',
+ 'can',
+ 'cannot',
+ 'could',
+ 'dear',
+ 'did',
+ 'do',
+ 'does',
+ 'either',
+ 'else',
+ 'ever',
+ 'every',
+ 'for',
+ 'from',
+ 'get',
+ 'got',
+ 'had',
+ 'has',
+ 'have',
+ 'he',
+ 'her',
+ 'hers',
+ 'him',
+ 'his',
+ 'how',
+ 'however',
+ 'i',
+ 'if',
+ 'in',
+ 'into',
+ 'is',
+ 'it',
+ 'its',
+ 'just',
+ 'least',
+ 'let',
+ 'like',
+ 'likely',
+ 'may',
+ 'me',
+ 'might',
+ 'most',
+ 'must',
+ 'my',
+ 'neither',
+ 'no',
+ 'nor',
+ 'not',
+ 'of',
+ 'off',
+ 'often',
+ 'on',
+ 'only',
+ 'or',
+ 'other',
+ 'our',
+ 'own',
+ 'rather',
+ 'said',
+ 'say',
+ 'says',
+ 'she',
+ 'should',
+ 'since',
+ 'so',
+ 'some',
+ 'than',
+ 'that',
+ 'the',
+ 'their',
+ 'them',
+ 'then',
+ 'there',
+ 'these',
+ 'they',
+ 'this',
+ 'tis',
+ 'to',
+ 'too',
+ 'twas',
+ 'us',
+ 'wants',
+ 'was',
+ 'we',
+ 'were',
+ 'what',
+ 'when',
+ 'where',
+ 'which',
+ 'while',
+ 'who',
+ 'whom',
+ 'why',
+ 'will',
+ 'with',
+ 'would',
+ 'yet',
+ 'you',
+ 'your'
+])
+
+lunr.Pipeline.registerFunction(lunr.stopWordFilter, 'stopWordFilter')
+/*!
+ * lunr.trimmer
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * lunr.trimmer is a pipeline function for trimming non word
+ * characters from the beginning and end of tokens before they
+ * enter the index.
+ *
+ * This implementation may not work correctly for non latin
+ * characters and should either be removed or adapted for use
+ * with languages with non-latin characters.
+ *
+ * @static
+ * @implements {lunr.PipelineFunction}
+ * @param {lunr.Token} token The token to pass through the filter
+ * @returns {lunr.Token}
+ * @see lunr.Pipeline
+ */
+lunr.trimmer = function (token) {
+ return token.update(function (s) {
+ return s.replace(/^\W+/, '').replace(/\W+$/, '')
+ })
+}
+
+lunr.Pipeline.registerFunction(lunr.trimmer, 'trimmer')
+/*!
+ * lunr.TokenSet
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * A token set is used to store the unique list of all tokens
+ * within an index. Token sets are also used to represent an
+ * incoming query to the index, this query token set and index
+ * token set are then intersected to find which tokens to look
+ * up in the inverted index.
+ *
+ * A token set can hold multiple tokens, as in the case of the
+ * index token set, or it can hold a single token as in the
+ * case of a simple query token set.
+ *
+ * Additionally token sets are used to perform wildcard matching.
+ * Leading, contained and trailing wildcards are supported, and
+ * from this edit distance matching can also be provided.
+ *
+ * Token sets are implemented as a minimal finite state automata,
+ * where both common prefixes and suffixes are shared between tokens.
+ * This helps to reduce the space used for storing the token set.
+ *
+ * @constructor
+ */
+lunr.TokenSet = function () {
+ this.final = false
+ this.edges = {}
+ this.id = lunr.TokenSet._nextId
+ lunr.TokenSet._nextId += 1
+}
+
+/**
+ * Keeps track of the next, auto increment, identifier to assign
+ * to a new tokenSet.
+ *
+ * TokenSets require a unique identifier to be correctly minimised.
+ *
+ * @private
+ */
+lunr.TokenSet._nextId = 1
+
+/**
+ * Creates a TokenSet instance from the given sorted array of words.
+ *
+ * @param {String[]} arr - A sorted array of strings to create the set from.
+ * @returns {lunr.TokenSet}
+ * @throws Will throw an error if the input array is not sorted.
+ */
+lunr.TokenSet.fromArray = function (arr) {
+ var builder = new lunr.TokenSet.Builder
+
+ for (var i = 0, len = arr.length; i < len; i++) {
+ builder.insert(arr[i])
+ }
+
+ builder.finish()
+ return builder.root
+}
+
+/**
+ * Creates a token set from a query clause.
+ *
+ * @private
+ * @param {Object} clause - A single clause from lunr.Query.
+ * @param {string} clause.term - The query clause term.
+ * @param {number} [clause.editDistance] - The optional edit distance for the term.
+ * @returns {lunr.TokenSet}
+ */
+lunr.TokenSet.fromClause = function (clause) {
+ if ('editDistance' in clause) {
+ return lunr.TokenSet.fromFuzzyString(clause.term, clause.editDistance)
+ } else {
+ return lunr.TokenSet.fromString(clause.term)
+ }
+}
+
+/**
+ * Creates a token set representing a single string with a specified
+ * edit distance.
+ *
+ * Insertions, deletions, substitutions and transpositions are each
+ * treated as an edit distance of 1.
+ *
+ * Increasing the allowed edit distance will have a dramatic impact
+ * on the performance of both creating and intersecting these TokenSets.
+ * It is advised to keep the edit distance less than 3.
+ *
+ * @param {string} str - The string to create the token set from.
+ * @param {number} editDistance - The allowed edit distance to match.
+ * @returns {lunr.Vector}
+ */
+lunr.TokenSet.fromFuzzyString = function (str, editDistance) {
+ var root = new lunr.TokenSet
+
+ var stack = [{
+ node: root,
+ editsRemaining: editDistance,
+ str: str
+ }]
+
+ while (stack.length) {
+ var frame = stack.pop()
+
+ // no edit
+ if (frame.str.length > 0) {
+ var char = frame.str.charAt(0),
+ noEditNode
+
+ if (char in frame.node.edges) {
+ noEditNode = frame.node.edges[char]
+ } else {
+ noEditNode = new lunr.TokenSet
+ frame.node.edges[char] = noEditNode
+ }
+
+ if (frame.str.length == 1) {
+ noEditNode.final = true
+ }
+
+ stack.push({
+ node: noEditNode,
+ editsRemaining: frame.editsRemaining,
+ str: frame.str.slice(1)
+ })
+ }
+
+ if (frame.editsRemaining == 0) {
+ continue
+ }
+
+ // insertion
+ if ("*" in frame.node.edges) {
+ var insertionNode = frame.node.edges["*"]
+ } else {
+ var insertionNode = new lunr.TokenSet
+ frame.node.edges["*"] = insertionNode
+ }
+
+ if (frame.str.length == 0) {
+ insertionNode.final = true
+ }
+
+ stack.push({
+ node: insertionNode,
+ editsRemaining: frame.editsRemaining - 1,
+ str: frame.str
+ })
+
+ // deletion
+ // can only do a deletion if we have enough edits remaining
+ // and if there are characters left to delete in the string
+ if (frame.str.length > 1) {
+ stack.push({
+ node: frame.node,
+ editsRemaining: frame.editsRemaining - 1,
+ str: frame.str.slice(1)
+ })
+ }
+
+ // deletion
+ // just removing the last character from the str
+ if (frame.str.length == 1) {
+ frame.node.final = true
+ }
+
+ // substitution
+ // can only do a substitution if we have enough edits remaining
+ // and if there are characters left to substitute
+ if (frame.str.length >= 1) {
+ if ("*" in frame.node.edges) {
+ var substitutionNode = frame.node.edges["*"]
+ } else {
+ var substitutionNode = new lunr.TokenSet
+ frame.node.edges["*"] = substitutionNode
+ }
+
+ if (frame.str.length == 1) {
+ substitutionNode.final = true
+ }
+
+ stack.push({
+ node: substitutionNode,
+ editsRemaining: frame.editsRemaining - 1,
+ str: frame.str.slice(1)
+ })
+ }
+
+ // transposition
+ // can only do a transposition if there are edits remaining
+ // and there are enough characters to transpose
+ if (frame.str.length > 1) {
+ var charA = frame.str.charAt(0),
+ charB = frame.str.charAt(1),
+ transposeNode
+
+ if (charB in frame.node.edges) {
+ transposeNode = frame.node.edges[charB]
+ } else {
+ transposeNode = new lunr.TokenSet
+ frame.node.edges[charB] = transposeNode
+ }
+
+ if (frame.str.length == 1) {
+ transposeNode.final = true
+ }
+
+ stack.push({
+ node: transposeNode,
+ editsRemaining: frame.editsRemaining - 1,
+ str: charA + frame.str.slice(2)
+ })
+ }
+ }
+
+ return root
+}
+
+/**
+ * Creates a TokenSet from a string.
+ *
+ * The string may contain one or more wildcard characters (*)
+ * that will allow wildcard matching when intersecting with
+ * another TokenSet.
+ *
+ * @param {string} str - The string to create a TokenSet from.
+ * @returns {lunr.TokenSet}
+ */
+lunr.TokenSet.fromString = function (str) {
+ var node = new lunr.TokenSet,
+ root = node
+
+ /*
+ * Iterates through all characters within the passed string
+ * appending a node for each character.
+ *
+ * When a wildcard character is found then a self
+ * referencing edge is introduced to continually match
+ * any number of any characters.
+ */
+ for (var i = 0, len = str.length; i < len; i++) {
+ var char = str[i],
+ final = (i == len - 1)
+
+ if (char == "*") {
+ node.edges[char] = node
+ node.final = final
+
+ } else {
+ var next = new lunr.TokenSet
+ next.final = final
+
+ node.edges[char] = next
+ node = next
+ }
+ }
+
+ return root
+}
+
+/**
+ * Converts this TokenSet into an array of strings
+ * contained within the TokenSet.
+ *
+ * This is not intended to be used on a TokenSet that
+ * contains wildcards, in these cases the results are
+ * undefined and are likely to cause an infinite loop.
+ *
+ * @returns {string[]}
+ */
+lunr.TokenSet.prototype.toArray = function () {
+ var words = []
+
+ var stack = [{
+ prefix: "",
+ node: this
+ }]
+
+ while (stack.length) {
+ var frame = stack.pop(),
+ edges = Object.keys(frame.node.edges),
+ len = edges.length
+
+ if (frame.node.final) {
+ /* In Safari, at this point the prefix is sometimes corrupted, see:
+ * https://github.com/olivernn/lunr.js/issues/279 Calling any
+ * String.prototype method forces Safari to "cast" this string to what
+ * it's supposed to be, fixing the bug. */
+ frame.prefix.charAt(0)
+ words.push(frame.prefix)
+ }
+
+ for (var i = 0; i < len; i++) {
+ var edge = edges[i]
+
+ stack.push({
+ prefix: frame.prefix.concat(edge),
+ node: frame.node.edges[edge]
+ })
+ }
+ }
+
+ return words
+}
+
+/**
+ * Generates a string representation of a TokenSet.
+ *
+ * This is intended to allow TokenSets to be used as keys
+ * in objects, largely to aid the construction and minimisation
+ * of a TokenSet. As such it is not designed to be a human
+ * friendly representation of the TokenSet.
+ *
+ * @returns {string}
+ */
+lunr.TokenSet.prototype.toString = function () {
+ // NOTE: Using Object.keys here as this.edges is very likely
+ // to enter 'hash-mode' with many keys being added
+ //
+ // avoiding a for-in loop here as it leads to the function
+ // being de-optimised (at least in V8). From some simple
+ // benchmarks the performance is comparable, but allowing
+ // V8 to optimize may mean easy performance wins in the future.
+
+ if (this._str) {
+ return this._str
+ }
+
+ var str = this.final ? '1' : '0',
+ labels = Object.keys(this.edges).sort(),
+ len = labels.length
+
+ for (var i = 0; i < len; i++) {
+ var label = labels[i],
+ node = this.edges[label]
+
+ str = str + label + node.id
+ }
+
+ return str
+}
+
+/**
+ * Returns a new TokenSet that is the intersection of
+ * this TokenSet and the passed TokenSet.
+ *
+ * This intersection will take into account any wildcards
+ * contained within the TokenSet.
+ *
+ * @param {lunr.TokenSet} b - An other TokenSet to intersect with.
+ * @returns {lunr.TokenSet}
+ */
+lunr.TokenSet.prototype.intersect = function (b) {
+ var output = new lunr.TokenSet,
+ frame = undefined
+
+ var stack = [{
+ qNode: b,
+ output: output,
+ node: this
+ }]
+
+ while (stack.length) {
+ frame = stack.pop()
+
+ // NOTE: As with the #toString method, we are using
+ // Object.keys and a for loop instead of a for-in loop
+ // as both of these objects enter 'hash' mode, causing
+ // the function to be de-optimised in V8
+ var qEdges = Object.keys(frame.qNode.edges),
+ qLen = qEdges.length,
+ nEdges = Object.keys(frame.node.edges),
+ nLen = nEdges.length
+
+ for (var q = 0; q < qLen; q++) {
+ var qEdge = qEdges[q]
+
+ for (var n = 0; n < nLen; n++) {
+ var nEdge = nEdges[n]
+
+ if (nEdge == qEdge || qEdge == '*') {
+ var node = frame.node.edges[nEdge],
+ qNode = frame.qNode.edges[qEdge],
+ final = node.final && qNode.final,
+ next = undefined
+
+ if (nEdge in frame.output.edges) {
+ // an edge already exists for this character
+ // no need to create a new node, just set the finality
+ // bit unless this node is already final
+ next = frame.output.edges[nEdge]
+ next.final = next.final || final
+
+ } else {
+ // no edge exists yet, must create one
+ // set the finality bit and insert it
+ // into the output
+ next = new lunr.TokenSet
+ next.final = final
+ frame.output.edges[nEdge] = next
+ }
+
+ stack.push({
+ qNode: qNode,
+ output: next,
+ node: node
+ })
+ }
+ }
+ }
+ }
+
+ return output
+}
+lunr.TokenSet.Builder = function () {
+ this.previousWord = ""
+ this.root = new lunr.TokenSet
+ this.uncheckedNodes = []
+ this.minimizedNodes = {}
+}
+
+lunr.TokenSet.Builder.prototype.insert = function (word) {
+ var node,
+ commonPrefix = 0
+
+ if (word < this.previousWord) {
+ throw new Error ("Out of order word insertion")
+ }
+
+ for (var i = 0; i < word.length && i < this.previousWord.length; i++) {
+ if (word[i] != this.previousWord[i]) break
+ commonPrefix++
+ }
+
+ this.minimize(commonPrefix)
+
+ if (this.uncheckedNodes.length == 0) {
+ node = this.root
+ } else {
+ node = this.uncheckedNodes[this.uncheckedNodes.length - 1].child
+ }
+
+ for (var i = commonPrefix; i < word.length; i++) {
+ var nextNode = new lunr.TokenSet,
+ char = word[i]
+
+ node.edges[char] = nextNode
+
+ this.uncheckedNodes.push({
+ parent: node,
+ char: char,
+ child: nextNode
+ })
+
+ node = nextNode
+ }
+
+ node.final = true
+ this.previousWord = word
+}
+
+lunr.TokenSet.Builder.prototype.finish = function () {
+ this.minimize(0)
+}
+
+lunr.TokenSet.Builder.prototype.minimize = function (downTo) {
+ for (var i = this.uncheckedNodes.length - 1; i >= downTo; i--) {
+ var node = this.uncheckedNodes[i],
+ childKey = node.child.toString()
+
+ if (childKey in this.minimizedNodes) {
+ node.parent.edges[node.char] = this.minimizedNodes[childKey]
+ } else {
+ // Cache the key for this node since
+ // we know it can't change anymore
+ node.child._str = childKey
+
+ this.minimizedNodes[childKey] = node.child
+ }
+
+ this.uncheckedNodes.pop()
+ }
+}
+/*!
+ * lunr.Index
+ * Copyright (C) 2020 Oliver Nightingale
+ */
+
+/**
+ * An index contains the built index of all documents and provides a query interface
+ * to the index.
+ *
+ * Usually instances of lunr.Index will not be created using this constructor, instead
+ * lunr.Builder should be used to construct new indexes, or lunr.Index.load should be
+ * used to load previously built and serialized indexes.
+ *
+ * @constructor
+ * @param {Object} attrs - The attributes of the built search index.
+ * @param {Object} attrs.invertedIndex - An index of term/field to document reference.
+ * @param {Object' + noResultsText + '
'); + } +} + +function doSearch () { + var query = document.getElementById('mkdocs-search-query').value; + if (query.length > min_search_length) { + if (!window.Worker) { + displayResults(search(query)); + } else { + searchWorker.postMessage({query: query}); + } + } else { + // Clear results for short queries + displayResults([]); + } +} + +function initSearch () { + var search_input = document.getElementById('mkdocs-search-query'); + if (search_input) { + search_input.addEventListener("keyup", doSearch); + } + var term = getSearchTermFromLocation(); + if (term) { + search_input.value = term; + doSearch(); + } +} + +function onWorkerMessage (e) { + if (e.data.allowSearch) { + initSearch(); + } else if (e.data.results) { + var results = e.data.results; + displayResults(results); + } else if (e.data.config) { + min_search_length = e.data.config.min_search_length-1; + } +} + +if (!window.Worker) { + console.log('Web Worker API not supported'); + // load index in main thread + $.getScript(joinUrl(base_url, "search/worker.js")).done(function () { + console.log('Loaded worker'); + init(); + window.postMessage = function (msg) { + onWorkerMessage({data: msg}); + }; + }).fail(function (jqxhr, settings, exception) { + console.error('Could not load worker.js'); + }); +} else { + // Wrap search in a web worker + var searchWorker = new Worker(joinUrl(base_url, "search/worker.js")); + searchWorker.postMessage({init: true}); + searchWorker.onmessage = onWorkerMessage; +} diff --git a/documentation/site/search/search_index.json b/documentation/site/search/search_index.json new file mode 100644 index 0000000..88f3a19 --- /dev/null +++ b/documentation/site/search/search_index.json @@ -0,0 +1 @@ +{"config":{"indexing":"full","lang":["en"],"min_search_length":3,"prebuild_index":false,"separator":"[\\s\\-]+"},"docs":[{"location":"","text":"Ro-DOU O Ro-DOU \u00e9 uma ferramenta que efetua um clipping do Di\u00e1rio Oficial da Uni\u00e3o ( D.O.U. ) e dos Di\u00e1rios Oficiais de munic\u00edpios, por meio do Querido Di\u00e1rio . O Ro-DOU permite o recebimento de notifica\u00e7\u00f5es (via e-mail, Slack, Discord ou outros) de todas as publica\u00e7\u00f5es que contenham as palavras-chaves que voc\u00ea definir. Neste site, voc\u00ea encontrar\u00e1 informa\u00e7\u00f5es sobre como usar o Ro-DOU e quais funcionalidades ele proporciona, al\u00e9m de outras informa\u00e7\u00f5es sobre como contribuir para melhorar a ferramenta e como contatar o MGI. O Ro-DOU \u00e9 uma solu\u00e7\u00e3o desenvolvida pela Secretaria de Gest\u00e3o e Inova\u00e7\u00e3o do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos .","title":"P\u00e1gina Inicial"},{"location":"#ro-dou","text":"O Ro-DOU \u00e9 uma ferramenta que efetua um clipping do Di\u00e1rio Oficial da Uni\u00e3o ( D.O.U. ) e dos Di\u00e1rios Oficiais de munic\u00edpios, por meio do Querido Di\u00e1rio . O Ro-DOU permite o recebimento de notifica\u00e7\u00f5es (via e-mail, Slack, Discord ou outros) de todas as publica\u00e7\u00f5es que contenham as palavras-chaves que voc\u00ea definir. Neste site, voc\u00ea encontrar\u00e1 informa\u00e7\u00f5es sobre como usar o Ro-DOU e quais funcionalidades ele proporciona, al\u00e9m de outras informa\u00e7\u00f5es sobre como contribuir para melhorar a ferramenta e como contatar o MGI. O Ro-DOU \u00e9 uma solu\u00e7\u00e3o desenvolvida pela Secretaria de Gest\u00e3o e Inova\u00e7\u00e3o do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos .","title":"Ro-DOU"},{"location":"changelog/","text":"Changelog As principais mudan\u00e7as realizadas no reposit\u00f3rio do Ro-ou est\u00e3o documentadas aqui a partir de 31/08/2023. [0.1.0] - 2023-08-31 Altera a forma de encontrar os arquivos de configura\u00e7\u00e3o das DAGs ( dag_confs/*.yml ). Antes considerava que a pasta dag_confs/ estava na mesma raiz que os arquivos do ro-dou em ./src . Agora o caminho da(s) pasta(s) deve ser informado pela vari\u00e1vel de ambiente RO_DOU__DAG_CONF_DIR e separado por : quando mais de um. Exemplo: As pastas /opt/airflow/dags/repo1/dag_confs e /opt/airflow/dags/repo2/dag_confs possuem arquivos de configura\u00e7\u00e3o (yaml) para gera\u00e7\u00e3o das DAGs do rodou. A vari\u00e1vel de ambiente RO_DOU__DAG_CONF_DIR deve ser atribu\u00edda assim: RO_DOU__DAG_CONF_DIR=/opt/airflow/dags/repo1/dag_confs:/opt/airflow/dags/repo2/dag_confs Esta altera\u00e7\u00e3o permite que os arquivos de configura\u00e7\u00e3o das DAGs ( dag_confs/*.yml ) estejam em qualquer pasta da m\u00e1quina ou container.","title":"Changelog"},{"location":"changelog/#changelog","text":"As principais mudan\u00e7as realizadas no reposit\u00f3rio do Ro-ou est\u00e3o documentadas aqui a partir de 31/08/2023.","title":"Changelog"},{"location":"changelog/#010-2023-08-31","text":"Altera a forma de encontrar os arquivos de configura\u00e7\u00e3o das DAGs ( dag_confs/*.yml ). Antes considerava que a pasta dag_confs/ estava na mesma raiz que os arquivos do ro-dou em ./src . Agora o caminho da(s) pasta(s) deve ser informado pela vari\u00e1vel de ambiente RO_DOU__DAG_CONF_DIR e separado por : quando mais de um. Exemplo: As pastas /opt/airflow/dags/repo1/dag_confs e /opt/airflow/dags/repo2/dag_confs possuem arquivos de configura\u00e7\u00e3o (yaml) para gera\u00e7\u00e3o das DAGs do rodou. A vari\u00e1vel de ambiente RO_DOU__DAG_CONF_DIR deve ser atribu\u00edda assim: RO_DOU__DAG_CONF_DIR=/opt/airflow/dags/repo1/dag_confs:/opt/airflow/dags/repo2/dag_confs Esta altera\u00e7\u00e3o permite que os arquivos de configura\u00e7\u00e3o das DAGs ( dag_confs/*.yml ) estejam em qualquer pasta da m\u00e1quina ou container.","title":"[0.1.0] - 2023-08-31"},{"location":"contato/","text":"Contato O Ro-DOU \u00e9 desenvolvido e mantido pela Coordena\u00e7\u00e3o-Geral de Gest\u00e3o da Informa\u00e7\u00e3o, \u00f3rg\u00e3o do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos: https://www.gov.br/gestao/pt-br . D\u00favidas, sugest\u00f5es e demais coment\u00e1rios sobre o Ro-DOU podem ser enviados ao endere\u00e7o de e-mail seges.cginf@gestao.gov.br . Intera\u00e7\u00f5es de car\u00e1ter t\u00e9cnico e sugest\u00f5es de melhoria no c\u00f3digo-fonte e nas funcionalidades do Ro-DOU podem ser enviadas diretamente via GitHub, por meio da abertura de issues : https://github.com/gestaogovbr/Ro-dou .","title":"Contato"},{"location":"contato/#contato","text":"O Ro-DOU \u00e9 desenvolvido e mantido pela Coordena\u00e7\u00e3o-Geral de Gest\u00e3o da Informa\u00e7\u00e3o, \u00f3rg\u00e3o do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos: https://www.gov.br/gestao/pt-br . D\u00favidas, sugest\u00f5es e demais coment\u00e1rios sobre o Ro-DOU podem ser enviados ao endere\u00e7o de e-mail seges.cginf@gestao.gov.br . Intera\u00e7\u00f5es de car\u00e1ter t\u00e9cnico e sugest\u00f5es de melhoria no c\u00f3digo-fonte e nas funcionalidades do Ro-DOU podem ser enviadas diretamente via GitHub, por meio da abertura de issues : https://github.com/gestaogovbr/Ro-dou .","title":"Contato"},{"location":"contribuicoes/","text":"Como contribuir Os arquivos do projeto Ro-DOU s\u00e3o disponibilizados publicamente no perfil GitHub do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos e podem ser acessados clicando aqui . Contribui\u00e7\u00f5es externas ao projeto s\u00e3o bem-vindas. Para sugerir melhorias, abra uma issue via GitHub. A issue ser\u00e1 avaliada assim que poss\u00edvel pela equipe da SEGES/MGI. Caso deseje expressar outros coment\u00e1rios, cr\u00edticas, d\u00favidas ou sugest\u00f5es, contate-nos .","title":"Como contribuir"},{"location":"contribuicoes/#como-contribuir","text":"Os arquivos do projeto Ro-DOU s\u00e3o disponibilizados publicamente no perfil GitHub do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos e podem ser acessados clicando aqui . Contribui\u00e7\u00f5es externas ao projeto s\u00e3o bem-vindas. Para sugerir melhorias, abra uma issue via GitHub. A issue ser\u00e1 avaliada assim que poss\u00edvel pela equipe da SEGES/MGI. Caso deseje expressar outros coment\u00e1rios, cr\u00edticas, d\u00favidas ou sugest\u00f5es, contate-nos .","title":"Como contribuir"},{"location":"faq/","text":"FAQ e problemas frequentes Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 perguntas e respostas comuns e solu\u00e7\u00e3o de problemas mais frequentes na utiliza\u00e7\u00e3o do Ro-DOU. Esta se\u00e7\u00e3o ainda est\u00e1 em desenvolvimento e ser\u00e1 disponibilizada em breve.","title":"FAQ"},{"location":"faq/#faq-e-problemas-frequentes","text":"Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 perguntas e respostas comuns e solu\u00e7\u00e3o de problemas mais frequentes na utiliza\u00e7\u00e3o do Ro-DOU. Esta se\u00e7\u00e3o ainda est\u00e1 em desenvolvimento e ser\u00e1 disponibilizada em breve.","title":"FAQ e problemas frequentes"},{"location":"funcionamento/","text":"Como funciona Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 as seguintes informa\u00e7\u00f5es sobre o Ro-DOU: Compreendendo melhor a pesquisa no Di\u00e1rio Oficial da Uni\u00e3o Recursos e funcionalidades Par\u00e2metros de pesquisa dispon\u00edveis Exemplos de configura\u00e7\u00e3o do arquivo YAML Compreendendo melhor a pesquisa no Di\u00e1rio Oficial da Uni\u00e3o Todos os par\u00e2metros dispon\u00edveis para pesquisa no Di\u00e1rio Oficial da Uni\u00e3o (DOU) foram criados a partir da API da Imprensa Nacional, que por sua vez \u00e9 utilizada pelo buscador oficial do DOU em https://www.in.gov.br/consulta/ . Assim, \u00e9 poss\u00edvel notar que o Ro-DOU consegue automatizar todo, ou quase todo, tipo de pesquisa que pode ser feita no site do Di\u00e1rio Oficial da Uni\u00e3o. A imagem abaixo \u00e9 o painel de pesquisa avan\u00e7ada do site: Recursos e funcionalidades O Ro-DOU possui os seguintes recursos e funcionalidades voltados aos usu\u00e1rios: Resultados com frequ\u00eancias di\u00e1ria , semanal ou mensal ; Relat\u00f3rios em formato .CSV para facilita\u00e7\u00e3o do uso; Busca din\u00e2mica das palavras-chaves de um banco de dados ou de uma vari\u00e1vel ; Pesquisa em se\u00e7\u00e3o espec\u00edfica do di\u00e1rio oficial; Envio de notifica\u00e7\u00f5es para os canais existentes no Discord e no Slack. Par\u00e2metros de pesquisa dispon\u00edveis A tabela abaixo resume os par\u00e2metros de pesquisa dispon\u00edveis no Ro-DOU: dou_sections date field SECAO_1 DIA TUDO SECAO_2 SEMANA TITULO SECAO_3 MES CONTEUDO EDICAO_EXTRA ANO --- EDICAO_SUPLEMENTAR --- --- TODOS --- --- Por padr\u00e3o, caso omitido, o valor do par\u00e2metro dou_sections \u00e9 TODOS. Nessa hip\u00f3tese, a pesquisa \u00e9 feita em todas as se\u00e7\u00f5es do Di\u00e1rio Oficial da Uni\u00e3o. Este campo aceita mais de uma op\u00e7\u00e3o. Exemplos de configura\u00e7\u00e3o do arquivo YAML Neste segmento, voc\u00ea encontrar\u00e1 uma s\u00e9rie de exemplos pr\u00e1ticos de utiliza\u00e7\u00e3o do Ro-DOU. A leitura dos exemplos ajudar\u00e1 a visualizar de que maneira o Ro-DOU pode ser utilizado. Exemplo 1 A configura\u00e7\u00e3o a seguir cria uma DAG que realiza a pesquisa di\u00e1ria dos 6 termos listados e envia o relat\u00f3rio para o e-mail fornecido. dag: id: pesquisa_dou_termos_interesse_nitai description: Pesquisa termos de interesse de Nitai. search: terms: - dados abertos - governo aberto - engenharia de dados - software livre - c\u00f3digo aberto - open source report: emails: - nitaibezerra@protonmail.com Exemplo 2 A configura\u00e7\u00e3o a seguir realiza a pesquisa di\u00e1ria de segunda-feira a sexta-feira, 8AM , apenas na Se\u00e7\u00e3o 1 e na Edi\u00e7\u00e3o Suplementar e envia o resultado em formato CSV , anexado ao e-mail. O par\u00e2metro schedule aceita valores CRON. dag: id: dag_id_deve_ser_unico_em_todo_airflow description: DAG exemplo de monitoramento no DOU. schedule: 0 8 * * MON-FRI search: terms: - aloca\u00e7\u00e3o - realoca - permuta - estrutura regimental - organiza\u00e7\u00e3o b\u00e1sica dou_sections: - SECAO_1 - EDICAO_SUPLEMENTAR report: emails: - dest1@gestao.gov.br - dest2@gestao.gov.br attach_csv: True subject: Assunto do Email Note que aqui s\u00e3o utilizados os par\u00e2metros opcionais schedule , dou_section e attach_csv . Exemplo 3 A configura\u00e7\u00e3o a seguir utiliza o par\u00e2metro from_db_select em terms , que torna din\u00e2mica a parametriza\u00e7\u00e3o dos termos para pesquisa. Note tamb\u00e9m a inclus\u00e3o de tags que ajudam na organiza\u00e7\u00e3o e na busca das DAGs no Airflow. dag: id: dag_ultra_dinamica description: A pesquisa depende do select SQL. tags: - projeto_a - departamento_x search: terms: from_db_select: sql: SELECT text FROM schema.tabela; conn_id: airflow_conn_id report: emails: - email-destino@gestao.gov.br subject: \"[String] com caracteres especiais deve estar entre aspas\" Exemplo 4 A configura\u00e7\u00e3o a seguir utiliza o par\u00e2metro from_airflow_variable em terms , que tamb\u00e9m carrega dinamicamente a lista de termos. Neste caso, h\u00e1 a recupera\u00e7\u00e3o a partir de uma vari\u00e1vel do Airflow . Aqui, tamb\u00e9m \u00e9 utilizado o campo field para limitar as pesquisas ao campo t\u00edtulo das publica\u00e7\u00f5es no Di\u00e1rio Oficial da Uni\u00e3o. dag: id: pesquisa_a_lista_na_variavel description: \u00c9 f\u00e1cil editar a vari\u00e1vel na interface do Airflow. search: terms: from_airflow_variable: nome_da_variavel_no_airflow field: TITULO report: emails: - email-destino@gestao.gov.br skip_null: False Caso n\u00e3o encontre nenhum resultado, ser\u00e1 enviado um e-mail informando que nenhum termo foi encontrado. Exemplo 5 A configura\u00e7\u00e3o a seguir produz uma DAG que executa apenas uma vez por m\u00eas , no dia 1 \u00e0s 8 AM, como pode ser visto no schedule . Simultaneamente, a pesquisa no Di\u00e1rio Oficial da Uni\u00e3o \u00e9 realizada nos di\u00e1rios oficiais do \u00faltimo m\u00eas inteiro, atrav\u00e9s do uso do par\u00e2metro date . Aqui, tamb\u00e9m \u00e9 utilizado o par\u00e2metro is_exact_search com valor False para utilizar uma pesquisa aproximada. Apesar do fato de que o termo buscado \"paralelpip i do\" contenha um erro ortogr\u00e1fico, a busca retorna os resultados corretos. Veja! dag: id: relatorio_mensal_do_dou description: Envia um numero menor de emails. schedule: 0 8 1 * * search: terms: - paralelpipido date: MES is_exact_search: False report: emails: - email-destino@gestao.gov.br Exemplo 6 A configura\u00e7\u00e3o a seguir produz uma DAG que pesquisa no Querido Di\u00e1rio pelos termos \"pandemia\", \"dados pessoais\" e \"prefeitura\", buscando apenas os resultados do Di\u00e1rio Oficial de Belo Horizonte. Para conhecer o Querido Di\u00e1rio, acesse https://queridodiario.ok.org.br/ . dag: id: dou_qd_example description: DAG de teste search: sources: - QD territory_id: 3106200 # Belo Horizonte terms: - pandemia - dados pessoais - prefeitura report: emails: - destination@gestao.gov.br attach_csv: True subject: \"Teste do Ro-dou\" Exemplo 7 A configura\u00e7\u00e3o a seguir produz uma DAG exatamente igual ao exemplo b\u00e1sico, mas adiciona uma descri\u00e7\u00e3o longa do que a DAG faz, usando o par\u00e2metro doc_md . Essa descri\u00e7\u00e3o pode conter formata\u00e7\u00e3o markdown, incluindo t\u00edtulos, listas, links etc. Al\u00e9m disso, acrescenta tamb\u00e9m uma refer\u00eancia ao nome do arquivo que gerou a DAG, bem como os seus par\u00e2metros. dag: id: markdown_docs_example description: DAG com documenta\u00e7\u00e3o em markdown search: terms: - dados abertos - governo aberto - lei de acesso \u00e0 informa\u00e7\u00e3o report: emails: - destination@gestao.gov.br subject: \"Teste do Ro-dou\" doc_md: >- ## Ola! Esta \u00e9 uma DAG de exemplo com documenta\u00e7\u00e3o em markdown. Esta descri\u00e7\u00e3o \u00e9 opcional e pode ser definida no par\u00e2metro `doc_md`. * Ah, aqui voc\u00ea tamb\u00e9m pode usar *markdown* para * escrever listas, por exemplo, * ou colocar [links](graph)! Para ver essa documenta\u00e7\u00e3o, basta clicar o bot\u00e3o \"DAG Docs\" em qualquer tela de visualiza\u00e7\u00e3o da DAG no Airflow. Exemplo 8 Esta configura\u00e7\u00e3o envia as notifica\u00e7\u00f5es para canais Discord. \u00c9 necess\u00e1rio ter permiss\u00f5es de administrador no Discord para gerar o Webhook: dag: id: discord_example description: Envia notifica\u00e7\u00f5es para canal Discord search: terms: - manifesta\u00e7\u00e3o cultural - express\u00e3o cultural - pol\u00edtica cultural report: report: discord: webhook: https://discord.com/api/webhooks/105220xxxxxx811250/Q-XsfdnoHtudTQ-8A6zzzzznitai-vi0bGLE7xxxxxxxxxxxxxxxxxxxmx94R3oZ1h0ngl1 Exemplo 9 Esta configura\u00e7\u00e3o envia as notifica\u00e7\u00f5es para canais Slack. \u00c9 necess\u00e1rio ter permiss\u00f5es de administrador no Slack para gerar o Webhook: dag: id: slack_example description: Envia notifica\u00e7\u00f5es para canal Slack search: terms: - manifesta\u00e7\u00e3o cultural - express\u00e3o cultural - pol\u00edtica cultural report: report: slack: webhook: https://hooks.slack.com/services/XXXXXXXX/XXXXNFDXXX/n6QXXXXrPwxQ71ZXXXXXT9 Exemplo 10 Esta configura\u00e7\u00e3o filtra os resultados por \u00f3rg\u00e3o/unidade selecionados. Por enquanto dispon\u00edvel apenas para as pesquisas no DOU. dag: id: department_example description: DAG de teste (filtro por departamento) search: terms: - dados abertos department: - Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos - Minist\u00e9rio da Defesa report: emails: - destination@gestao.gov.br subject: \"Teste do Ro-dou\"","title":"Como funciona"},{"location":"funcionamento/#como-funciona","text":"Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 as seguintes informa\u00e7\u00f5es sobre o Ro-DOU: Compreendendo melhor a pesquisa no Di\u00e1rio Oficial da Uni\u00e3o Recursos e funcionalidades Par\u00e2metros de pesquisa dispon\u00edveis Exemplos de configura\u00e7\u00e3o do arquivo YAML","title":"Como funciona"},{"location":"funcionamento/#compreendendo-melhor-a-pesquisa-no-diario-oficial-da-uniao","text":"Todos os par\u00e2metros dispon\u00edveis para pesquisa no Di\u00e1rio Oficial da Uni\u00e3o (DOU) foram criados a partir da API da Imprensa Nacional, que por sua vez \u00e9 utilizada pelo buscador oficial do DOU em https://www.in.gov.br/consulta/ . Assim, \u00e9 poss\u00edvel notar que o Ro-DOU consegue automatizar todo, ou quase todo, tipo de pesquisa que pode ser feita no site do Di\u00e1rio Oficial da Uni\u00e3o. A imagem abaixo \u00e9 o painel de pesquisa avan\u00e7ada do site:","title":"Compreendendo melhor a pesquisa no Di\u00e1rio Oficial da Uni\u00e3o"},{"location":"funcionamento/#recursos-e-funcionalidades","text":"O Ro-DOU possui os seguintes recursos e funcionalidades voltados aos usu\u00e1rios: Resultados com frequ\u00eancias di\u00e1ria , semanal ou mensal ; Relat\u00f3rios em formato .CSV para facilita\u00e7\u00e3o do uso; Busca din\u00e2mica das palavras-chaves de um banco de dados ou de uma vari\u00e1vel ; Pesquisa em se\u00e7\u00e3o espec\u00edfica do di\u00e1rio oficial; Envio de notifica\u00e7\u00f5es para os canais existentes no Discord e no Slack.","title":"Recursos e funcionalidades"},{"location":"funcionamento/#parametros-de-pesquisa-disponiveis","text":"A tabela abaixo resume os par\u00e2metros de pesquisa dispon\u00edveis no Ro-DOU: dou_sections date field SECAO_1 DIA TUDO SECAO_2 SEMANA TITULO SECAO_3 MES CONTEUDO EDICAO_EXTRA ANO --- EDICAO_SUPLEMENTAR --- --- TODOS --- --- Por padr\u00e3o, caso omitido, o valor do par\u00e2metro dou_sections \u00e9 TODOS. Nessa hip\u00f3tese, a pesquisa \u00e9 feita em todas as se\u00e7\u00f5es do Di\u00e1rio Oficial da Uni\u00e3o. Este campo aceita mais de uma op\u00e7\u00e3o.","title":"Par\u00e2metros de pesquisa dispon\u00edveis"},{"location":"funcionamento/#exemplos-de-configuracao-do-arquivo-yaml","text":"Neste segmento, voc\u00ea encontrar\u00e1 uma s\u00e9rie de exemplos pr\u00e1ticos de utiliza\u00e7\u00e3o do Ro-DOU. A leitura dos exemplos ajudar\u00e1 a visualizar de que maneira o Ro-DOU pode ser utilizado.","title":"Exemplos de configura\u00e7\u00e3o do arquivo YAML"},{"location":"funcionamento/#exemplo-1","text":"A configura\u00e7\u00e3o a seguir cria uma DAG que realiza a pesquisa di\u00e1ria dos 6 termos listados e envia o relat\u00f3rio para o e-mail fornecido. dag: id: pesquisa_dou_termos_interesse_nitai description: Pesquisa termos de interesse de Nitai. search: terms: - dados abertos - governo aberto - engenharia de dados - software livre - c\u00f3digo aberto - open source report: emails: - nitaibezerra@protonmail.com","title":"Exemplo 1"},{"location":"funcionamento/#exemplo-2","text":"A configura\u00e7\u00e3o a seguir realiza a pesquisa di\u00e1ria de segunda-feira a sexta-feira, 8AM , apenas na Se\u00e7\u00e3o 1 e na Edi\u00e7\u00e3o Suplementar e envia o resultado em formato CSV , anexado ao e-mail. O par\u00e2metro schedule aceita valores CRON. dag: id: dag_id_deve_ser_unico_em_todo_airflow description: DAG exemplo de monitoramento no DOU. schedule: 0 8 * * MON-FRI search: terms: - aloca\u00e7\u00e3o - realoca - permuta - estrutura regimental - organiza\u00e7\u00e3o b\u00e1sica dou_sections: - SECAO_1 - EDICAO_SUPLEMENTAR report: emails: - dest1@gestao.gov.br - dest2@gestao.gov.br attach_csv: True subject: Assunto do Email Note que aqui s\u00e3o utilizados os par\u00e2metros opcionais schedule , dou_section e attach_csv .","title":"Exemplo 2"},{"location":"funcionamento/#exemplo-3","text":"A configura\u00e7\u00e3o a seguir utiliza o par\u00e2metro from_db_select em terms , que torna din\u00e2mica a parametriza\u00e7\u00e3o dos termos para pesquisa. Note tamb\u00e9m a inclus\u00e3o de tags que ajudam na organiza\u00e7\u00e3o e na busca das DAGs no Airflow. dag: id: dag_ultra_dinamica description: A pesquisa depende do select SQL. tags: - projeto_a - departamento_x search: terms: from_db_select: sql: SELECT text FROM schema.tabela; conn_id: airflow_conn_id report: emails: - email-destino@gestao.gov.br subject: \"[String] com caracteres especiais deve estar entre aspas\"","title":"Exemplo 3"},{"location":"funcionamento/#exemplo-4","text":"A configura\u00e7\u00e3o a seguir utiliza o par\u00e2metro from_airflow_variable em terms , que tamb\u00e9m carrega dinamicamente a lista de termos. Neste caso, h\u00e1 a recupera\u00e7\u00e3o a partir de uma vari\u00e1vel do Airflow . Aqui, tamb\u00e9m \u00e9 utilizado o campo field para limitar as pesquisas ao campo t\u00edtulo das publica\u00e7\u00f5es no Di\u00e1rio Oficial da Uni\u00e3o. dag: id: pesquisa_a_lista_na_variavel description: \u00c9 f\u00e1cil editar a vari\u00e1vel na interface do Airflow. search: terms: from_airflow_variable: nome_da_variavel_no_airflow field: TITULO report: emails: - email-destino@gestao.gov.br skip_null: False Caso n\u00e3o encontre nenhum resultado, ser\u00e1 enviado um e-mail informando que nenhum termo foi encontrado.","title":"Exemplo 4"},{"location":"funcionamento/#exemplo-5","text":"A configura\u00e7\u00e3o a seguir produz uma DAG que executa apenas uma vez por m\u00eas , no dia 1 \u00e0s 8 AM, como pode ser visto no schedule . Simultaneamente, a pesquisa no Di\u00e1rio Oficial da Uni\u00e3o \u00e9 realizada nos di\u00e1rios oficiais do \u00faltimo m\u00eas inteiro, atrav\u00e9s do uso do par\u00e2metro date . Aqui, tamb\u00e9m \u00e9 utilizado o par\u00e2metro is_exact_search com valor False para utilizar uma pesquisa aproximada. Apesar do fato de que o termo buscado \"paralelpip i do\" contenha um erro ortogr\u00e1fico, a busca retorna os resultados corretos. Veja! dag: id: relatorio_mensal_do_dou description: Envia um numero menor de emails. schedule: 0 8 1 * * search: terms: - paralelpipido date: MES is_exact_search: False report: emails: - email-destino@gestao.gov.br","title":"Exemplo 5"},{"location":"funcionamento/#exemplo-6","text":"A configura\u00e7\u00e3o a seguir produz uma DAG que pesquisa no Querido Di\u00e1rio pelos termos \"pandemia\", \"dados pessoais\" e \"prefeitura\", buscando apenas os resultados do Di\u00e1rio Oficial de Belo Horizonte. Para conhecer o Querido Di\u00e1rio, acesse https://queridodiario.ok.org.br/ . dag: id: dou_qd_example description: DAG de teste search: sources: - QD territory_id: 3106200 # Belo Horizonte terms: - pandemia - dados pessoais - prefeitura report: emails: - destination@gestao.gov.br attach_csv: True subject: \"Teste do Ro-dou\"","title":"Exemplo 6"},{"location":"funcionamento/#exemplo-7","text":"A configura\u00e7\u00e3o a seguir produz uma DAG exatamente igual ao exemplo b\u00e1sico, mas adiciona uma descri\u00e7\u00e3o longa do que a DAG faz, usando o par\u00e2metro doc_md . Essa descri\u00e7\u00e3o pode conter formata\u00e7\u00e3o markdown, incluindo t\u00edtulos, listas, links etc. Al\u00e9m disso, acrescenta tamb\u00e9m uma refer\u00eancia ao nome do arquivo que gerou a DAG, bem como os seus par\u00e2metros. dag: id: markdown_docs_example description: DAG com documenta\u00e7\u00e3o em markdown search: terms: - dados abertos - governo aberto - lei de acesso \u00e0 informa\u00e7\u00e3o report: emails: - destination@gestao.gov.br subject: \"Teste do Ro-dou\" doc_md: >- ## Ola! Esta \u00e9 uma DAG de exemplo com documenta\u00e7\u00e3o em markdown. Esta descri\u00e7\u00e3o \u00e9 opcional e pode ser definida no par\u00e2metro `doc_md`. * Ah, aqui voc\u00ea tamb\u00e9m pode usar *markdown* para * escrever listas, por exemplo, * ou colocar [links](graph)! Para ver essa documenta\u00e7\u00e3o, basta clicar o bot\u00e3o \"DAG Docs\" em qualquer tela de visualiza\u00e7\u00e3o da DAG no Airflow.","title":"Exemplo 7"},{"location":"funcionamento/#exemplo-8","text":"Esta configura\u00e7\u00e3o envia as notifica\u00e7\u00f5es para canais Discord. \u00c9 necess\u00e1rio ter permiss\u00f5es de administrador no Discord para gerar o Webhook: dag: id: discord_example description: Envia notifica\u00e7\u00f5es para canal Discord search: terms: - manifesta\u00e7\u00e3o cultural - express\u00e3o cultural - pol\u00edtica cultural report: report: discord: webhook: https://discord.com/api/webhooks/105220xxxxxx811250/Q-XsfdnoHtudTQ-8A6zzzzznitai-vi0bGLE7xxxxxxxxxxxxxxxxxxxmx94R3oZ1h0ngl1","title":"Exemplo 8"},{"location":"funcionamento/#exemplo-9","text":"Esta configura\u00e7\u00e3o envia as notifica\u00e7\u00f5es para canais Slack. \u00c9 necess\u00e1rio ter permiss\u00f5es de administrador no Slack para gerar o Webhook: dag: id: slack_example description: Envia notifica\u00e7\u00f5es para canal Slack search: terms: - manifesta\u00e7\u00e3o cultural - express\u00e3o cultural - pol\u00edtica cultural report: report: slack: webhook: https://hooks.slack.com/services/XXXXXXXX/XXXXNFDXXX/n6QXXXXrPwxQ71ZXXXXXT9","title":"Exemplo 9"},{"location":"funcionamento/#exemplo-10","text":"Esta configura\u00e7\u00e3o filtra os resultados por \u00f3rg\u00e3o/unidade selecionados. Por enquanto dispon\u00edvel apenas para as pesquisas no DOU. dag: id: department_example description: DAG de teste (filtro por departamento) search: terms: - dados abertos department: - Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos - Minist\u00e9rio da Defesa report: emails: - destination@gestao.gov.br subject: \"Teste do Ro-dou\"","title":"Exemplo 10"},{"location":"links/","text":"Links relevantes Para operar, o Ro-DOU utiliza diferentes tecnologias, ferramentas e depend\u00eancias. Podem ser destacadas as seguintes: Python Apache Airflow Docker Docker Compose Pandas YAML O Ro-DOU tamb\u00e9m utiliza as funcionalidades da ferramenta Querido Di\u00e1rio: Querido Di\u00e1rio Este site de documenta\u00e7\u00e3o do Ro-DOU foi elaborado com a ajuda do MkDocs: MkDocs","title":"Links relevantes"},{"location":"links/#links-relevantes","text":"Para operar, o Ro-DOU utiliza diferentes tecnologias, ferramentas e depend\u00eancias. Podem ser destacadas as seguintes: Python Apache Airflow Docker Docker Compose Pandas YAML O Ro-DOU tamb\u00e9m utiliza as funcionalidades da ferramenta Querido Di\u00e1rio: Querido Di\u00e1rio Este site de documenta\u00e7\u00e3o do Ro-DOU foi elaborado com a ajuda do MkDocs: MkDocs","title":"Links relevantes"},{"location":"midias/","text":"Oficinas e demais m\u00eddias sobre o Ro-DOU Ro-DOU - Rob\u00f4 de minera\u00e7\u00e3o do Di\u00e1rio Oficial da Uni\u00e3o - apresenta\u00e7\u00e3o completa no canal da ENAP no YouTube, feita na Semana de Inova\u00e7\u00e3o de 2021.","title":"Oficinas e m\u00eddias"},{"location":"midias/#oficinas-e-demais-midias-sobre-o-ro-dou","text":"Ro-DOU - Rob\u00f4 de minera\u00e7\u00e3o do Di\u00e1rio Oficial da Uni\u00e3o - apresenta\u00e7\u00e3o completa no canal da ENAP no YouTube, feita na Semana de Inova\u00e7\u00e3o de 2021.","title":"Oficinas e demais m\u00eddias sobre o Ro-DOU"},{"location":"rodou/","text":"O que \u00e9 Ro-DOU? Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 as seguintes informa\u00e7\u00f5es sobre o Ro-DOU: Defini\u00e7\u00e3o Arquitetura Defini\u00e7\u00e3o Conforme dito na p\u00e1gina inicial, o Ro-DOU \u00e9 uma ferramenta que efetua um clipping do Di\u00e1rio Oficial da Uni\u00e3o ( D.O.U. ) e dos Di\u00e1rios Oficiais de munic\u00edpios, por meio do Querido Di\u00e1rio . O Ro-DOU permite o recebimento de notifica\u00e7\u00f5es (via e-mail, Slack, Discord ou outros) de todas as publica\u00e7\u00f5es que contenham as palavras-chaves que voc\u00ea definir. O Ro-DOU gera dinamicamente grafos ac\u00edclicos dirigidos (DAGs) no Apache Airflow . Uma DAG nada mais \u00e9 que um fluxo de tarefas executadas em sequ\u00eancia ou de maneira paralela, a partir de um c\u00f3digo Python. Para entender com mais detalhes t\u00e9cnicos como uma DAG do Airflow funciona, clique aqui . Nos arquivos YAML, \u00e9 poss\u00edvel configurar os detalhes dos termos de pesquisa desejado (as palavras-chaves) e os contatos (e.g. endere\u00e7os de e-mail) para recebimento dos resultados da pesquisa. Arquitetura A maneira como os diferentes componentes do Ro-DOU se relacionam pode ser sintetizada no diagrama abaixo: [INSERIR DIAGRAMA]","title":"O que \u00e9 Ro-DOU?"},{"location":"rodou/#o-que-e-ro-dou","text":"Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 as seguintes informa\u00e7\u00f5es sobre o Ro-DOU: Defini\u00e7\u00e3o Arquitetura","title":"O que \u00e9 Ro-DOU?"},{"location":"rodou/#definicao","text":"Conforme dito na p\u00e1gina inicial, o Ro-DOU \u00e9 uma ferramenta que efetua um clipping do Di\u00e1rio Oficial da Uni\u00e3o ( D.O.U. ) e dos Di\u00e1rios Oficiais de munic\u00edpios, por meio do Querido Di\u00e1rio . O Ro-DOU permite o recebimento de notifica\u00e7\u00f5es (via e-mail, Slack, Discord ou outros) de todas as publica\u00e7\u00f5es que contenham as palavras-chaves que voc\u00ea definir. O Ro-DOU gera dinamicamente grafos ac\u00edclicos dirigidos (DAGs) no Apache Airflow . Uma DAG nada mais \u00e9 que um fluxo de tarefas executadas em sequ\u00eancia ou de maneira paralela, a partir de um c\u00f3digo Python. Para entender com mais detalhes t\u00e9cnicos como uma DAG do Airflow funciona, clique aqui . Nos arquivos YAML, \u00e9 poss\u00edvel configurar os detalhes dos termos de pesquisa desejado (as palavras-chaves) e os contatos (e.g. endere\u00e7os de e-mail) para recebimento dos resultados da pesquisa.","title":"Defini\u00e7\u00e3o"},{"location":"rodou/#arquitetura","text":"A maneira como os diferentes componentes do Ro-DOU se relacionam pode ser sintetizada no diagrama abaixo: [INSERIR DIAGRAMA]","title":"Arquitetura"},{"location":"utilizacao/","text":"Como utilizar Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 as seguintes informa\u00e7\u00f5es sobre o Ro-DOU: Instala\u00e7\u00e3o e configura\u00e7\u00e3o Ambiente local e ambiente de produ\u00e7\u00e3o Usu\u00e1rios internos e externos ao Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos Notifica\u00e7\u00e3o de erros na execu\u00e7\u00e3o das DAGs do Apache Airflow Instala\u00e7\u00e3o e configura\u00e7\u00e3o Configurando o ambiente local 'Hello World' O c\u00f3digo-fonte est\u00e1 disponibilizado no perfil do GitHub do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos . Neste t\u00edtulo, fornecemos abaixo uma configura\u00e7\u00e3o demonstrativa para que voc\u00ea possa executar o Ro-DOU no seu computador. Para isso, \u00e9 necess\u00e1rio ter o Docker Compose na vers\u00e3o 1.29 ou maior instalado. Os passos para a instala\u00e7\u00e3o est\u00e3o dispon\u00edveis em https://docs.docker.com/compose/install/ ou em tutoriais no YouTube. Ap\u00f3s clonar o reposit\u00f3rio do Ro-DOU para o seu computador com o comando git clone , acesse o diret\u00f3rio pelo terminal e execute os comandos a seguir: make run Este comando baixa as imagens Docker necess\u00e1rias, efetua o build do container Docker do Ro-DOU e executa todos os demais passos necess\u00e1rios. O Apache Airflow, que tamb\u00e9m \u00e9 usado para rodar o Ro-DOU, pode demorar alguns minutos para se configurar na primeira vez. Posteriormente, ele estar\u00e1 dispon\u00edvel em http://localhost:8080/. Para se autenticar e acessar o Apache Airflow, entre no link e utilize login airflow e senha airflow . Na p\u00e1gina sobre o que \u00e9 o Ro-DOU , explicamos o que \u00e9 um grafo ac\u00edclico dirigido (DAG) do Airflow e como obter mais informa\u00e7\u00f5es sobre este conceito. Na tela inicial do Airflow, s\u00e3o fornecidos clippings de exemplo. A partir dos arquivos YAML (.yaml) do diret\u00f3rio dag_confs/ , \u00e9 poss\u00edvel manipular e customizar as pesquisas de clipping desejadas nos di\u00e1rios oficiais. Dentro dos arquivos YAML, \u00e9 poss\u00edvel, por exemplo, definir palavras-chave de busca e um endere\u00e7o de e-mail para recebimento de uma mensagem com os resultados da busca no(s) di\u00e1rio(s) oficial(is). Para executar qualquer DAG do Airflow, \u00e9 necess\u00e1rio lig\u00e1-la. Inicialmente, todas as DAGs ficam pausadas por padr\u00e3o. Sugerimos come\u00e7ar testando o clipping all_parameters_example . Utilize o bot\u00e3o toggle para lig\u00e1-lo. Ap\u00f3s ativ\u00e1-lo, o Airflow executar\u00e1 a DAG uma \u00fanica vez. Clique no nome da DAG para visualizar o detalhe da execu\u00e7\u00e3o. Voc\u00ea observar\u00e1 que, tanto na visualiza\u00e7\u00e3o em \u00e1rvore ( Tree ) como na visualiza\u00e7\u00e3o em Grafo ( Graph ) dentro do Apache Airflow, \u00e9 poss\u00edvel constatar se houve algum resultado encontrado na API da Imprensa Nacional para os termos e demais par\u00e2metros deste clipping. Se a tarefa chamada \"send_report\" estiver na cor verde, significa que foi encontrado um resultado e que uma mensagem de e-mail foi enviada para o endere\u00e7o configurado no arquivo YAML. Para visualizar a mensagem de e-mail, acesse o endere\u00e7o http://localhost:5001/. Este \u00e9 um servi\u00e7o que simula uma caixa de e-mail (servidor SMTP) para fins de experimenta\u00e7\u00e3o. Voil\u00e0! . Lembre-se que o arquivo de configura\u00e7\u00e3o deste clipping est\u00e1 na pasta dag_confs/ . Confira aqui no GitHub o conte\u00fado do arquivo YAML. Agora, faremos um segundo teste: o clipping terms_from_variable , seguindo os mesmo passos. Neste caso, os termos pesquisados est\u00e3o listados em uma vari\u00e1vel do Airflow e podem ser modificados pela interface gr\u00e1fica. Acesse no menu Admin >> Variables ou pela URL http://localhost:8080/variable/list/. Leia a se\u00e7\u00e3o Configurando em Produ\u00e7\u00e3o para instalar o Ro-dou utilizando um provedor SMTP real que enviar\u00e1 os e-mails para os destinat\u00e1rios verdadeiros. Observa\u00e7\u00e3o: Para utilizar o source: - INLABS , \u00e9 necess\u00e1rio criar a conex\u00e3o inlabs_db no Apache Airflow, apontando para o banco Postgres que est\u00e1 carregado com os dados do inlabs. Voc\u00ea poder\u00e1 encontrar aqui um exemplo de como carregar um banco com os dados do inlabs: ro-dou_inlabs_load_pg_dag.py . Quando tiver terminado de utilizar o ambiente de teste do Ro-DOU, desligue-o por meio do seguinte comando: make down Configurando o ambiente de produ\u00e7\u00e3o Para utilizar o Ro-DOU em ambiente de produ\u00e7\u00e3o, \u00e9 necess\u00e1rio que o servidor tenha dispon\u00edvel um servi\u00e7o SMTP que ser\u00e1 utilizado pelo Apache Airflow para envio de mensagens de e-mail pela Internet. Siga os seguintes passos: Utilize as credenciais do servi\u00e7o SMTP (host, usu\u00e1rio, senha, porta etc.) para editar o arquivo docker-compose.yml , substituindo as vari\u00e1veis referentes ao servi\u00e7o SMTP, a exemplo de AIRFLOW__SMTP__SMTP_HOST . Ao final do arquivo docker-compose.yml , remova as linhas que declaram o servi\u00e7o smtp4dev , uma vez que ele n\u00e3o ser\u00e1 mais necess\u00e1rio. Uma vez executados esses passos, basta agora inicializar o Ro-DOU por meio do comando: make run Usu\u00e1rios internos e externos Usu\u00e1rios do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos Para as unidades do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos que desejem solicitar a utiliza\u00e7\u00e3o de clippings via Ro-DOU, a Secretaria de Gest\u00e3o e Inova\u00e7\u00e3o do MGI est\u00e1 dispon\u00edvel para auxili\u00e1-las a configurar o servi\u00e7o. \u00c9 preciso que a unidade interessada encaminhe as seguintes informa\u00e7\u00f5es para o endere\u00e7o seges.cginf@gestao.gov.br : texto do assunto do e-mail que conter\u00e1 o relat\u00f3rio do Ro-DOU; lista de termos (palavras-chaves) para a pesquisa, separadas linha a linha; se\u00e7\u00e3o ou se\u00e7\u00f5es do DOU que dever\u00e1(\u00e3o) ser pesquisada(s); hor\u00e1rio e dias da semana para realiza\u00e7\u00e3o da pesquisa e envio do relat\u00f3rio (por padr\u00e3o, ocorre \u00e0s 9h da manh\u00e3, de segunda-feira a sexta-feira); e lista com os endere\u00e7os de e-mail que receber\u00e3o o relat\u00f3rio do Ro-DOU. Usu\u00e1rios externos (de fora do MGI) Usu\u00e1rios de \u00f3rg\u00e3os p\u00fablicos que n\u00e3o sejam unidades do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos poder\u00e3o enviar d\u00favidas ou coment\u00e1rios ao endere\u00e7o seges.cginf@gestao.gov.br . Notifica\u00e7\u00e3o de erros na execu\u00e7\u00e3o das DAGs \u00c9 importante recordar que o Ro-DOU permite o envio de mensagens via Slack quando ocorre alguma falha na execu\u00e7\u00e3o da DAG no Apache Airflow. Para usar essa funcionalidade, efetue as seguintes configura\u00e7\u00f5es: Criar o app no Slack conforme orienta\u00e7\u00f5es do v\u00eddeo How to Add Slack Notifications to Your Airflow DAG's with Airflow Notifiers . Criar uma conex\u00e3o no Apache Airflow com a seguinte configura\u00e7\u00e3o: Connection Id = slack_notify_rodou_dagrun Connection Type = Slack API Description = {\"channel\": \"nome-do-channel-para-mandar-mensagem\"} Slack API Token = obtido no passo 1","title":"Como utilizar"},{"location":"utilizacao/#como-utilizar","text":"Nesta se\u00e7\u00e3o, voc\u00ea encontrar\u00e1 as seguintes informa\u00e7\u00f5es sobre o Ro-DOU: Instala\u00e7\u00e3o e configura\u00e7\u00e3o Ambiente local e ambiente de produ\u00e7\u00e3o Usu\u00e1rios internos e externos ao Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos Notifica\u00e7\u00e3o de erros na execu\u00e7\u00e3o das DAGs do Apache Airflow","title":"Como utilizar"},{"location":"utilizacao/#instalacao-e-configuracao","text":"","title":"Instala\u00e7\u00e3o e configura\u00e7\u00e3o"},{"location":"utilizacao/#configurando-o-ambiente-local-hello-world","text":"O c\u00f3digo-fonte est\u00e1 disponibilizado no perfil do GitHub do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos . Neste t\u00edtulo, fornecemos abaixo uma configura\u00e7\u00e3o demonstrativa para que voc\u00ea possa executar o Ro-DOU no seu computador. Para isso, \u00e9 necess\u00e1rio ter o Docker Compose na vers\u00e3o 1.29 ou maior instalado. Os passos para a instala\u00e7\u00e3o est\u00e3o dispon\u00edveis em https://docs.docker.com/compose/install/ ou em tutoriais no YouTube. Ap\u00f3s clonar o reposit\u00f3rio do Ro-DOU para o seu computador com o comando git clone , acesse o diret\u00f3rio pelo terminal e execute os comandos a seguir: make run Este comando baixa as imagens Docker necess\u00e1rias, efetua o build do container Docker do Ro-DOU e executa todos os demais passos necess\u00e1rios. O Apache Airflow, que tamb\u00e9m \u00e9 usado para rodar o Ro-DOU, pode demorar alguns minutos para se configurar na primeira vez. Posteriormente, ele estar\u00e1 dispon\u00edvel em http://localhost:8080/. Para se autenticar e acessar o Apache Airflow, entre no link e utilize login airflow e senha airflow . Na p\u00e1gina sobre o que \u00e9 o Ro-DOU , explicamos o que \u00e9 um grafo ac\u00edclico dirigido (DAG) do Airflow e como obter mais informa\u00e7\u00f5es sobre este conceito. Na tela inicial do Airflow, s\u00e3o fornecidos clippings de exemplo. A partir dos arquivos YAML (.yaml) do diret\u00f3rio dag_confs/ , \u00e9 poss\u00edvel manipular e customizar as pesquisas de clipping desejadas nos di\u00e1rios oficiais. Dentro dos arquivos YAML, \u00e9 poss\u00edvel, por exemplo, definir palavras-chave de busca e um endere\u00e7o de e-mail para recebimento de uma mensagem com os resultados da busca no(s) di\u00e1rio(s) oficial(is). Para executar qualquer DAG do Airflow, \u00e9 necess\u00e1rio lig\u00e1-la. Inicialmente, todas as DAGs ficam pausadas por padr\u00e3o. Sugerimos come\u00e7ar testando o clipping all_parameters_example . Utilize o bot\u00e3o toggle para lig\u00e1-lo. Ap\u00f3s ativ\u00e1-lo, o Airflow executar\u00e1 a DAG uma \u00fanica vez. Clique no nome da DAG para visualizar o detalhe da execu\u00e7\u00e3o. Voc\u00ea observar\u00e1 que, tanto na visualiza\u00e7\u00e3o em \u00e1rvore ( Tree ) como na visualiza\u00e7\u00e3o em Grafo ( Graph ) dentro do Apache Airflow, \u00e9 poss\u00edvel constatar se houve algum resultado encontrado na API da Imprensa Nacional para os termos e demais par\u00e2metros deste clipping. Se a tarefa chamada \"send_report\" estiver na cor verde, significa que foi encontrado um resultado e que uma mensagem de e-mail foi enviada para o endere\u00e7o configurado no arquivo YAML. Para visualizar a mensagem de e-mail, acesse o endere\u00e7o http://localhost:5001/. Este \u00e9 um servi\u00e7o que simula uma caixa de e-mail (servidor SMTP) para fins de experimenta\u00e7\u00e3o. Voil\u00e0! . Lembre-se que o arquivo de configura\u00e7\u00e3o deste clipping est\u00e1 na pasta dag_confs/ . Confira aqui no GitHub o conte\u00fado do arquivo YAML. Agora, faremos um segundo teste: o clipping terms_from_variable , seguindo os mesmo passos. Neste caso, os termos pesquisados est\u00e3o listados em uma vari\u00e1vel do Airflow e podem ser modificados pela interface gr\u00e1fica. Acesse no menu Admin >> Variables ou pela URL http://localhost:8080/variable/list/. Leia a se\u00e7\u00e3o Configurando em Produ\u00e7\u00e3o para instalar o Ro-dou utilizando um provedor SMTP real que enviar\u00e1 os e-mails para os destinat\u00e1rios verdadeiros. Observa\u00e7\u00e3o: Para utilizar o source: - INLABS , \u00e9 necess\u00e1rio criar a conex\u00e3o inlabs_db no Apache Airflow, apontando para o banco Postgres que est\u00e1 carregado com os dados do inlabs. Voc\u00ea poder\u00e1 encontrar aqui um exemplo de como carregar um banco com os dados do inlabs: ro-dou_inlabs_load_pg_dag.py . Quando tiver terminado de utilizar o ambiente de teste do Ro-DOU, desligue-o por meio do seguinte comando: make down","title":"Configurando o ambiente local 'Hello World'"},{"location":"utilizacao/#configurando-o-ambiente-de-producao","text":"Para utilizar o Ro-DOU em ambiente de produ\u00e7\u00e3o, \u00e9 necess\u00e1rio que o servidor tenha dispon\u00edvel um servi\u00e7o SMTP que ser\u00e1 utilizado pelo Apache Airflow para envio de mensagens de e-mail pela Internet. Siga os seguintes passos: Utilize as credenciais do servi\u00e7o SMTP (host, usu\u00e1rio, senha, porta etc.) para editar o arquivo docker-compose.yml , substituindo as vari\u00e1veis referentes ao servi\u00e7o SMTP, a exemplo de AIRFLOW__SMTP__SMTP_HOST . Ao final do arquivo docker-compose.yml , remova as linhas que declaram o servi\u00e7o smtp4dev , uma vez que ele n\u00e3o ser\u00e1 mais necess\u00e1rio. Uma vez executados esses passos, basta agora inicializar o Ro-DOU por meio do comando: make run","title":"Configurando o ambiente de produ\u00e7\u00e3o"},{"location":"utilizacao/#usuarios-internos-e-externos","text":"","title":"Usu\u00e1rios internos e externos"},{"location":"utilizacao/#usuarios-do-ministerio-da-gestao-e-da-inovacao-em-servicos-publicos","text":"Para as unidades do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos que desejem solicitar a utiliza\u00e7\u00e3o de clippings via Ro-DOU, a Secretaria de Gest\u00e3o e Inova\u00e7\u00e3o do MGI est\u00e1 dispon\u00edvel para auxili\u00e1-las a configurar o servi\u00e7o. \u00c9 preciso que a unidade interessada encaminhe as seguintes informa\u00e7\u00f5es para o endere\u00e7o seges.cginf@gestao.gov.br : texto do assunto do e-mail que conter\u00e1 o relat\u00f3rio do Ro-DOU; lista de termos (palavras-chaves) para a pesquisa, separadas linha a linha; se\u00e7\u00e3o ou se\u00e7\u00f5es do DOU que dever\u00e1(\u00e3o) ser pesquisada(s); hor\u00e1rio e dias da semana para realiza\u00e7\u00e3o da pesquisa e envio do relat\u00f3rio (por padr\u00e3o, ocorre \u00e0s 9h da manh\u00e3, de segunda-feira a sexta-feira); e lista com os endere\u00e7os de e-mail que receber\u00e3o o relat\u00f3rio do Ro-DOU.","title":"Usu\u00e1rios do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos"},{"location":"utilizacao/#usuarios-externos-de-fora-do-mgi","text":"Usu\u00e1rios de \u00f3rg\u00e3os p\u00fablicos que n\u00e3o sejam unidades do Minist\u00e9rio da Gest\u00e3o e da Inova\u00e7\u00e3o em Servi\u00e7os P\u00fablicos poder\u00e3o enviar d\u00favidas ou coment\u00e1rios ao endere\u00e7o seges.cginf@gestao.gov.br .","title":"Usu\u00e1rios externos (de fora do MGI)"},{"location":"utilizacao/#notificacao-de-erros-na-execucao-das-dags","text":"\u00c9 importante recordar que o Ro-DOU permite o envio de mensagens via Slack quando ocorre alguma falha na execu\u00e7\u00e3o da DAG no Apache Airflow. Para usar essa funcionalidade, efetue as seguintes configura\u00e7\u00f5es: Criar o app no Slack conforme orienta\u00e7\u00f5es do v\u00eddeo How to Add Slack Notifications to Your Airflow DAG's with Airflow Notifiers . Criar uma conex\u00e3o no Apache Airflow com a seguinte configura\u00e7\u00e3o: Connection Id = slack_notify_rodou_dagrun Connection Type = Slack API Description = {\"channel\": \"nome-do-channel-para-mandar-mensagem\"} Slack API Token = obtido no passo 1","title":"Notifica\u00e7\u00e3o de erros na execu\u00e7\u00e3o das DAGs"}]} \ No newline at end of file diff --git a/documentation/site/search/worker.js b/documentation/site/search/worker.js new file mode 100644 index 0000000..8628dbc --- /dev/null +++ b/documentation/site/search/worker.js @@ -0,0 +1,133 @@ +var base_path = 'function' === typeof importScripts ? '.' : '/search/'; +var allowSearch = false; +var index; +var documents = {}; +var lang = ['en']; +var data; + +function getScript(script, callback) { + console.log('Loading script: ' + script); + $.getScript(base_path + script).done(function () { + callback(); + }).fail(function (jqxhr, settings, exception) { + console.log('Error: ' + exception); + }); +} + +function getScriptsInOrder(scripts, callback) { + if (scripts.length === 0) { + callback(); + return; + } + getScript(scripts[0], function() { + getScriptsInOrder(scripts.slice(1), callback); + }); +} + +function loadScripts(urls, callback) { + if( 'function' === typeof importScripts ) { + importScripts.apply(null, urls); + callback(); + } else { + getScriptsInOrder(urls, callback); + } +} + +function onJSONLoaded () { + data = JSON.parse(this.responseText); + var scriptsToLoad = ['lunr.js']; + if (data.config && data.config.lang && data.config.lang.length) { + lang = data.config.lang; + } + if (lang.length > 1 || lang[0] !== "en") { + scriptsToLoad.push('lunr.stemmer.support.js'); + if (lang.length > 1) { + scriptsToLoad.push('lunr.multi.js'); + } + if (lang.includes("ja") || lang.includes("jp")) { + scriptsToLoad.push('tinyseg.js'); + } + for (var i=0; i < lang.length; i++) { + if (lang[i] != 'en') { + scriptsToLoad.push(['lunr', lang[i], 'js'].join('.')); + } + } + } + loadScripts(scriptsToLoad, onScriptsLoaded); +} + +function onScriptsLoaded () { + console.log('All search scripts loaded, building Lunr index...'); + if (data.config && data.config.separator && data.config.separator.length) { + lunr.tokenizer.separator = new RegExp(data.config.separator); + } + + if (data.index) { + index = lunr.Index.load(data.index); + data.docs.forEach(function (doc) { + documents[doc.location] = doc; + }); + console.log('Lunr pre-built index loaded, search ready'); + } else { + index = lunr(function () { + if (lang.length === 1 && lang[0] !== "en" && lunr[lang[0]]) { + this.use(lunr[lang[0]]); + } else if (lang.length > 1) { + this.use(lunr.multiLanguage.apply(null, lang)); // spread operator not supported in all browsers: https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Operators/Spread_operator#Browser_compatibility + } + this.field('title'); + this.field('text'); + this.ref('location'); + + for (var i=0; i < data.docs.length; i++) { + var doc = data.docs[i]; + this.add(doc); + documents[doc.location] = doc; + } + }); + console.log('Lunr index built, search ready'); + } + allowSearch = true; + postMessage({config: data.config}); + postMessage({allowSearch: allowSearch}); +} + +function init () { + var oReq = new XMLHttpRequest(); + oReq.addEventListener("load", onJSONLoaded); + var index_path = base_path + '/search_index.json'; + if( 'function' === typeof importScripts ){ + index_path = 'search_index.json'; + } + oReq.open("GET", index_path); + oReq.send(); +} + +function search (query) { + if (!allowSearch) { + console.error('Assets for search still loading'); + return; + } + + var resultDocuments = []; + var results = index.search(query); + for (var i=0; i < results.length; i++){ + var result = results[i]; + doc = documents[result.ref]; + doc.summary = doc.text.substring(0, 200); + resultDocuments.push(doc); + } + return resultDocuments; +} + +if( 'function' === typeof importScripts ) { + onmessage = function (e) { + if (e.data.init) { + init(); + } else if (e.data.query) { + postMessage({ results: search(e.data.query) }); + } else { + console.error("Worker - Unrecognized message: " + e); + } + }; +} diff --git a/documentation/site/sitemap.xml b/documentation/site/sitemap.xml new file mode 100644 index 0000000..0f8724e --- /dev/null +++ b/documentation/site/sitemap.xml @@ -0,0 +1,3 @@ + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Como utilizar
+Nesta seção, você encontrará as seguintes informações sobre o Ro-DOU:
+-
+
- Instalação e configuração +
- Ambiente local e ambiente de produção +
- Usuários internos e externos ao Ministério da Gestão e da Inovação em Serviços Públicos +
- Notificação de erros na execução das DAGs do Apache Airflow +
Instalação e configuração
+Configurando o ambiente local 'Hello World'
+O código-fonte está disponibilizado no perfil do GitHub do Ministério da Gestão e da Inovação em Serviços Públicos.
+Neste título, fornecemos abaixo uma configuração demonstrativa para que você possa executar o Ro-DOU no seu computador. Para isso, é necessário ter o Docker Compose na versão 1.29 ou maior instalado. Os passos para a instalação estão disponíveis em https://docs.docker.com/compose/install/ ou em tutoriais no YouTube.
+Após clonar o repositório do Ro-DOU para o seu computador com o comando git clone, acesse o diretório pelo terminal e execute os comandos a seguir:
make run
+Este comando baixa as imagens Docker necessárias, efetua o build do container Docker do Ro-DOU e executa todos os demais passos necessários.
+O Apache Airflow, que também é usado para rodar o Ro-DOU, pode demorar alguns minutos para se configurar na primeira vez. Posteriormente, ele estará disponível em http://localhost:8080/. Para se autenticar e acessar o Apache Airflow, entre no link e utilize login airflow e senha airflow.
Na página sobre o que é o Ro-DOU, explicamos o que é um grafo acíclico dirigido (DAG) do Airflow e como obter mais informações sobre este conceito.
+Na tela inicial do Airflow, são fornecidos clippings de exemplo. A partir dos arquivos YAML (.yaml) do diretório dag_confs/, é possível manipular e customizar as pesquisas de clipping desejadas nos diários oficiais. Dentro dos arquivos YAML, é possível, por exemplo, definir palavras-chave de busca e um endereço de e-mail para recebimento de uma mensagem com os resultados da busca no(s) diário(s) oficial(is).
Para executar qualquer DAG do Airflow, é necessário ligá-la. Inicialmente, todas as DAGs ficam pausadas por padrão. Sugerimos começar testando o clipping all_parameters_example. Utilize o botão toggle para ligá-lo. Após ativá-lo, o Airflow executará a DAG uma única vez. Clique no nome da DAG +para visualizar o detalhe da execução.
+Você observará que, tanto na visualização em árvore (Tree) como na visualização em Grafo (Graph) dentro do Apache Airflow, é possível constatar se houve algum resultado encontrado na API da Imprensa Nacional para os termos e demais parâmetros deste clipping. Se a tarefa chamada "send_report" estiver na cor verde, significa que foi encontrado um resultado e que uma mensagem de e-mail foi enviada para o endereço configurado no arquivo YAML.
+Para visualizar a mensagem de e-mail, acesse o endereço http://localhost:5001/. Este é um serviço que simula uma caixa de e-mail (servidor SMTP) para fins de experimentação. Voilà!.
+Lembre-se que o arquivo de configuração deste clipping está na pasta dag_confs/. Confira aqui no GitHub o conteúdo do arquivo YAML.
Agora, faremos um segundo teste: o clipping terms_from_variable, seguindo os mesmo passos. Neste caso, os termos pesquisados estão listados em uma variável do Airflow e podem ser modificados pela interface gráfica. Acesse no menu Admin >> Variables ou pela URL http://localhost:8080/variable/list/.
+Leia a seção Configurando em Produção para instalar o Ro-dou utilizando um provedor SMTP real que enviará os e-mails para os destinatários verdadeiros.
+Observação: Para utilizar o source: - INLABS, é necessário criar a conexão inlabs_db no Apache Airflow, apontando para o banco Postgres que está carregado com os dados do inlabs. Você poderá encontrar aqui um exemplo de como carregar um banco com os dados do inlabs: ro-dou_inlabs_load_pg_dag.py.
Quando tiver terminado de utilizar o ambiente de teste do Ro-DOU, desligue-o por meio do seguinte comando:
+make down
+Configurando o ambiente de produção
+Para utilizar o Ro-DOU em ambiente de produção, é necessário que o servidor tenha disponível um serviço SMTP que será utilizado pelo Apache Airflow para envio de mensagens de e-mail pela Internet. Siga os seguintes passos:
+-
+
-
+
Utilize as credenciais do serviço SMTP (host, usuário, senha, porta etc.) +para editar o arquivo
+docker-compose.yml, substituindo as variáveis referentes ao serviço SMTP, a exemplo deAIRFLOW__SMTP__SMTP_HOST.
+ -
+
Ao final do arquivo
+docker-compose.yml, remova as linhas que declaram o +serviço smtp4dev, uma vez que ele não será mais necessário.
+
Uma vez executados esses passos, basta agora inicializar o Ro-DOU por meio do comando:
+make run
+Usuários internos e externos
+Usuários do Ministério da Gestão e da Inovação em Serviços Públicos
+Para as unidades do Ministério da Gestão e da Inovação em Serviços Públicos que desejem solicitar a utilização de clippings via Ro-DOU, a Secretaria de Gestão e Inovação do MGI está disponível para auxiliá-las a configurar o serviço.
+É preciso que a unidade interessada encaminhe as seguintes informações para o endereço seges.cginf@gestao.gov.br:
+-
+
- texto do assunto do e-mail que conterá o relatório do Ro-DOU; +
- lista de termos (palavras-chaves) para a pesquisa, separadas linha a linha; +
- seção ou seções do DOU que deverá(ão) ser pesquisada(s); +
- horário e dias da semana para realização da pesquisa e envio do relatório (por padrão, ocorre às 9h da manhã, de segunda-feira a sexta-feira); e +
- lista com os endereços de e-mail que receberão o relatório do Ro-DOU. +
Usuários externos (de fora do MGI)
+Usuários de órgãos públicos que não sejam unidades do Ministério da Gestão e da Inovação em Serviços Públicos poderão enviar dúvidas ou comentários ao endereço seges.cginf@gestao.gov.br.
+Notificação de erros na execução das DAGs
+É importante recordar que o Ro-DOU permite o envio de mensagens via Slack quando ocorre alguma falha na execução da DAG no Apache Airflow. Para usar essa funcionalidade, efetue as seguintes configurações:
+-
+
-
+
Criar o app no Slack conforme orientações do vídeo How to Add Slack Notifications to Your Airflow DAG's with Airflow Notifiers.
+
+ -
+
Criar uma conexão no Apache Airflow com a seguinte configuração:
+
+ -
+
+Connection Id=slack_notify_rodou_dagrun
+ Connection Type=Slack API
+Description={"channel": "nome-do-channel-para-mandar-mensagem"}
+Slack API Token=obtido no passo 1
+
+
+
+
+ « Previous
+
+
+ Next »
+
+
+
+
+
+
+
+
+
+
+
+