-
Notifications
You must be signed in to change notification settings - Fork 3
/
Copy pathLAB404.R
144 lines (117 loc) · 4.91 KB
/
LAB404.R
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
####################################################################################
# #
# LAB404 - Experimentos de Webscraping e Análise #
# #
#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3#3
rm(list=ls())
options(warn=-1)
options(show.error.messages = T)
library(XML)
library(magrittr)
baseurl <- "http://www.lab404.ufba.br/?paged=xxx"
dados <- data.frame()
for (i in 1:25){
print(i)
url <- gsub("xxx", i, baseurl)
url.conteudo <- url %>% readLines %>% htmlParse %>% xmlRoot
## Titulos das Postagens
titulos <- getNodeSet(url.conteudo, "//h2/a")
titulos <- xmlSApply(titulos, xmlValue)
## Autores das Postagens
autores <- getNodeSet(url.conteudo, "//span/span/a")
autores <- xmlSApply(autores, xmlValue)
## Datas das Postagens
data <- getNodeSet(url.conteudo, "//a/time")
data <- xmlSApply(data, xmlGetAttr, name = "datetime")
## Links das Postagens
links.dos.titulos <- getNodeSet(url.conteudo, "//h2/a")
links.dos.titulos <- xmlSApply(links.dos.titulos, xmlGetAttr, name = "href")
dados <- rbind(dados, cbind(titulos, autores, data,links.dos.titulos))
}
#####
#Se quiser, pode ser criada um planilha com uma parte do conteúdo do blog.
write.csv(dados, "lab404_titulo_autores_data_links.csv")
####
## Etapa 2: pegar o conteúdos dos post
## Primeira coisa: criar um objetos com todos os links que estão em dados
links.posts <- dados$links.dos.titulos
dados.posts <- data.frame()
for (url in links.posts){
print(url)
textos.posts <- xmlRoot(htmlParse(readLines(url)))
textos.posts <- getNodeSet(textos.posts, "//article/div/div")
textos.posts <- xmlSApply(textos.posts, xmlValue)
dados.posts <- rbind(dados.posts, cbind(textos.posts))
}
write.table(dados.posts$, "posts-lab404.csv")
dates <- as.Date(dados$data)
#### Histograma de Posts
hist(dates, "years",
axis = T,
main = "Frequência de Postagens no site LAB404 por ano (2009-2018)",
xlab = "Ano",
ylab = "frequências absolutas",
plot = T,
ylim = 0,30,by=10)
### Analisando os dados
#install.packages("plyr")
#install.packages("tm") # for text mining
#install.package("SnowballC") # for text stemming
#install.packages("wordcloud") # word-cloud generator
#install.packages("RColorBrewer") # color palettes
library(plyr)
x = count(dados$autores, c())
x <- x[order(x$freq),]
barplot(x$freq, names.arg = x$x, col = "blue", main = "Número de posts por autor no blog LAB404.COM")
text(x= values+4,labels=as.character(values), pos=1, offset=.7, xpd=TRUE, col = "red")
#hist(x$freq, col=heat.colors(max_num), breaks=max_num,
# xlim=c(0,max_num), right=F, main="Número de posts por autor no blog LAB404.COM", las=1)
Testando
# Load
library("tm")
library("SnowballC")
library("wordcloud")
library("RColorBrewer")
# Load the data as a corpus
docs <- Corpus(VectorSource(dados.posts$textos.posts))
toSpace <- content_transformer(function (x , pattern ) gsub(pattern, " ", x))
docs <- tm_map(docs, toSpace, "/")
docs <- tm_map(docs, toSpace, "@")
docs <- tm_map(docs, toSpace, "\\|")
# Convert the text to lower case
docs <- tm_map(docs, content_transformer(tolower))
# Remove numbers
docs <- tm_map(docs, removeNumbers)
# Remove english common stopwords
docs <- tm_map(docs, removeWords, stopwords(kind = "pt"), stopwords(kind = "en"))
# Remove your own stop word
# specify your stopwords as a character vector
docs <- tm_map(docs, removeWords, c("mas","por","como","dos","das","para","and","com","uma","the","que","lana","ncia","lab", "semana", "links", "capítulo","sobre", "coisas", "resenha"))
# Remove punctuations
docs <- tm_map(docs, removePunctuation)
# Eliminate extra white spaces
docs <- tm_map(docs, stripWhitespace)
# Text stemming
# docs <- tm_map(docs, stemDocument)
dtm <- TermDocumentMatrix(docs)
m <- as.matrix(dtm)
v <- sort(rowSums(m),decreasing=TRUE)
d <- data.frame(word = names(v),freq=v)
head(d, 10)
set.seed(1234)
wordcloud(words = d$word, freq = d$freq, min.freq = 1,
max.words=200, random.order=FALSE, rot.per=0.35,
colors=brewer.pal(8, "Dark2"))
#########################
findFreqTerms(dtm, lowfreq = 4)
findAssocs(dtm, terms = "pesquisa", corlimit = 0.3)
barplot(d[1:10,]$freq, las = 2, names.arg = d[1:10,]$word,
col ="lightblue", main ="Palavras mais Frequentes",
ylab = "Frequência de Palavras")
### Criar o csv dos data.frames
write.csv(dados, "dados-lab404.csv")
### Há valores em branco nos posts que eu gostaria de eliminar
### mas ainda não consegui
##### Frenquecia dos Posts
x <- as.Date(dados$data)
basic.histogram <- hist(x,main="Frequência de postagens do Site Lab404.net", breaks = "year",col="grey", plot = T)