豆瓣评论限制问题

[dxz6160]

豆瓣的影评现在只能最多查看500页的信息，请问是怎么做到爬取数万条影评信息的呢？

[jinhuakst]

这些数据不是我们抓取的，我们搜集论文或网络上比较好的数据，加工成统一规范的格式，然后再发布出来。原始数据是 Erheng Zhong 博士 为在 KDD'12, TKDD'14, SDM'12 上发表论文而收集的数据。可以咨询他是如何做到的。原始数据集链接在此 https://sites.google.com/site/erhengzhong/datasets
不过，我想也有可能是几年前没有豆瓣对数据抓取没有这么严格的限制，现在可能做了更严格的限制。