node.js製作一個爬蟲

[BenhuangBot]

目的

我想要用node.js製作一個爬蟲來抓取特定網站上的資料，這些資料需要登錄網站後才看得到，我有該網站的帳號密碼，請問我應該怎樣下手比較好？

[poying]

剛好有個範例 https://github.com/taiwan/tocwc-data

如果需要讓網站執行 js 那讓程式開瀏覽器抓取資料比較簡單，如同上面那個範例。其他情況只需要確保每個 http request 都有帶 cookie，response 回來的 cookie 也都有存下來供發 request 使用即可。至於怎的處理 cookie 就要看你用那套 library。

CI build error 是因為懶的修，功能是對的

[BenhuangBot]

太感謝大大了︿﹍﹍︿ 拍謝因為Gmail把這封信丟到垃圾桶＝＝現在才看到非常抱歉 Po-Ying Chen <[email protected]> 於 2018年1月8日 下午7:08 寫道：

…

剛好有個範例 https://github.com/taiwan/tocwc-data 如果需要讓網站執行 js 那讓程式開瀏覽器抓取資料比較簡單，如同上面那個範例。其他情況只需要確保每個 http request 都有帶 cookie，response 回來的 cookie 也都有存下來供發 request 使用即可。至於怎的帶 cookie 就要看你用那套 library。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#31 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AfhLSYfFbakslarKu9mj6xFWvrHCgXTDks5tIfdKgaJpZM4RVn_Z> .

-- 黃韋霖(BEN)，專長是圖型演算法，善於解決程式等等問題。 手機：0970820256 電子郵件：[email protected]