這是一個用 Perl 編寫的台灣便利商店資料爬蟲專案,可以抓取各大便利商店的店鋪資訊。
- 7-Eleven (711/) - 統一超商店鋪資料
- FamilyMart (FamilyMart/) - 全家便利商店資料
- Hi-Life (HiLife/) - 萊爾富便利商店資料
- OK mart (OKmark/) - OK 超商資料
- WuTau (wutau/) - 五桃超商資料
- BuyGood (buygood/) - 百貨資料
- JengJong (jengjong/) - 正忠排骨飯資料
每個便利商店資料夾都包含:
grap.pl- 主要爬蟲程式csv/- 輸出的 CSV 資料檔案Shop_info.csv- 店鋪基本資訊merge.pl- 資料合併程式grap.md- 該便利商店的爬蟲說明
lib/MyDB.pm- 資料庫操作模組grap_template/- 爬蟲程式範本
- 進入對應的便利商店資料夾
- 執行
perl grap.pl開始爬取資料 - 爬取完成後執行
perl merge.pl合併資料
- 請遵守網站的 robots.txt 和使用條款
- 適當設置爬蟲間隔時間,避免對網站造成負擔
- 資料僅供學習研究使用
- Perl 5.x
- 相關 Perl 模組(詳見各資料夾內的說明)