Skip to content

LukeCS01/crawers

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

55 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

(一):根据微博用户名称爬微博的关注列表、粉丝列表、微博列表的爬虫。 1).使用代理池 2).微博模拟登录

(二):爬取shunqi网的相关信息 1).数据存入mysql 2).使用代理池

(三):根据商品名称爬取淘宝相应的评价数据 1).selenium爬取 2).MongoDB存储

(四):爬取链家网的楼盘数据 1).scrapy框架

(五) : 爬取58租房信息(验证码问题暂时没解决)

(六) : 美团外卖和美团租房(token问题暂时没解决)

(七):中国票房网的影库信息

爬虫用到的代理池使用大神搭建的scylla框架

About

crawer

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • JavaScript 53.5%
  • Python 39.7%
  • HTML 6.8%