Skip to content

Aries-Xiang/first_crawler

Repository files navigation

first_crawler

第一次小爬虫 该爬虫结构十分简单,主要由四部分组成:

  1. 调度程序
  2. url管理器:管理已下载及待下载的url
  3. url下载器:下载url页面代码
  4. url解析器:解析页面代码中待爬取数据

该爬虫爬取维基百科python页面中与python有关的链接数据

About

第一次个小爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors