Skip to content

lyctea/node-crawler-system

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

feature

  • 自动加载中间件;自动加载 schema
  • 日志处理 log4js
  • 封装的限制次数的错误重试 request
  • 使用任务调度 cron.js
  • 生产者模式的 ip 代理池, 自动补充代理 ip
  • nodemon 监听文件,开发环境热加载
  • 使用 node event 事件封装

todo-list

  • docker 容器部署
  • 断点重爬
  • 爬虫数据更新
  • 爬虫状态监控
  • 其他...

links

Nodejs 定时执行(node-cron)

nodejs 生产者跟消费者有没有好的解决方法

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published