Skip to content

YMhao/CoroutinePool

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

概述

Coroutine Pool

这是一个协程池, 用户处理大负载情况,降低延时

主要基于以下两点考虑: 1、要有一个缓冲的队列。 2、控制产生的协程的数量。

如何处理大负载,降低延时

简单地使用goroutine能满足中小型负载, 代码如下

   go func(){
       // to do
   }()

但是这样我们没法控制产生的go routine的数量,当请求量很大的时候,这样的代码很快就崩溃了。

改进(但问题依然存在,不能很好地控制任务并行的数量)

var JobQueue = make(chan Payload, MAX_JOB_QUEUE)

func StartProcessor() {
    for {
        select {
        case job := <-JobQueue:
            //to do
        }
    }
}

这样做有一个存放任务的队列,但是不能控制任务队列的并发量。

那么如何解决呢?

这里使用了二级channel的方法来解决这个问题。 第一级:有一个存放任务的缓冲队列。 第二级:控制任务队列的并发数(对worker的数量进行控制)。

该协程池特点

1、使用简单, 扩展方便 .
2、负载的结构体可以进行自定义, 实现Call()方法即可。

接口说明

接口有4个: 1、新建二级缓存。 2、开始工作。 2、推送负载。 3、停止工作。

新建二级缓存(一个分配器):

// NewDispatcher -- maxQueue 任务队列的缓存大小, maxWorkers 工作携程的数量(控制并行数)
func NewDispatcher(maxQueue, maxWorkers int) *Dispatcher

开始工作:

func (d *Dispatcher) Run()

推送负载:

// Payload -- Payload interface
// worker 将会从 Job 中获取 payload, 执行该payload的call方法
type Payload interface {
	Call()
}
// PushPayload -- Push a payload
func (d *Dispatcher) PushPayload(payload Payload)

停止工作:

func (d *Dispatcher) Stop()

About

golang实现的协程池,有效处理高负载,降低时延

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages