Linux块层多队列之援用内核

为什么引入多队列：多队列相对与单队列来说，每个cpu上都有一个软队列(使用blk_mq_ctx结构表示)避免插入request的时候使用spinlock锁，而且如今的高速存储设备，比如支持nvme的ssd(小弟刚买了一块，速度确实快),访问延迟非常小，而且本身硬件就支持多队列,(引入的多队列使用每个硬件队列hctx->delayed_work替换了request_queue->delay_work) 以前的单队列架构已经不能榨干它的性能，而且成为了它的累赘,单队列在插入request和泄流到块设备驱动时，一直有request_queue上的全局spinlock锁，搞得人们都想直接bypass块层的冲动。

单队列插入request时会使用request_queue上的全局spinlock锁

blk_queue_bio() 

{ 

    ... 

    spin_lock_irq(q->queue_lock); 

    elv_merge（） 

    spin_lock_irq(q->queue_lock); 

    ... 

} 

单队列泄流到块设备驱动时也是使用request_queue上的全局spinlock锁:

struct request_queue *blk_alloc_queue_node（） 

  INIT_DELAYED_WORK(&q->delay_work, blk_delay_work); 

blk_delay_work() 

  __blk_run_queue() 

    q->request_fn(q); 

__blk_run_queue()函数必须在队列锁中，也就是spin_lock_irq(q->queue_lock);

281  * __blk_run_queue - run a single device queue 

 282  * @q:  The queue to run 

 283  * 

 284  * Description: 

 285  *    See @blk_run_queue. This variant must be called with the queue lock 

 286  *    held and interrupts disabled. 

 287  */      

 288 void __blk_run_queue(struct request_queue *q) 

 289 {        

 290         if (unlikely(blk_queue_stopped(q))) 

 291                 return; 

 292  

 293         __blk_run_queue_uncond(q); 

 294 } 

多队列插入request时没有使用spinlock锁:

blk_mq_insert_requests() 

  __blk_mq_insert_request() 

    struct blk_mq_ctx *ctx = rq->mq_ctx; (每cpu上的blk_mq_ctx) 

    list_add_tail(&rq->queuelist, &ctx->rq_list) 

多队列泄流到块设备驱动也没有使用spinlock锁：

static int blk_mq_init_hw_queues() 

  INIT_DELAYED_WORK(&hctx->delayed_work, blk_mq_work_fn); 

 708 static void blk_mq_work_fn(struct work_struct *work) 

 709 {                

 710         struct blk_mq_hw_ctx *hctx; 

 711                  

 712         hctx = container_of(work, struct blk_mq_hw_ctx, delayed_work.work); 

 713         __blk_mq_run_hw_queue(hctx); 

 714 } 

__blk_mq_run_hw_queue()   

    没有spinlock锁 

  q->mq_ops->queue_rq(hctx, rq); 执行多队列上的->queue_rq()回调函数 

从下图可以看出系统使用多队列之后的性能提升:

（编辑：大连站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!