Nginx，永远滴神！

发布时间：2021-07-02 20:33:54来源：51CTO技术栈

关注51CTO技术栈，悦享技术，成就CTO梦想

“

Nginx以其高性能，稳定性，丰富的功能，简单的配置和低资源消耗而闻名。这几年，Nginx逐渐成为国内使用最广泛的Web服务器，无论是创业公司还是一线大厂都在用。本文为大家讲解Nginx架构原理！

图片来自Pexels

Nginx基础架构

Nginx启动后以daemon形式在后台运行，后台进程包含一个master进程和多个worker进程。

如下图所示：

master与worker

Nginx是由一个master管理进程，多个worker进程处理工作的多进程模型。

基础架构设计，如下图所示：

基础架构设计

master负责管理worker进程，worker进程负责处理网络事件。整个框架被设计为一种依赖事件驱动、异步、非阻塞的模式。

如此设计的优点：

可以充分利用多核机器，增强并发处理能力。

多worker间可以实现负载均衡。

Master监控并统一管理worker行为。在worker异常后，可以主动拉起worker进程，从而提升了系统的可靠性。

并且由Master进程控制服务运行中的程序升级、配置项修改等操作，从而增强了整体的动态可扩展与热更的能力。

Master进程

①核心逻辑

master进程的主逻辑在ngx_master_process_cycle，核心关注源码：

ngx_master_process_cycle(ngx_cycle_t*cycle){...ngx_start_worker_processes(cycle,ccf->worker_processes,NGX_PROCESS_RESPAWN);...for(;;){if(delay){...}ngx_log_debug0(NGX_LOG_DEBUG_EVENT,cycle->log,0,"sigsuspend");sigsuspend(&set);ngx_time_update();ngx_log_debug1(NGX_LOG_DEBUG_EVENT,cycle->log,0,"wakeup,sigio%i",sigio);if(ngx_reap){ngx_reap=0;ngx_log_debug0(NGX_LOG_DEBUG_EVENT,cycle->log,0,"reapchildren");live=ngx_reap_children(cycle);}if(!live&&(ngx_terminate||ngx_quit)){...}if(ngx_terminate){...}if(ngx_quit){...}if(ngx_reconfigure){...}if(ngx_restart){...}if(ngx_reopen){...}if(ngx_change_binary){...}if(ngx_noaccept){ngx_noaccept=0;ngx_noaccepting=1;ngx_signal_worker_processes(cycle,ngx_signal_value(NGX_SHUTDOWN_SIGNAL));}}}

由上述代码，可以理解，master进程主要用来管理worker进程，具体包括如下4个主要功能：

接受来自外界的信号。其中master循环中的各项标志位就对应着各种信号，如：ngx_quit代表QUIT信号，表示优雅的关闭整个服务。

向各个worker进程发送信。比如ngx_noaccept代表WINCH信号，表示所有子进程不再接受处理新的连接，由master向所有的子进程发送QUIT信号量。

监控worker进程的运行状态。比如ngx_reap代表CHILD信号，表示有子进程意外结束，这时需要监控所有子进程的运行状态，主要由ngx_reap_children完成。

当woker进程退出后（异常情况下），会自动重新启动新的woker进程。主要也是在ngx_reap_children。

②热更

热重载-配置热更：

热重载

Nginx热更配置时，可以保持运行中平滑更新配置，具体流程如下：

更新nginx.conf配置文件，向master发送SIGHUP信号或执行nginx-sreload

master进程使用新配置，启动新的worker进程

使用旧配置的worker进程，不再接受新的连接请求，并在完成已存在的连接后退出

热升级

Nginx热升级过程如下：

将旧Nginx文件换成新Nginx文件（注意备份）

向master进程发送USR2信号（平滑升级到新版本的Nginx程序）

master进程修改pid文件号，加后缀.oldbin

master进程用新Nginx文件启动新master进程，此时新老master/worker同时存在。

向老master发送WINCH信号，关闭旧worker进程，观察新worker进程工作情况。

若升级成功，则向老master进程发送QUIT信号，关闭老master进程；若升级失败，则需要回滚，向老master发送HUP信号（重读配置文件），向新master发送QUIT信号，关闭新master及worker。

Worker进程

worker进程的主逻辑在ngx_worker_process_cycle，核心关注源码：

ngx_worker_process_cycle(ngx_cycle_t*cycle,void*data){ngx_int_tworker=(intptr_t)data;ngx_process=NGX_PROCESS_WORKER;ngx_worker=worker;ngx_worker_process_init(cycle,worker);ngx_setproctitle("workerprocess");for(;;){if(ngx_exiting){...}ngx_log_debug0(NGX_LOG_DEBUG_EVENT,cycle->log,0,"workercycle");ngx_process_events_and_timers(cycle);if(ngx_terminate){...}if(ngx_quit){...}if(ngx_reopen){...}}}

由上述代码，可以理解，worker进程主要在处理网络事件，通过ngx_process_events_and_timers方法实现，其中事件主要包括：网络事件、定时器事件。

②事件驱动-epoll

worker进程在处理网络事件时，依靠epoll模型，来管理并发连接，实现了事件驱动、异步、非阻塞等特性。

如下图所示：

infographic-Inside-NGINX_nonblocking

通常海量并发连接过程中，每一时刻（相对较短的一段时间），往往只需要处理一小部分有事件的连接即活跃连接。

基于以上现象，epoll通过将连接管理与活跃连接管理进行分离，实现了高效、稳定的网络IO处理能力。

网络模型对比

其中，epoll利用红黑树高效的增删查效率来管理连接，利用一个双向链表来维护活跃连接。

epoll数据结构

③惊群

由于worker都是由master进程fork产生，所以worker都会监听相同端口。

这样多个子进程在accept建立连接时会发生争抢，带来著名的“惊群”问题。

worker核心处理逻辑ngx_process_events_and_timers核心代码如下：

voidngx_process_events_and_timers(ngx_cycle_t*cycle){//这里面会对监听socket处理...if(ngx_accept_disabled>0){ngx_accept_disabled--;}else{//获得锁则加入wait集合,if(ngx_trylock_accept_mutex(cycle)==NGX_ERROR){return;}...//设置网络读写事件延迟处理标志，即在释放锁后处理if(ngx_accept_mutex_held){flags|=NGX_POST_EVENTS;}}...//这里面epollwait等待网络事件//网络连接事件，放入ngx_posted_accept_events队列//网络读写事件，放入ngx_posted_events队列(void)ngx_process_events(cycle,timer,flags);...//先处理网络连接事件，只有获取到锁，这里才会有连接事件ngx_event_process_posted(cycle,&ngx_posted_accept_events);//释放锁，让其他进程也能够拿到if(ngx_accept_mutex_held){ngx_shmtx_unlock(&ngx_accept_mutex);}//处理网络读写事件ngx_event_process_posted(cycle,&ngx_posted_events);}

由上述代码可知，Nginx解决惊群的方法：

将连接事件与读写事件进行分离。连接事件存放为ngx_posted_accept_events，读写事件存放为ngx_posted_events。

设置ngx_accept_mutex锁，只有获得锁的进程，才可以处理连接事件。

④负载均衡

worker间的负载关键在于各自接入了多少连接，其中接入连接抢锁的前置条件是ngx_accept_disabled>0，所以ngx_accept_disabled就是负载均衡机制实现的关键阈值。

ngx_int_tngx_accept_disabled;ngx_accept_disabled=ngx_cycle->connection_n/8-ngx_cycle->free_connection_n;

因此，在nginx启动时，ngx_accept_disabled的值就是一个负数，其值为连接总数的7/8。

当该进程的连接数达到总连接数的7/8时，该进程就不会再处理新的连接了。

同时每次调用'ngx_process_events_and_timers'时，将ngx_accept_disabled减1，直到其值低于阈值时，才试图重新处理新的连接。

因此，Nginx各worker子进程间的负载均衡仅在某个worker进程处理的连接数达到它最大处理总数的7/8时才会触发，其负载均衡并不是在任意条件都满足。

如下图所示：

实际工作情况

其中'pid'为1211的进程为master进程，其余为worker进程。

思考

作者：handsomeli，腾讯IEG后台开发工程师

编辑：陶家龙

出处：转载自公众号腾讯技术工程（ID：Tencent_TEG）

精彩文章推荐：