Nginx使用常见问题汇总
# reload与restart区别
reload --重新加载,reload会重新加载配置文件,Nginx服务不会中断。而且reload时会测试conf语法等,如果出错会rollback用上一次正确配置文件保持正常运行。
restart --重启(先stop后start),会重启Nginx服务。这个重启会造成服务一瞬间的中断,如果配置文件出错会导致服务启动失败,那就是更长时间的服务中断了。
所以,如果是线上的服务,修改的配置文件一定要备份。为了保证线上服务高可用,最好使用reload。
reload 只是重新加载配置文件,不会清理nginx 的一些缓存,在有些需要清理缓存的场景需要restart ,例如upstream 后端配置的集群服务地址是域名而不是ip,当后端IP 变了,就需要清除该域名的解析缓存,此时需要重启而不是reload。
# Nginx实现高并发的原理
# 如何提高Web服务器的并发连接处理能力
大概有几个基本条件:
- 基于线程,即一个进程生成多个线程,每个线程响应用户的每个请求。
- 基于事件的模型,一个进程处理多个请求,并且通过epoll机制来通知用户请求完成。
- 基于磁盘的AIO(异步I/O)
- 支持mmap内存映射,mmap传统的web服务器,进行页面输入时,都是将磁盘的页面先输入到内核缓存中,再由内核缓存中复制一份到web服务 器上,mmap机制就是让内核缓存与磁盘进行映射,web服务器,直接复制页面内容即可。不需要先把磁盘的上的页面先输入到内核缓存去。
# 多进程的工作模式
Nginx 采用的是多进程(单线程) + 多路IO复用模型,就成了”并发事件驱动“的服务器。
- Nginx 在启动后,会有一个 master 进程和多个相互独立的 worker 进程。
- 接收来自外界的信号,向各worker进程发送信号,每个进程都有可能来处理这个连接。
- master 进程能监控 worker 进程的运行状态,当 worker 进程退出后(异常情况下),会自动启动新的 worker 进程
- worker 进程数,一般会设置成机器 cpu 核数。因为更多的worker 数,只会导致进程相互竞争 cpu,从而带来不必要的上下文切换。
【总结】: 使用多进程模式,不仅能提高并发率,而且进程之间相互独立,一个 worker 进程挂了不会影响到其他 worker 进程。
# 惊群现象
主进程(master 进程)首先通过 socket() 来创建一个 sock 文件描述符用来监听,然后fork生成子进程(workers 进程),子进程将继承父进程的 sockfd(socket 文件描述符),之后子进程 accept() 后将创建已连接描述符(connected descriptor)),然后通过已连接描述符来与客户端通信。 由于所有子进程都继承了父进程的 sockfd,那么当连接进来时,所有子进程都将收到通知并“争着”与它建立连接,这就叫“惊群现象”。大量的进程被激活又挂起,只有一个进程可以accept() 到这个连接,这当然会消耗系统资源。 Nginx 提供了一个 accept_mutex 这个东西,这是一个加在accept上的一把共享锁。即每个 worker 进程在执行 accept 之前都需要先获取锁,获取不到就放弃执行 accept()。有了这把锁之后,同一时刻,就只会有一个进程去 accpet(),这样就不会有惊群问题了。accept_mutex 是一个可控选项,我们可以显示地关掉,默认是打开的。
# IO多路复用模型epoll
- epoll() ,内核维护一个链表,epoll_wait 直接检查链表是不是空就知道是否有文件描述符准备好了。内核实现epoll 是根据每个 sockfd 上面的与设备驱动程序建立起来的 回调函数 实现的。那么,某个 sockfd 上的事件发生时,与它对应的回调函数就会被调用,来把这个 sockfd 加入链表,其他处于“空闲的”状态的则不会。
- select() ,内核采用 轮训 的方法来查看是否有fd 准备好,其中的保存 sockfd 的是类似数组的数据结构 fd_set,key 为 fd,value 为 0 或者 1。
- poll()
【总结】:epoll 与 select 相比最大的优点是不会随着 sockfd 数目增长而降低效率。
# Nginx的log日志配置
Nginx日志对于统计、系统服务排错很有用。Nginx日志主要分为两种:access_log(访问日志)和error_log(错误日志)。通过访问日志我们可以得到用户的IP地址、浏览器的信息,请求的处理时间等信息。错误日志记录了访问出错的信息,可以帮助我们定位错误的原因。本文将详细描述一下如何配置Nginx日志。
# 设置access_log
访问日志主要记录客户端的请求。客户端向Nginx服务器发起的每一次请求都记录在这里。客户端IP,浏览器信息,referer,请求处理时间,请求URL等都可以在访问日志中得到。当然具体要记录哪些信息,你可以通过log_format指令定义。
access_log设置语法
access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
#设置访问日志
access_log off;
#关闭访问日志
path
指定日志的存放位置。format
指定日志的格式。默认使用预定义的combined。buffer
用来指定日志写入时的缓存大小。默认是64k。gzip
日志写入前先进行压缩。压缩率可以指定,从1到9数值越大压缩比越高,同时压缩的速度也越慢。默认是1。flush
设置缓存的有效时间。如果超过flush指定的时间,缓存中的内容将被清空。if
条件判断。如果指定的条件计算为0或空字符串,那么该请求不会写入日志。
另外,还有一个特殊的值off。如果指定了该值,当前作用域下的所有的请求日志都被关闭。
# 作用域
可以应用access_log
指令的作用域分别有http
,server
,location
,limit_except
。也就是说,在这几个作用域外使用该指令,Nginx
会报错。
以上是access_log
指令的基本语法和参数的含义。下面我们看一几个例子加深一下理解。
# 基本用法
access_log /var/logs/nginx-access.log
该例子指定日志的写入路径为/var/logs/nginx-access.log
,日志格式使用默认的combined
。
access_log /var/logs/nginx-access.log buffer=32k gzip flush=1m
该例子指定日志的写入路径为/var/logs/nginx-access.log
,日志格式使用默认的combined
,指定日志的缓存大小为32k,日志写入前启用gzip
进行压缩,压缩比使用默认值1,缓存数据有效时间为1分钟。
# 使用log_format
自定义日志格式
Nginx预定义了名为combined
日志格式,如果没有明确指定日志格式默认使用该格式:
log_format combined '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent"';
2
3
如果不想使用Nginx预定义的格式,可以通过log_format
指令来自定义。
下面是log_format
指令中常用的一些变量:
变量 | 含义 |
---|---|
$bytes_sent | 发送给客户端的总字节数 |
$body_bytes_sent | 发送给客户端的字节数,不包括响应头的大小 |
$connection | 连接序列号 |
$connection_requests | 当前通过连接发出的请求数量 |
$msec | 日志写入时间,单位为秒,精度是毫秒 |
$pipe | 如果请求是通过http流水线发送,则其值为"p",否则为“." |
$request_length | 请求长度(包括请求行,请求头和请求体) |
$request_time | 请求处理时长,单位为秒,精度为毫秒,从读入客户端的第一个字节开始,直到把最后一个字符发送张客户端进行日志写入为止 |
$status | 响应状态码 |
$time_iso8601 | 标准格式的本地时间,形如“2017-05-24T18:31:27+08:00” |
$time_local | 通用日志格式下的本地时间,如"24/May/2017:18:31:27 +0800" |
$http_referer | 请求的referer地址。 |
$http_user_agent | 客户端浏览器信息。 |
$remote_addr | 客户端IP |
$http_x_forwarded_for | 当前端有代理服务器时,设置web节点记录客户端地址的配置,此参数生效的前提是代理服务器也要进行相关的x_forwarded_for设置。 |
$request | 完整的原始请求行,如 "GET / HTTP/1.1" |
$remote_user | 客户端用户名称,针对启用了用户认证的请求 |
$request_uri | 完整的请求地址,如 "https://www.imydl.com" |
$brotli_ratio | Brotli压缩算法模块压缩比 |
在access_log和log_format中使用了很多变量,这些变量没有一一列举出来,详细的变量信息可以参考【Nginx官方文档 (opens new window)】
# 下面演示一下自定义日志格式的使用:
access_log /var/logs/nginx-access.log main;
log_format main '$clientRealIP - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'[$brotli_ratio] '
'"$http_user_agent"';
2
3
4
我们使用log_format
指令定义了一个main
的格式,并在access_log
指令中引用了它。假如客户端有发起请求:https://www.imydl.com (opens new window),我们看一下我截取的一个请求的日志记录:
203.208.60.116 - - [02/Feb/2019:01:21:55 +0800] "GET /sszp/6553.html HTTP/1.1" 200 21746 "-" [5.20] "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
我们看到最终的日志记录中$brotli_ratio
对应了一个[4.95]
,这就说明被Brotli模块压缩了,压缩比达到了4.95。
# 设置日志文件描述符的缓存
open_log_file_cache
每一条日志记录的写入都是先打开文件再写入记录,然后关闭日志文件。如果你的日志文件路径中使用了变量,如access_log /var/logs/$host/nginx-access.log
,为提高性能,可以使用open_log_file_cache
指令设置日志文件描述符的缓存。
# 语法
open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
max
设置缓存中最多容纳的文件描述符数量,如果被占满,采用LRU算法将描述符关闭。
inactive
设置缓存存活时间,默认是10s。
min_uses
在inactive时间段内,日志文件最少使用几次,该日志文件描述符记入缓存,默认是1次。
valid
:设置多久对日志文件名进行检查,看是否发生变化,默认是60s。
off
:不使用缓存。默认为off。
# 基本用法
open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2;
它可以配置在http
、server
、location
作用域中。
例子中,设置缓存最多缓存1000个日志文件描述符,20s内如果缓存中的日志文件描述符至少被被访问2次,才不会被缓存关闭。每隔1分钟检查缓存中的文件描述符的文件名是否还存在。