Nginx高级用法总结

Nginx Nginx在日常开发过程中主要作为静态资源服务器(http服务器)和反向代理服务器。

Nginx常用变量

  • $host: 请求的主机头

    1
    2
    3
    if ($host = 'bbs.gitlib.com') {
    rewrite ^/$ http://bbs.bliwan.com permanent;
    }
  • $remote_addr: 客户端IP地址
  • $remote_port: 客户端端口号
  • $remote_user: 已经经过Auth Basic Module验证的用户名
  • $http_referer: 请求引用地址
  • $http_user_agent: 客户端代理信息(UA)
  • $http_x_forwarded_for: 相当于网络访问路径
  • $body_bytes_sent: 页面传送的字节数
  • $time_local: 服务器时间
  • $request: 客户端请求
  • $request_uri: 请求的URI,带参数, 不包含主机名
  • $request_filename: 请求的文件路径
  • $request_method: 请求的方法,如GETPOST
  • $args: 客户端请求中的参数
  • $query_string: 等同于$args, 客户端请求的参数
  • $nginx_version: 当前nginx版本
  • $status: 服务器响应状态码
  • $server_addr: 服务器地址
  • $server_port: 请求到达的服务器端口号
  • $server_protocol: 请求的协议版本
  • $content_type: HTTP请求信息里的Content-Type字段
  • $content_length: HTTP请求信息里的Content-Length字段
  • $uri: 请求中的当前URI(不带请求参数,参数位于$args)
  • $document_root: 当前请求在root指令中指定的值
  • $document_uri: 与$uri相同

定义日志格式示例:

1
2
3
4
log_format  access  '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" $http_x_forwarded_for';

输入格式:
14.18.29.118 - - [24/Jun/2017:20:53:09 +0800] "GET /index.html HTTP/1.1" 200 23 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36" -

Nginx设置重定向

return形式

1
2
3
4
5
6
7
# 301永久重定向,302临时重定向
return 301 https://example.com$request_uri;

# return 返回形式
return code;
return code URL;
return URL;

rewrite形式

1
rewrite  ^/$ http://bbs.gitlib.com  permanent;

rewrite flag说明:

  • last: 停止处理后续rewrite指令集,然后对当前重写的新URI在rewrite指令集上重新查找
  • break: 停止处理后续rewrite指令集,并不在重新查找,但是当前location内剩余非rewrite语句和location外的非rewrite语句可以执行
  • redirect: 如果replacement不是以http:// 或https://开始,返回302临时重定向
  • permant: 返回301永久重定向

Nginx条件判断

if判断

1
2
3
4
5
6
7
8
9
10
11
if ($http_user_agent ~ (125LA|WinHttpRequest|360Spider)) {
return 444;
}

if ($http_referer ~* "filter=author&orderby=dateline") {
return 444;
}

if ($host = 'bbs.gitlib.com') {
rewrite ^/$ http://bbs1.gitlib.com permanent;
}

比较符说明:

  • 使用=、!= 比较的一个变量和字符串,true/false
  • 使用~、~*与正则表达式匹配的变量,如果这个正则表达式中包含右花括号}或者分号;则必须给整个正则表达式加引号
  • 使用-f、!-f 检查一个文件是否存在
  • 使用-d、!-d 检查一个目录是否存在
  • 使用-e、!-e 检查一个文件、目录、符号链接是否存在
  • 使用-x、!-x 检查一个文件是否可执行

set设置变量

1
2
3
4
5
6
7
if ( $host ~* (.*)\.yzz\.cn) { 
set $domain $1;
}
root /www/website/www/gitlib/$domain/;

# set语法
set variable value;

Nginx反向代理

proxy_pass

proxy_pass将请求传递给HTTP服务器

1
2
3
4
5
6
7
8
9
10
11
proxy_buffering: on; # 设置是否开启Proxy Buffer,默认为on
proxy_pass http://upload.gitlib.com; # 设置被代理服务器的地址
proxy_connect_timeout 600;# 设置Nginx服务器与后端被代理服务器尝试建立连接的超时时间,默认为60s
proxy_read_timeout 600; # 设置Nginx服务器向后端被代理服务器发出read请求后,等待响应的超时时间,默认为60s
proxy_send_timeout 600; # 设置Nginx服务器向后端被代理服务器发出write请求后,等待响应的超时时间,默认为60s
proxy_buffer_size 8k; # 设置Nginx服务器从被代理服务器获取的第一段数据buffer大小,一般和proxy_buffers设置的buffer大小一致,或者更小, 默认为4k或者8k
proxy_buffers 4 32k; # 设置Proxy Buffer的个数和每个Buffer的大小
proxy_busy_buffers_size 64k; # 设置处在Busy状态的Buffer总大小上限,默认为8K或者16K
proxy_temp_file_write_size 64k; #
proxy_next_upstream error timeout invalid_header http_500 http_503 http_404; # upstream设置被代理服务器集群时,设置组内服务器出现哪些异常时,可以依次轮询到下一个组内服务器处理
proxy_redirect off; # 修改响应头Location值,off表示直接返回proxy_pass后的值,默认为default(客户端请求的URI)

fastcgi_pass

fastcgi_pass将请求传递给FastCGI服务器

1
2
3
4
5
6
7
8
9
fastcgi_connect_timeout 3000;
fastcgi_send_timeout 3000;
fastcgi_read_timeout 3000;
fastcgi_buffer_size 200k;
fastcgi_buffers 8 200k;
fastcgi_busy_buffers_size 200k;
fastcgi_max_temp_file_size:1024M; # 设置临时文件大小,默认为1024M
fastcgi_temp_file_write_size 200k;# 配置同时写入临时文件的数据量的大小,合理的配置可以避免磁盘IO负载过高,导致系统性能下降,默认为8KB或16KB
fastcgi_temp_path /dev/shm; # 配置磁盘上的一个文件路径,用于临时存放代理服务器的大体积响应数据,如果proxy buffer 被装满后,响应数据仍然没有被Nginx服务器完全接收,响应数据就被会临时存放在该文件中

uwsgi_pass

uwsgi_pass将请求传递给uwsgi服务器(如python服务)

scgi_pass

scgi_pass将请求传递给SCGI服务器

memcached_pass

memcached_pass将请求传递给memcached服务器

Nginx负载均衡

Nginx通过proxy_pass和upstream指令实现负载均衡,Nginx原生支持的负载均衡算法有如下几种:

轮询

每个请求按时间顺序逐一分配到不同的应用服务器,如果应用服务器down掉,自动剔除,剩下的继续轮询

权重

通过配置权重,指定轮询几率,权重和访问比率成正比,用于应用服务器性能不均的情况

ip_hash

每个请求按访问ip的hash结果分配,这样每个访客固定访问一个应用服务器,可以解决session共享的问题。

least_conn

最小连接数

示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
upstream php {
server 127.0.0.1:9000 max_fails=3 fail_timeout=30s;
server 192.168.1.16 backup;
server 192.168.1.17 down;
}

upstream php {
server 192.168.10.2 weight=1;
server 192.168.10.3 weight=2;
}

upstream php {
ip_hash;
server 192.168.10.16;
server 192.168.10.17;
}

Nginx缓存

Proxy Cache

Nginx通过proxy_cache来实现缓存。Buffer和Cache都是用于提供IO吞吐小路的,但是概念不同。Buffer(缓冲)主要用于传输效率不同步或者优先级不相同的设备之间传输数据,一般通过对一方数据进行临时存放,再统一发送的办法传递给另一方,以降低进程之间的等待时间,保证速度较快的进程不发生间断,临时存放的数据一旦传送给另一方,这些数据本身也就没有用处了;Cache(缓存)主要用于将硬盘上已有的数据在内存中建立缓存数据,提高数据的访问效率,对于过期不用的缓存可以随时销毁。

Proxy Cache机制依赖于Proxy Buffer机制,只有在Proxy Buffer机制开启的情况下Proxy Cache的配置才会发挥作用。

相关配置参数说明:

  • proxy_cache: zone | off; # 默认为off,即关闭proxy_cache功能,zone为用于存放缓存的内存区域名称
  • proxy_cache_path: path [levels=levels] keys_zone=name:size [inactive=time] [max_size=size];
    • path设置缓存数据存放的路径;
    • levels设置目录层级,如levels=1:2,表示有两级子目录,第一个目录名取md5值的倒数第一个值,第二个目录名取md5值的第2和3个值。
    • keys_zone设置内存zone的名字和大小,如keys_zone=my_zone:10m
    • inactive设置缓存多长时间就失效,当硬盘上的缓存数据在该时间段内没有被访问过,就会失效了,该数据就会被删除,默认为10s。
    • max_size设置硬盘中最多可以缓存多少数据,当到达该数值时,nginx会删除最少访问的数据

示例

1
2
3
4
5
6
7
8
9
proxy_cache_path /data/nginx_cache/ levels=1:2 keys_zone=my_zone:10m inactive=300s max_size=5g;

location / {
proxy_cache my_zone;
proxy_pass http://192.168.10.110:8080/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

Expires

1
2
3
4
location ~ .*\.(jpg|jpeg|gif|png|ico|swf)?$
{
expires 1d; #设置过期时间
}

Nginx实现Gzip压缩

通过gzip相关指令可以配置Gzip压缩,对响应数据进行在线实时压缩。

相关配置参数说明:

  • gzip: on; # 开启或关闭gzip功能,默认为off
  • gzip_buffers: 16 8K; # 配置Gzip压缩文件时使用的缓存空间大小,默认number*size=128K
  • gzip_comp_level: 9; # 压缩级别,压缩程度越高,压缩效率最低,最费时间
  • gzip_min_length:# 配置最小压缩的数据大小,如果响应页面的大小大于该值,才开启Gzip功能(一些小文件会导致压缩后的大小比源文件还大),默认为20,建议设置为1k(1024)
  • gzip_http_version:1.0; # 配置只有高于指定版本的HTTP协议才能开启Gzip,默认为1.1, 目前绝大多数浏览器都支持Gzip自解压,一般采用默认值即可
  • gzip_proxied:any; # 设置是否对被代理服务器返回的数据进行压缩,默认为off
  • gzip_vary: on; # 开启压缩标记,开启后在响应头部添加 Vary: Accept-Encoding,默认为off
  • gzip_types:text/plain application/x-javascript text/css application/xml text/javascript; # 对指定类型的文档进行Gzip压缩
  • gzip_static:on; # 对于存在服务器上.gz作为后缀的文件,且客户端浏览器支持gzip压缩,就直接返回压缩后的数据

示例:

1
2
3
4
5
6
7
8
9
gzip on;
gzip_static on;
gzip_comp_level 9;
gzip_min_length 1k;
gzip_buffers 4 8k;
gzip_http_version 1.0;
gzip_vary on;
gzip_proxied any;
gzip_types text/plain application/x-javascript text/css application/xml text/javascript;

Nginx常见配置参数

  • server_names_hash_max_size 1024;
  • server_names_hash_bucket_size 512;
  • client_header_buffer_size 32k; # 客户端请求头部的缓冲区大
  • large_client_header_buffers 4 32k;
  • client_max_body_size 10m;#设置最大的允许客户端请求主体的大小(上传文件大小限制), 默认为1m
  • client_body_buffer_size 128k;
  • keepalive_timeout 60; #客户端连接超时时间,单位是秒, 默认是75秒
  • sendfile on; # 开启高效传输模式,默认为off
  • tcp_nopush on;
  • tcp_nodelay on;
  • ssi on; # 开启ssi支持,默认为false
  • ssi_silent_errors on; # 设置为on表示在处理ssi文件时不输出错误信息,默认为false
  • ssi_types text/html; # 默认支持html ,如果需要支持shtml(服务器执行脚本),需要设置为ssi_types text/shtml
  • server_tokens off; # 关闭nginx版本号的显示,默认为on

Nginx优化相关参数

  • worker_processes 2; # 配置生成的worker process数量,一般为cpu核数
  • worker_rlimit_nofile 65536; # 一个nginx进程打开的最多文件描述符数目,一般设置为与系统设定的值相同(ulimit -n)
  • worker_cpu_affinity 01 10;# 为每个进程分配CPU的工作内核
  • use epoll; # 事务模型

    1
    2
    3
    4
    events {
    use epoll; # 事务模型
    worker_connections 20000; # 一个nginx进程的连接数,nginx服务器允许的同事连接的客户端最大数量Client = worker_processes * worker_connections/2;
    }

Nginx常见用法

依据UA屏蔽爬虫

1
2
3
4
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou
spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") {
return 403;
}

屏蔽IP访问

1
2
3
4
allow 183.63.72.140;
allow 113.106.18.0/24;
allow 121.201.104.0/24;
deny all;

使用Auth权限访问

1
2
auth_basic "bbs-auth";
auth_basic_user_file /usr/local/nginx/conf/bbsauthpwd;

限制带宽

1
2
3
4
5
# 用户下载达到 500k 后,便控制其速度在 50k 以内
location /download/ {
limit_rate_after 500k;
limit_rate 50k;
}

限制连接

1
2
3
4
5
6
7
8
9
10
# 定义了一个名为“down”,10M大小,以连接IP为key的连接数据存储空间
limit_conn_zone $binary_remote_addr zone=down:10m;

# 读取名为`down`连接数据存储空间的数据,限制每个key(上面是以ip作为IP) 最大同时连接数为4
location ~ .*\.(rar|zip|apk)?$ {
limit_conn down 4;
limit_rate 150k;
}

limit_conn_log_level notice: 指定当触发limit的时候日志打印级别

限制请求

1
2
3
4
5
6
# 定义一个名为”one”, 10M大小,每秒1个请求的请求数据存储空间
limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;

# 引用名为“one”的存储空间,burst为等待请求数量数,当等待请求数量超过50个时,则抛出503错误,nodelay 针对的是 burst 参数,burst=50 nodelay 表示这50个请求立马处理,不能延迟,相当于特事特办。不过,即使这20个突发请求立马处理结束,后续来了请求也不会立马处理。burst=50 相当于缓存队列中占了50个坑,即使请求被处理了,这20个位置这只能按 100ms一个来释放
limit_req zone=one burst=50 nodelay;
limit_req_log_level notice: 指定当触发limit的时候日志打印级别

实时显示Nginx运行状况

在安装nginx是编译http_stub_status_module即可,使用参数为–with-http_stub_status_module

1
2
3
4
location /ngx_status {
stub_status on;
access_log on;
}

设置错误页面

1
error_page 404 /404.html

Nginx 常见错误码

状态码描述
301永久重定向
302临时重定向
403禁止访问
404文件不存在
413文件上传超过限制
500服务器错误
502后台服务器无响应
504Nginx超时,请求过多,工作进程不足

参考文档

有用就打赏一下作者吧!