发表于

杂谈

PHP

Mysql

Redis

MongoDB

Python

Javascript

大数据

Docker

RPC

Nginx

队列/MQ

日志

分布式&微服务

API网关

CI/CD

Linux

数据结构和算法

发表于 | 分类于

从事PHP开发的都知道，LNMP一般是指Linux+Nginx+MySQL+PHP组合，也是日常开发和线上环境中最简单的Web服务器架构。为尽可能的提升服务器响应速度，LNMP的配置优化是十分关键的步骤。下面分别总结一下LNMP各组件的配置优化方法。

Linux

关于Linux优化，我们这次主要从内核配置方面去讲（硬件优化增加投入即可）。内核配置优化主要围绕如何提供更好更稳定的TCP/IP服务为主，可以查看这篇文章：从TCP/IP协议谈Linux内核参数优化， 这里不在单独写了。

工作进程数量

Nginx运行工作进程个数，建议按照cpu 数目来指定，一般为它的倍数 (如,2个四核的cpu计为8)。

1
worker_processes 8;

CPU亲和力

worker_cpu_affinity 为每个进程分配cpu，一般情况下一个进程分配一个cpu，例如8cpu:

1
2
worker_processes 8；
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000；

最大打开文件数

1
worker_rlimit_nofile 65535;

这个指令是指当一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（ulimit -n）与nginx进程数相除，但是nginx分配请求并不是那么均匀，所以最好与ulimit -n的值保持一致。

注：文件资源限制的配置可以在/etc/security/limits.conf设置，针对root/user等各个用户或者*代表所有用户来设置。

1
2
* soft nofile 65535
* hard nofile 65535

用户重新登录生效。

Nginx事件处理模型

1
2
3
events {
 use epoll；
}

nginx采用epoll事件模型，处理效率高。

工作进程连结束

1
worker_connections 65535;

设置每个进程允许的最多连接数， 理论上每台nginx 服务器的最大连接数为worker_processes*worker_connections，一般设置为65535。

开启Gzip压缩

使用gzip压缩功能，可能为节约带宽，加快传输速度。

一般我们需要压缩的内容有：文本，js，html，css，对于图片，视频，flash什么的不压缩，使用gzip的功能是需要消耗CPU的。

1
2
3
4
5
6
7
8
9
gzip on;
gzip_min_length 2k;
gzip_buffers 4 32k;
gzip_http_version 1.1;
gzip_comp_level 6;
gzip_typestext/plain text/css text/javascriptapplication/json application/javascript application/x-javascriptapplication/xml;
gzip_vary on;
gzip_proxied any;
gzip on; #开启压缩功能

参数说明：

  • gzip_min_length 1k ：设置允许压缩的页面最小字节数，页面字节数从header头的Content-Length中获取，默认值是0，不管页面多大都进行压缩，建议设置成大于1K，如果小与1K可能会越压越大。
  • gzip_buffers 4 32k ：压缩缓冲区大小，表示申请4个单位为32K的内存作为压缩结果流缓存，默认值是申请与原始数据大小相同的内存空间来存储gzip压缩结果。
  • gzip_http_version 1.1 ：压缩版本，用于设置识别HTTP协议版本，默认是1.1，目前大部分浏览器已经支持GZIP解压，使用默认即可。
  • gzip_comp_level 6 ：压缩比例，用来指定GZIP压缩比，1压缩比最小，处理速度最快，9压缩比最大，传输速度快，但是处理慢，也比较消耗CPU资源。
  • gzip_types text/css text/xml application/javascript ：用来指定压缩的类型，‘text/html’类型总是会被压缩。默认值: gzip_types text/html (默认不对js/css文件进行压缩)
  • 压缩类型，匹配MIME型进行压缩；
  • 不能用通配符 text/*；
  • text/html默认已经压缩 (无论是否指定)；
  • 设置哪压缩种文本文件可参考 conf/mime.types。
  • gzip_vary on ：varyheader支持，改选项可以让前端的缓存服务器缓存经过GZIP压缩的页面，例如用Squid缓存经过nginx压缩的数据。

连接超时设置

1
2
3
4
5
6
keepalived_timeout 65;
client_header_timeout 30;
client_body_timeout 30;
sned_timeout 60;
proxy_send_timeout 300；
reset_timedout_connection on;

参数说明：

  • keepalived_timeout ：客户端连接保持会话超时时间，超过这个时间，服务器断开这个链接，对于一些请求比较大的内部服务器通讯的场景,适当加大为120s或者300s,具体根据不同场景，默认值是60秒。
  • client_header_timeout ： 客户端向服务器发送一个完整的request header的超时时间，如果客户端在此时间内没有发送一个完整的request header，那么Nginx返回HTTP 408错误（Request Timed Out），默认值是60秒。
  • client_body_timeout： 客户端与服务器建立连接后发送request body的超时时间，如果客户端在此时间内没有发送任何内容,那么Nginx返回HTTP 408错误(Request Timed Out)，默认值是60秒。
  • reset_timeout_connection ：告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。
  • send_timeout ：发送数据至客户端超时时间，默认60s,如果连续的60s内客户端没有收到1个字节,连接关闭。
  • proxy_send_timeout：发送请求给upstream服务器的超时时间,超时设置不是整个发送期间, 而是在两次write操作期间, 如果超时后,upstream没有收到新的数据，nginx会关闭连接。

Buffer缓解后端的负载

在大部分场景下，利用 Nginx 的 buffer（缓冲） 和 cache（缓存） 能力，可以大大地减轻负担。

1
2
client_body_buffer_size 16K
client_header_buffer_size 1K
  • client_body_buffer_size：允许客户端请求的最大单个文件字节数,在32位系统上默认是8k，在64位系统上默认是16k。可以在http, server 和 location模块中指定
  • client_header_buffer_size：用于设置客户端请求的Header头缓冲区大小，大部分情况1KB大小足够， 默认的值是1k

开启高效传输模式

1
2
3
4
5
6
7
8
http {
 include mime.types;
 default_type application/octet-stream;
 ……
 sendfile on;
 tcp_nopush on;
 ……
}
  • sendfile on：开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
  • tcp_nopush on：必须在sendfile开启模式才有效，防止网路阻塞，积极的减少网络报文段的数量（将响应头和正文的开始部分一起发送，而不一个接一个的发送。）

expires 缓存调优

缓存，主要针对于图片，css，js等元素更改机会比较少的情况下使用，特别是图片，占用带宽大，我们完全可以设置图片在浏览器本地缓存365d，css，js，html可以缓存个10来天，这样用户第一次打开加载慢一点，第二次，就非常快了！缓存的时候，我们需要将需要缓存的拓展名列出来， Expires缓存配置在server字段里面。

1
2
3
4
5
6
location ~* \.(ico|jpe?g|gif|png|bmp|swf|flv)$ {
	expires 30d;
}
location ~* \.(js|css)$ {
	expires 7d;
}

fastcgi 调优

1
2
3
4
5
6
7
8
9
10
fastcgi_connect_timeout 600;
fastcgi_send_timeout 600;
fastcgi_read_timeout 600;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;
fastcgi_temp_path/usr/local/nginx1.10/nginx_tmp;
fastcgi_intercept_errors on;
fastcgi_cache_path/usr/local/nginx1.10/fastcgi_cache levels=1:2 keys_zone=cache_fastcgi:128minactive=1d max_size=10g;
  • fastcgi_connect_timeout 600 ：指定连接到后端FastCGI的超时时间。
  • fastcgi_send_timeout 600 ：向FastCGI传送请求的超时时间。
  • fastcgi_read_timeout 600 ：指定接收FastCGI应答的超时时间。
  • fastcgi_buffer_size 64k ：指定读取FastCGI应答第一部分需要用多大的缓冲区，默认的缓冲区大小为。fastcgi_buffers指令中的每块大小，可以将这个值设置更小。
  • fastcgi_buffers 4 64k ：指定本地需要用多少和多大的缓冲区来缓冲FastCGI的应答请求，如果一个php脚本所产生的页面大小为256KB，那么会分配4个64KB的缓冲区来缓存，如果页面大小大于256KB，那么大于256KB的部分会缓存到fastcgi_temp_path指定的路径中，但是这并不是好方法，因为内存中的数据处理速度要快于磁盘。一般这个值应该为站点中php脚本所产生的页面大小的中间值，如果站点大部分脚本所产生的页面大小为256KB，那么可以把这个值设置为“8 32K”、“4 64k”等。
  • fastcgi_busy_buffers_size 128k ：建议设置为fastcgi_buffers的两倍，繁忙时候的buffer。
  • fastcgi_temp_file_write_size 128k ：在写入fastcgi_temp_path时将用多大的数据块，默认值是fastcgi_buffers的两倍，该数值设置小时若负载上来时可能报502BadGateway。
  • fastcgi_temp_path ：缓存临时目录。
  • fastcgi_intercept_errors on ：这个指令指定是否传递4xx和5xx错误信息到客户端，或者允许nginx使用error_page处理错误信息。注：静态文件不存在会返回404页面，但是php页面则返回空白页！
  • fastcgi_cache_path /usr/local/nginx1.10/fastcgi_cachelevels=1:2 keys_zone=cache_fastcgi:128minactive=1d max_size=10g ：fastcgi_cache缓存目录，可以设置目录层级，比如1:2会生成16*256个子目录，cache_fastcgi是这个缓存空间的名字，cache是用多少内存（这样热门的内容nginx直接放内存，提高访问速度），inactive表示默认失效时间，如果缓存数据在失效时间内没有被访问,将被删除，max_size表示最多用多少硬盘空间。
  • fastcgi_cache cache_fastcgi ：#表示开启FastCGI缓存并为其指定一个名称。开启缓存非常有用，可以有效降低CPU的负载，并且防止502的错误放生。cache_fastcgi为proxy_cache_path指令创建的缓存区名称。
  • fastcgi_cache_valid 200 302 1h ：#用来指定应答代码的缓存时间，实例中的值表示将200和302应答缓存一小时，要和fastcgi_cache配合使用。
  • fastcgi_cache_valid 301 1d ：将301应答缓存一天。
  • fastcgi_cache_valid any 1m ：将其他应答缓存为1分钟。
  • fastcgi_cache_min_uses 1 ：该指令用于设置经过多少次请求的相同URL将被缓存。
  • fastcgi_cache_key http://$host$request_uri ：该指令用来设置web缓存的Key值,nginx根据Key值md5哈希存储.一般根据$host(域名)、$request_uri(请求的路径)等变量组合成proxy_cache_key 。
  • fastcgi_pass ：指定FastCGI服务器监听端口与地址，可以是本机或者其它。

禁用访问日志文件

这一点影响较大，因为高流量站点上的日志文件涉及大量必须在所有线程之间同步的IO操作。

1
2
3
access_log off;
log_not_found off;
error_log /var/log/nginx-error.log warn;

若你不能关闭访问日志文件，至少应该使用缓冲：

1
access_log /var/log/nginx/access.log main buffer=16k;

关闭版本显示

1
server_tokens off;

server_tokens并不会让nginx执行的速度更快，但它可以关闭在错误页面中的nginx版本数字，这样对于安全性是有好处的。

MySql

innodb_file_per_table

表的数据和索引存放在共享表空间里或者单独表空间里。我们的工作场景安装是默认设置了innodb_file_per_table = ON，这样也有助于工作中进行单独表空间的迁移工作。MySQL 5.6中，这个属性默认值是ON。

innodb_flush_log_at_trx_commit

默认值为1，表示InnoDB完全支持ACID特性。当你的主要关注点是数据安全的时候这个值是最合适的，比如在一个主节点上。但是对于磁盘（读写）速度较慢的系统，它会带来很巨大的开销，因为每次将改变flush到redo日志都需要额外的fsyncs。

如果将它的值设置为2会导致不太可靠（unreliable）。因为提交的事务仅仅每秒才flush一次到redo日志，但对于一些场景是可以接受的，比如对于主节点的备份节点这个值是可以接受的。如果值为0速度就更快了，但在系统崩溃时可能丢失一些数据：只适用于备份节点。说到这个参数就一定会想到另一个sync_binlog。

innodb_flush_method

这项配置决定了数据和日志写入硬盘的方式。一共有三种方式，我们默认使用O_DIRECT 。O_DIRECT模式：数据文件的写入操作是直接从mysql innodb buffer到磁盘的，并不用通过操作系统的缓冲，而真正的完成也是在flush这步，日志还是要经过OS缓冲。

innodb_log_buffer_size

这项配置决定了为尚未执行的事务分配的缓存。其默认值（1MB）一般来说已经够用了，但是如果你的事务中包含有二进制大对象或者大文本字段的话，这点缓存很快就会被填满并触发额外的I/O操作。看看Innodb_log_waits状态变量，如果它不是0，增加innodb_log_buffer_size。

innodb_buffer_pool_size

这个参数应该是运维中必须关注的了。缓冲池是数据和索引缓存的地方，它属于MySQL的核心参数，默认为128MB，正常的情况下这个参数设置为物理内存的60%~70%。（不过我们的实例基本上都是多实例混部的，所以这个值还要根据业务规模来具体分析。）

innodb_log_file_size

这是redo日志的大小。redo日志被用于确保写操作快速而可靠并且在崩溃时恢复。如果你知道你的应用程序需要频繁地写入数据并且你使用的是MySQL 5.6，那么你可以一开始就把它这是成4G。（具体大小还要根据自身业务进行适当调整）

innodb_support_xa

innodb_support_xa可以开关InnoDB的XA两段式事务提交。默认情况下，innodb_support_xa=true，支持XA两段式事务提交。由于XA两段式事务提交导致多余flush等操作，性能影响会达到10%，所有为了提高性能，有些DBA会设置innodb_support_xa=false。这样的话，redolog和binlog将无法同步，可能存在事务在主库提交，但是没有记录到binlog的情况。这样也有可能造成事务数据的丢失。

innodb_additional_mem_pool_size

该参数用来存储数据字段信息和其他内部数据结构。表越多，需要在这里分配的内存越多。如果InnoDB用光了这个池内的内存，InnoDB开始从操作系统分配内存，并且往MySQL错误日志写警告信息，默认8MB。一般设置16MB。

max_connections

MySQL服务器默认连接数比较小，一般也就100来个最好把最大值设大一些。一般设置500~1000即可每一个链接都会占用一定的内存，所以这个参数也不是越大越好。有的人遇到too many connections会去增加这个参数的大小，但其实如果是业务量或者程序逻辑有问题或者sql写的不好，即使增大这个参数也无济于事，再次报错只是时间问题。在应用程序里使用连接池或者在MySQL里使用进程池有助于解决这一问题。

server-id

复制架构时确保 server-id 要不同，通常主ID要小于从ID。

log_bin

如果你想让数据库服务器充当主节点的备份节点，那么开启二进制日志是必须的。如果这么做了之后，还别忘了设置server_id为一个唯一的值。就算只有一个服务器，如果你想做基于时间点的数据恢复，这（开启二进制日志）也是很有用的：从你最近的备份中恢复（全量备份），并应用二进制日志中的修改（增量备份）。

二进制日志一旦创建就将永久保存。所以如果你不想让磁盘空间耗尽，你可以用 PURGE BINARY LOGS 来清除旧文件，或者设置expire_logs_days 来指定过多少天日志将被自动清除。记录二进制日志不是没有开销的，所以如果你在一个非主节点的复制节点上不需要它的话，那么建议关闭这个选项。

skip_name_resolve

当客户端连接数据库服务器时，服务器会进行主机名解析，并且当DNS很慢时，建立连接也会很慢。因此建议在启动服务器时关闭skip_name_resolve选项而不进行DNS查找。唯一的局限是之后GRANT语句中只能使用IP地址了，因此在添加这项设置到一个已有系统中必须格外小心。

sync_binlog

sync_binlog 的默认值是0，像操作系统刷其他文件的机制一样，MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。

当sync_binlog =N (N>0) ，MySQL 在每写N次二进制日志binary log时，会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。当innodb_flush_log_at_trx_commit和sync_binlog 都为 1 时是最安全的，在mysqld服务崩溃或者服务器主机crash的情况下，binary log只有可能丢失最多一个语句或者一个事务。但是鱼与熊掌不可兼得，双1会导致频繁的IO操作，因此该模式也是最慢的一种方式。出于我们的业务考虑在业务压力允许的情况下默认的都是双1配置。

log_slave_update

当业务中需要使用级联架构的时候log_slave_update = 1这个参数必须打开，否者第三级可能无法接收到第一级产生的binlog，从而无法进行数据同步。

tmpdir

如果内存临时表超出了限制，MySQL就会自动地把它转化为基于磁盘的MyISAM表，存储在指定的tmpdir目录下.因此尽可能将tmpdir配置到性能好速度快的存储设备上。

慢日志相关

1
slow_query_log = 1 #打开慢日志

PHP

进程数

1
2
3
4
5
6
7
8
9
10
pm = dynamic
#pm参数指定了进程管理方式，有两种可供选择：static或dynamic，从字面意思不难理解，为静态或动态方式。如果是静态方式，那么在php-fpm启动的时候就创建了指定数目的进程，在运行过程中不会再有变化(并不是真的就永远不变)；而动态的则在运行过程中动态调整，当然并不是无限制的创建新进程，受pm.max_spare_servers参数影响；动态适合小内存机器，灵活分配进程，省内存。静态适用于大内存机器，动态创建回收进程对服务器资源也是一种消耗
pm.max_children = 24
#static模式下创建的子进程数或dynamic模式下同一时刻允许最大的php-fpm子进程数量
pm.start_servers = 16
#动态方式下的起始php-fpm进程数量
pm.min_spare_servers = 12
#动态方式下服务器空闲时最小php-fpm进程数量
pm.max_spare_servers = 24
#动态方式下服务器空闲时最大php-fpm进程数量

一般php-fpm进程占用20~30m左右的内存就按30m算。如果单独跑php-fpm，动态方式起始值可设置物理内存Mem/30M。

最大处理请求数

1
pm.max_requests = 10240

最大处理请求数是指一个php-fpm的worker进程在处理多少个请求后就终止掉，master进程会重新respawn一个新的，这个配置的主要目的是避免php解释器或程序引用的第三方库造成的内存泄露。

最长执行时间

1
2
max_execution_time = 20
request_terminate_timeout = 20

这个是用来处理因为PHP执行时间超长而报502错误的解决。这个时长配置可以在php.ini（max_execution_time）或php-fpm.conf中配置均可，为了不影响全局配置，可在php-fpm.conf中实现

发表于 | 分类于

在高并发系统开发时有三把利器用来保护系统：缓存、降级和限流。缓存的目的是提升系统访问速度和增大系统能处理的容量，是抗高并发流量的重要手段；而降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉，待高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）、频繁的复杂查询（评论的最后几页），因此需有一种手段来限制这些场景的并发/请求量，即限流。

降级

降级也就是服务降级，当我们的服务器压力剧增为了保证核心功能的可用性，而选择性的降低一些功能的可用性，或者直接关闭该功能。这就是典型的丢车保帅了。

就比如贴吧类型的网站，当服务器吃不消的时候，可以选择把发帖功能关闭，注册功能关闭，改密码，改头像这些都关了，为了确保登录和浏览帖子这种核心的功能。

熔断

降级一般而言指的是我们自身的系统出现了故障而降级。而熔断一般是指依赖的外部接口出现故障的情况断绝和外部接口的关系。

例如你的A服务里面的一个功能依赖B服务，这时候B服务出问题了，返回的很慢。这种情况可能会因为这么一个功能而拖慢了A服务里面的所有功能，因此我们这时候就需要熔断！即当发现A要调用这B时就直接返回错误(或者返回其他默认值啊啥的)，就不去请求B了。如果是微服务体系，各系统之间互相调用，一环扣一环，出问题不熔断，那就回拖垮整个系统，造成雪崩。

有人说熔断属于降级的一种，但是熔断和降级还是有些区别的：

  • 触发原因不太一样：服务熔断一般是某个服务（下游服务）故障引起，而服务降级一般是从整体负荷考虑；
  • 管理目标的层次不太一样：熔断其实是一个框架级的处理，每个微服务都需要（无层级之分），而降级一般需要对业务有层级之分（比如降级一般是从最外围服务开始）
  • 实现方式不太一样：服务降级具有代码侵入性(由控制器完成/或自动降级)，熔断一般称为自我熔断。

限流

一般开发高并发系统常见的限流有：限制总并发数（比如数据库连接池、线程池）、限制瞬时并发数（如nginx的limit_conn模块，用来限制瞬时并发连接数）、限制时间窗口内的平均速率（如nginx的limit_req模块，限制每秒的平均速率）；其他还有如限制远程接口调用速率、限制MQ的消费速率。另外还可以根据网络连接数、网络流量、CPU或内存负载等来限流。

发表于 | 分类于

前言

西安，六朝古都，独有的古都魅力和时尚，始皇陵、古城墙、大雁塔、钟鼓楼、回民街、华清池，蕴藏着太多古老的传奇。在这里除了能感受到城市的繁华，更能体会到古城西安特有的历史文化底蕴。

摄影作品

西安

西安

西安

西安

西安

发表于 | 分类于

前言

西安，六朝古都，独有的古都魅力和时尚，始皇陵、古城墙、大雁塔、钟鼓楼、回民街、华清池，蕴藏着太多古老的传奇。在这里除了能感受到城市的繁华，更能体会到古城西安特有的历史文化底蕴。

摄影作品

西安

西安

西安

西安

西安

发表于 | 分类于

前言

2019年5月份辞职之后，开始了一个多月的大西南自驾之旅，从广州出发，经湖南、湖北、重庆 四川、西藏、青海、甘肃、陕西、湖北、江西，跋涉万里, 途经11个省/自治区，6月份回到广东。其中，在西藏停留的近半个月, 每天晒着太阳，看着蓝天白云，幸福感爆棚。

西藏的美，无法言表，只有去过的人才知道。雪山、草原、湖泊、无人区，巍峨壮丽，惊为神的作品。真的从未想过人间竟然有如此美景，雪域高原真的很值得顶着高反来一次。

摄影作品

拉萨

拉萨