背景

在项目中遇到有些脚本或者程序需要通过后台进程运行,保证不被异常中断,之前都是通过 nohup、&、screen 来实现,后来找到了 Supervisor,就把很大一部分需要后台进程运行的脚本和程序改为了 Supervisor 来执行,今天简单来讲下 Supervisor 的使用。

Supervisor简介

Supervisor 是用 Python 开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台 daemon,并监控进程状态,异常退出时能自动重启。它是通过 fork/exec 的方式把这些被管理的进程当作 supervisor 的子进程来启动,这样只要在 supervisor 的配置文件中,把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警。Supervisor 还提供了一个功能,可以为 supervisord 或者每个子进程,设置一个非 root 的 user,这个 user 就可以管理它对应的进程。

为什么用Supervisor

使用简单

supervisor 提供了一种统一的方式来 start、stop、monitor 你的进程, 进程可以单独控制,也可以成组的控制。你可以在本地或者远程命令行或者web接口来配置 Supervisor。

在linux下的很多程序通常都是一直运行着的,一般来说都需要自己编写一个能够实现进程 start/stop/restart/reload 功能的脚本,然后放到 /etc/init.d/ 下面。但这样做也有很多弊端,第一我们要为每个程序编写一个类似脚本,第二当这个进程挂掉的时候,linux 不会自动重启它的,想要自动重启的话,我们还要自己写一个监控重启脚本。

Supervisor 则可以完美的解决这些问题。Supervisor 管理进程,就是通过 fork/exec 的方式把这些被管理的进程,当作Supervisor 的子进程来启动。这样的话,我们只要在 Supervisor 的配置文件中,把要管理的进程的可执行文件的路径写进去就OK了。被管理进程作为 Supervisor 的子进程,当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,所以也就可以对挂掉的子进程进行自动重启,当然重启还是不重启,也要看你的配置文件里面有没有设置 autostart = true 了。

Supervisor 通过 INI 格式配置文件进行配置,很容易掌握,它为每个进程提供了很多配置选项,可以使你很容易的重启进程或者自动日志轮转。

集中管理

Supervisor 管理的进程,进程组信息,全部都写在一个 ini 格式的文件里就OK了。管理 Supervisor 的时候的可以在本地进行管理,也可以远程管理,并且 Supervisor 提供了一个 web 界面,可以在web界面上监控,管理进程。 当然本地,远程和web管理的时候,需要调用 Supervisor 的 xml_rpc 接口。

Supervisor 可以对进程组统一管理,也就是说可以把需要管理的进程写到一个组里面,然后把这个组作为一个对象进行管理,如启动,停止,重启等等操作。而 linux 系统则是没有这种功能的,我们想要停止一个进程,只能一个一个的去停止,要么就自己写个脚本去批量停止。

Supervisor安装

Centos配置好yum源后,可以直接安装

yum install supervisor

Debian/Ubuntu可通过apt安装

apt-get install supervisor

pip安装

pip install supervisor

easy_install安装

easy_install supervisor

安装好后在 /etc/ 会生成一个 supervisord.conf 文件及一个 supervisord.d 文件目录。

supervisor配置文件:/etc/supervisord.conf 。 supervisor的配置文件默认是不全的,不过在大部分默认的情况下,上面说的基本功能已经满足。

子进程配置文件路径:/etc/supervisord.d/ 。默认子进程配置文件为ini格式,可在supervisor主配置文件中修改。

配置文件说明

supervisor.conf

[unix_http_server]
file=/tmp/supervisor.sock   //UNIX socket 文件,supervisorctl 会使用
;chmod=0700                 //socket文件的mode,默认是0700
;chown=nobody:nogroup       //socket文件的owner,格式:uid:gid

;[inet_http_server]         //HTTP服务器,提供web管理界面
;port=127.0.0.1:9001        //Web管理后台运行的IP和端口,如果开放到公网,需要注意安全性
;username=user              //登录管理后台的用户名
;password=123               //登录管理后台的密码
 
[supervisord]
logfile=/tmp/supervisord.log //日志文件,默认是 $CWD/supervisord.log
logfile_maxbytes=50MB        //日志文件大小,超出会rotate,默认 50MB,如果设成0,表示不限制大小
logfile_backups=10           //日志文件保留备份数量默认10,设为0表示不备份
loglevel=info                //日志级别,默认info,其它: debug,warn,trace
pidfile=/tmp/supervisord.pid //pid 文件
nodaemon=false               //是否在前台启动,默认是false,即以 daemon 的方式启动
minfds=1024                  //可以打开的文件描述符的最小值,默认 1024
minprocs=200                 //可以打开的进程数的最小值,默认 200

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock   //通过UNIX socket连接supervisord,路径与unix_http_server部分的file一致
;serverurl=http://127.0.0.1:9001  //通过HTTP的方式连接supervisord

#[program:xx]是被管理的进程配置参数,xx是进程的名称
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  //程序启动命令
autostart=true       //在supervisord启动的时候也自动启动
startsecs=10         //启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒
autorestart=true     //程序退出后自动重启,可选值:[unexpected,true,false],默认为unexpected,表示进程意外杀死后才重启
startretries=3       //启动失败自动重试次数,默认是3
user=tomcat          //用哪个用户启动进程,默认是root
priority=999         //进程启动优先级,默认999,值小的优先启动
redirect_stderr=true  //把stderr重定向到stdout,默认false
stdout_logfile_maxbytes=20MB  //stdout 日志文件大小,默认50MB
stdout_logfile_backups = 20   //stdout 日志文件备份数,默认是10
#stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false     //默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程
killasgroup=false     //默认为false,向进程组发送kill信号,包括子进程

#包含其它配置文件
[include]
files = relative/directory/*.ini    //可以指定一个或多个以.ini结束的配置文件

子进程配置文件

给需要管理的子进程(程序)编写一个配置文件,放在 /etc/supervisor.d/ 目录下,以 .ini 作为扩展名(每个进程的配置文件都可以单独分拆也可以把相关的脚本放一起)。如任意定义一个和脚本相关的项目名称的选项组(/etc/supervisord.d/test.conf)

#项目名
[program:blog]
#脚本目录
directory=/opt/bin
#脚本执行命令
command=/usr/bin/python /opt/bin/test.py

#supervisor启动的时候是否随着同时启动,默认True
autostart=true
#当程序exit的时候,这个program不会自动重启,默认unexpected,设置子进程挂掉后自动重启的情况,有三个选项,        
false,unexpected和true。如果为false的时候,无论什么情况下,都不会被重新启动,如果为unexpected,只有当进程 
的退出码不在下面的exitcodes里面定义的
autorestart=false
#这个选项是子进程启动多少秒之后,此时状态如果是running,则我们认为启动成功了。默认值为1
startsecs=1

#脚本运行的用户身份 
user = test

#日志输出 
stderr_logfile=/tmp/blog_stderr.log 
stdout_logfile=/tmp/blog_stdout.log 
#把stderr重定向到stdout,默认 false
redirect_stderr = true
#stdout日志文件大小,默认 50MB
stdout_logfile_maxbytes = 20M
#stdout日志文件备份数
stdout_logfile_backups = 20

子进程配置示例

[program:test]
command=python test.py 10000  //被监控的进程启动命令
directory=/root/              //执行前要不要先cd到目录去,一般不用
priority=1                    //数字越高,优先级越高
numprocs=1                    //启动几个进程
autostart=true                //随着supervisord的启动而启动
autorestart=true              //自动重启。。当然要选上了
startretries=10               //启动失败时的最多重试次数
exitcodes=0                   //正常退出代码(是说退出代码是这个时就不再重启了吗?待确定)
stopsignal=KILL               //用来杀死进程的信号
stopwaitsecs=10               //发送SIGKILL前的等待时间
redirect_stderr=true          //重定向stderr到stdout

配置参数说明

unix_http_server配置块

在该配置块的参数项表示的是一个监听在 socket 上的 HTTP server,如果 [unix_http_server] 块不在配置文件中或被注释,则不会启动基于 socket 的 HTTP server。

- file:一个unix domain socket的文件路径,HTTP/XML-RPC会监听在这上面
- chmod:在启动时修改unix domain socket的mode
- chown:修改socket文件的属主
- username:HTTP server在认证时的用户名
- password:认证密码

inet_http_server配置块

在该配置块的参数项表示的是一个监听在 TCP 上的 HTTP server,如果[inet_http_server]块不在配置文件中或被注释,则不会启动基于 TCP 的 HTTP server。

- port:TCP监听的地址和端口(ip:port),这个地址会被 HTTP/XML-RPC 监听
- username:HTTP server在认证时的用户名
- password:认证密码

supervisord配置块

该配置块的参数项是关于supervisord进程的全局配置项。

- logfile:log文件路径
- logfile_maxbytes:log文件达到多少后自动进行轮转,单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
- logfile_backups:轮转日志备份的数量,默认是10,如果设置为0,则不备份
- loglevel:error、warn、info、debug、trace、blather、critical
- pidfile:pid文件路径
- umask:umask值,默认022
- nodaemon:如果设置为true,则supervisord在前台启动,而不是以守护进程启动
- minfds:supervisord在成功启动前可用的最小文件描述符数量,默认1024
- minprocs:supervisord在成功启动前可用的最小进程描述符数量,默认200
- nocleanup:防止supervisord在启动的时候清除已经存在的子进程日志文件
- childlogdir:自动启动的子进程的日志目录
- user:supervisord的运行用户
- directory:supervisord以守护进程运行的时候切换到这个目录
- strip_ansi:消除子进程日志文件中的转义序列
- environment:一个k/v对的list列表

该块的参数通常不需要改动就可以使用,当然也可以按需修改。

program配置块

该块就是我们要监控的程序的配置项。该配置块的头部是有固定格式的,一个关键字program,后面跟着一个冒号,接下来才是程序名。例如:[program:test],test 就是程序名,在使用 supervisorctl 来操作程序的时候,就是以test来标明的。

- command:启动程序使用的命令,可以是绝对路径或者相对路径
- process_name:一个python字符串表达式,用来表示supervisor进程启动的这个的名称,默认值是%(program_name)s
- numprocs:Supervisor启动这个程序的多个实例,如果numprocs>1,则process_name的表达式必须包含%(process_num)s,默认是1
- numprocs_start:一个int偏移值,当启动实例的时候用来计算numprocs的值
- priority:权重,可以控制程序启动和关闭时的顺序,权重越低:越早启动,越晚关闭。默认值是999
- autostart:如果设置为true,当supervisord启动的时候,进程会自动重启。
- autorestart:值可以是false、true、unexpected。false:进程不会自动重启,unexpected:当程序退出时的退出码 
不是exitcodes中定义的时,进程会重启,true:进程会无条件重启当退出的时候。
- startsecs:程序启动后等待多长时间后才认为程序启动成功
- startretries:supervisord尝试启动一个程序时尝试的次数。默认是3
- exitcodes:一个预期的退出返回码,默认是0,2。
- stopsignal:当收到stop请求的时候,发送信号给程序,默认是TERM信号,也可以是 HUP, INT, QUIT, KILL, USR1, or USR2。
- stopwaitsecs:在操作系统给supervisord发送SIGCHILD信号时等待的时间
- stopasgroup:如果设置为true,则会使supervisor发送停止信号到整个进程组
- killasgroup:如果设置为true,则在给程序发送SIGKILL信号的时候,会发送到整个进程组,它的子进程也会受到影响。
- user:如果supervisord以root运行,则会使用这个设置用户启动子程序
- redirect_stderr:如果设置为true,进程则会把标准错误输出到supervisord后台的标准输出文件描述符。
- stdout_logfile:把进程的标准输出写入文件中,如果stdout_logfile没有设置或者设置为AUTO,则supervisor会自动选择一个文件位置。
- stdout_logfile_maxbytes:标准输出log文件达到多少后自动进行轮转,单位是KB、MB、GB。如果设置为0则表示不限制日志    文件大小
- stdout_logfile_backups:标准输出日志轮转备份的数量,默认是10,如果设置为0,则不备份
- stdout_capture_maxbytes:当进程处于stderr capture mode模式的时候,写入FIFO队列的最大bytes值,单位可以是KB、MB、GB
- stdout_events_enabled:如果设置为true,当进程在写它的stderr到文件描述符的时候,PROCESS_LOG_STDERR事件会被触发
- stderr_logfile:把进程的错误日志输出一个文件中,除非redirect_stderr参数被设置为true
- stderr_logfile_maxbytes:错误log文件达到多少后自动进行轮转,单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
- stderr_logfile_backups:错误日志轮转备份的数量,默认是10,如果设置为0,则不备份
- stderr_capture_maxbytes:当进程处于stderr capture mode模式的时候,写入FIFO队列的最大bytes值,单位可以是KB、MB、GB
- stderr_events_enabled:如果设置为true,当进程在写它的stderr到文件描述符的时候,PROCESS_LOG_STDERR事件会被触发
- environment:一个k/v对的list列表
- directory:supervisord在生成子进程的时候会切换到该目录
- umask:设置进程的umask
- serverurl:是否允许子进程和内部的HTTP服务通讯,如果设置为AUTO,supervisor会自动的构造一个url

supervisor命令

常用命令

supervisorctl status        //查看所有进程的状态
supervisorctl stop xxx      //停止某个进程,xxx为[program:theprogramname]里配置的值
supervisorctl start xxx     //启动某个进程
supervisorctl restart xxx   //重启某个进程
supervisorctl update        //配置文件修改后使用该命令加载新的配置
supervisorctl reload        //重新启动配置中的所有程序

把 xxx 换成 all 可以管理配置中的所有进程。直接输入 supervisorctl 进入 supervisorctl 的 shell 交互界面,此时上面的命令不带 supervisorctl 可直接使用。同时在 supervisorctl shell交互界面,tail -f xxx 或者 cat xxx 可以查看具体进程的日志。

注意事项

使用 supervisor 进程管理命令之前先启动 supervisord,否则程序报错。
使用命令 supervisord -c /etc/supervisord.conf 启动。

systemctl start supervisord.service     //启动supervisor 并加载默认配置文件
systemctl enable supervisord.service    //将 supervisor 加入开机启动项

常见问题

1.unix:///var/run/supervisor/supervisor.sock no such file
问题描述:安装好supervisor没有开启服务直接使用 supervisorctl 报的错
解决办法:supervisord -c /etc/supervisord.conf

2.command 中指定的进程已经起来,但 supervisor 还不断重启
问题描述:command 中启动方式为后台启动,导致识别不到 pid,然后不断重启,这里使用的是 elasticsearch,command 指定的是 $path/bin/elasticsearch -d
解决办法:supervisor 无法检测后台启动进程的 pid,而 supervisor 本身就是后台启动守护进程,因此不用担心这个

3.启动了多个 supervisord 服务,导致无法正常关闭服务
问题描述:在运行supervisord -c /etc/supervisord.conf之前,直接运行过supervisord -c /etc/supervisord.d/xx.conf导致有些进程被多个 superviord 管理,无法正常关闭进程。
解决办法:使用ps -fe | grep supervisord查看所有启动过的 supervisord 服务,kill 相关的进程。


更多信息可以查看 Supervisor官网Supervisor GitHub
参考文章:supervisor 使用详解 - CSDN博客supervisord实战及集群管理 - 简书

最后修改:2020 年 04 月 15 日 04 : 07 PM
如果觉得我的文章对你有用,请随意赞赏