2020年5月19日星期二

supervisor重启服务失败

supervisor重启服务失败


问题:supervisorctl restart 服务名 失败

案例:

[root@node203 ~]# supervisorctl status
etcd-server-97-203 RUNNING pid 7706, uptime 14:29:46
kube-apiserver-97-203 FATAL Exited too quickly (process log may have details)

查看supervisor日志:
tail -f /var/log/supervisor/supervisord.log
entered FATAL state, too many start retries too quickly
说明:从报错信息看出,是该服务重启次数太多,因为在配置中有参数:
startretries = 5
这个参数是在服务重启失败后,尝试重启的次数,所以supervisor一直在重启,然后一直失败,达到最大次数就报以上的错误

查看kube-apiserver服务日志:
error: failed to create listener: failed to listen on 127.0.0.1:8080: listen tcp 127.0.0.1:8080: bind: address already in use

提示监听端口已存在,这时候我们执行以下操作:
netstat -tnlp
ps -ef|grep api-server

果然,该进程并没有完全停止,可以临时采用kill 进程号停止,然后再supervisorctl start 服务名,成功

或者
在supervisor配置文件中添加 stopasgroup=true ,父进程在接收到stop信号后,会把该信号传递给子进程,以免产生孤儿进程,这个配置项默认设置为False,配置为true时也隐含了killasgroup 配置项为true。

vim /etc/supervisord.conf

更新配置
sudo supervisorctl update
再次尝试重启,成功。

切记不要使用 supervisorctl restart,restart是重启所有项目服务,可能导致整个集群服务挂了
建议:使用systemd方式启动


没有评论:

发表评论