Bendi新闻
>
记一次hosts配置内容过多引起的故障

记一次hosts配置内容过多引起的故障

8月前




记一次hosts配置内容过多引起的故障

问题环境

  • 系统环境

    • CentOS release 6.9 (Final)

    • 2.6.32-696.16.1.el6.x86_64

  • Java 环境

    • 1.8.0_151

  • Apollo

    • 1.4.0

  • 代码框架

    • Spring Boot

问题内容

当我们启动 服务后,服务一直卡在去 Apollo 拉取配置的位置,也就是一直没有拉到配置。

2019-11-20 21:06:47.884 [main] INFO  c.c.f.f.i.p.DefaultApplicationProvider - App ID is set to xdm-test by app.id property from /META-INF/app.properties
2019-11-20 21:06:47.886 [main] INFO c.c.f.f.i.p.DefaultServerProvider - Loading /opt/settings/server.properties
2019-11-20 21:06:47.886 [main] INFO c.c.f.f.i.p.DefaultServerProvider - Environment is set to [PRO] by property 'env' in server.properties.

一直卡在这个位置。

排查方向:

  • Apollo 有问题

    • 手动去模拟请求,是可以拉取到配置的。(Apollo日志有报错)

  • 程序有问题

    • 代码发到 VPC 环境是没有问题的(当时有两套环境),拿上一个版本的代码进行启动也是不行的。

  • Spring Boot 的内置 Tomcat 启动慢(也就是没有启动起来)

    • 更改启动参数使用 /dev/urandom,无效果。

  • 网络问题

    • 手动去模拟请求,是可以拉取到配置的。

  • 其他排查

    • 使用 tcpdump 抓包,没有发现该应用向 Apollo发起拉取配置请求。

问题原因

我们查看在 /etc/hosts 中发现了最近加了一行 host 配置,是域名指向 Nginx 的,域名有 45个,也就是一行内 一个 IP 对应了 45个域名。形如:

192.168.108.108 a1.com a2.com a3.com a4.com a5.com a6.com a7.com a8.com a9.com a10.com a11.com a12.com a13.com a14.com a15.com a16.com a17.com a18.com a19.com a20.com a21.com a22.com a23.com a24.com a25.com a26.com a27.com a28.com a29.com a30.com a31.com a32.com a33.com a34.com a35.com a36.com

问题是 一行 hosts 内容太多了。导致整个 /etc/hosts配置文件没有生效,或者说是紊乱了。

问题解决办法

将上面的一行 hosts 内容放到两行里面。形如:

192.168.108.108 a1.com a2.com a3.com a4.com a5.com a6.com a7.com a8.com a9.com a10.com a11.com a12.com a13.com a14.com a15.com a16.com a17.com a18.com 
192.168.108.108 a19.com a20.com a21.com a22.com a23.com a24.com a25.com a26.com a27.com a28.com a29.com a30.com a31.com a32.com a33.com a34.com a35.com a36.com

然后重启服务。就可以拉取配置了。

思考

其实在之前就有提示这个相关的报错(部分服务会报),就是在启动的时候。报错部分内容如下。

这个问题的原因是 spring-redis 在初始化时会实例化LocalHost,没有在/etc/hosts中找到对应的 主机名和 内网IP相对应的配置,但是我们进行查看的时候,发现这个配置是有的,也就是有 内网IP 和 主机名的对应记录,但是为什么不生效(也不是不生效,是在程序加载的时候不生效,我们手动ping 主机名是解析成功了的),原因就是我们配置了一行超长的 IP 和域名解析记录,当我们把这个长的解析记录分成两行后,这个报错也就不存在了。

扩展

由于上面的系统是 Centos6.9 ,我在想是不是那个版本,或者说是 6版本的BUG,我将这个情况在 CentOS Linux release 7.6.1810 (Core) 内核版本为 3.10.0-957.5.1.el7.x86_64 进行重现,我让 /etc/hosts 的一行也有45个域名,我进行启动程序,发现程序是正常的,可以正常拉取配置的。我又增加了 30个域名,共75个域名在同一行,然后进行重启程序,程序是正常的,可以正常拉取配置的,应该是在 7版本解决了这个问题。

我后面又检测了下 CentOS release 6.10 (Final) 2.6.32-754.11.1.el6.x86_64 发现也还是出现这种问题,在配置了几十个域名在一行后,启动就还会出现这种情况。

链接:https://www.cnblogs.com/operationhome/p/11914245.html

(版权归原作者所有,侵删)


微信扫码关注该文公众号作者

来源:马哥Linux运维

相关新闻

使用策略模式消除冗长的if-else|记一次smart-auto重构总结记一次疑似JVM内存泄漏的排查过程Llama3.1训练平均3小时故障一次,H100万卡集群好脆弱,气温波动都会影响吞吐量[电脑] 记一次装机|ROG半个全家桶故障的航母,掺水的演习记一次小H站渗透过程,实操!黄记煌的干锅太上头了!吃得根本停不下来回忆杀!那年的老友记和那些追剧同款零食[汽车] 断了的弦-记自己告别的第一台车Audi A3 limousine 40tfsi你遇到没?令人毛骨悚然的 iPhone 故障!多年前删除的照片重新出现?威尔史密斯慈善机构即将倒闭!奥斯卡的那记巴掌,居然响到了今天?“以色列将收到一记真正的耳光”!肖全的西行漫记,从成都出发合唱的魅力 心灵的共振 — 记波士顿音乐家协会合唱团2024年夏季音乐会成功举办医信人李工的工作变形记:从IT救火员到云上指挥官加拿大陪读记: 读自己的书, 任女儿躺平吧“欧洲最美”神颜!西班牙公主莱昂诺尔,00后三军统帅!改变王室命运,样样精通的女王养成记...葛牧师捐赠14辆救护车 以照片与经文装饰 记念牺牲的人《宵夜江湖》第三季初心回归,解锁深夜味蕾的奇幻漂流记我在北美送快递 - 一个VC的尽调手记:跨境电商如何改变美国基建斯里兰卡经济危机两周年记:危机下的城市巨变 | IIAS《田野日誌》第4期光速光合一年记:新时代VC的新型基本功聊一聊:有啥暴露年龄的梗,你一直记到现在?《我本是高山》摄影手记:半即兴的新自然主义实践
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。