Bendi新闻
>
Slack 借助 Z 分数监控克服部署恐惧

Slack 借助 Z 分数监控克服部署恐惧

作者 | Matt Saunders
译者 | 平川
策划 | Tina

团队沟通平台 Slack 的一位工程师写了一篇文章,讲述了他们如何克服部署恐惧,并成功地实现了一个机器人来监控部署过程。

Slack 高级软件工程师 Sean McIlroy 记录了他们如何从由一群开发人员轮流监控其 Webapp 部署,转变为使用机器人每天部署 150 个变更。McIlroy 在一篇博文中详细解释了赋予 ReleaseBot 关键角色的原因和逻辑。他描述了一个看似可怕的责任委派如何最终归结为一个检测图表峰值的数学问题。

工程师在将变更部署到像 Slack 这样的大型平台时会面临一系列独特的挑战,因为大多数服务都是在一个名为“The Webapp”的单体应用上运行,每周变更达数百次。Slack 采用了持续交付的部署理念,旨在根据反馈快速迭代,并将开发人员的工作快速交付给客户。然而,管理一个经常使用的变更流(平均每天 150 次左右)需要谨慎权衡,既要避免使系统不堪重负,又要将错误风险降至最低。

传统上,Slack 依赖于部署指挥官(DC),即负责在轮班期间执行部署步骤的人。但是,DC 的轮转性质和系统复杂性的日益增加对于信心和专门知识的构建构成了挑战。因此,发布工程团队试图通过为 DC 提供更清晰的决策指导来解决这个问题。

这就是开发 ReleaseBot 的初衷。ReleaseBot 是一个具备异常检测和监控功能的自动部署系统。从手动部署到自动部署的过渡是一个渐进的过程。最开始的时候,ReleaseBot 与 DC 一起操作,并逐步证明了它的可靠性和效率。它可以比人更快地捕获问题,且提供了更高的一致性。虽然起初,人们对自动化部署可能带来的风险感到担忧,但 ReleaseBot 的性能超出了预期,使人们对其自主处理部署的能力充满了信心。

ReleaseBot 的有效性在于它的异常检测机制,特别是使用了 z 分数(z-score)。Z 分数量化了数据点与平均值的偏差,能够识别指示潜在问题的统计异常值。如果应用程序在部署后的表现与之前的表现不同,就会触发问题的“高置信度”信号,并通知工程师可能存在需要干预的问题。实际上,这是一种检测图形峰值的数学技术。高置信度信号由与历史数据的显著偏差触发,可立即引起注意,而低置信度信号通常由静态阈值控制,可作为补充预警。

Slack 发送给团队的通知其严重程度根据高置信度信号的频率和范围来确定,并用白、蓝、红构成的三色标尺来表示信号的紧急程度。Slack 还使用静态阈值通知作为低置信度预警,但也会把它们作为 ReleaseBot 的输入来计算动态阈值。动态阈值考虑了部署时组件的正常负载和性能。ReleaseBot 会使用历史数据来区分部署期间的异常峰值和预期波动。这种方法使得 Slack 可以过滤掉常规变化,同时标记出需要干预的真正异常。

最后,McIlroy 着重说明了部署监控与普通监控的不同之处。Slack 利用这些知识构建了一个工具,使部署变得不再那么可怕。与让开发人员盯着仪表板相比,使用这个工具来管理部署会让他们更有信心。点击这里阅读全文。

原文链接:

https://www.infoq.com/news/2024/03/slack-z-score-monitoring/

声明:本文为 InfoQ 翻译,未经许可禁止转载。

今日好文推荐

逃离 Windows!德国又宣布迁移到 Linux,涉及数万系统、3 万余人,官员吐苦水:Windows 对硬件要求太高了

Redis 容器化,是不是个“软柿子”?

李彦宏:大模型开源意义不大;腾讯云后台崩了;离开百度7年后,吴恩达官宣加入亚马逊董事会 | Q资讯

走进 AI 高薪族:小而美团队成主流,博士生招聘需求飙升 430%!

微信扫码关注该文公众号作者

来源:InfoQ

相关新闻

Slack 发布用于 Kubernetes StatefulSet 部署的 Operator当父母克服养育过程中的四重恐惧,孩子的厌学、懒惰就消失了,效果立竿见影英国,又一个恐惧的周末来了布碌仑社区多人遇害!大量非移涌现街头,居民恐惧:不敢带小孩到公园方厚彬 | AI 焦虑症是人类对新技术恐惧的历史重现理性的恐惧游戏论|再造恐惧:《三伏》与祛魅年代的中式恐怖想象“不想活在恐惧中”!伊州路怒枪击案 2人中弹 1人身亡 居民对此感到害怕巴菲特:不要让你的恐惧战胜你的逻辑等不到大赦!加拿大去年驱逐16000名无证移民,11年最高记录!加剧恐惧气氛中国再次让西方感受到被支配的恐惧感!财富,如何帮助我们抵御死亡恐惧?[日签] 了解你自己的恐惧,才算是真正洞察的开始...“一开始我对国际学校充满恐惧!”从杭州到上海读AP,我的4年心路历程……全球最惊悚“白骨博物馆”!由《异形》原型艺术家打造,恐惧感拉满!网友:我的童年阴影!Slack 结合 AST 和 LLM 自动转换 15000 个单元测试,成功率达 80%柴柴听到打雷声后一边颤抖一边用笑容掩饰恐惧...好心疼!惊了!近半澳人已不愿出国旅游,背后原因竟是“恐惧”暗示对华禁售不满?阿斯麦CEO:我们不搞政治,但决策者很恐惧如何处理使用英语从事临床工作时的恐惧和焦虑?|资源推荐那些年被高考英语听力支配的恐惧,原来出自他们......五年了,韩国女性最恐惧的事还在继续大反转!女留学生蹊跷坠亡,生前语音曝光!多次遭父亲毒打、恐惧回国,曾提过想跳楼一了百了?纽约家长注意!YouTube上的虚假儿童动画正伤害我们的孩子! 恐惧和紧张的情节密集! 竟有血腥和变态的画面....
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。