Bendi新闻
>
基于 RabbitMQ 和 Redis,美版“携程”网使用微服务提升搜索扩展性

基于 RabbitMQ 和 Redis,美版“携程”网使用微服务提升搜索扩展性

作者 | Rafal Gancarz
译者 | 王强
策划 | Tina

lastminute.com 的团队将单个服务分解为多个服务,并引入异步集成来重新构建了搜索结果聚合流程。他们的开发人员使用 RabbitMQ 进行消息传递,使用 Redis 存储来自数据供应商的结果。改进后的架构有了更强的可扩展性和可部署性,资源占用率也有所下降。

lastminute.com 平台在平台的旅行解决方案搜索聚合流程中使用的是第三方供应商。过去,他们使用一个称为运输供应商聚合器 (TA) 的单个 Java 组件封装了整个聚合过程。具体来说,该组件在内部生成许多线程来执行对数据供应商系统的 HTTP POST 请求,并随后在可用时收集和处理结果。

初始搜索结果聚合架构(来源:lastminute.com 技术博客

lastMinute.com 团队发现,之前这个聚合流程架构存在耦合度高、扩展性差、部署复杂、资源利用率高等问题。lastMinute.com 的产品工程师 Giuseppe Pinto 解释了在该架构中观察到的资源利用率挑战:

该系统每天必须处理大约 5000 万个请求 [...],这意味着每秒大约 600 个请求(这里还是按日常流量算出来的数字;但在某些情况下,流量甚至可能会增加一倍)。值得注意的是,每个单独的请求都会生成 N+1 个线程来实现系统的目标。每个线程负责处理来自供应商的完整响应,在某些情况下,一个 HTTP 响应就封装了一个旅行解决方案,大小达到 25 兆字节之多。总之,就线程和内存使用而言,它是高度资源密集型的。

开发人员选择了分解 TA 服务,并将其中的数据提供者集成逻辑移至独立的微服务中,同时让 TA 服务专注于编排和结果聚合工作。新架构引入了 RabbitMQ 作为消息传递服务,它负责将搜索任务分派给数据提供者搜索驱动程序,并将任务完成通知从搜索驱动程序传递回聚合服务。

TA 服务和搜索驱动程序之间的交互采用了远程过程调用(RPC)模式,基于更通用的请求 - 答复模式。该模式需要两个消息队列,第一个用于发送搜索任务请求,包含相关标识符和回复队列的名称;第二队列传送搜索任务完成通知,包含来自搜索任务消息的相关标识符。聚合服务跟踪待处理的搜索任务,并使用相关标识符来匹配分派的搜索任务和接收到的完成通知。

新的搜索结果聚合架构(来源:lastminute.com 技术博客

在新设计中,搜索驱动程序服务在发送回 TA 服务的通知消息中不包含数据提供商返回的旅行解决方案数据。相反,它们以标准化形式将数据存储在 Redis 缓存中,一旦所有搜索完成通知到达,TA 服务就会从 Redis 获取这些数据。

原文链接:

lastminute.com Improves Search Scalability Using Microservices with RabbitMQ and Redis (https://www.infoq.com/news/2024/01/lastminute-search-rabbitmq-redis/)

声明:本文由 InfoQ 翻译,未经许可禁止转载。

今日好文推荐

淘宝启动鸿蒙开发,微信会跟进吗?马云抄底阿里;“哄女友挑战”上线即爆火,24 小时用户达 60 万 | Q 资讯

贾扬清新作被某印度创始人内涵借鉴,懒得纠缠:巧了,正准备开源,GitHub 见

被严重宕机坑惨了!多家公司向这个已经存在10年却“鲜为人知”的架构迁移

Apache 顶级项目 MXNet 退役!大神李沐创办、亚马逊首选深度学习框架如何从大厂“宠儿”到落入“冷宫”?

微信扫码关注该文公众号作者

来源:InfoQ

相关新闻

Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?Front Door “使用量激增”,微软 Azure 云服务发生全球性中断常客:提升里程灵活性,高级会员价值提升~美联航的“全家桶”套餐来了~你能受益吗?冲上热搜!微信红包和转账性质大不同,网友:“以后只转账”新泽西男子大闹航班!脱衣、抽烟、袭警,还要空姐提供“性服务”…….基于微服务和DDD的架构模板不好意思和儿子谈论“性”的我,被这个理工爸爸狠狠教育了!澳华人按摩师强奸性侵6名女客!坚称“只想靠性服务赚钱”,刑期翻倍(图)“性、金钱和权力” !美国作家杀3人 掐死发妻 立刻与小三开心结婚 连孩子也不放过美欧宣布“毁灭性”制裁!其中有9个中国实体!全球供应链从“和平模式”进入“战争模式”?厕所标志“男女不分”,实用性和设计感该如何兼顾?德勤报告 | 未来最大的两个确定性趋势:“数字化”和“国际化”上海女老师出轨学生后,我严肃地和青春期儿子谈了“性”CDC:美出现耐药性“双重突变”流感病毒株病例自爱的重要性!全美首例,美这地出现罕见「真菌引起」性传染病。日娱惊现老年版“吴亦凡”:全国选妃性侵,后辈男艺人争先恐后上贡女孩给他...苹果憋一年大招终于来了!首发M4芯片性能升级,“加大版”iPad Air亮相,价格又涨了“性福”密码找到了!Nature重磅:阴茎和阴蒂中的它,才是“快乐源泉”多伦多高管提前“选择性退休”!搬到小镇当狱警,和太太重坠爱河形势突变,美军舰出动!伊朗警告以色列:若袭击黎巴嫩,将遭受“毁灭性战争”!中使馆发布提醒现实版“釜山行”!国外爆发“僵尸”病毒!7旬老人疑似感染、竟出现攻击性!前NCAA女篮球员:从国际高中到美硕TOP30,用对体育,比卷“学术”更有性价比标志性切换?对冲大佬涌入阿里等中概股,减持美股“七姐妹”涉多起性丑闻!“吹牛老爹”两座豪宅遭搜索,案件提及哈利王子(图)
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。