总奖金 4 万美元!亚马逊 KDD Cup 2024 大模型在线购物竞赛正式启动
想拥有一个准确理解购物意图,还能陪你实时交流的购物助手吗?亚马逊KDD Cup 2024 大模型在线购物竞赛3月18日正式启动!奖金丰厚,诚邀各位AI人才踊跃参与!
竞赛网址:https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-online-shopping-challenge-for-llms
KDD Cup是ACM知识发现与数据挖掘国际会议(KDD)的竞赛项目,是最具影响力和最受欢迎的数据挖掘竞赛之一。自1997年以来,每一届KDD Cup都吸引了世界各地的数据科学家、研究人员和工程师,在严格的比赛条件下,通过数据挖掘技术和算法来解决实际问题。KDD Cup的主题和任务涵盖了各种领域,包括社交网络、金融、医疗、电子商务等,参赛者需要通过数据挖掘和机器学习技术,从大规模的数据中发现规律和模式,得出有效的解决方案。KDD Cup不仅提供了一个展示最新技术和算法的平台,也为学术界和工业界之间的合作和交流提供了机会,促进了数据科学的发展。
今年,亚马逊Rufus团队将主办一场面向大语言模型(LLM)的多任务在线购物竞赛。该竞赛将要求参与者基于通用知识LLM,将其适配到在线购物领域的独有概念和知识上,以理解在线购物中的各种实体并解决对应的实际问题,如产品、属性、评论、商品推荐等。挑战将于3月15日开始,7月10日结束。我们为该竞赛设置了总奖金共计41,500美元。期待您的参与!
在线购物已成为现代人生活中不可或缺的服务。机器学习已被广泛应用于理解在线购物中的各种实体,如查询、浏览会话等,以推断用户的搜索和购物意图。然而,在线购物涉及到对各种购物实体的联合理解和推理,如产品、属性、查询、购买记录等,从而形成一个庞大的多任务学习问题。此外,随着业务扩张或新产品线的出现,新的购物实体和任务不断涌现,从而在这些新兴任务上产生了少样本学习问题。目前为止,很少有研究探讨在多任务、少样本学习场景下的在线购物任务。
大语言模型(LLM)有潜力解决在线购物中的多任务、少样本学习问题。诸如ChatGPT,Claude的大语言模型可以熟练执行多种文本理解和生成任务,且需要少量数据样本,就可以执行以前未见过的任务。因此,如果我们为所有与购物相关的任务训练单个LLM,就可以减少为每个特定任务设计和训练模型的成本,以及在新任务上进行数据标记和重新训练的成本。此外,LLM还可以通过实时交互界面为用户提供购物推荐,从而改善客户的购物体验。然而,由于在线购物领域存在大量特殊的概念,短语(例如品牌,产品线)和知识(例如什么品牌生产什么商品),将通用领域LLM适配到在线购物领域仍然存在不小的挑战。
为了将这一潜力转化为现实,亚马逊Rufus团队提出了ShopBench。ShopBench是一个多样化的多任务在线购物评测数据集,包括4个主要购物技能、57个任务以及约20000道测试题,全部从真实的亚马逊数据生成。我们将ShopBench中的所有任务转化为统一的文本生成格式,以适应基于LLM的解决方案的探索。通过ShopBench,我们希望评估四个重要的购物技能,它们将作为我们竞赛的四个子问题:
- 子问题1: 购物概念理解
- 子问题2: 购物知识推理
- 子问题3: 用户行为对齐
- 子问题4: 多语言能力
此外,我们将这4个子问题合并成为全集问题。通过全集问题,我们希望参赛者用统一的解决方案解决子问题1-4中的所有试题,以进一步强调该竞赛的多任务属性和解决方案的灵活性。
通过该竞赛,我们希望参赛者可以开发出针对实际问题的先进LLM技术,从而获得宝贵的上手经验。我们也希望该竞赛能够为整个面向用户(to-C)的互联网行业提供强大且有效的的基于LLM的解决方案。最后,我们也希望该竞赛能为整个机器学习社区提供关于LLM训练和垂直领域适配/微调的宝贵见解。
竞赛将分为两个阶段。所有报名的队伍都可以参与第一阶段。第一阶段结束后,只有排名前25%的队伍可以进入第二阶段。ShopBench数据集也将被分为两个不相交的测试集。第二阶段使用的测试集将更难一些。最终的获胜者将仅由第二阶段决定。
- 竞赛网站公开,接受参赛队伍注册:15th March, 2024 23:55 UTC
- 第一阶段开始: 18th March, 2024 23:55 UTC
- 报名截止,第一阶段截止:10th May, 2024 23:55 UTC
- 第二阶段开始: 15th May, 2024 23:55 UTC
- 第二阶段截止: 10th July, 2024 23:55 UTC
- 获奖者通知: 15th July, 2024
- 正式宣布获奖者: 26th August, 2024 (at KDD 2024)
我们准备了总额为$41,500的奖金,包括获胜者奖励,AWS积分,以及学生奖励。
- 每个子问题/全集问题的获胜者(第1,2,3名)会得到现金奖励
- 随后的数个参赛队伍会得到AWS积分奖励
- 学生奖励:训练LLM往往需要大量的计算资源和工程投入,对学生来说往往没有这样的条件。因此,为了鼓励学生参赛并提出高效解决方案,我们为每个子问题的最佳学生队伍(要求全部队员都是学生)准备了学生奖励。
子问题1-4设置如下奖励
- 🥇 第一名: $2,000
- 🥈 第二名: $1,000
- 🥉 第三名: $500
- 4-7名: AWS Credit $500
- 🏅 学生奖励: $750
全集问题设置如下奖励
- 🥇 第一名: $7,000
- 🥈 第二名: $3,500
- 🥉 第三名: $1,500
- 4th-8th places: AWS Credit $500
- 🏅 学生奖励: $2,000
以上奖励可以在不同子问题/全集问题间累计。例如,如果您的队伍在全集问题中获得第3名并在子问题1中获得第2名,您将得到$1,500 + $1,000=$2,500奖励。
此外,获胜队伍将有机会在KDD Cup Workshop 2024中展示他们的解决方案。
更多内容,点击下方关注:
微信扫码关注该文公众号作者