Bendi新闻
>
吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt,连黑客帝国的子弹都能数清楚

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt,连黑客帝国的子弹都能数清楚

8月前
白交 发自 凹非寺
量子位 | 公众号 QbitAI

还记得黑客帝国经典的子弹时间吗?

IDEA研究院最新检测模型T-Rex2,可以齐刷刷给全部识别出来~

而面对难倒一众大模型「吉娃娃or松饼」的难题,它只需被投喂一张吉娃娃的照片,就能瞬间迎刃而解。

此前,也是同样的团队,推出了基于视觉提示的检测模型T-Rex

如今,他们将视觉和文本提示融合,相互弥补各自的缺陷,实现了更强的目标检测能力。

并且与多目标跟踪模型结合后,各种视频检测任务也不在话下。

来看新研究到底说了什么。

打通文本和视觉提示

在开集目标检测领域,尽管文本提示受到一定的青睐,但也存在一定的局限性。

比如长尾数据短缺。稀有或者全新的物体类别的数据稀缺可能会削弱其学习效率。还有描述上的局限性,对于一些难以用语言描绘的对象,因受限于无法精确描述,也会削弱效果。

而视觉提示提供了更直观且直接的对象表示方法,但在捕捉常见对象的概念时效果就会很差。

T-Rex2通过对比学习在单个模型中整合两种提示,因此接受多种格式的输入,包括文本提示、视觉提示以及两者的组合。

在不同场景中,它可以通过在两种提示方式之间切换来处理。

因此,它大致有三种工作模式:

文本提示模式、交互式视觉提示模式、通用视觉提示模式。

以通用视觉提示模式为例,用户可以通过向模型提供任意数量的示例图片,来自定义特定对象的视觉嵌入,然后使用这个嵌入来检测任意图像中的对象。

也就是不需要用户与模型直接互动,就能完成检测任务。

最终在在四个学术基准测试集 COCO, LVIS, ODinW, 和Roboflow100 上取得了 Zero-Shot SOTA的性能。

开箱即用诸多领域

无需重新训练或微调,T-Rex2即可检测模型在训练阶段从未见过的物体。

该模型不仅可应用于包括计数在内的所有检测类任务,还为智能交互标注领域提供新的解决方案。

除此之外,结合现有的多目标跟踪模型( 如ByteTrack ),T-Rex2还可用于视频检测任务。

事实上,这种跨图检测能力,让目标检测技术在生产生活中可以真正开始广泛应用。

比如工业生产流水线器件检测,交通航运领域的船舶、飞机检测,农业领域的农作物、果蔬检测,生物医学领域的细胞、组织检测,物流领域的货物检测,环境领域的野生动物监测等。

现在,T-Rex2让通用物体检测又迈出了新的一步。

试玩链接:
https://deepdataspace.com/playground/ivp

T-Rex2 API:https://github.com/IDEA-Research/T-Rex
论文链接:
https://arxiv.org/abs/2403.14610

评选报名即将截止!

2024年值得关注的AIGC企业&产品

量子位正在评选2024年最值得关注的AIGC企业、 2024年最值得期待的AIGC产品两类奖项,欢迎报名评选评选报名 截至2024年3月31日 

中国AIGC产业峰会「你好,新应用!」已开启报名!点击报名参会 同时,峰会将进行线上直播 ⬇️


点这里👇关注我,记得标星噢

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 


微信扫码关注该文公众号作者

来源:量子位

相关新闻

全世界拥有最多乐高套装之人的吉尼斯纪录被刷新!新记录保持者拥有超过6000套乐高套装!被撕裂的小国!俄罗斯,为何将格鲁吉亚20%的领土分裂出去?一次性把陈皮的知识讲清楚!主人无家可归!带63只吉娃娃"一起住在车里",毛球塞爆前座玻璃福布斯「新常春藤名单」横空出世!你能分清楚常春藤,新常春藤,公立常春藤,南方常春藤?经济挑大梁,改革当先锋,民生作标杆!陈吉宁参加浦东新区代表团审议,要求全力以赴奋力一跳成立2年产出280篇论文,一个顶尖数学家兼亿万富翁和他打造的新型“科学帝国”|纪念吉姆·西蒙斯(1938-2024)仅一天!十周年回馈!进店有礼,专家面诊,价值1800的热玛吉福利等你来领!错过等一年!24 Fall杀疯了!麦吉尔新生成为最幸运的一批人关于端午节最大的争议,终于能给孩子讲清楚了!男主人用吉娃娃牌刮胡刀蹭脸颊,狗露出礼貌的微笑:感谢光临报复轰炸机基地被炸?俄军时隔40多天又袭基辅!黑海舰队要被赶到格鲁吉亚了巩固拓展主题教育成果,创造新业绩、交出新答卷!上海市主题教育总结会议举行,陈吉宁李锦斌出席并讲话突发:西雅图14岁男孩在游泳池浴室遭枪击身亡;诞生亚马逊的房子以200万美国被出售;普吉特海湾地区房事有望回暖冷冷的冰雨在普吉湾胡乱地拍!近0.1英寸积冰导致学校关闭和延误,娃又砸手里了吉娃娃情侣结婚,亲友包2辆游览车祝福,也太幸福了吧!吉娃娃身着英伦风大衣和超炫墨镜在街头走秀,超模气质拉满!比清迈更小众!比普吉更惬意!在热带森林与洁白沙滩之间的度假天堂~6人死亡、25人受伤!印度一化工厂爆炸引发火灾,尚不清楚有多少人被困过年送TA赢麻了!妈见夸的11款龙年高颜值“吉食礼”!大牌特卖场|| 超有品位的香氛来了!100+就能拥有梅森马吉拉毛利率高达60.02%!水孩儿、暇步士、哈吉斯童装背后的嘉曼服饰去年营收11.5亿一辈子心血几分钟内全毁!美华裔珠宝店遭黑衣人洗劫,能拿走的全拿走,劫匪"很清楚目标"一辈子心血几分钟内全毁!美华裔珠宝店遭黑衣人洗劫,能拿走的全拿走,劫匪"很清楚目标"。
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。