Bendi新闻
>
多领域文献阅读超越GPT-4!深势科技发布科学文献多模态大模型Uni-SMART技术报告
多领域文献阅读超越GPT-4!深势科技发布科学文献多模态大模型Uni-SMART技术报告
7月前
Uni-SMART 模型
Uni-SMART 使用了广泛的科学文献数据源,包括专利、科学出版物、新闻文章、市场报告等。并采用了主动学习(Active learning)的方法来不断增强模型的能力:
这种循环迭代的流水线显著提升了 Uni-SMART 在各种任务中的表现,如信息提取、复杂元素识别、科学文献理解和分析,以及多模态元素的理解和推理等。
科学文献多模态能力评估
我们设计了一个专门评测科学文献理解的评估方法 SciAssess,旨在对 LLM 在文献理解的能力进行全面、客观、科学的评估。评测的数据包含了广泛的学科,包括化学、材料、药物发现等,并在每个学科中挑选了各自有代表性的任务。我们使用 SciAssess,将 Uni-SMART 和其他主流的大型语言模型进行了横向对比,定量评估他们在科学文献多模态元素理解的能力。
不同模型在处理包含表格任务的结果对比
不同模型在处理包含图表任务的结果对比
不同模型在处理包含分子结构任务的结果对比
不同模型在处理包含反应式任务的结果对比
实际应用案例
1. 专利侵权判定
2. 温度控制图解析
更多信息
https://uni-smart.dp.tech/
推荐关注
关于深势科技
点击“阅读原文”了解更多
微信扫码关注该文公众号作者
来源:PaperWeekly
相关新闻
超越 GPT-4V 和 Gemini Pro!HyperGAI 发布最新多模态大模型 HPT,已开源GPT-4o仅排第二!北大港大等6所高校联手,发布权威多模态大模型榜单!鲶鱼效应显著!Sora 发布满月,多模态领域成果丰硕 | 大模型一周大事GPT-4V只能排第二!华科大等发布多模态大模型新基准:五大任务14个模型全面测评面壁智能发布最强端侧多模态模型:超越Gemini Pro 、GPT-4V,图像编码快150倍!未央播报 | 央行进一步推动优化支付服务工作 OpenAI发布多模态大模型GPT-4o中国移动千亿多模态大模型发布,「九天-九九」风趣畅聊堪比GPT-4o零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR梗图理解“天花板”!港中文终身教授贾佳亚团队推出多模态模型:GPT-4+DALL-E 3,王炸组合刷爆榜单李未可科技古鉴:发布自研多模态大模型WAKE-AI,三大优化让AI眼镜交互体验升级 丨GenAICon 2024AI早知道|商汤科技发布“日日新5o”;支付宝发布国内首批多模态医疗大模型完全开源!谢赛宁发布最新SOTA多模态模型Cambrian-1,“不与GPT-4V媲美”Agent触摸汉堡辨冷热,首次拥有类人感官!UCLA等发布3D多模态交互具身智能大模型智谱 AI 推出新一代基座大模型 GLM-4,能力逼近 GPT-4,配备多模态、长文本和智能体GPT-4o成为全领域SOTA!基准测试远超Gemini和Claude,多模态功能远超GPT-4蚂蚁百灵大模型一号位:GPT-4o发布不意外,原生多模态方向已明最佳开源模型刷新多项SOTA,首次超越Mixtral Instruct!「开源版GPT-4」家族迎来大爆发第一个基于Llama 3的多模态大模型!Bunny-Llama-3-8B-V上线!只要千元级,人人可用百亿级多模态大模型!国产「AI模盒」秒级训练推理AI早知道|ChatGPT模型大更新;阿里云发布多模态大模型;百度推多模态模型UNIMO-G浙江大学发布全能多模态大模型OmniBind,刷榜13大benchmark轻松拿捏4K高清图像理解!这个多模态大模型自动分析网页海报内容,打工人简直不要太方便多模态大模型,爆了!网友:YYDS!国产端侧小模型超越 GPT-4V,「多模态」能力飞升