多领域文献阅读超越GPT-4！深势科技发布科学文献多模态大模型Uni-SMART技术报告
Uni-SMART 模型
Uni-SMART 使用了广泛的科学文献数据源，包括专利、科学出版物、新闻文章、市场报告等。并采用了主动学习（Active learning）的方法来不断增强模型的能力：
1. 多模态学习 (Multimodal Learning)：在初始阶段，模型通过较少的多模态数据进行训练，以识别和提取科学文献中的各种信息元素，并将这些信息以序列化的形式进行输出，该序列化结果中包含了文本和多模态信息。2. 大模型有监督微调 (LLM SFT)：利用上一步产生的序列化输出以及对应的 QA 对，对大模型进行有监督微调，增强大模型处理和理解多模态信息的能力。3. 用户反馈 (User Feedback)：经过 SFT 增强的大模型部署到实际应用中，期间，我们从明确给予同意的内部用户中收集反馈。收到正反馈的样本将被筛选并随后进入数据增强环节，而收到负反馈的样本则需经过专家标注后进入到数据增强环节中。4. 专家标注 (Expert Annotation)：获得负反馈的样本会由内部的领域专家进行细致的标注，确保模型能够从这些错误中学习并改进，半自动化工具将在这个过程中提供帮助以提高标注效率。负反馈的案例通常分为两类：一类是多模态识别错误导致的，第二类是大模型的理解或推理错误导致的。通过细致的错误类型分析，从而促进更有针对性的改进。5. 数据增强 (Data Enhancement)：将专家标注后的数据，以及部分正反馈的样本增加到模型的训练数据中，实现数据集的不断扩充。不断重复这一迭代过程，以此来优化 Uni-SMART 的整体性能。这种循环迭代的流水线显著提升了 Uni-SMART 在各种任务中的表现，如信息提取、复杂元素识别、科学文献理解和分析，以及多模态元素的理解和推理等。
科学文献多模态能力评估
我们设计了一个专门评测科学文献理解的评估方法 SciAssess，旨在对 LLM 在文献理解的能力进行全面、客观、科学的评估。评测的数据包含了广泛的学科，包括化学、材料、药物发现等，并在每个学科中挑选了各自有代表性的任务。我们使用 SciAssess，将 Uni-SMART 和其他主流的大型语言模型进行了横向对比，定量评估他们在科学文献多模态元素理解的能力。
不同模型在处理包含表格任务的结果对比
不同模型在处理包含图表任务的结果对比
不同模型在处理包含分子结构任务的结果对比
不同模型在处理包含反应式任务的结果对比
实际应用案例
1. 专利侵权判定
2. 温度控制图解析
更多信息
https://uni-smart.dp.tech/
论文链接：https://arxiv.org/abs/2403.10301产品试用链接：https://uni-finder.dp.tech/benchmark 论文链接：https://arxiv.org/abs/2403.01976benchmark 代码仓库：https://github.com/sci-assess/SciAssessBohrium® 小程序地址：#小程序://Bohrium/z7YFPNP8wlQt5e推荐关注
关于深势科技
深势科技是“AI for Science”科学研究范式的引领者和践行者，致力于运用人工智能和多尺度的模拟仿真算法，结合先进计算手段求解重要科学问题，为人类文明最基础的生物医药、能源、材料和信息科学与工程研究打造新一代微尺度工业设计和仿真平台。我们开创性地提出了「多尺度建模+机器学习+高性能计算」的革命性科学研究新范式，并推出了Bohrium®科研云平台、Hermite®药物计算设计平台、RiDYMO®难成药靶标研发平台及 Piloteye®电池设计自动化平台等工业设计与仿真基础设施，颠覆了现有研发模式，打造“计算引导实验、实验优化设计”的全新范式。
深势科技是国家高新技术企业、国家专精特新“小巨人”企业，总部位于北京，并在上海、深圳等城市布局研发中心。科研技术团队由中国科学院院士领衔，汇集了超百位数学、物理、化学、生物、材料、计算机等多个领域的优秀青年科学家和工程师，其中公司的博士及博士后占比超过35%。核心成员获得过2020年全球计算机高性能计算领域的最高奖项“戈登贝尔奖”，相关工作当选2020年中国十大科技进展和全球AI领域十大技术突破。
点击“阅读原文”了解更多