大模型产研2024年4月半月谈后的一些冷思考：思辨及从关键事件、RAG-KG结合到文档图表理解的一些跟进

4月已经过去，过去的半个月发生的这些事情都很有趣，老刘说NLP技术社区顺利完成《老刘说NLP2024年4月份上半月大模型、知识图谱、RAG进展总结-文档图表理解技术总结》线上交流，面向全体社区成员，回顾4月份上半月所发生的一些事儿。

在一个半小时的交流中，我们回顾了包括一些产研的关键事件、如lllama3发布、中文版跟进等，此外也包括对知识图谱与大模型、文档智能值得关注的一些大模型开源项目及前沿工作进行梳理，当然，也包括值得关注的关于文档图表理解的那些事儿。

继续抬头看，目前开源不断爆发，总会有新的机会，深入思考，辨证地、有逻辑地看问题，总会有新的思路。

供大家一起参考并思考，有好的思路，欢迎一起交流。

一、4月份上半月大模型产研关键事件一览

整体来看，4月份上半月大模型开源继续进行，包括llama3，moe等模型的发布，而在音乐生成方面，4月份上半月也有一些动作，也出来了一些很有影响力的整理工作

当前，RAG已经进入稳态，RAG与知识图谱相关的进展并不是很多，大多的工作还是集中在评估、方案集成的思想上。

图表中包含有丰富信息，可以做许多工作。例如，图表摘要，给定图片图片，输出关于该图表的摘要；图表信息抽取，如何将图表还原成渲染前的底层数据；图表问答，针对图表做问答；图表转code，可以进一步与chatbi进行结合。

文档图表理解是文档智能中一个很有趣的话题。端到端进行文档智能分析主要受到的挑战是多模态大模型的幻觉问题。

少judge, 多reading and coding，技术的评价越来越难，评价越来越难中肯，回归技术本身，长期坚持一件事，不一定会成果，但一定会有成长；

继续抬头看，目前开源不断爆发，总会有新的机会，卡很重要；社区群消息一定要看，否则会错失很多东西。

谷雨之后，即将入夏，春光大好，多出去走走。

最后，大模型在降温、保持长期主义、保持自律、保持专注、多思考。

实际上，在运行了半年之后，社区已经顺利养成按照半月谈的形式进行技术进展汇报，这其实是探索的另一种形式，而个人是受益的。

已经陆续形成了共17讲的线上交流，感兴趣的可以加入社区查看，可能对增进自己对技术的跟进能力，会有一定帮助。

我始终觉得说，跟进技术，并不断地总结，总结，再总结，总会达到常看常新的效果；

并且，我后面逐步想到，以公众号这种碎片化的方式进行知识习得的方式越来越行不通，无法得到反馈，并激发深度思考。因此，最近在尝试一些新的方式。

如果有更好的形式，欢迎大家提出，一起更好的成长、思考。

老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

老刘说NLP，将定期发布语言资源、工程实践、技术总结等内容，欢迎关注。

对于想加入更优质的知识图谱、事件图谱、大模型AIGC实践、相关分享的，可关注公众号，在后台菜单栏中点击会员社区->会员入群加入。