新智元报道
编辑:编辑部Demo地址: http://103.170.5.190:7860/
论文地址:https://arxiv.org/pdf/2403.18814.pdf具体来说,Mini-Gemini提供了2B小杯到34B的超大杯的不同选择。凭借超强的图文理解力,Mini-Gemini在多个指标上,直接媲美Gemini Pro,GPT-4V。目前,研究团队将Mini-Gemini的代码、模型、数据全部开源。更有意思的是,超会玩梗的Mini-Gemini线上Demo已经发布,人人皆可上手试玩。Mini-Gemini Demo放出后受到广大网友关注,一番「尝鲜」后,有人认为:Mini-Gemini跟商业模型差不了多少!为何这么说?图片理解天花板
当前,绝大多数多模态模型仅支持低分辨率图像输入和文字输出。而在实际场景中,许多任务都需要对高清图像进行解析,并用图像的形式进行展现。举个例子,Mini-Gemini能够看懂面包九宫格图片教程,并进行手把手教学。拍一张苹果店Mac电脑信息图,Mini-Gemini能够将两种尺寸的Mac不同参数进行对比。有网友看过后表示,「妈妈再也不用担心我的生活了」。更重要的是,Mini-Gemini在保留超强的图像理解和推理能力的同时,还解锁了图像的生成能力,就如同ChatGPT和生成模型的结合。下面,让我们通过几个例子来更直观地感受这种能力:技术细节
如上演示中,Mini-Gemini是怎样做到这种惊艳的效果呢?
论文地址:https://arxiv.org/pdf/2403.18814.pdfGithub地址:https://github.com/dvlab-research/MiniGemini模型地址:https://huggingface.co/collections/YanweiLi/mini-gemini-6603c50b9b43d044171d0854数据地址:https://huggingface.co/collections/YanweiLi/mini-gemini-data-660463ea895a01d8f367624e大道至简,Mini-Gemini的整体思路并不复杂。其中的Gemini(双子座)表达的是使用视觉双分支的信息挖掘(Miraing-Info in Gemini)解决高清图像理解问题。而其中的核心在于三点:
(1)用于高清图像的双编码器机制;
(2)更高质量的数据;
(3)训练阶段结合生成模型数据拓展。详细来说,Mini-Gemini将传统所使用的ViT当做低分辨率的Query,而使用卷积网络(ConvNet)将高分辨率的图像编码成Key和Value。使用Transformer中常用的Attention机制,来挖掘每个低分辨率Query所对应的高分辨率区域。从而在保持最终视觉Token数目不变的情况下去提升对高清图像的响应,保证了在大语言模型(LLM)中对于高清图像的高效编码。值得一提的是,由于高分辨率分支卷积网络的使用,可以根据需要对图像所需的分辨率自适应调整,能够遇强则强。对于图像的生成部分,Mini-Gemini借助了SDXL,使用LLM推理后所生成的文本链接两个模型,类似于DALLE3的流程。而对于数据这个「万金油」,Mini-Gemini进一步收集并优化了训练数据的质量,并加入了跟生成模型结合的文本数据进行训练。在仅使用2-3M数据的情况下,实现了对图像理解、推理、和生成的统一流程。Mini-Gemini在各种Zero-shot的榜单上毫不逊色于各种大厂用大量数据训练出来的模型,可谓是「平、靓、正」 !人人在线可玩
值得一提的是,Mini-Gemini的图像理解和生成能力已经出了Demo,可以在线跟自定义图像对话的那种。操作也极其简单,直接跟输入图像或文字进行对话即可,欢迎来撩! Demo地址:http://103.170.5.190:7860/