昨天凌晨,OpenAI 在首次「春季新品发布会」上搬出了新一代旗舰生成模型 GPT-4o、桌面 App,并展示了一系列创新能力。看完发布会,大家不禁感慨,国内大模型和美国的差距更大了。
多模态GPT4其实可以处理各种跨模态的需求,比如:发图片让它帮忙分析、发文件做阅读理解、语音聊天等等。但是之前的处理是一步步在用户侧体现转换过程的。比如你想让ChatGPT帮忙解一道数学题,就只能截图或者复制题目,发给ChatGPT。
而通过GPT-4o,我们可以直接使用桌面应用,将ChatGPT打开放在一边,和它聊着天的同时,用“拍摄”功能给它看你电脑桌面的内容,它就可以在对话中为你答疑解惑。
在一则演示中,用户将ChatGPT桌面应用和做题界面同时打开。ChatGPT不直接给出答案,而是以问题引导的方式,有问有答地一步步带用户解了一道几何题。
甚至,我们还可以打开摄像头,让ChatGPT“看”着纸面指导解题。
在模型“GPT-4o”的加持下,ChatGPT还能与用户视频通话:用户打开摄像头,让GPT-4o“看”到当下,并进行互动。
用前置镜头自拍,ChatGPT不仅能识别用户的情绪,如“看起来很开心,甚至可以说是兴奋的”,还能从用户背后的画面判断其身处的环境,如“看起来你在一个摄影棚中,背后有一些灯光,你的胸前还别着麦克风,可能在录制视频之类的”。
当有另一个人进入镜头并且做鬼脸的时候,ChatGPT也准确指出了这一“不太寻常”的情况,并加以描述。
用后置镜头,GPT-4o还可以和用户共享视角。例如,在语言学习的过程中,打开摄像头让ChatGPT用某种语言说出物品的名称。
总而言之,GPT-4o驱动下的ChatGPT,不再仅仅是一个什么都会的应用,而是真正进化成了一个“AI助手”。
我们可以看到未来 “GPT-4o” 在AI助手的诸多领域带来改变,比如视觉助手、情感陪伴助手、翻译助手、绝大部分工具助手,比如一对一家教老师。
视觉助手
一位盲人在路边走着,他和GPT4o对话。
盲人:能不能告诉我前方是否拥堵,有几辆车?
GPT-4o:我视线范围内 3辆。
盲人:“我想知道什么时候有一辆亮着橙色灯的出租车过来,我想让它载我回家。”
GPT-4o:“我刚刚发现了一辆,它在路的左侧朝你驶来,准备朝它挥手”。
解题助手
在发布会中,一位研发负责人Barret手写了一个方程,并打开摄像头拍给ChatGPT,让它扮演“在线导师”的角色帮助自己解题,而且只能给提示,不能直接说答案。
情感陪伴
GPT-4o 不仅能够根据场景生成多种音调,还带有类人的情绪和情感。在演示的例子中,GPT-4o 根据提示的角色和场景对应的语调来讲故事,包括模拟机器人的音色。
在影视制作上的革命
此前预测Sora发布后,对影视行业带来的颠覆。在GPT-4o 的加持下,可能更突破想象力。
虚拟演员和虚拟导演:开发虚拟演员和虚拟导演参与电影制作,不仅降低成本,还能创造出超越现实限制的表演和视觉效果。
个性化和定制电影制作:用户可以根据自己的喜好定制电影内容,包括剧情走向、角色设定甚至是结局。这种个性化服务可以作为高端娱乐产品向市场推出。
虚拟电影制作服务:为小型电影制作公司或独立电影制作者提供虚拟电影制作服务,包括虚拟场景构建、角色设计等,极大降低电影制作成本,加速电影制作进程。
电影内容的即时生成:根据观众的反馈和需求,实时调整和生成电影内容,为观众提供更加个性化和互动的观影体验。
云端电影制作平台:提供云端的电影制作和编辑平台,允许全球的创作者协同工作,共同参与电影项目的制作。
跨媒体内容创作:结合图书、游戏、虚拟现实(VR)等多种媒介,利用Sora技术创作跨媒体故事内容,吸引更广泛的受众。
电影营销和宣传新模式:通过Sora技术快速制作电影预告片、角色介绍等宣传材料,提高营销效率和吸引力。
版权和衍生品开发:AI创作的电影和角色可以开发出新的版权和衍生品市场,包括虚拟商品、角色授权等。
AI影评和内容推荐:利用AI技术分析电影内容和用户偏好,提供个性化的影评和电影推荐服务。
电影制作教育和培训:制作结合Sora技术的电影制作的在线教育和培训课程,让更多的人学会以较低成本制作影视作品的相关技能。
GPT-4o 可以渗透到影视制作环节,比如制作流水线的角色,可以是若干AI来参与,他可能比人更专业。其次是角色本身,可以是人+AI (生物)在演戏。
我们惊叹,强人工智能的AGI时代,越来越接近了。
AI是大势所趋,更是机会,我非常鼓励大家链接军哥(V:jianghu10002)。
我还给大家争取到一个重磅福利,如果你想学 AI,但是害怕踩坑怎么办?
这些其实我都想到了,为了确保你能获取到真正有价值的AI信息,军哥利用破局合伙人身份为大家争取到了一个特殊福利,那就是 AI破局的 3 天体验卡!
扫码之后可以加我微信(jianghu10002),同时进入我的陪伴群体验。