GPT-4o 会带来哪些颠覆?

昨天凌晨,OpenAI 在首次「春季新品发布会」上搬出了新一代旗舰生成模型 GPT-4o、桌面 App,并展示了一系列创新能力。看完发布会,大家不禁感慨,国内大模型和美国的差距更大了。


主持人Mira Murati、OpenAI 的首席技术官 ,主要讲了三件事:


  • 以后 OpenAI 做产品就是要免费优先,为的就是让更多的人能使用。
  • OpenAI 此次发布了桌面版本的程序和更新后的 UI。
  • GPT-4 之后,新版本的大模型来了,名字叫 GPT-4o。GPT-4o 的特别之处在于它以极为自然的交互方式为每个人带来了 GPT-4 级别的智能,包括免费用户。也有人说GPT-4o 是不是GPT5的另外一个名字。

ChatGPT 的这次更新以后,大模型可以接收文本、音频和图像的任意组合作为输入,并实时生成文本、音频和图像的任意组合输出 —— 这才是属于未来的交互方式。


多模态GPT4其实可以处理各种跨模态的需求,比如:发图片让它帮忙分析、发文件做阅读理解、语音聊天等等。但是之前的处理是一步步在用户侧体现转换过程的。比如你想让ChatGPT帮忙解一道数学题,就只能截图或者复制题目,发给ChatGPT。


而通过GPT-4o,我们可以直接使用桌面应用,将ChatGPT打开放在一边,和它聊着天的同时,用“拍摄”功能给它看你电脑桌面的内容,它就可以在对话中为你答疑解惑。


在一则演示中,用户将ChatGPT桌面应用和做题界面同时打开。ChatGPT不直接给出答案,而是以问题引导的方式,有问有答地一步步带用户解了一道几何题。



甚至,我们还可以打开摄像头,让ChatGPT“看”着纸面指导解题。



在模型“GPT-4o”的加持下,ChatGPT还能与用户视频通话:用户打开摄像头,让GPT-4o“看”到当下,并进行互动。


用前置镜头自拍,ChatGPT不仅能识别用户的情绪,如“看起来很开心,甚至可以说是兴奋的”,还能从用户背后的画面判断其身处的环境,如“看起来你在一个摄影棚中,背后有一些灯光,你的胸前还别着麦克风,可能在录制视频之类的”。


当有另一个人进入镜头并且做鬼脸的时候,ChatGPT也准确指出了这一“不太寻常”的情况,并加以描述。


用后置镜头,GPT-4o还可以和用户共享视角。例如,在语言学习的过程中,打开摄像头让ChatGPT用某种语言说出物品的名称。


总而言之,GPT-4o驱动下的ChatGPT,不再仅仅是一个什么都会的应用,而是真正进化成了一个“AI助手”。


我们可以看到未来 “GPT-4o” 在AI助手的诸多领域带来改变,比如视觉助手、情感陪伴助手、翻译助手、绝大部分工具助手,比如一对一家教老师。


视觉助手


一位盲人在路边走着,他和GPT4o对话。

盲人:能不能告诉我前方是否拥堵,有几辆车?

GPT-4o:我视线范围内 3辆。

盲人:“我想知道什么时候有一辆亮着橙色灯的出租车过来,我想让它载我回家。”

GPT-4o:“我刚刚发现了一辆,它在路的左侧朝你驶来,准备朝它挥手”。



解题助手


在发布会中,一位研发负责人Barret手写了一个方程,并打开摄像头拍给ChatGPT,让它扮演“在线导师”的角色帮助自己解题,而且只能给提示,不能直接说答案。



情感陪伴


GPT-4o 不仅能够根据场景生成多种音调,还带有类人的情绪和情感。在演示的例子中,GPT-4o 根据提示的角色和场景对应的语调来讲故事,包括模拟机器人的音色。


在影视制作上的革命

此前预测Sora发布后,对影视行业带来的颠覆。在GPT-4o 的加持下,可能更突破想象力。

  1. 虚拟演员和虚拟导演:开发虚拟演员和虚拟导演参与电影制作,不仅降低成本,还能创造出超越现实限制的表演和视觉效果。

  2. 个性化和定制电影制作:用户可以根据自己的喜好定制电影内容,包括剧情走向、角色设定甚至是结局。这种个性化服务可以作为高端娱乐产品向市场推出。

  3. 虚拟电影制作服务:为小型电影制作公司或独立电影制作者提供虚拟电影制作服务,包括虚拟场景构建、角色设计等,极大降低电影制作成本,加速电影制作进程。

  4. 电影内容的即时生成:根据观众的反馈和需求,实时调整和生成电影内容,为观众提供更加个性化和互动的观影体验。

  5. 云端电影制作平台:提供云端的电影制作和编辑平台,允许全球的创作者协同工作,共同参与电影项目的制作。

  6. 跨媒体内容创作:结合图书、游戏、虚拟现实(VR)等多种媒介,利用Sora技术创作跨媒体故事内容,吸引更广泛的受众。

  7. 电影营销和宣传新模式:通过Sora技术快速制作电影预告片、角色介绍等宣传材料,提高营销效率和吸引力。

  8. 版权和衍生品开发:AI创作的电影和角色可以开发出新的版权和衍生品市场,包括虚拟商品、角色授权等。

  9. AI影评和内容推荐:利用AI技术分析电影内容和用户偏好,提供个性化的影评和电影推荐服务。

  10. 电影制作教育和培训:制作结合Sora技术的电影制作的在线教育和培训课程,让更多的人学会以较低成本制作影视作品的相关技能。


GPT-4o 可以渗透到影视制作环节,比如制作流水线的角色,可以是若干AI来参与,他可能比人更专业。其次是角色本身,可以是人+AI (生物)在演戏。


我们惊叹,强人工智能的AGI时代,越来越接近了。

AI是大势所趋,更是机会,我非常鼓励大家链接军哥(V:jianghu10002)。

我还给大家争取到一个重磅福利,如果你想学 AI,但是害怕踩坑怎么办?


这些其实我都想到了,为了确保你能获取到真正有价值的AI信息,军哥利用破局合伙人身份为大家争取到了一个特殊福利,那就是 AI破局的 3 天体验卡!


扫码之后可以加我微信(jianghu10002),同时进入我的陪伴群体验。

相关推荐

  • 如何攀上容量保障的珠峰?讲透全链路压测!
  • 2024 Vue 联邦大会,全明星阵容!探讨 Vue 的未来和问题
  • 你的 React 目录结构是啥样?
  • 30 天倒计时警告,Windows 10 21H2 末日即将来临!
  • 小米高管:支持禁止竞业禁止协议;微信月活 13.59 亿;腾讯混元文生图模型全面开源 | 极客头条
  • 编程 20 载,这位新加坡程序员靠 GPT 图解大模型火了
  • Google“反击战”,一夜放出近10款模型!上下文窗口卷到200万tokens、发布Sora竞品Veo、Android也变身了
  • 一款基于 GO 语言的轻量级视频终端下载项目,好强!
  • 无需OpenAI数据,跻身代码大模型榜单!UIUC发布StarCoder-15B-Instruct
  • 美国机器人应用遥遥落后?时隔15年,十所顶尖高校重启「国家机器人路线图」
  • GPT-4o干掉初创全网实测,马斯克Karpathy等大佬纷表不服:OpenAI不过如此
  • 谷歌2小时疯狂复仇,终极杀器硬刚GPT-4o!Gemini颠覆搜索,视频AI震破Sora
  • Docker Desktop 4.29 带来增强的容器隔离性、改进的错误管理界面以及与 Moby 26 的集成
  • 东软集团:生成式 AI 时代,如何布局 AI 人力资源战略?| DTDS 全球数字人才发展大会
  • “驯服”不受控的大模型,要搞定哪些事?| 专访达观数据副总裁王文广
  • 打磨三年、支持万亿 MoE,腾讯混元模型团队的真实推理实力到底如何?
  • 谷歌这次又“杀疯了”!200万token长文本能力问鼎全球最强,一场大会,AI被提了120次
  • 微软让MoE长出多个头,大幅提升专家激活率
  • GPT-4o深夜炸场!AI实时视频通话丝滑如人类,Plus功能免费可用,奥特曼:《她》来了
  • 首位中国学者!ACM「计算机图形学名人堂」最新名单公布,北大陈宝权入选