苹果Vision Pro和AI的重磅新大招，被提前扒出来了
编辑 | 云鹏
智东西7月10日报道，苹果秋季发布会的预热已在路上，关于iPhone 16和Apple Watch更新的消息更是满天飞，无论是热议新的A18芯片还是更加智能的Siri，苹果新品的亮相总能吊足胃口。
苹果高级副总裁克雷格·费德里吉（Craig Federighi）曾在WWDC 24上提到，苹果要做的是更懂你的个人化智能系统。自和OpenAI官宣合作以来，苹果在AI领域的野心便不断展露，搭载在产品上的各类新玩法让人应接不暇，但除此之外，苹果在技术上的研发与创新从未止步。
▲Apple Vision Pro（图源：Apple）
我们从众多专利中梳理了13项关于Apple Vision Pro、Apple Watch以及AirPods未来的重大升级，透过这些，我们总结发现了苹果产品布局的三大关键趋势——空间交互应用场景更丰富，健康检测功能不断拓展，用户体验持续改进。本文福利：苹果原生APP与AI的深度融合，未来或有机会扩展更多的AI应用付费市场，有利于提升苹果在软件业务领域的价值量。推荐报告《Apple Intelligence驱动苹果新一轮创新成长周期》，可在公众号聊天栏回复关键词【智东西421】获取。01.揭秘空间交互新玩法智能手势可实现无接触体验
▲虚拟演讲场景下的XR环境（图源：Patently Apple）
虽然该专利强调将这项功能是与Vision Pro等头戴式设备结合使用的，但苹果也确实表明，该功能最终也可以在iPad、iPhone或MacBook等其他设备上提供。第二个让人耳目一新的便是Vision Pro的3D导航系统。苹果在其专利背景中称，在一些3D环境视图中，辨别方向的用户容易受到虚拟内容的干扰从而失去方向感，在这种情况下，Vision Pro会在检测到的环境中提供方向意识指示器，例如微妙的音效或视觉图形，苹果的空间音频技术还可以让提示音从3D位置播放从而补充用户的自然方向感。方向感知指示器还可以识别经许可共享的其他设备的位置，从而为用户进行沉浸式导航，和搭子汇合再也不怕“错过”。▲3D导航状态下的用户示例视图（图源：Patently Apple）
另一项将空间交互和用户体验做到极致的技术便是“姿势感知系统”。这种技术主要应用于VR和AR设备中，系统通过多个层次的传感器和算法来检测和理解用户的头部和手部动作，以实现更精确和自然的用户交互。专利提到，用户的姿势会影响3D内容的呈现方式，空间音频的音量也会随之发生变化。它利用3D摄像系统和深度映射来捕捉手势，并提供实时反馈，使用户无需使用控制器就能轻松导航和操作虚拟界面，例如，更加自如的移动虚拟空间中的物体。▲肌肉应变引擎与人体触发应变的示意图（图源：Patently Apple）
除此之外，Vision Pro的视觉效果技术也拥有多处升级，包括失真补偿、重影消除、生成沉浸式视频和共享状态下的隐私保护。苹果在专利中描述到，在使用Vision Pro时，设备的透镜组件包括固定透镜元件和可拆卸透镜元件，可拆卸透镜的组件可能会导致观看者观看图像时产生几何失真。苹果的失真补偿技术通过光线追踪来确定透镜组件引起的几何失真从而进行动态补偿。Vision Pro显示屏背后的一些复杂之处非常明显，在专利“具有重影缓解功能的光学系统”中，我们了解到，如果不小心，镜头内的反射可能会产生用户眼睛可见的重影。在该显示系统中包括重影缓解结构，可用于消除或最小化重影，以为用户提供最好的视觉效果。一项专利涉及给佩戴Vision Pro的用户流式传输沉浸式视频内容。沉浸式视频内容的某些部分可以选择性地呈现给用户，让用户觉得自己正在根据特定的视野或视角观看视觉数据。此外，还可以根据用户身体的位置和方向，向用户呈现沉浸式视频内容的不同部分。在该项专利背景中，他们指出，在共存体验中，用户的一部分内容可能不希望向其他用户公开，希望保持某些图形内容的隐私。因此用户可以通过语音命令、手势命令等手动操作将特定内容指定为私人内容。其中包括一个空间定义的区域，其中图形内容对用户来说是私人的，而该区域之外的图形内容对共存体验中的其他用户是公开可见的。除了Vision Pro之外，Apple Watch在空间交互上也有新动作。在WWDC24上，苹果推出了Apple Intelligence，这是苹果版本的AI。虽然发布会的焦点是有关iOS 18中和AI相关的事情，但6月20日发布的一项新苹果专利显示，Apple Intelligence将出现在Apple Watch上。▲智能手势示意图（图源：Patently Apple）
该项专利表明，未来Apple Intelligence将与智能手势结合，让用户在佩戴可穿戴电子设备时，对一个或多个所需物品做出自然的手势，从而实现智能购物和其他非接触式体验。Apple Watch 可以通过接收多个项目的位置数据、根据智能手势的第一位置和第二位置确定矢量、将矢量延伸到某个位置、并使用位置数据来确定并执行智能手势的指令。苹果还有一项涉及Apple Watch表带的特殊专利，包括隐形标记和透镜组件，专利称该技术可以在XR环境中使用。该表带可以帮助佩戴Vision Pro的用户在XR环境中正确定位手臂或手的位置，以便将有关用户手部定位的信息纳入VR、AR或MR系统中。未来还可以允许为手表叠加与特定应用程序相关的定制虚拟用户界面。这是Apple Watch与Vision Pro在空间交互上的一种联动。▲（图源：Patently Apple）
一项关于AirPods的专利中提到，未来在AirPods的保护壳上可能会出现一块触摸显示屏，并且这块屏幕还可以支持Apple Pencil。在这项专利中展现了大量相关的应用场景，例如通过这块屏幕使用Apple Music、Apple TV+、地图、天气和有声读物等程序。除此之外，这块屏幕还可以实现唤醒Siri并与其对话。▲AirPods的触摸显示屏以及和Siri的对话（图源：Patently Apple）
02.健康检测技术大升级，Vision Pro面部检测和AirPods Max心脏监测或成亮点
▲（图源：Patently Apple）
该项专利涉及头戴式设备的面部界面，其中包括用于获取生物特征信息的压力传感器组件，传感器可以获取用户相关的生物特征信息，例如脉搏、呼吸、面部表情、心率、血压、软骨变化、咀嚼或任何其他相关数据，以检测用户在进行活动时的情况，例如在运动过程中的呼吸和心率。Apple Watch的健康检测功能拓展更为丰富，其中包括检测用户的呼吸周期、测量体温以及排汗检测。在呼吸检测上，苹果专利中提到了生物阻抗传感器，该项技术可以通过测量皮肤和组织的电阻变化来监测呼吸。这种方法可以提供更准确和详细的呼吸数据。相比目前的呼吸功能（主要基于运动传感器和心率数据），阻抗传感器可以捕捉更微小的呼吸变化，提供更高的测量精度。▲（图源：Patently Apple）
在测量体温方面，苹果在专利中称，Apple Watch想实现非侵入式地（不进入人体口腔或耳腔）测量用户体温，并达到一定的精准度，但在使用过程中，设备的温度和使用环境会随时发生变化，因此使用可穿戴设备检测用户的核心温度可能具有挑战性。苹果的专利可以通过测量设备内两个位置之间的温差来克服这些挑战，其中一个位置靠近设备与用户皮肤接触的部分，并根据皮肤通过设备的热通量计算热通量校正系数，从而提高测量结果的准确性。在排汗检测方面，苹果在相关专利里称，将会在Apple Watch中配备多个排汗传感器进行检测，当使用Apple Watch跟踪锻炼过程时（例如，当用户进行步行、跑步、骑自行车等身体活动时），该设备可以为用户提供有关锻炼过程中平均出汗率或总液体流失的信息。在健康检测领域中还有两项较为新鲜的专利，是有关于未来版本的AirPods Max，苹果表示这款头戴式耳机在未来将会添加心脏监测系统。▲（图源：Patently Apple）
苹果在专利中提到，该系统会让在用户耳朵内或耳朵上的设备的麦克风产生麦克风信号，通过处理麦克风信号以确定心脏活动，并通过应用至少基于心脏活动的预测算法来检测心脏活动与一种或多种心脏病理之间的关联。这种预测算法包括机器学习模型（例如神经网络），该模型经过训练，可根据接收用户确定的心脏活动来检测心脏病理。03.体验感升级黑科技，或将开启设备自适应并引进柔性新材料
▲Vision Pro头带调节机制（图源：Patently Apple）
专利中描述的调节机制允许用户控制头戴式设备相对于头部固定元件的倾斜度，以及头部固定元件的松紧度。因此，用户可以选择一种能够广泛分布力、最大程度提高舒适度的贴合度，让用户能够更长时间地享受头戴式设备。除此之外，苹果在升级用户体验方面还做出了其他努力。例如，一项关于Apple Watch的专利详细介绍了未来版本手表表带的新功能——“卷绕力”。▲表带自动调整，这种调整被称为卷绕力（图源：Patently Apple）
这个功能允许手表通过贴合度检测自动调节表带的紧度，以确保佩戴舒适和准确的传感器读数。其中的张紧元件可以通过响应佩戴手表的用户发出的热量来改变表带的贴合度，手表可以生成带有指令的信号进行调整，调整包括多种模式，例如收紧模式、放松模式、柔性模式、刚性模式等。关于提升AirPods的佩戴体验，苹果在专利中称，未来或将采用柔性可弯曲材料制作耳机的外壳，例如可弯曲的金属构件、铰链或可用于形成耳机的柔性结构。利用这种材料的外壳可在两种或多种状态之间弯曲或通过其他方式调整，例如正常、非睡眠、行走状态，其中在用户坐着或行走时外壳会展开以进行正常操作，在睡眠状态，外壳可以通过弯曲增强用户佩戴的舒适度。▲柔性可弯曲材料的应用可以让用户更加舒适的佩戴AirPods（图源：Patently Apple）
04.结语：苹果三大领域布局大招AI也在默默发力