首页 > 手机资讯 > 手机资讯 > 苹果 iOS 18 这个功能,可能将改变 iPad 的使用方式

苹果 iOS 18 这个功能,可能将改变 iPad 的使用方式

发布时间:2024-05-29 16:00:14来源: 15210273549

毫无疑问,新款 iPad Pro 仍然是阅读、游戏、观看视频及绘画等领域的最佳平板。但随着 M4 芯片、妙控键盘及 Apple Pencil Pro 的加入,iPad 比任何时候都更接近一台笔记本电脑。

那么,是否 iPad 会在未来渐渐成为一款带有触控功能的 MacBook?

答案可能是否定的。

在最新的 iOS 18 中,苹果用这项「辅助功能」,为我们预言了一种关于 iPad 交互的新未来。

 

眼动追踪:从 Vision Pro 到 iPad

近期,苹果公司公布了其 iPadOS 18 操作系统中新加入的「眼球追踪」功能,这项看似不起眼的功能却被放在了介绍页面之首。

说起眼动追踪,可能很多人第一个想到的还是此前苹果发布的 Vision Pro,这款设备最突出的特征之一就是采用了眼动追踪的方式代替传统手柄。

用户可以通过眼球的移动,来控制应用程序,进行菜单导航,甚至是玩游戏,无需依赖触控或外部设备,大大提升了使用的便捷性,展示出了这种交互方式的魅力。

这主要得益于 Vision Pro 分布在内的数个红外摄像头及 M2、R1 双芯片的设计,使其能够利用图像处理技术提取与眼动相关的特征,并通过建立模型的方式实现眼动追踪。

Vision Pro 摄像头分布,图片来自苹果

而不久前发布的新款 iPad Pro 在形态上的一个重要改变,就是把摄像头从窄边挪到了长边上。

摄像头模组中的点阵投影仪、泛光感应元件、前置摄像头、红外摄像头搭配全新 M4 芯片,如今看来或许就是在为后续计划铺路。

此次的更新描述中也显示,苹果的眼球追踪功能完全由设备上的机器学习实现,这意味着它不需要任何额外的硬件,并且可以立即在所有运行 iPadOS 18 的设备上使用,印证了这一判断。

图片来自哔哩哔哩博主:微机分 WekiHome

目前业界公认的眼动追踪方法,有基于外观的眼动追踪方法与基于二维映射的眼动追踪方法两种。

前者主要以人脸图像或眼部图像为输入进行特征提取,然后通过机器学习将这些特征和视线方向关联起来。这种方法设备简单,只需要摄像头就能完成,但它需要大量的训练数据来建立准确的模型,从而正确地解读你的视线方向。

而另一种基于二位映射的眼动追踪方法,则主要通过分析眼球和角膜反射的相对位置变化来确定眼球运动。

由于眼球运动时角膜反射光斑位置不会变化,因此就可以作为瞳孔运动的参照点,根据两者相对位置的变化,计算实现方向。

校准时你需要注视屏幕上的特定点,系统会记录这些点和你的眼睛数据,建立一个映射模型。之后,当你看向其他地方时,系统就能通过这个模型准确地知道你在看哪里。

瞳孔-角膜反射向量法示意图,图片来自网络

其实如今看来,眼动追踪的原理并不十分复杂,以现有的硬件条件足以满足需求。但实际上,想要实现这一功能,苹果其实经历了很长的历程。

 

布局多年的最后一步

早在多年以前,苹果就开始布局眼动追踪领域,网络相关人才及技术。

2013 年,苹果收购了来自以色列的 PrimeSense,该公司曾为微软提供 Xbox 的 Kinect 的动作控制技术提供支持。

PrimeSense 创始人合影

这家公司曾推出过一款非常小巧,可嵌入手机、平板等设备的 3D 摄像头——Capri。这是 PimeSense 在 2013 年 Google I/O 大会上展示的内容:

Capri 被安装在谷歌 Nexus 平板电脑上

Capri 对真实场景进行 3D 建模,并获得场景内物体的长、宽、高等具体数据

通过 AR 技术模拟出椅子在真实空间中的碰撞信息

将 3D 图像传输到 3D 打印机完成 3D 打印

一同推出的还有在当时号称 “全球最小的 3D 感知芯片”,由于不错的性能和小巧的体积,使其能够部署到手机、电视等诸多电子设备上。

2017 年,苹果又收购了一家来自德国的老牌眼球追踪技术公司 SensoMotoric Instruments,它曾一度是全球最大的眼动设备的生产商。

凭借「钞能力」带来的一系列关于眼动追踪的硬件及软件,苹果在同年首次将眼动追踪功能用于其 Face ID 中,来提升解锁的安全性。

此后数年间苹果不断有眼动追踪相关的专利申请流出,苹果也在不断探索,这不仅促成了 Vision Pro 基于眼动追踪的交互方式,也催生出了其他苹果设备上关于的眼动追踪的无限可能。

早期关于眼动追踪及「注意力检测」专利内容

 

眼动追踪的未来畅想

相比传统交互方式(鼠标、键盘、触控等),眼动追踪存在这样几个优势:

  • 自然直观:眼动追踪利用人眼的自然运动进行交互,不需要额外的操作设备。用户只需注视目标即可完成相应的操作,降低了学习成本,交互更符合直觉。
  • 提升效率:眼部肌肉是人体反应速度最快的肌肉之一,通过眼动追踪,用户可以更快地选择和控制界面元素,还可以减少手部动作,提高操作速度和效率。
  • 与其他输入方式组合:眼动追踪可以与其他输入方式结合使用,如语音控制和手势操作,提供更丰富和灵活的交互方式。
  • 多任务处理:用户可以在执行其他任务(例如驾驶或行走时)或同时处理多项任务时,仅仅使用眼动追踪控制而不需要多余的动作,提高操作效率。
  • 数据分析与个性化:眼动追踪可以提供关于用户注意力和兴趣的宝贵数据。这些数据可以用于优化界面设计、广告投放和用户体验个性化,使系统更加智能和用户友好。
  • 增强现实(AR):在 AR 环境中,眼动追踪可以提供更加沉浸式和自然的交互体验。用户可以通过注视来选择和操作虚拟对象,提升使用体验。

也正是得益于这些优势,使其在很多具体场景中展现出了巨大潜力。

例如在很多游戏中,除了带来更加便捷的操作以外,眼动追踪也会给玩家带来更好的沉浸感,让玩家只需通过实现就能控制游戏内角色进行互动。

使用眼动追踪控制游戏,图片来自网络

此外,实现眼动追踪功能后,开发者还能根据眼动数据调整场景光照、视角变化等诸多参数,适配用户个人视觉习惯,使游戏画面更加逼真。

游戏中的社交,也可以通过虚拟人物实现随玩家面部实时变化的各种动作状态,例如实现方向、眨眼、眯眼等,丰富人物的情绪表达,从各个方面提升游戏的沉浸性。

除了游戏以外,这项技术给日常生活带来的变化或许才是更值得期待的。

Vision Pro 在发布后,一个重要应用场景就是教育、医疗等场景,毫无疑问这在实现眼动追踪的 iPad 上同样适用。

诸如飞行员模拟训练、手术模拟等职业训练领域,通过跟踪学员的眼球运动来评估决策速度和准确性。

眼动追踪可为教师提供关于学生学习过程中的注意力集中点和理解程度的实时反馈,有助于个性化教学策略的指定和改进课程内容。

安装在飞行驾驶模拟教学设备上的眼动追踪设备

还有一些场景非常适合眼动追踪这种交互方式,例如家居环境就是其中之一。通过眼动追踪,使 iPad 成为智能家居中控台,实现对家居的控制;或者在手上有其他事情,或手很脏的时候提供更好的交互体验等。

虽然眼动追踪应用潜力非常巨大,但也有部分业内人士对该技术的安全性提出了质疑。

数据表明,一个人的眼部数据会暗含用户的年龄、性别、种族、情绪状态、性格特征等等多种信息。

加州大学洛杉矶分校技术、法律和政策研究所的创始人和教职联席主任 John Villasenor 表示:

一旦眼动追踪技术成熟,它将收集更多的信息:我们在网上阅读的内容,甚至我们的阅读过程。比如,我们是否看到了网页广告,想了一会,最后没去点击?我们在阅读整个网页的时候,眼球是怎么移动的?我们更喜欢或者避开哪些字,词语,或者主题?在未来,展示到我们眼前的广告,是否将不仅仅只是取决于我们买过什么东西,还将取决于我们眼球的运动状态?

手机资讯更多>>

21.99万起,阿维塔07这个价格能不能打? 让AMG GT和帕美成为冤种,腾势靠Z9GT立威? 合资车企也是“中国制造”,改革震荡不该成为唱衰之机 为什么说全新智己LS6,25万以下能打,25万以上未必? 瑞虎9要做“公路之王”,天时地利人和都具备了吗? 马自达欧洲团队调校出来的EZ-6,该值多少钱? L7入局家旅系列,捷途山海能否复制“捷途速度”? 上市半年即换新,25款星途瑶光C-DM有些什么变化? 试驾了捷途山海T1,它会让猛龙和大狗很难受 纯视觉居然唱了主角,激光雷达要被抛弃了吗? 入门纯电家用SUV,10万以内能不能拿下AION Y? 不到13万买RAV4荣放?但同价位国产SUV更好玩 最高优惠6万元,合资SUV十一“放价”,20万以内这几款值得买! 惊艳老外的中国车,零跑C10挑战海外市场,底气来自哪里? 升级大屏和智驾,全新迈腾真实行情如何? 1.5T+8AT,靠谱好开的国产燃油SUV,长安CS75 PLUS值得入手吗? 比亚迪两台重磅产品,广丰再推全新“智驾车”,盘点近期申报新车 重返价格战,30万以内落地,宝马3系优惠力度已放开 选C级车还是A级车?15万左右落地,零跑C01对比小鹏MONA M03 不到15万落地,天籁如今和思域一个档次了? 新款奇瑞瑞虎7 PLUS亮相,换装新前脸,外观很霸气,搭载1.6T动力 新款上汽大通G10正式上市,前置后驱,侧滑门,售价10.8万元起 吉利新款代步小车,星愿官图发布,外观个性时尚,续航310/410km 十二三万买家用SUV,五菱星光S、宋Pro和长安CS75 PLUS,谁更值? 比续航看智驾,宝骏云海和吉利银河E5,谁更值得选择? 新款名爵MG5实车亮相,换装新前脸,外观很年轻运动,两种动力 大众也开始卷价格了:新款SUV一上市就降4万多,起步价7.99万元 丰田陆巡同级:新一代日产途乐发布,全新设计风格,搭载3.5T动力 五菱宏光纯电版预售了,外观时尚,空间好用,依旧是致富之车 获澳大利亚最严苛ANCAP五星安全评级 长城炮全球化征程再启新境