在今天的骁龙峰会2022上,高通面向轻量化AR眼镜推出了专属SoC:第一代骁龙AR2平台,这套方案将骁龙XR1、骁龙XR2的单片式方案,改为多芯片分布式SoC方案,同时融合了分离式渲染,实现一整套的AR/VR与智能手机、PC等设备的分布式处理方案。与此同时,这里面也有很多值得关注的地方,接下来为大家带来第一代骁龙AR2平台的解析。
一、 骁龙AR2平台
可能你会好奇,高通之前不是已经推出了XR1、XR2、XR2+几款XR专属芯片了吗,今天这款AR2芯片有什么不同之处呢?
没错,之前的XR平台芯片为单片式方案,可同时面向AR/VR/MR场景,因为高集成度可以让其实现更复杂的任务,例如基于XR2的PICO 4、Quest 2可以流畅运行VR一体机游戏。
而今天发布的骁龙AR2则是首个专为AR眼镜打造的平台,特点是全新定制开发,4nm工艺制程;以轻量化多芯片SoC架构,进行分离式渲染的模式。
听起来有点拗口,这里说一下分布式架构和分离式渲染,以免大家产生误读:
分布式架构:指骁龙AR2平台为多芯片组合模式(相对于之前XR1、XR2等为单片式芯片),包括:AR2主处理器(负责感知、显示)、AR2协处理器(负责摄像头聚合、AI和计算机视觉)、连接模组(低时延、低功耗Wi-Fi 7)三部分组成;
分离式渲染:指骁龙分离式渲染方案,即XR设备端进行必要运算,重型计算和渲染交给智能手机或PC等设备。之前已经有很多探索,例如XR1 AR参考设计、XR2无线AR参考设计等,相关阅读:《芯片小幅升级,高通骁龙XR2无线AR眼镜参考设计解析》。
骁龙AR2主处理器中Spectra ISP用于环境感知、定位追踪,拍摄照片和视频等,同时还有视觉分析引擎,在环境特征点扫描中会更高效。主处理器中Hexagon用于手势追踪、图像处理等用途,通过上图可见相比上一代平台手势延迟(红色阴影为AR2平台、蓝色阴影为上一代平台)会更低。协处理器主要用于眼球追踪、以及基于AI和计算视觉的部分。
二、分布式架构
面向AR/VR领域当前已经有一些专属SoC,几年前高通就推出XR1,之后又推出XR2平台,到最新的XR2+平台,这些都是单芯片方案,对于VR/AR一体机来说是很不错的方案,但是对于AR眼镜来说就存在挑战,例如对体积、散热、功耗和续航等方面。
以XR2为例,它可以独立完成高性能渲染、6DoF定位追踪、手势识别、眼球追踪等等复杂功能,这些都在一颗芯片中完成,因为一体机方案整体空间相对丰富,因此可以满足这种重型任务,而在AR眼镜中单颗芯片方案在实际应用中就会有明显的不适用。
例如上面提到的散热就是最突出的一个问题,因为轻量化AR眼镜为了保证重量足够轻、外观足够小巧,不得不对空间进行大幅压缩,这也对产品ID结构提出更高要求。而且AR眼镜往往采用被动散热,并不能像VR一体机那样可以融合风扇进行主动散热。
因此骁龙AR2基于多芯片的分布式架构,将主芯片、协处理器、网络通讯模块三部分拆开,可以充分发挥其优势。高通表示:骁龙AR2平台专为分布式处理架构优化,在尺寸、功耗、性能方面都有更好的表现。
尺寸部分,骁龙AR2主处理器对PCB的尺寸相比骁龙XR2面积小40%。同时,分布式架构方案,可将信号线数量减少45%。
功耗方面,骁龙AR2平台的功耗可<1w,相比骁龙XR2平台功耗降低了50%。
性能方面,相比骁龙XR2平台,骁龙AR2平台在图像分类 (MobileNetV3)、图像识别 (YoloX)、手势追踪 (Mediapipe)方面的AI能力提升了2.5倍。
三、 分离式渲染
分离式渲染我们之前提到过很多,最开始的分离式渲染从有线发展而来,可有线方案将眼镜和计算单元的算力进行负载分配,而之后在XR2无线AR眼镜参考设计中升级为无线方案。
再到现在,骁龙AR2平台中基于Wi-Fi 7的无线连接方案,这也是分离式渲染的一个重要变化。得益于FastConnect 7800,这也成为全球首个支持Wi-Fi 7的AR解决方案。实现首次为AR眼镜加入高频多连接并发能力,Wi-Fi的峰值速度达5.8Gbps,结合高通FastConnect XR软件套件2.0套件可实现功耗减少40%。
骁龙AR2平台也原生兼容骁龙Spaces开发者平台,同时高通骁龙AR2参考设计平台预计于2023年发布。
此外,骁龙AR2在结合第二代骁龙8平台(同为FastConnect 7800)的机型时,还可以结合后者自身优势,例如新加入的光线追踪技术。
四.相关问答
接下来我相信大家还是会有一些疑问,这里我结合高通技术公司副总裁兼XR业务总经理司宏国、和高通公司中国区XR业务负责人郭鹏的解答进行汇总。
1,骁龙AR2能否独立工作
不能,必须借助分离式计算终端搭配使用,这里的逻辑XR2无线AR参考设计类似。
在峰会的美国现场,还邀请了微软作为合作伙伴上台。据青亭网了解,微软对骁龙AR2提出了很多定制需求。
大家通过上图来看,无论是有线还是无线方案,分离式渲染走的是Linux BSP(猜测即将有OEM厂商针对此需求进行开发定制),而基于骁龙Spaces的应用还是走安卓BSP,同时这部分集成了骁龙Spaces Ready HAL,在往上就是骁龙Spaces服务apk和骁龙Spaces应用。
这里比较奇怪的就是分离式渲染走Linux,这部分因为还没有更多解读,猜测是为OEM定制的需求,因此等待之后实际产品发布后可能会有更多细节。
2, 骁龙AR2计算单元支持种类
目前骁龙8平台是理想的选择,未来也会扩展支持更多芯片。同时,除了第二代骁龙8移动设备还将支持骁龙平台PC或其他计算单元。
这部分高通推出了骁龙Spaces Ready计划,目前荣耀、努比亚、OPPO等手机公司都计划支持该计划。上图里列出了三个重要合作伙伴,微软、Adobe(双方)、Niantic。
3,Niantic开发机
Niantic AR眼镜硬件主管Maryam Sabour上台分享了自家AR眼镜原型,一共公布了两款,第一款是基于第一代XR2平台,是一款有线的分体式方案,还需要连接智能手机等算力终端。第二款则是基于第一代AR2平台,是一款轻量化AR眼镜分体式方案。
第一款基于XR2的原型后方为有线连接,眼镜本体造型没有进行太多优化,中间上方保留一组传感器模块)。
第二款基于AR2的原型是一体机方案,同时因为AR2平台还支持无线分布式处理方案。
从视频中来看,第二款头戴为柔性方案,后端区域可直接折叠收纳,有点类似于PICO Neo3的方案。
4,分布式方案是否必须为Wi-Fi 7
Wi-Fi 6或更早的Wi-Fi版本也没有问题,而Wi-Fi 7可以带来数据吞吐量、低时延、高频多连接并发等最新特性,
高通表示:这主要取决于同一房间内连接的稳定性,以及有多少用户同时参与连接,采用的哪个频段等。言外之意,如果同时连接用户多可能就导致不稳定。
5,产品定位
根据峰会现场的展示,骁龙AR2平台是面向旗舰AR眼镜方案所准备的,与XR2的定位相匹配;同时AR系列平台还有一款尚未发布的产品(下图右下角),将和XR1定位一致,猜测会是面向主流市场。
很显然,骁龙AR2目的就是为轻量化AR眼镜而来(高通表示,实际上也可以用于轻量化VR产品中),几个特点也很明显:4nm工艺制程、全新定制开发,分布式架构,分离式渲染,以及其在功耗、性能、还有最重要的尺寸上有明显改进。
那么骁龙AR2参考设计和骁龙XR2无线AR参考设计,虽然都是无线分离式渲染方案,但是SoC未采用分布式架构,导致了一些比较大的差异。但是通过今天发布的骁龙AR2平台来看,之前的基于XR2的无线AR参考设计像是为此方案铺路。
此前也有很多轻量化AR眼镜采用了骁龙W系列穿戴芯片,这些产品对算力要求并不高,仅是信息提示类用途,能独立工作就是其特点之一。因此,由于骁龙AR2为分离式渲染方案,短期来看还无法取代这类对算力要求不高的轻量化AR眼镜需求。
综合来看,通过全新定制开发,再将分布式架构以及分离式渲染两套方案融合,以此来解决轻量化AR眼镜难以轻量化、性能表现不佳、散热差和功耗高等多方面的矛盾,将会是骁龙AR2平台的主要任务,当然我们非常期待看到OEM厂商的产品。