ARKit

ARKit是苹果公司增强实际的开发工具包。它根据机器视觉（苹果Vision框架），经过搜集一系列二维数据（图片数据），再结合传感器数据（陀螺仪，加速计，雷达）从中剖析出三维坐标数据。 这个过程分为三层：

1. 环境盯梢，获取环境的六自由度信息（手机朝向的三维信息 + 手机在环境中坐标的三维信息）
2. 环境了解，根据第一步得到的数据剖析出有价值的信息，如平面检测，光估量（Light Estimation）
3. 烘托，将虚拟物体和环境一起烘托在屏幕上

环境盯梢

环境盯梢便是用户拿着手机在环境中不断走动，比方在自己的房间中走几圈，把房间的每个部分都拍摄了一遍。

上图展现了环境盯梢的过程，盯梢需求新建并运转ARSession，这个类初始化时需求一些装备信息，也便是ARConfiguration类。在盯梢的过程中不断结合AVCaptureSession(视频帧数据)和CMMotionManager（动作传感器信息），生成每秒60帧的ARFrame数据。根据时间轴来表明的话，体现为下图所示：

手机朝向数据能够经过传感器数据剖析得到，而环境中的一些点（称为特征点）到手机的间隔是经过视差来计算出来的，如下图：

手机在移动过程中移动了一段间隔，同一特征点和手机运动过程中经过的两个方位就形成了一个三角形，三角形的底边便是移动间隔，两个底角别离都是手机旋转视点。这样别的两条边的长度就能够计算出来了，也便是特征点到手机的间隔。

当这样的特征点的六维坐标搜集足够多后，就形成了世界地图（World Map）。

当然移动手机的时分有或许走的太快、手机晃动了，就会出现漂移的现象，导致数据不精确，这就需求多走一点间隔，直到世界地图生成成功。别的，环境质量也不能太差，比方下图：

上图中右边两张图，一个太暗了，一个直接对着一面白墙，很难采集到正确信息。而且注意环境要是不移动的，比方正在走动的猫，特征点不断移动方位就无法算出间隔了。

确保环境盯梢有效完成需求具有三点：

1. 不间断的传感器数据
2. 纹路清晰的环境
3. 环境是静态不移动的

环境了解

平面检测

取得特征点地图后，假如要放置虚拟物体到环境中还需求环境了解，这其中就包括平面检测。平面检测能够检测出与地平面笔直或许平行的平面，假如发现很多特征点在同一个平面上，就会兼并在一起。水平平面和笔直平面相交的当地会裁剪。

点击测验（Hit Testing）

检测到平面后也不能直接放置物体，因为平面有或许有多个。这就需求点击测验，点击测验类似发送一条射线，找到与其第一个相交的平面，以放置物体。

光估量（Light Estimation）

光估量根据环境中光的强度来确认虚拟物体的亮度，使得虚拟物体更实在。

烘托

烘托将虚拟物体和相机获取到的图画一起显示出来，主要运用以下框架：

• SceneKit
• SpriteKit
• Metal
• RealityKit

依靠的软件及硬件

• iOS11，A9/iPhone6s（最低支撑，详细看Demo文档中标示）
• CoreMotion（加速度计、陀螺仪、计步器、环境相关）
• AVFoundation（摄像头，音频硬件）
• SceneKit/SpriteKit/Metal/RealityKit（烘托）
• Unity/UnReal/Reality Composer等等（3D虚拟物体制作）

新功能介绍

iOS12

1. 环境纹路，环境纹路能够让环境中的物体倒映到虚拟物体上。就像环境中实在的杯子，表面光滑能反光的话，能看到周围环境的倒影：

   

2. 图画盯梢，图画盯梢能识别出实在环境中的图片，并能够在这个图片上显示虚拟物体或许播映视频。

   

3. 目标检测，目标检测能够根据特征点调集找到实在环境中的对应物体

   

4. 支撑注视和舌头盯梢

   

iOS13

1. 人物遮挡，人物遮挡能够在虚拟物体处于人的后边时被遮挡，而不是浮在屏幕上

   

2. 肢体盯梢

   

3. 人脸盯梢增强

   

iOS14

1. 地理方位盯梢，地理方位盯梢能够根据世界地图中的特征点识别出实在环境中的方位

   

2. 更精确地放置物体

   

3. 人脸盯梢拓展

   

iOS15

1. 支撑录制重放

   

2.支撑APP Clip Code方式运用AR

3.人脸盯梢支撑超广摄像头 4.肢体盯梢更精确，支撑更远间隔

ARKit Demo地址：github.com/Wejua/Demos…