Magic Leap One AR眼镜开发指南（7）-- 眼球追踪(Unity)

眼球追踪功能是AR眼镜时代主要的交互方式之一，各大AR眼镜厂商也在积极投入Eye Tracking功能的研发，Magic Leap One很好的支持了这一功能。本部分的教程主要是在Unity中使用Eye Tracking 功能与小球进行互动（用户可以用眼睛改变球体的颜色）。

实现思路是：

使用MLEyes API检测用户注视点。
计算用户眼睛指向的方向。
从相机向注视点投射光线。
当光线击中球体时，改变它的颜色。

在正式开发前，需要对Magic Leap One设备完成眼睛校准：可以通过Settings > Device > Calibration 步骤完成校准。

Step 1: 不同版本对Unity设置

Unity 2018.1 (SDK 0.19.0)

在Unity中，使用Magic Leap模板创建一个新项目。
要从Magic Leap Unity®包导入所有文件夹，单击Assets > Import Package > Custom Package....包文件通常位于Magicleap\tools\unity\<sdk version>中。
点击File > Build settings。
在Build Settings下，如下图操作：
点击Player Settings。
在Publishing Settings下面，设置好从Magic Leap 网站上下载好的证书。对开发人员证书不了解的，可以参考文章：

Unity 2019.1 (SDK 0.20.0 and later)

在Unity中，使用3D模板创建一个新项目。你必须执行以下步骤:

点击Edit > Preferences > External Tools (Windows), or Unity > Preferences > External Tools (macOS)，浏览到Lumin SDK文件夹的位置(版本0.20或更高)。注意:这个设置是在Unity编辑器的MLTP版本的Build Settings中的。
确保平台在File > Build Settings中被设置为Lumin。
对于NEW with 2019.x 版本，安装XR Legacy Input Helpers package.

（1）点击Window > Package Manager。

（2）搜索legacy。

（3）选择XR Legacy Input Helpers。

（4）点击右下角对Install或Update按钮。如下图所示：
点击File > Build Settings，然后点击Player Settings 按钮。
对于NEW with 2019.x版本，在 Settings for PC, Mac & Linux Standalone下面设置：

（1）展开Other Settings > Rendering。

（2）清除Auto Graphics APIs for Windows (Windows) or Auto Graphics API for Mac (macOS)复选框。

（3）将Color Space改为Linear。

（4）按下+按钮，如果OpenGLCore没有出现在Windows图形api列表下，则添加它。

（5）将OpenGLCore移到列表的顶部。

（6）在提示时重新启动编辑器。
对于NEW with 2019.x版本，仍然在Player settings设置为Lumin，作出以下更改:

（1）展开XR Settings，然后选择Virtual Reality Supported。注意:如果已选择Virtual Reality Supported，请清除复选框并再次选择它。

（2）在XR Settings > Virtual Reality SDKs下，通过单击+按钮(如果还没有)在Virtual Reality SDKs中添加Lumin。

（3）在XR Settings下，确保Stereo Rendering Mode被设置为Single Pass Instanced。



（4）在Other Settings > Identification下，将Bundle标识符设置为小写标识符，例如:com.company.test。

（5）在Other Settings > Configuration下，把Scripting Runtime Version设置成.Net 4.x Equivalent。

（6）在Publishing Settings下面，设置好从Magic Leap 网站上下载好的证书。
点击Assets > Import Package > Custom Package，导航到MagicLeap/Tools/unity/<v0.20.0 or later>，导入整个MagicLeap.unitypackage。
在主Unity窗口中单击Magic Leap > ML Remote > Import Support Libraries。如下图所示：
对于NEW with 2019.x版本，使用自定义的manifest添加特权和修改API level.模版manifest位于Assets/MagicLeap/Examples/Plugins/Lumin/manifest.xml。复制到Assets/Plugins/Lumin/。本教程中，不需要更改它。

Step 2: 设置Camera

建议用户使用Magic Leap Unity包的主相机核心组件。

在Inspector下，删除Main Camera。
在Assets > MagicLeap > Core > Prefabs下，找到Main Camera Core Component。
将Main Camera拖放到Inspector上。

Step 3: 设置Scene

我们将创建球体GameObject和它的两种材质。当用户看到球体时，使用FocusedMaterial。否则，NonFocusedMaterial将被应用。

右键单击Unity中的Hierarchy选项卡中的场景。
点击3D Object > Sphere 创建一个球体对象。
将以下设置应用于球体。如下图所示：
在Project选项卡下，右键Assets文件夹，并单击Create > Material创建球体的第一个材质球。
这个材质球命名为FocusedMaterial。
选择FocusedMaterial，打开Inspector选项卡。
点击Albedo旁边的白色矩形，然后选择绿色。如下图所示：
重复步骤4-7，创建第二个材质球，命名为NonFocusedMaterial，并将Albedo保留为白色。

Step 4: 编辑脚本文件

接下来，创建一个脚本，使眼球跟踪能够更改球体的颜色。

在Hierarchy选项卡中，选择Sphere GameObject。
单击Add Component > New Script。
将脚本命名为EyeTracking，然后单击Create和Add。
打开新脚本，粘贴下面的代码，然后保存文件即可。

using System.Collections;using System.Collections.Generic;using UnityEngine;using UnityEngine.XR.MagicLeap; public class EyeTracking : MonoBehaviour { #region Public Variables public GameObject Camera; public Material FocusedMaterial, NonFocusedMaterial; #endregion  #region Private Variables private Vector3 _heading; private MeshRenderer _meshRenderer; #endregion  #region Unity Methods void Start() { MLEyes.Start(); transform.position = Camera.transform.position + Camera.transform.forward * 2.0f; // Get the meshRenderer component _meshRenderer = gameObject.GetComponent<MeshRenderer>(); }  private void OnDisable() { MLEyes.Stop(); } void Update() { if (MLEyes.IsStarted) { RaycastHit rayHit; _heading = MLEyes.FixationPoint - Camera.transform.position; // Use the proper material if (Physics.Raycast(Camera.transform.position, _heading, out rayHit, 10.0f)) { _meshRenderer.material = FocusedMaterial; } else { _meshRenderer.material = NonFocusedMaterial;  } } } #endregion}