关于智能眼镜

2019-02-19

写这篇文章的初衷是，我认为智能眼镜设备在不久的未来会取代目前的移动智能手机。Glass显然是最自然，也是最符合人体的信息接受设备，在脑机接口实现之前（我目前认为这很难实现），Glass将会占领人类身体最大的信息接受通道-眼睛，并持续这种状态非常漫长的时间。
因此我想了解目前智能眼镜的发展情况，趋势，以及瓶颈及难点。
以下是我根据现有相关技术能力想象出来的最有可能先实现商用化的智能眼镜形态。（里面有不少技术已经在一些设备中有所应用）

关于智能眼镜的一点想法：

电池：
镜架的可以同时担任电池和传感器的工作。另一种电池的安装方案是，电池位于单独配置的眼镜防丢链内。防丢链是可拆卸的，用户因此可以任意更换电池。

传感器：
镜架的主要用于传感器的安装。如镜架末端连接耳朵的部分功能为实现声音的传导/传输。镜架前端用于实现摄像拍照功能，手势识别功能，用户眼动控制的识别功能，安装音频接收器实现语音控制等。

数据处理与存储：
第一种方式是镜架部分完全用作数据的处理计算与存储。 第二种方式是如果云计算普及（及5G实现应用普及），可完全使用云服务计算与存储。 第三种方式是使用自身的移动设备如手机或者家用PC，以实现存储数据和处理数据，完成后进行传输显示。

考虑的5G的传输速度，前景和普及性，以及当前的硬件限制，后两种方案的可行性较高。 第一种将数据存储处理的核心单元直接安置在眼镜之中的前提是硬件的大小和重量满足人类的舒适和审美需求。

技术主要实现难点：

眼动控制识别，手势控制识别。  
    解决方向：配套传感设备-戒指，手环
	训练神经网络识别眼球动作意图

镜片显示设备，镜片的制作成本和技术要求，以及显示效果。
	视网膜投影技术，使用彩色激光发生器通过镜片反射入视网膜内

增强现实/AR技术。
    虚拟信息如何与现实场景合理同步现实。文字图像的远近大小是否能够恰当贴近现实。

其他的问题：

• 隐私保护： Google Glass的失败在于，其没有预示到眼镜上的摄像头，总让其他人担心自己的隐私被侵犯。眼镜前方的显示元件显得很科技感，却让人觉得目的感太强，带上Google Glass，会带来很多的社交负担。

• 价格与成本：这与硬件技术发展程度关系很大。但产品定位上，我想一种路线是全功能高价格的产品，第二种路线是主要功能体验型低价格产品。

• 社会及用户接受：一旦出现一款能被大众群体接受的设备，那么显然它将会改变这个信息世界的方方面面。 我认为可能的良好的发展和渐进过程应该是，刚开始以移动手机为核心计算平台，连接智能眼镜进行信息传输。眼镜的核心功能就是显示（手机上呈现的）信息。当设备普及之后，逐渐出现可脱离手机而单独正常运行的智能眼镜。

• 智能眼镜的系统由谁来主导？
  是统治传统PC的微软，还是智能手机占据优势的谷歌，或者是PC与手机横跨的苹果。当然还有可能是另一个未知的未来巨头。

简单说下目前市场推出的部分智能眼镜设备：

Focals： 缺点是无法进行信息的主动搜索获取。总之，浏览器功能我认为是必要的。使用指环辅助控制操作的实现是其优点。结合实体眼镜功能。

Vaunt：缺陷，单色。全定制。计算处理依靠蓝牙连接的智能手机

Magic Leap：虽然公司开始全靠特效，但好歹最后还是推出了有技术产品。

HoloLens：主打MR/混合现实。评价很好。

Google Glass：出师未捷身先死。但是Google的创新精神值得我们学习。

Oculus：VR方面的佼佼者。

HoloLens 2：（写这文章的时候，HoloLens 2还没公布）
刚好因为课程原因，于是下面专门收集了一些资料来介绍一下HoloLens 2。

1. Hololens 2 介绍

Hololens 2 公布于2019年2月，是微软发布的可穿戴式计算设备HoloLens 的第二代改进版。HoloLens 2是微软硬件设计，人工智能（AI）和混合现实开发领域突破的巅峰之作。其混合现实技术将无线设备与应用程序和解决方案相结合，可帮助使用人员更有效地学习，交流和协作。
Hololens 2具有诸多优秀的特性，例如通过大幅增加的视野，用户一次能看到更多的全息图并更轻松地阅读文本并查看 3D 图像上的复杂细节。在设计上，使用专为延长使用而设计的拨入贴合系统，可让其更长、更舒适地佩戴 HoloLens 2。戴上眼镜—耳机正好滑过眼镜。到了转换任务的时候，将遮阳板向上翻转，即可脱离复杂的现实。
进行操作的时候，触摸、抓住和移动全息图的方式感觉很自然—它们的反应非常像真实物体。使用 Windows Hello，只需用眼睛即可立即安全登录 HoloLens 2。通过智能麦克风和自然语言语音处理，语音命令甚至可以在嘈杂的工业环境中工作。
便携性上， HoloLens 2可自由移动，如同一台自带的电脑，具有 Wi-Fi 连接，这意味着可以随时携带工作时需要的一切。
HoloLens 2作为一款为企业市场专门打造的设备，提供最舒适、最身临其境的混合现实体验，相应的解决方案，可使用户在几分钟内实现价值。

2. HoloLens简述

第一代HoloLens是一款增强现实头显设备，它在2015年的Windows 10发布会上首次亮相，运行Windows10系统，它不受任何限制——没有线缆和听筒，并且不需要连接电脑。 Microsoft HoloLens具有全息、高清镜头、立体声等特点，可以让你看到和听到你周围的全息景象。

2.1 HoloLens的诞生与背景

Microsoft HoloLens MR头显由Microsoft 公司于北京时间2015年1月22日凌晨与Window10同时发布。在此之前已经开发了5年之久，其构想的一部分成为了在2010年发布的Kinect。
基普曼（Alex Kipman）是微软的Technical Fellow，同时是Kinect和HoloLens的发明者。作为微软Kinect开发项目负责人以及Xbox孵化项目总经理，基普曼曾领导的开发团队花了好几年时间打造Kinect，它可以说是微软有史以来打造的最酷产品，也参与过微软其它重要产品的开发，包括软件开发工具及Windows软件等。
Microsoft HoloLens是作为其最新的产品创作，他认为HoloLens的本质，是传感器利用AI来感知世界，传感器放在头显上，就成了HoloLens，放在家里，那就是智能相机，放在汽车或者无人机上，就成了自动驾驶载具。
只是在现阶段，HoloLens 2的重心在于通过云计算，让MR在不同设备之间实现同步分享，而它目前最适合的应用场景还是生产工具。
HoloLens的另一个关键之处在于：微软没有打算为用户呈现一个完全不同的世界，而是将某些计算机生成的效果叠加于现实世界之上。用户仍然可以行走自如，随意与人交谈，全然不必担心撞到墙。
在一开始，微软就专注于将AR和VR融合在一起的MR，以获得最好的AR或者VR体验。MR意即Mix reality(混合现实)，指的是结合真实和虚拟世界创造了新的环境和可视化三维世界，物理实体和数字对象共存、并实时相互作用，以用来模拟真实物体，是虚拟现实技术的进一步发展。Hololens目前则是MR领域的最顶尖成果之一。

2.2 其他智能眼镜介绍

2.2.1 Oculus Rift：

Oculus Rift与微软HoloLens的相同之处在于它们都需要戴在头上。除此之外，它们是完全不同的产品。微软的产品在帮助人们与现实世界交互时，Oculus则想要让我们沉浸于一个全新的虚拟世界中。
Oculus Rift是一款为电子游戏设计的头戴式显示器。它将虚拟现实接入游戏中，使得玩家们能够身临其境，对游戏的沉浸感大幅提升。
Rift还支持新类型的娱乐体验，Oculus称之为“虚拟现实电影”。 除了消费使用外，Rift也吸引了工业界与专业领域对于提高生产力、可视化及广告方面的兴趣。

2.2.2 Google Glass

Google眼镜（Google Glass）是一款配有光学头戴式显示器（OHMD）的可穿戴式计算机，由Google开发，其目标是希望能制造出供给大众消费市场的普适计算设备。Google眼镜以免手持、与智能手机类似的方式显示各种信息。穿戴者透过自然语言语音指令与互联网服务联系沟通。
Google Glass 出现的 2012 年被认为是智能可穿戴设备的元年。智能手机普及之后，信息的爆炸式增长使得注意力变得分散，也使得人必须同时处理很多事情。而可穿戴设备便是针对这一趋势出现的主动收集某一类琐碎的数据并提供给用户想要的且无需思考就能得到的信息与服务的产品。

此外，智能可穿戴眼镜设备还有诸如magic leap，Focals，Vaunt等都值得一提。

3. Hololens的技术原理

3.1 Hololens的技术介绍

3.1.1 硬件技术

HoloLens具有惯性测量单元（IMU）（包括加速度计，陀螺仪和磁力计），四个“环境理解”传感器（每侧两个），一个节能的深度相机，120°×120 ° 视角，一个240万像素的摄影摄像机，一个四麦克风阵列和一个环境光传感器。
除了包含CPU和GPU的Intel Cherry Trail SoC之外， HoloLens还配备了定制的Microsoft全息处理单元（HPU），一种专为Microsoft HoloLens制造的协处理器。SoC和HPU各有1GB LPDDR3并共享8MB SRAM，SoC还控制着64GB eMMC并运行Windows 10 操作系统。的HPU使用28级自定义的DSP从Tensilica的处理和集成来自传感器的数据，以及处理诸如空间映射，手势识别以及语音和语音识别等任务。 HoloLens包含一个内部可充电电池，平均寿命为2-3小时的有效使用，或2周的待机时间。
HoloLens具有IEEE 802.11ac Wi-Fi和蓝牙4.1 低功耗（LE）无线连接。耳机使用蓝牙LE与随附的Clicker配对，这是一个拇指大小的手指操作输入设备，可用于界面滚动和选择。Clicker具有可选择的可点击表面，以及通过倾斜和平移设备提供滚动功能的方向传感器。
HoloLens通过使用HPU，使用感性和自然的界面命令 - 凝视，手势和语音 - 有时称为“GGV”输入。凝视命令，如头部跟踪，允许用户带来到任何用户感知应用焦点。 “元素” - 或任何虚拟应用程序或按钮 - 使用空中敲击方法选择，类似于单击虚构的计算机鼠标。可以保持点击以进行拖动模拟以移动元素，以及用于某些命令和动作的语音命令。

3.1.2 软件技术

hololens需要技术支持的包括三个部分：实时的三维计算，精准的姿态确定和位置确定。
微软采用了基于深度识别的SLAM（实时定位与地图构建）技术，SLAM，就是通过传感器获取环境的有限信息，比如视觉信息，深度信息（Kinect），还有自身的加速度，角速度等来确定自己的相对或者绝对位置，并且完成对于地图的构建。
HoloLens的核心难度是深度探测和相关的手势识别，所以HoloLens是一个带到了鼻梁上的Kinect。 传统的人机交互，主要是通过键盘和触摸，包括并不能被精确识别的语音等。Hololens的出现，则给新一代体验更好的人机交互指明道路。

3.2 Hololens 2的技术改进

3.2.1 硬件升级

比起第一代 HoloLens，全新的 HoloLens 拥有全新的外观。经过改进的锁扣装置不仅能使佩戴变得更加简单，也大幅度地加强了舒适度。结合轻质碳纤维材料以及全面的轻量化设计，所得出的结果就是三倍优于初代的佩戴舒适感。
HoloLens 2的前部使用了翻盖式设计，可以让用户随时掀起，轻松地在虚拟环境与显示环境中切换。在前额部分还增加了一块软垫，增大受力面积，提供更好的支撑；在侧部，原先“厚眼镜腿”变得更加苗条；脑后部则增加了一块大的组件，除了提供支撑，HoloLens 2的CPU和电池都位于这一组件中，通过头带中的导线连接到显示面板和前方组件上，让设备的重量分布更为平均。
HoloLens 2依然在正面配备了5个摄像头，用于空间追踪、物体识别、手势识别以及录制视频，侧面拥有两个扬声器，让用户无需佩戴耳机也能够听到清晰的声音。
HoloLens 2的激光会射入一系列的镜子中，这些镜子能够以每秒54000转的速度旋转，从而让这些激光绘制出一幅画面。激光发生器与镜子组成了HoloLens 2微机电系统（MEMS）显示器的基础。
HoloLens 2则继续使用了上一代HoloLens所使用的光波导技术。
为了让每个人都能看到清晰的画面，微软在设备鼻梁的位置上安装了两个微型摄像头，可以自动测量瞳距并相应的调整图像。同时这两个微型摄像头还能够支持视网膜识别，让你安全的登录Windows系统。
HoloLens 2采用了高通骁龙850处理器，该处理器使用了ARM架构，在能耗比上比先前所有使用的英特尔Atom处理器有着不小的提升。
骁龙850相对于第一代HoloLens所使用的英特尔Atom处理器与自研GPU，在性能上会有较大的提升，这也是HoloLens 2中可以用上2K分辨率显示屏的基础。

3.2.2 软件升级

微软还通过Azure混合现实服务在空间与物体识别上为用户提供了新工具，名为Azure Spatial Anchors，让用户能够将全息图固定在现实中的某一个位置。ARCore以及ARKit上也有类似的功能。但是这一功能能够在HoloLens 2上使用意味着HoloLens 2拥有了GPS定位功能，这是HoloLens第一代产品所没有的新特性。
Azure Kinect顾名思义，能够通过微软自身的Azure云服务获取更多的机载智能、更高效的人工智能，以及更有效的带宽使用和云端处理。HoloLens2与云服务将会紧密的结合在一起，提供更广泛的应用。
第一代HoloLens的Spatial Mapping功能能够对空间进行扫描建模，最终识别出一个个水平或者垂直的平面，并对这些平面进行非常简单的区分：比如墙壁、天花板和地板。但是桌子椅子这样的物体对于第一代产品来说是无法区分的。这一点在HoloLens 2中有了改变。
HoloLens 2中加入了Semantic Understanding功能，让其能够区分出环境中的不同物体，比如沙发、桌子以及人等等。Azure Kinect相比上一代HoloLens的传感器拥有更高的分辨率以及能够在日光下提高性能的全局快门，增加了像自动每像素获得选择这样的功能，拥有更广泛的动态范围。 HoloLens 2使用Windows Core OS作为操作系统，Windows Core OS是微软正在开发的能够应用于包括手机、电脑、服务器以及游戏主机等所有设备的操作系统。HoloLens 2正是微软对于该系统的一次试验。

3.2.3 交互升级

HoloLens 2 首先被提到的升级点是沉浸感，除了视野范围翻倍以外，显示也更加细腻，每一度视角像素密度达到 47 像素。Alex Kipman举例说这种视觉上的提升相当于视角从 720P 的屏幕转到 2K 屏幕。
相较第一代产品720P的分辨率和狭窄的视场角，HoloLens 2采用了2K分辨率的显示屏，长宽比为3：2，可视范围相比前代产品有较大改善，达到了第一代HoloLens的两倍，不过依然不能完全覆盖你的整个视野；同时新的产品能够提供47像素/度的角度分辨率，在图像清晰度上已经比Magic Leap One更好了，能够让你清楚的读出8磅大小的字体。
第一代HoloLens的手势识别功能只能支持两个手势的识别：Air Tap与Bloom，而HoloLens 2则给用户提供了更加自然、更加符合直觉的手势交互功能。
如果HoloLens 2在你面前的某处显示了一个按钮，你无需再进行瞄准-Air Tap这样的操作来点击它，只需要像按一个真实的开关一样伸出你的手指就能够和全息影像进行互动。
此外HoloLens 2还加入了对于双手拖拽手势的支持，让你可以抓住全息物体的边缘直观的去操作如放大缩小这样的操作，省去了HoloLens第一代中复杂繁琐的操作。
支持多自由度的手势操作，包括点击，触碰，拉拽等自然交互，这会大大提供整个操作系统的操作效率，基本达到了三维空间中鼠标的基本作用。眼动追踪则完全配合了眼镜这种载体的设计，更加符合人对于视觉信息的获取方式。
初代HoloLens能够通过Cortana提供简单的语音识别交互，HoloLens 2对于语音交互功能进行了拓展，现在用户可以在更多的功能中使用语音交互了，比如你说Follow Me，画面中的窗口就能够跟随你进行移动。你还可以通过语音识别来实现文件发送等更多功能。
通过鼻梁上的两个微型摄像机，HoloLens 2拥有了眼动追踪功能。HoloLens 2可以检测你正在注视的区域，并提供相应的互动。在一个演示中，用户可以通过眼睛盯着不同的泡泡就可以将它们戳破。当你使用自动滚动功能时，也可以通过眼睛来控制滚动速度——你看向页面底部时会加快滚动，看向顶部则会停止滚动。
眼动追踪功能除了提供了一种新的交互方式，还能够在一些情况下替代手势识别和头部瞄准，减轻用户在长时间使用HoloLens 2时产生的疲劳。

3.3 Hololens 2当前的技术难点以及缺陷

硬件方面上，研发HoloLens 2也遇到许多困难，比如碳纤维外壳的设计、发明全新的显示引擎、透镜的创新、散热模组的设计、形状设计和佩戴方式，如何支持企业定制及扩展适配系统等。
交互层面，HoloLens主要是用双手直接控制，没有任何的物理控制，如何实现触觉反馈是一个十分重要，增加控制器或触觉反馈是未来不可避免的问题。视觉显示上，虽然Hololens 2的视场角扩大了一倍多，保持了视野内每角度47个像素的全息密度。但这仍然无法满足消费者的需求。
最后，性能和续航是困扰所有智能设备发展的永远的阻碍。而如何实现量产和盈利也是HoloLens 2未来需要解决的主要难题。
HoloLens 2完全放弃了消费者市场，将主要面向汽车制造商、工厂车间一线工人，手术室的医生以及远程协作。除非混合现实设备的沉浸感和使用体验能比现在的 HoloLens 2 再翻一倍，并将价格定在 1000 美元以下，否则无法面向大众消费者。

4. Hololens 2的应用场景

4.1 娱乐社交

为了扩大混合现实的生态，微软将开放针对 HoloLens 的应用商店、浏览器以及开发者平台。在游戏领域，Unreal Engine 4 即将支持 HoloLens。这使得大量优秀的由Unreal Engine 4开发的游戏登陆HoloLens平台成为可能。 关于MR的杀手级应用，Kipman认为可能是社交，社交将会定义计算平台的长期发展趋势。通常来讲，改变时代的技术通常由社交方式的创新推动，比如从蜗牛邮件到纸质信件再到数字通讯、短信、即时通讯。而对于可视化社交来讲，它的发展是从静止的相片，到视频，最终发展为通过MR实现瞬移。

4.2 工厂企业

微软更倾向于将 HoloLens 2 定义为一款企业级设备。它推出的多款混合现实应用都可以帮助企业大大提高生产力，加速价值实现进程，包括Dynamics 365 Remote Assist，Dynamics 365 Layout和全新的Dynamics 365 Guides应用。微软还推出了Microsoft HoloLens定制项目，帮助客户和合作伙伴定制Hololens 2，以适应相关环境需求。

4.3 医疗教育等方面

在医疗领域， 一副HoloLens，也许可以颠覆一间手术室。国内外已经有多家医院使用HoloLens成功完成外科手术的案例。
在设计领域，值得一提的是， HoloLens 2中部分环节甚至就是用HoloLens设计出来的。由此可见，Hololens 2在设计行业会发挥出强大的能力。
在教育领域，把HoloLens用于现代化的学习，则可以使学生不仅能够观看屏幕，更能与屏幕交互，使得他们更深入地探索事物的运作方式。例如几何，地理，天文等教育领域，HoloLens具有极好的呈现能力和广阔的前景。

Hololens 2的对于未来的影响

Hololens 2比起初代产品，它拥有更好外的观设计、更优秀的沉浸体验。在延续了直觉交互的情况下带来了全新的交互方式，让整个设备的体验更为完整。通过云端处理的方式，在 5G 浪潮到来的时候，将会带来更多的可能性。同时云端化以后的服务可以跨平台，跨地域的提供高质量的全息体验，简单说，Hololens 2具备真正的移动能力和对外连接的能力。

虽然HoloLens 2做出了如此大的改进，还不足以成为大众市场的消费技术产品，但Alex Kipman表示：5年内MR会如何发展他无法猜测。在HoloLens 2的生命周期中，它将主要用在一线生产、员工培训等商用场景。可以预见在接下来两年时间，MR的应用会在B端大放异彩。而三年之后，也许HoloLens 3的出现将全面覆盖C端。

对于信息技术的纪元划分，搜狗CEO王小川认为是“个人电脑（PC）”->“智能手机（Smart Phone，往下简称Phone）”->“全息眼镜（HoloGram Glass，往下简称Glass）” 。以Hololens为代表的AR/MR设备会是未来的主流个人计算形态。终有一天，这样的设备会像过去的PC或者智能手机一样，以更好的形式进入消费者领域。

如今，我们正在进入一个新的计算时代，其中数字世界超越了二维屏幕并进入了三维世界。这个新的协作计算时代将使我们所有人都能够实现更多，突破界限并在3D中更轻松，更直接地协同工作。

科技终将改变人类，帮助人们和企业能够做到以前显然无法做到的事情，不久的未来，Hololens这样的产品将允许我们随时置换时间与空间，仿佛我们天生就具备超能力一般。

参考:

[1] 徐枭涵.如何评价 Microsoft HoloLens.知乎. https://www.zhihu.com/question/27716801/answer/37774813,2015-01-23
[2] 王小川. 如何评价 Microsoft HoloLens.知乎. https://www.zhihu.com/question/27716801/answer/37963015, 2015-01-24
[3] 蒋佳忆. 如何评价微软在 MWC 2019 发布的 HoloLens 2.知乎. https://www.zhihu.com/question/313551196/answer/608036006,2019-02-25
[4] Roger.详解HoloLens 2：微软全力押注的未来. 87870.
http://news.87870.com/1902/36176.html,2019-02-25
[5] 桐羽. ALEX KIPMAN谈HOLOLENS 3、消费级产品及终极愿景. CNET. https://yivian.com/news/57421.html,2019-03-01
[6]维基百科. Microsoft HoloLens. Wikipedia. https://en.wikipedia.org/wiki/Microsoft_HoloLens,2019-3-18
[7] 维基百科. Microsoft HoloLens. Wikipedia. https://zh.wikipedia.org/zh-hans/Microsoft_HoloLens,2017-12-29
[8] 维基百科. Oculus Rift. Wikipedia. https://zh.wikipedia.org/wiki/Oculus_Rift,2018-11-19
[9] 维基百科. Google眼镜. Wikipedia. https://zh.wikipedia.org/wiki/Google Glass ,2019-3-20
[10] MICROSOFT.Hololens 2. Microsoft HoloLens. https://www.microsoft.com/zh-cn/hololens/hardware ,2019-3-20
[11]雷健恒. 新一代混合现实设备 HoloLens 2 发布.Ifanr. http://www.ifanr.com/1177640 ,2019-02-25
[12] JULIA WHITE. INTRODUCING MICROSOFT HOLOLENS 2.Microsoft blog.
https://blogs.microsoft.com/blog/2019/02/24/microsoft-at-mwc-barcelona-introducing-microsoft-hololens-2/ , 2019-02-24