如何评价 Microsoft HoloLens


浩浩,当科学家还是当工程师呢?

引用宣传视频里面的一句话:

It was science fiction, M$ brings it into science fact.

第一时间看完以后真的很震撼。冷静下来以后仔细推敲了一下技术。看法是,时势造英雄的震撼产品。就像之前对 google glass 的幻想一样。我之前玩过 Oculus,写过 LeapMotion 的 API,折腾过 Kinect 的 Point Cloud,对这俩“虚拟现实”产品都感到大失所望,而 HoloLens 正是我想要的。

hololens 所实现的效果并不是微软一家的创新,他早已流传在种种科幻电影中。

但能做到 hololens 所需要的程度是一个极其复杂的工程。

HoloLens 是一个 Oculus+Kinect+Jetson TK1 所集成起来的夹在鼻梁上的嵌入式怪物。

脑补一下把 Kinect 带到头上的情景

但是微软做到了!

首先给没有看宣传视频的孩子介绍下 HoloLens 吧,HoloLens 是一个基于深度摄像头,高性能处理器和双屏幕显示的进阶版 Glass

长这个样子

具体参见微软官网Microsoft HoloLens

根据我目前看到的信息,hololens 需要技术支持的包括三个部分。

  • 实时的三维计算

这里是游戏届玩烂的东西,可以说在阿凡达之后拉开了一个时代的幕布,经过 NVIDIA,Intel 等的苦心经营,实时的双摄像头渲染已经很成熟。而微软终于把这种技术推向了更广的领域。这种效果在也就是现在是游戏级别的水平。

  • 精准的姿态确定和位置确定。

根据网上流传的 minecraft+hololens,可以肯定微软采用了基于深度识别的 SLAM(实时定位与地图构建)技术。这里的准确度对于最后的显示效果非常重要。姿态确定这都不是事儿。几十块的电容式陀螺仪或者几百块的 MEMS 抄几段代码就好,怎么确定位置就是微软的功力了。当然深度摄像头这种事情微软常年吊打整个行业,Kinect 快成行业标准了(帮助了多少论文发表)。想想我们用的激光雷达的价格。哭了。

这里解释一下什么是 SLAM,就是通过传感器获取环境的有限信息,比如视觉信息,深度信息(Kinect),还有自身的加速度,角速度等来确定自己的相对或者绝对位置,并且完成对于地图的构建。

一个典型是电影《普罗米修斯》的中的探测器,使用一个激光雷达(以及内置姿态传感器)进行构建的小型探测器。

和生成的三维地图

就是这张图把我引入了小型无人机的大坑。电影中,使用小型探测器扫描出来了隧道全景并且全息呈现了出来。

对应到现实《普罗米修斯》里面用的是这种玩意

人民币价值相当于一辆低配的奥迪 A8。可以发射几十束激光同时扫描。而 Google 无人车上面也用到了这种激光雷达来进行实时的路况分析。

对比微软做到的

这可是实现了三年前科幻电影的效果啊!

注意这张图,M$暗示进入一个房间之前要先进行扫描,这里明显是在用 Deep Camera 生成 Point Cloud 然后三角面片进行 SLAM(我实验室的某个师兄在微软实习的时候,做的毕业设计也是这个玩意,微软对这个技术积累很强的)。如果确定是和 Kinect 类似的红外摄像头,那么可以认为 kinect 有的毛病他都会有。比如对于黑色物体,光滑表面的探测啊。

微软在 Kinect 使用的是红外线来进行深度探测。

可以说,HoloLens 的核心难度是深度探测和相关的手势识别,对于微软来说这是其专长了,所以 HoloLens 是一个带到了鼻梁上的 Kinect。

为什么说 SLAM 对于 HoloLens 非常重要呢?因为只有实现了靠谱的 SLAM,才能知道眼镜的空间坐标和相对于室内各种障碍物的位置,同时识别出各种室内摆件的形状,这是宣传片中人机交互的基础。

毕竟业界的主流方案就那么几种,微软大概不可能像 @杨硕 兄造 DJI Inspire 1 那样用光流传感器。

这种图在出现的时候主人公一直在走动

而画面的稳定性很好

注意这里

可以看到对于各个表面的贴合度已经达到了 SLAM 的程度

  • 图像识别技术

对于手指,墙面的识别都要靠它。

这里注意到一个细节,展示在三维空间中的 UI 很像是 Autodesk Fusion 的 UI,难道自动桌已经先行一步?

来自官网的一张图片,可以看到使用的正是 Autodesk

作为半个工程师,我当时买 Leap Motion 就是为了玩 Solidworks Fusion,现在有了 HoloLens 这种玩意,比 Fusion 体验不知道酸爽多少倍。脑部一下去参观 EAST 的时候眼睛里显示出 EAST 剖面的情景。太震撼。

这三个技术在近些年的成熟造就了 hololens 的产品化。之前我对购买 google glass 的设想与此类似。Hololens 把它推向了现实。

其实 hololens 所实现的效果并不是新鲜货,早在冷战末期,武装直升机飞行员就通过头盔里面的信息来操作机枪所瞄准的方向。这两年我军也有装备。

当年 su35 的“回马枪”向后发射的导弹就是用尾椎雷达和头盔瞄准具实现的。

更进一步是这货用的这种

现在 M$让大家都用得到。

另外,根据对 hololens 的技术分析,hololens 可能会有如下一系列困难

第一,是耗电量。计算视觉和 slam,再反过来进行三维虚拟现实是一个非常耗费计算量的任务。之所以说微软是时势造英雄,因为这种计算量在二十年前可是阿拉莫斯实验室用于核聚变模拟的计算量。现在只要耗电量跟的上,NVIDIA 的 Tegra K1 还有 Intel 家的协处理器在嵌入式上飙计算量没问题。

第二,是在开放环境,欠光线环境的识别度问题。对此我持保守态度。需要拿到产品再说。

第三,是定位精准度问题。这是老大难问题了。

另一方面,这种配合将成为很长一段时间内的主流。

如果修的不是自来水管,而是血管,看到的是通过 B 超技术实时扫描出来的人体内部,那么未来的医院会是怎么样的。如果显示的不是自来水管的 manual 而是实时匹配无人机的爆炸视图,那么以后的工厂和 DIY 是怎么样的。让人难以想象的是,这一切居然是真的!

微软研究院养了那么多闲人真的不是白养的。目前来看微软在这些技术上解决的都非常好。另外十分看好 HoloLens+ 无人机的交互。拿到货以后我要做的第一件事情就是把我们的无人机系统移植上去。这画面太美。我简直不敢想。

还有多系统配合,这是像 iPhone 可以推动 21 世纪历史进程的玩意。

买买买!

另外是,估计 Google 也会有大动作,相关技术大部分有开源实现(包括廉价的深度摄像头),估计很快会有公司扛包出现类似设备的开源硬件和软件,市场一刺激华强北也不会安分,投资空间有多大各位手里有钱的掂量掂量吧。参见 iPhone 引发的历史轨迹。

另外是,全息估计不会成为主流发展方向了。

还有,这个东西进入中国以后,广电会不会要求接入都要审批(显然会抢电视机的饭碗),我们拭目以待。

非商业性转载请注明出处和原链接,商业性转载请私信我,如果嫌私信麻烦直接支付宝也行。

利益相关,果粉,微软黑转粉

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s