修改密码
申请投审稿用户
申请投审稿用户需要填写邮箱和上传个人简历

漫谈颅内病变定位(五)

2020-06-05 束旭俊

0

探讨HoloLens等AR头戴显示器在神经外科应用中的实际价值。

宜观星辰辨南北,勿随萤火逐东西。


早在上世纪六七十年代伴随着激光的发明,全息影像(Hologram)也随即诞生了,并迎来了第一波热潮,此后全息影像一直是未来科技的代表,但限于激光设备的造价昂贵和体积巨大,只在军事领域有所应用,所以逐渐淡出了大众的视野。2010年后,随着计算机及手机的普及,增强现实技术作为一种简化版的全息技术开始出现在游戏(Pokemon Go)、动漫影音(初音未来)里而受到关注。


2009-2019年十年间,初音未来 , 一位来自日本的数字化小姐姐已经在洛杉矶、曼谷、香港、台北、上海、北京等全球多个城市举办了数十场个人演唱会,场场盛况空前。(宅男的世界真不懂!)


2008年微软发布了第二代家用游戏主机xbox360,此后又推出了一款叫Kinect的摄像头配件,它能捕捉玩家的动作,让玩家体验体感游戏,比如《切西瓜》。但一些码农和黑客进一步挖掘了Kinect的潜力,在GitHub有很多代码能让Kinect实现3D扫描、物体追踪和增强现实影像。正是这款黑科技产品为HoloLens的诞生作了技术铺垫,2015年HoloLens横空出世,并把增强现实(Augmented Reality, AR)和混合现实(Mixed Reality, MR)的概念炒到了妇孺皆知的程度。HoloLens作为一款头戴显示设备(Head Mounted Display, HMD)本质上仍然用的是Kinect的核心技术,只不过微软为HoloLens定制了显示芯片和新的系统及交互方式 。HoloLens在惊爆大众眼球的同时,微软也深知它的生态尚不完整,距离消费者仍有很远一段路要走。所以,只推出商业版和开发者版,当然售价也很商业(商业版39,188元和开发者版23,488元)。现在二代已推出,仍没有消费者版本。


毫无疑问,HoloLens提供了一种全新视觉体验,在航空航天、建筑业、室内装修、工程设计、远程交互和通信等领域有重大意义。HoloLens在医疗领域也十分吸睛(吸金),看看国内关于HoloLens的报道:


大部分报道都是“不求是否有价值,只求争名拔头筹”。

数据最能反应事物的本质,结合百度大数据,HoloLens刚推出的两年,在医疗领域内关注度飙升,出现了多个“世界首例”“全国首例”“全省首例”的报道,之后便寥寥无几,大家开始回归理性,AR/MR技术并没有如大家期望那样在医疗领域内激起持久的浪潮,那么问题出在哪儿呢?


1、AR/MR概念混淆


不知是商家有意吹嘘MR技术还是真的搞不清AR与MR的区别,但确实给大众造成了困惑。AR是指虚拟影像重叠覆盖在现实场景之上,并没有嵌入现实场景中;而MR是指将虚拟影像嵌入现实场景中,符合物理遮挡规律。MR比较仿真,适合医学应用场景,能帮助医生分辨解剖层次关系;而AR只是单纯在物体表面显示信息,适合物体的信息标注,比如为室内外导航提供图文信息。只可惜,目前大部分报道都是AR技术,并没有实现MR效果,所以应用层面也就只停留在手术室里看看三维解剖影像水平,并不能将影像与实体结合,给予期待的术中指导。


2、头戴显示器并不适合术者


(1)手术是个精细的活,戴上头显会降低环境亮度导致视敏度下降。(2)如果是AR影像,影像还会遮挡术野,导致看不清楚操作,增加手术风险。如果只是追求术中能看三维影像,完全可以在显示器上浏览。(3)HoloLens能提供虚拟荧幕,替代内镜显示器,但分辨率不如实体显示器,并且还存在传输延迟的问题。(4)HoloLens的分辨率和视角(FOV)太小,头一晃虚拟影像就会出视野。(5)只有佩戴者能看到虚拟影像,台上助手如果没戴HoloLens完全不能和术者互动。


3、缺少应用级别的软件

不少人自掏腰包购买HoloLens,但除了官网的几个demo应用,几乎没有什么可尝试了。医疗是要面对个体化的,除非有软件和应用开发的能力,否则2万多大洋的HoloLens只能吃灰了。


4、没能和术中设备结合

HoloLens目前只能算个显示设备,目前并不能高效的实现物体识别和追踪,以及虚拟影像的准确定位。和神经导航、显微镜、内镜结合是个不错的选择。但人家BrainLab最新的导航已经装有AR模块,并且和蔡司最新显微镜结合,实现了术中三维影像导航,HoloLens再想分一杯羹很难。

Hololens自诞生之日起就被外界赋予过高的期望。正所谓“花开有时谢有时”,对于一个新生的技术来说,一开始就被赋予太多使命,势必会跌落神坛。那么,HoloLens喧嚣过后是否一地鸡毛呢?


当然不是!HoloLens的硬件参数和显示效果虽达不到医疗级别,但它在远程诊疗,医学教育,解剖学习等方面有着重大的革新。如今HoloLens二代已悄然发布,重量减轻,硬件性能提升,并且强化了手部识别和手势交互。但官网只针对远程协作和影像交互作了重点介绍。二代能否解决上诉的痛点呢?答案仁者见仁,智者见智。

从HoloLens一代发布时的喧嚣到如今的沉寂,花开花落一瞬间,淘走了投机者和炒作者,也留下了一批的实干者。AR/MR在医疗领域不需要空中楼阁,不需要华而不实的概念,需要的是接地气的,能解决临床实际问题的产品,哪怕是很小的一个。



回归主题,谈谈用HoloLens来实现颅内病变的定位。HoloLens目前还没有人脸识别和自动匹配虚拟影像的功能,但可以用基于即时地图重建技术(SLAM)来使虚拟影像固定在现实环境中从而实现AR定位。SLAM是一种inside-out tracking技术,目前虚拟影像在现实环境中会有轻微漂移(shif)的现象,这就导致了虚拟影像与实体无法长时间保持高度匹配的状态。虚拟影像与患者头部匹配需要通过手势来操作来完成,一代的交互效率太低(二代有所改善),但在精细调控上仍有不足。还有操作过程中的延迟,使用体验不是很好,所以有的公司直接用平板或游戏手柄来完成匹配。但不论怎么说,HoloLens确实是实现了真正的AR/MR定位,前面几章讲的手机定位均不是真正意义上的AR,充其量是AR效果罢了。


所谓“宜观星辰辩南北,勿随萤火逐东西”,随着HoloLens坐了一趟过山车之后,我又将目光聚焦于手机平台。毕竟智能手机人人有,门槛低,受众广,如果能解决80%的病变定位问题,也是十分有价值的。近年来,随着苹果和谷歌在AR上的发力,手机能否实现真正的AR定位呢?答案是肯定的。