热门资讯> 在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路 >

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

转载时间:2021.12.10(原文发布时间:2016.06.05)
95
转载作者:36氪企服点评小编
阅读次数:95次

6月5日,面向青年外科医生、主打医疗+VR的在线手术学习工具柳叶刀客(Surgeek )正式在上海发布,其研发公司医微讯在2016年1月因和张强医生集团达成合作,以及随后在2016年3月宣布获得约印创投数千万元天使投资,而进入大众视野。

那么,柳叶刀客究竟是如何实现医疗与VR相结合的?医微讯在医疗+VR上如何布局?36氪通过对医微讯联合创始人兼CEO潘耿的专访,来“解剖”下其医疗+VR思路:

柳叶刀客APP主要包括两大功能——手术(3D交互模拟)VR(360全景视频直播和录播),这是基于不同的手术学习场景而设计的。手术是按照APP中的动画术式进行理性模拟操作,VR则是感性观看专家及助手们在手术室的真实操作。

2.pic_hd.jpg其中,手术功能又分为教学和考核模式。教学是根据配音提示,教青年医生进行虚拟手术操作。相当于实际学习中的“老师带徒弟的手把手教学”;青年医生学习完之后,可以进入考核模式回顾自己所学的情况,得分可以转化成积分,来解锁更高阶的术式(手术类型的最小单元)。

要想解锁更高阶的术式,要么多花点时间学得更好,要么就花钱。其术式不贵,一个约在几元钱左右。而且,得分还可以进行排行。无论学习形式,还是APP界面,柳叶刀客的手术功能都与游戏十分类似。

3.pic_hd.jpg

目前,医微讯共上线了36种术式,覆盖了4个科室:骨科、普外科、神经外科、和泌尿外科。

这些术式是基于医微讯积累的人体的九大模型数据库,和300多部的外科医生手术动画视频制作而成。医微讯把这些积累的资源利用虚拟现实技术、计算机图形技术、以及三维技术,做成了一个在线手术模拟交互学习平台。

其模型数据库是和复旦大学医学院解剖教研室合作建立的,通过对CT数据源、解剖图谱、以及人的实体研究,花费了近5年的时间;动画视频则经过了与200多名作为种子用户的外科医生调研和讨论。

潘耿介绍,这4个科室和36种术式还只是第一期,医微讯最终会形成12个科室。每月能保证上线20种术式,到今年年底会有100多种术式。

除了线上的术式学习,青年医生线下也可以在头盔、手柄、空间定位器、以及计算机等设备的辅助下,身临其境地进入3D虚拟手术室进行手术操作。

未命名_meitu_0.jpg

相比起手术功能,VR功能实现起来更加复杂,对于设备、手术室环境、网络的条件都很高。

首先,进行VR直播/录播的手术室一般会放有不同机位的摄像机,来接收不同的信号。包括360全景摄像机、普通3D摄像机、以及能传输信号的设备,如3D腹腔镜、电子显微镜、X光机、CT机、B超机等。

360全景相机的优点在于,可以看到整个手术室的所有场景,包括主刀医生、助手、麻醉师等角色的分工。不过,它也有缺点——看不到手术的细节。因此,要想看到细节,需要再有普通3D摄像机或者其他设备的配合。

像3D腹腔镜手术直播,柳叶刀客APP系统就接收了4路信号源——2个360全景摄像机、1个普通3D摄像机、再加上塞入患者腹中的腹腔镜(内置视频采集器)。

潘耿表示,所有需要进行手术操作的治疗都适合VR直播。不过对于摄像机之外的信号传输设备,医微讯目前还只能对3D腹腔镜的信号进行读取和整合。

8.pic_hd.jpg其次,进行VR直播/录播的手术室不能太小或者太拥挤,相机镜头(360全景相机有7个镜头)与所拍物体之间须有1.5米~2米的安全距离。安全距离以内,二者之间不能有杂物,如无影灯、设备、人等,不然会造成显示在APP中的图像畸变。

不过,医微讯通过拼接软件,能将因为实际距离小于安全距离而产生的畸变图像进行优化和处理,使之复原。从而,允许安全距离缩至1米。

此外,网络也是一个很大的问题。VR直播/录播之前,医微讯需要对医院的网络环境进行对接和测试。带宽不够的话,要拉专线或进行卫星直播。很显然,后二者的成本很大。而且,医院对于信息安全十分敏感。它们通常使用的是局域网,对公网比较抵触,需要与院方进行多次交流和沟通。

10.pic_hd.jpg

在VR直播视频中,屏幕中的所有画面都是分左右屏,且同轴同画面。因为人所看到的空间感和立体感都是左眼和右眼的信号合成。

屏幕的中间会有小白点,这是人的视觉焦点。当人的视觉焦点固定在这个小白点上的时候,只需要调节头部位置,手机里的陀螺仪就做出了相应改变,从而可以做一些APP菜单的选择和交互。潘耿认为,人机交互是交互领域最符合用户体验的。

除了直播,其手术视频也可以录播。为了减少对服务器的压力,VR的录播视频是按手术步骤拆分的。学习医生可以选择跳跃式加载和观看。而不是像流媒体那样,需要全部加载完成才能观看。

3.pic_hd.jpg

因为柳叶刀客仅面向医生,医微讯会对其医师资质进行审核和认证,通过之后才能开通权限。 

 “从本质上来说,柳叶刀客也是一款移动医疗工具,改变的是医生学习的方式。不过,与市面上同类型的医生工具相比,柳叶刀客最突出的特点在于将u3D、unreal等通用软件程序应用到了医疗行业,实现了VR和医疗的结合,具备很高的科技含量和技术创新。”

发布会上,潘耿还透露,柳叶刀客APP只是医微讯旗下三个子品牌之一,还包括未来将打造的Surgeek VR(VR手术模拟器)和Surgeek 学院(专家授课培训)。此外,除了外科教育,医微讯还有计划在患者教育和临床辅助上发力,也不排除会做适当的硬件开发。

对于合作伙伴,除了前面提到的张强医生集团,医微讯今天也和冬雷脑科医生集团、北京美尔目医院、名医百强榜、以及硬件厂商蔡司正式签署了合作协议。“我们要整合内容及渠道、医学、技术等多方面的资源,打造一个医疗VR的战略生态圈。”

潘耿说,未来,随着技术的不断进步,以及专业内容、渠道、医疗、科研人员的加入和共同开发,医疗+VR的价值将不可限量。

[免责声明]

资讯标题: 在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

资讯来源: 36氪官网

36氪企服点评
消息通知
咨询入驻
商务合作