多光子显微镜成像技术之三十五 下一代医用内窥镜技术:非线性光学成像、深度学习和仿生视觉

光波常
关注

当前胃肠道癌症是癌症相关死亡的首要原因,其中仅胃癌就占死亡原因的第四位。前期针对胃肠癌症的初级预防策略很难制定,因此二级预防是降低目前与胃癌相关的高死亡率的重点。癌前病变一般是多灶性的,需要细致筛查和监测整个粘膜;胃肠道表面大,漏检率高达10%。提高内窥镜的诊断能力,可与如下新兴技术交叉结合:(1)非线性光学显微镜、(2)深度学习以及(3)仿生昆虫复眼的镜头设计。

常规内镜检查后,如果组织诊断为异常,需要切除后经过固定包埋染色等操作后做组织病理学检查。这种方法最大的缺点是具有侵入性,无法实时做出治疗决策。多光子显微镜的激发波长在红外波段,组织穿透能力强,光损伤极低,具有光学切片能力,可以无标记非侵入式成像,最终获得亚细胞分辨率的高对比度图像,从而提供组织形态学及分子组分信息,因而非常适用于术中实时诊断。图1是传统H&E染色的病理学切片与非线性光学显微镜对未标记胃肠组织的对比示意图[1]。

图1 传统H&E染色的病理学切片与非线性光学显微镜对未标记胃肠组织的对比示意图 [1]

当前应用于生医成像的非线性光学模态主要是双光子(TPEF)、二倍频(SHG)、三光子(3PEF)、三倍频(THG)以及相干反斯托克斯拉曼散射(CARS)成像或者受激拉曼散射(SRS)成像、与计算处理及与现有超分辨技术结合,可以克服多光子显微镜当前在运动伪影和分辨率上的限制,更适用于小型化内镜。深度学习是一系列机器学习方法,可以处理大量数据,在医学领域可用于辅助诊断,有望在未来改变目前的诊断步骤,及时发现易忽视但致命的病理前兆,从而有效干预治疗。

在胃肠道癌症诊断方面,深度学习已经有一些成功的尝试。图2a是一种可以检测腺瘤性息肉的深度学习系统,每张图像的灵敏度和特异性约为95%。图2b是基于深度学习对不同阶段胃癌的检测内镜图。顶部和底部图像中的黄色矩形框为怀疑病变区域,并指示胃癌病变的程度,绿色的矩形框为医生手工标记的癌症位置,两者高度重合。图2c是基于深度学习的胃癌预测SRS+SHG伪色图,分为非癌症、分化癌症和未分化癌症类。深度学习还可以用于恢复模糊图像,图2d为正常皮肤组织的无标记多模态图像。从上到下依次为原始图像、深度学习增强图像及真值图像,恢复效果良好。

图2 深度学习在内镜诊断中的应用 [1]

仿生视觉通过模仿昆虫复眼结构实现广角成像。节肢动物的复眼由多个小光学单元(即小眼)组成,与脊椎动物单镜头系统相比,复眼提供更宽的视场,光学畸变可以忽略不计,还拥有几乎无限的景深和高时间分辨率。

图3 典型昆虫复眼仿生镜头示意图 [1]

图3a所示,使用圆柱形柔性印刷电路板可模仿原始节肢动物的复眼(图f),显示出良好的圆柱形视场(180°×60°),但还不足以达到半球视场。增加视场可采用微透镜阵列(如图3b、3c及3e),模仿现代节肢动物复眼(图3g)、纸黄蜂寄生虫复眼(图3h)及招潮蟹复眼(图3j),可以提供宽视场、高分辨率及高灵敏度,图3i展示了在结肠癌模型中的成像,该复眼镜头用普通的微型相机集成在5mm半径的半球表面,视场达到180°×180°。如采用鱼眼相机集成,可进一步拓宽视场。目前复眼成像分辨率及光效率均较低,而且缺少新型镀膜来适应内窥环境,该技术还需要进一步完善。

本文还介绍了下一代小型化内窥镜GastroAce的模型构想(如图4)[1]。系统包含复眼可视系统,可以获得全景图像重建,具有大视场、大景深和高灵敏度等特点,而且还能偏振分辨成像。GastroAce还能用非线性光学模块对可疑病变无标记多模态原位成像,成像深度达1mm。该非线性光学成像可用两种方式实现,一是基于光纤扫描和GRIN透镜物镜实现前向成像;二是基于液体可调透镜和旋转镜,通过内窥镜体上的圆形“窗口”观测比较隐蔽的侧向病变。GastroAce还具有深度学习自动诊断功能,帮助外科医生实时评估组织病理,准确判断宏观上看不见的非典型性增生或癌组织的边缘。

图4 下一代小型化内窥镜GastroAce的模型构想[1]

总而言之,将小型化内窥镜与非线性光学成像、深度学习及仿生视觉等新兴技术相结合,可以更好地解决当前内镜诊断中的问题,是未来小型化内镜发展的重要方向。

参考文献:

[1] Stanciu S G, König K, Song Y M, et al. Toward next-generation endoscopes integrating biomimetic video systems, nonlinear optical microscopy, and deep learning[J]. Biophysics Reviews, 2023, 4(2).

       原文标题 : 多光子显微镜成像技术之三十五 下一代医用内窥镜技术:非线性光学成像、深度学习和仿生视觉

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存