将虚拟的三维模型、图像、数据等信息与现实手术场景实时融合。通过对患者术前的影像学数据如 CT、MRI 等进行处理和重建，生成精确的三维模型，然后借助特殊的显示设备，将这些虚拟模型叠加到手术视野中，使医生能够同时看到患者的实体组织和虚拟的病变结构等信息。
利用光学追踪、电磁追踪等技术，实时跟踪手术器械和患者身体的位置和运动，确保虚拟模型与实际手术场景的精准匹配和同步更新。例如，通过在手术器械上安装特定的追踪传感器，系统可以实时获取器械的位置和姿态信息，并在虚拟模型中准确显示。