我具备深厚的技术底蕴,对C++编程语言有着深入理解和广泛实践。在AI领域,我对文字识别(OCR)有独到见解和丰富经验,能够高效地处理和解析各种文本信息。在计算机视觉方面,我对图像处理技术有全面掌握,擅长利用算法进行图像分析、特征提取以及复杂场景的理解。特别是在SLAM(Simultaneous Localization and Mapping)领域,我不仅理解其核心理论,还能灵活运用到机器人定位与地图构建的实际问题中,实现高精度的空间感知和导航能力。总之,我在C++编程和AI相关领域的知识体系丰富且实践能力强,能够解决从底层算法优化到上层应用开发的广泛问题。
2023.01-至今 VR头显定位
项目简介:通过头显上四个相机捕获周围环境,并结合IMU信息,对头显进行定位跟踪,百米轨迹平均位置误差为10cm,最大位置误差30cm,平均角度误差为1°,最大角度误差为3°,在CPU占用率约60%的情况下,单帧耗时13ms,峰值30ms。
主要工作:1、重做重定位算法,误差3-5cm,并提高成功率。开机可复用地图,在多次确认重定位结果后进行地图融合;
2、优化原生初始化过程,5帧完成初步初始化过程,并应用理论更精确的重力方向对齐算法;
3、使用光流前端替换特征点前端,提高匹配精度与速度,减小高度不一致问题;
4、对原生算法优化基于信号的消息机制,使用智能指针对全局对象进行管理,去掉不必要的锁,修改积分bug等,并新增四目支持;
5、完成3dof与6dof无缝切换、地面高度回正、地面高度检测等功能;
6、使用BEBLID描述子替换ORB描述子,匹配成功率提高约13%;测试深度学习描述子GCN、SuperPoint,匹配算法SuperGlue,IMU去噪算法IMUDB,IMU位姿预测算法RONIN等,但暂未实用。
2022.07-2023.01 VR手柄定位
项目简介:通过头显上相机捕获手柄上的红外灯带,根据图像与灯带三维模型信息,并结合IMU信息,对双手手柄进行定位跟踪,定位成功时平均位置误差为5mm,最大位置误差15mm,平均角度误差为1°,最大角度误差为3°。
主要工作:1、确定手柄跟踪方案为不规则红外光带,共14个点,后续根据至少3个点的跟踪和5个点的初始化对手柄进行跟踪并区分左右手;
2、设计图像预处理流程,包括高斯模糊、二值化、轮廓提取、形态学、椭圆拟合、聚类等操作,并对各个模块的参数根据光斑大小等信息进行自适应;
3、通过一个多层感知网络对光带分布做初步分类,从而减少PNP次数。获取到光斑点后,单手柄定位在IMU预测成功情况下耗时小于1ms,跟踪情况下耗时小于3ms,初始化情况下耗时小于6ms。
2022.03-2022.07 自动化标定间
项目简介:设计单个大小在5m*4m以内的标定间,10分钟内完成对单台清洁机器人上多个单线激光雷达、深度相机、光学相机、点激光的外参标定工作,代替原始的人工操作。
主要工作:1、根据不同传感器的标定需求,设计标定模块,包括长方柱、三角柱、AprilTag、红外反光贴等,并进行合理摆放;
2、独立完成标定流程设计、代码编写,算法上包括激光点云、深度相机点云与标定间三维模型的ICP、地面拟合等;
3、最终外参标定精度在5cm、1°以内,包括6个深度相机、一个光学相机、两个单线激光雷达、一个点激光的单台机器人耗时7分钟以内。
2019.04-2022.03 大规模道面图像拼接系统
项目简介:对具有GPS或局部坐标系信息的大规模道面图像进行拼接,最终生成内存范围内的Sketch大图和全精度的瓦块图用于Web前端调用显示,并提供各种位置与局部图像获取服务和任务调度功能。
主要工作:1、根据采集设备类型,完成各类预处理算法,包括自适应光照补偿、拟3D打光、畸变矫正、位置分割等;
2、完成图像拼接算法编写,选择性使用SURF或ORB特征点进行匹配优化,并对全局稀疏矩阵优化,最终位置误差小于10cm;
3、完成基于经纬度生成Mercator瓦块图的Web显示服务编写,支持任意范围、数量的多级图像显示,在1mm/pix情况下总体生成速度优于25分钟/万平方米;
4、完成基于http协议的后台服务编写,根据前端调用控制后台拼接程序的开启与终端并具有优先级调整和进度反馈功能。
2019.04-2022.03 道面检测机器人采集系统
项目简介:获取多种传感器数据,包括2D面阵相机,3D线阵相机,多通道探地雷达等并根据位置服务打上标签,从而对机场道面表观、结构及内部病害进行检测与识别。目前对全国多个机场进行了实地检测,包括成都双流机场,深圳宝安机场,上海虹桥与浦东机场等。
主要工作:1、完成V1版本的Linux下,基于ActiveMQ与上位机通信的V1版本编写,支持2D相机包括Dalsa面阵、线阵相机,Basler相机等,支持3D深度相机,包括AT、SICK等,支持多通道探地雷达,包括国产青岛雷达和进口MALA雷达等;
2、基于ROS的V2版本编写,新增数据验证、异常报错等机制,可以通过上位机界面快速添加与卸载各类传感器,支持统一流程下的多传感器时间同步采集;
3、完成对各类传感器的参数配置。优化默认采集参数,并根据任务开始时采样环境进行自适应调节,主要是相机的曝光时间和增益;
4、拼接机器人周围4路摄像头,生成环景图,并使用ffmpeg编码后通过rtp传送给上位机,帧率大于20
案例背景 质量管理部审核资料时主要审核注册证、质量标准、样盒、说明书,以及资料上的印章是否符合要求。要确保注册证、质量标准、样盒和说明书上的相关信息保持一致,这些信息可能包括但不限于品名、规格、包装规格、有效期、执行标准、批准文号、企业名称、地址以及印章等。在审核过程中,质量管
基于手持设备的视觉SLAM系统 项目简介:使用手持设备构建双目+IMU系统,采集数据后离线地完成室内外一体化的视觉SLAM任务,并构建具有测量功能的三维地图。 主要工作:1、独立推动项目进行,从申报书到硬件、算法选型到测试验收,最终顺利按期结题; 2、使用VINS-FUS