五年图像处理经验,擅长机器学习,深度学习方法实现算法需求。
涉及领域包括但不限于:图像分类,目标检测,图像分割,光学字符识别OCR,目标追踪,关键点定位。
具体项目包括:电芯缺陷检测,电芯卷绕阴阳极对齐度尺寸测量,焊点检测,BGA气泡分割与面积测量,行人检测,人脸检测,车牌识别,标签识别,身份证识别,生猪计数等。
常用语言:C++,Python等
2014.06-2015.05 交互式网上阅卷系统的研究与实现(创新基金)
► 主持,基于 MFC 和 OpenCV 开发一套答题卡自动识别阅卷系统,涉及图像定位、纠
偏及分割等技术。
2016.05-2017.06 GA-BP 神经网络在测井岩性识别中的应用(创新基金)
► 主持,基于遗传算法优化 BP 神经网络的超参数,提高神经网络准确率,运用于测井
岩性的多分类问题。
2017.04-2018.03 工程地震仪的研制及其地震数据去噪方法研究(创新基金)
► 主持,参与工程 CT 仪的软硬件研制,开发基于广义稀疏的模态分解随机噪声压制算
法,应用于二维和三维地震数据去噪。
2018.08-2018.12 数码电芯 X-Ray 透射缺陷检测(难点优化落地)
► 电芯卷绕层数的增加(≤20 层),使得电芯内圈 X-Ray 成像区分度差,自适应阈值分
割无法准确分割阴阳极区域,导致内圈平齐逃逸;
● 依据电芯卷绕理论,对检测区作水平方向的灰度投影统计,获得灰度值波峰波谷信息,
定位阴极参考坐标;利用融合灰度信息的梯度提取方法提取阴、阳极梯度轮廓,基于阴
极参考坐标和阴阳电极轮廓的粗细先验,分离筛选阴极轮廓,构建准确阴极区域;
◎ 精确的阴极区域分割,解决 95%以上的内外圈平齐问题,漏检率由 0.5%下降至 0.05%。 2018.10-2018.12 基于 SVM 的电芯阳极褶皱缺陷检测(新项目落地)
► 褶皱模式多变,阳极容易粘连、破碎,导致无法准确计算尺寸和角度数据,引入 SVM
模型辨识是否存在褶皱缺陷;
● 提取电芯图像的 ROI 区域,筛选正/负样本 5K/3K,提取检测区图像的 LBP+HOG 特
征,训练 SVM 褶皱分类模型,单功能嵌入至 VS 工程实现模型调用;
◎ 可适配大部分数码电芯品种,运用于多客户,分类准确率大于 98.5%,耗时小于 50ms。 2019.01-2019.04 基于 UNet 模型的高层电芯缺陷检测(新项目落地)
► 随着电芯层数的增加(>20 层),X-Ray 射线穿透极片介质的能量逐渐衰减,在视觉
层次上表现为内圈图像变暗对比度下降,阳极轮廓模糊等特征。传统机器视觉方法在阴
阳极分割任务中的效率和精度已无法满足现实需求;
● 使用 CVUI(OpenCV)开发一套阴极区域和阳极轮廓人工标注工具;
-2/2- ● 使用 Albumentations 库对标注 GT Mask 及原图数据进行同步增广; ● 基于 TensorFlow+Keras 框架训练 UNet 模型,获得阴极区域和阳极轮廓两个分割模型; ● 基于 UNet 编码网络+全连接层实现阳极褶皱的二分类模型; ◎ 发布快速训练脚本工具,可对新型号进行快速训练部署;10242大小图像,处理耗时 小于 700ms(GPU:1060Ti+6G);判别准确率大于 98.9%,漏检率小于 0.05%; ◎ 作为公司首次成功推广的深度学习项目,在松山湖 ATL、宁德 CATL 等落地投产。 2019.05-2019.06 基于 YOLO 模型的电芯极耳焊接质量检测(新项目落地) ► 客户需要对电芯极耳焊接质量进行监控,采用 CCD 相机对极耳焊接区域进行正/背光 两次取图,算法识别焊点及焊穿目标,综合判别焊接质量的好坏; ● 使用 LabelImg 对图像标注及 Albumentations 增广等预处理; ● 训练 DarkNet YOLO V3 模型,VS 工程加载调用模型,DLL 封装算法实现软件交互; ◎ 4162大小图像,处理耗时小于 100ms;判别准确率大于 98.5%,漏检率小于 0.06%; ◎ 项目在珠海光宇落地推广,反馈效果良好。 2019.05-2019.07 基于UNet++模型的BGA气泡分割(新项目预研) ► 球栅阵列封装(Ball Grid Array,BGA)是集成电路上常用的表面黏着封装技术。当 焊接温度曲线设计不合理时,BGA 焊点易形成气泡,严重的气泡将影响器件电气特性。 基于器件的 X-Ray 图像,分割各焊点内气泡边界,计算气泡在单个 BGA 焊点内的直径 及面积占比,综合判别输出焊接质量的好坏; ● 对 PCB 整图作预处理,识别定位 BGA 焊点阵列;单 BGA 切片,尺寸归一化至 2562; ● 使用 LabelMe 人工标注气泡轮廓,并基于 Albumentations 进行数据增广; ● 基于 TensorFlow+Keras 框架和 UNet++训练气泡分割模型; ◎ 可实现半径>5Pixel 的气泡分割;面积较小、灰度渐变及器件遮挡气泡易分割失败。 2019.07-2019.10
电芯卷绕层数的增加(≤20 层),使得电芯内圈 X-Ray 成像区分度差,自适应阈值分 割无法准确分割阴阳极区域,导致内圈平齐逃逸; ● 依据电芯卷绕理论,对检测区作水平方向的灰度投影统计,获得灰度值波峰波谷信息, 定位阴极参考坐标;利用融合灰度信息的梯度提取方法提取阴、阳
传统机器视觉OCR方法,对采图和文字对象的要求较高,对图像的处理步骤繁琐,手工涉及特征每一步参数选取都会影响最终的识别效果,算法的泛化性能差,难以适用于通用性场景。 基于深度学习OCR方法,将任务分两步,文字区域检测和文字字符识别(或端到端,一步完成),避免冗余繁琐数据处理过程
传统机器视觉OCR方法,对采图和文字对象的要求较高,对图像的处理步骤繁琐,手工涉及特征每一步参数选取都会影响最终的识别效果,算法的泛化性能差,难以适用于通用性场景。 基于深度学习OCR方法,将任务分两步,文字区域检测和文字字符识别(或端到端,一步完成),避免冗余繁琐数据处理过程