熟练使用Linux / RTEMS操作系统和ROS系统;
熟练使用C/C++、python、OpenCV、QT和MATLAB;
熟悉 PX4 源码框架、导航系统和飞行控制理论基础;
熟悉 SLAM 算法、扩展卡尔曼滤波算法和 PID 控制原理;
熟悉常用的特征检测,如 Harris,FAST,SIFT和SURF 等检测;
熟悉图像处理算法, 如图像去雾, 显著目标检测, 抠图算法, 图像去噪, 磨皮算法等;
熟悉深度学习中常见的物体检测算法,如 SSD、Faster-RCNN、Mask-RCNN 和 YOLOv3等;
熟练掌握 caffe、tensorflow、mxnet 等深度学习框架;
熟练使用QGroundControl地面站控制软件;
1.商品静态结算台
项目介绍:用户将需要购买的商品放在结算台的台面上之后点击屏幕结算按钮,机器通过摄像头识别当前台面上的商品并计算价格,之后生成支付账单共用户结算。
实现1000个商品的识别。
反复迭代制定了一套详细的样本录制流程;
使用检测和分类的级联突破了SSD对SKU数量的限制;
借鉴SSD 的样本增广源码丰富caffe的样本增广方式,将识别率提高了10%;
2. 双开门无人贩售立柜
项目介绍:用户扫码开门后直接拿取想要购买的商品,购买完毕后关门离开,机器自动结算用户购买商品的总价并从扫码账户中扣款。
第一版:动作识别和商品检测同时处理。通过轨迹连接识别拿放动作。
第二版:将动作识别和商品识别分开处理。使用前景检测实现拿放动作识别,然后截取使用SSD识别商品类别。在大幅度降低计算量的同时将检测准确率提高了8%。
将VOC数据集混入商品样本中进行训练,将商品误识别率降低到2%。
根据特定场景去掉数据增广后得到的负样本(手)的裁剪图,大大降低了将手误检为商品的概率。
3.NVIDIA TX2-Jetson视觉控制多旋翼飞行任务
基于PX4完成飞控的外部模式(OFFBOARD)的控制接口,供视觉控制平台(TX2)调用;涉及到控制方式的主要是位置控制和姿态控制;
基于视野中物体深度变化特征实现了多旋翼在飞行中自动避障,同时实现ROI定点执行任务;
搭建HITL和jMAVSim/Gazebo仿真环境;
4. 飞控控制板驱动开发
基于RTEMS(类 Unix 操作系统, 火星探测器使用的系统)系统完成飞控的外围接口驱动开.包括串口、SD卡、IIC、SPI 和 DMA驱动.
5. 飞控吊舱云台视频显示
从云台相机获取图像数据并传输到 LCD 屏上显示;
支持远程控制相机的拍照和位置遥控功能;
支持相机缩放和一些特定位置的固定画面捕获;