本职工作是图像算法工程师,同时也做过爬虫、web等工作,主要使用语言python 会一些java,操作系统是ubuntu/manjaro(熟练使用一些常用命令,显卡管理等命令,可以写简单的shell脚本,部署服务等)
图像算法方向
1.擅长使用pytorch进行图像分类、图像识别、图像分割(根据需求也做过一些nlp方向(情感分析等))。
2.熟悉使用opencv/PIL等库进行图像处理。
3.熟悉使用torchserver将模型进行服务部署。
web
1.擅长使用Django,Flask框架进行web项目开发(主要后端接口开发)。
2.熟悉celery异部框架,celery+redis实现异步任务。
3.熟悉postgresql数据库,postgis等插件写一些地理信息的sql。
4.熟练使用git、docker等工具。
爬虫
1.熟悉爬虫框架scrapy主要做pc端爬取,移动端较少。
2.熟悉selenium+request爬取数据。
3.熟悉一些反爬虫策略,例如实现过某众点评的评论数据点评加密的恢复,制定了某度/某讯街景的爬取策略(目前某讯官方不在更新了)等等。
1.算法开放平台:智慧城市项目的一部分
其中负责算法模型的开发、训练、部署、迭代,其中包括行人识别、建筑分割、感知打分等算法。
使用pytorch为基础的mmseg、mmdet等全家桶进行训练,用docker进行torchserver的部署。
2.某开放平台的异步计算:这个项目是某银行合作的项目
负责实现的功能为在线实时计算和离线异步计算
使用django作为服务端,用celery+redis作为异步控制队列来对显卡进行调整。
3.某银行智慧城市项目:初期数据库建立
通过爬取某众点评数据进行建立数据库,用作后期模型建设
主要复制爬取某众点评的评论数据、某蜂窝图片数据的持续入库,主要克服了字体加密、使用ip池等
使用了scrapy框架和selenium等工具来对应不同数据源的爬取
主要是进行图像的训练、检测、迭代,然后部署和前端进行对接。这些是系统内我负责部分的展示已经上线的, 这里爬虫系统是内部的不方便展示。
这时某市规划局的政府项目,根据位置进行周边环境的评估,我负责整个后端的开发,用户管理、上传解析shp地理信息数据入库、然后进行后端逻辑运算等.
【该评论为5星(满分)好评,评论人选择不公开展示】