七年python开发经验,熟练掌握Django+DRF体系,熟练掌握fastAPI+sqlalchemy体系,熟悉pytorch,tensorflow,keras深度学习框架熟练使用docker;两年vue js前端开发经验。具备产品架构能力,主导公司微服务产品体系架构,设计开发 用户登录,机构管理,成员管理等模块,封装权限管理模块和数据资源管理模块。 爬虫经验丰富,熟悉web js逆向,scrapy分布式抓取等。
• 从零开始基于Django主导研发公司业务中台,快速搭建交付数据展示类平台项目,并持续迭代更新。主要功能包括地图数据展示分析模块,数据管理模块,工作流管理模块,自动化报告模块,数据处理工具模块等。
• 主导业务中台的微服务架构拆分重构,设计并实施用户管理,机构管理,权限管理(rbac)模块,基于consul搭建项目配置中心及项目注册中心,并通过consul-template实现配置实时更新。
• 主导项目数据中台模块,后端基于sqlalchemy对postgresql数据库二次封装实现数据库接入,基于airflow二次封装实现脚本流程及脚本参数在线编排管理,支撑数据ETL及定时爬虫等。
• 主导数据展示分析模块前后端开发,基于vue3+ts实现数据展示分析低代码平台(支撑自定义开发组件的样式,数据获取及组件和组件之间的交互),实现地图和统计图表交互(地图使用geoserver进行切片,统计图表使用原生sql完成查询和空间计算等),辅助项目经理快速搭建可视化展示分析平台,降低公司交付成本,提升效率(利用平台及配套批量配置代码,平均15人天可交付项目)。
• 搭建Scrapy爬虫集群,并完成高难度爬虫反爬解密(包括但不限于百度街景图片加密,高德交通平台加密等)。
• 熟悉pytorch,基于facebook开源框架detectron2进行二次开发,实现了mask-rcnn-with-height,实现基于卫星影像的建筑高度和轮廓识别。
业绩:
支持10+城市体检平台落地部署。使平台开发降本增效,节约人力60%以上。
构建的爬虫集群高质低成本完成每年大批量数据抓取工作,节约代理费用90%。