1、3年 Python 开发经验。2年数据服务行业数据处理分析经验。
2、Python 熟练,擅长爬虫及工具开发,熟悉 Django 框架。
3、SQL 熟练,有3年 Oracle、MySQL、PG 使用经验。
4、精通 Excel及 VBA ,擅长自动化工具开发。
1、开发Python爬虫程序,自动爬取企查查、天眼查、国家卫健委、国家统计局等网站数据,以更新完善各经销商及零售终端的相关信息。了解各网站结构及反爬机制后,确定爬取数据的策略及规避反爬机制,对爬取的数据进行标准化处理并保存。设计GUI用户交互界面,便于用户操作及监控爬虫状态。最终将程序打包为可执行的exe文件,便于使用。
2、根据客户提供的项目需求文档,分析项目各要点难点及客户要求,确定交付数据集成处理逻辑及交付规则。规划项目的开发进度、确定代码各模块功能。编写各模块代码,并对各模块代码功能进行测试及验收。部署数据集成功能代码至生产环境,确保上线正常运行。跟进项目后续的需求变更,完成代码的更新及维护。
基于Django框架开发的个人财务管理系统。录入个人收入、支出、理财盈利等资金明细数据并保存到数据库,并定期自动汇总计算各周期财务数据。
基于request、selenium库开发爬虫工具,主要爬取百度地图、企查查、天眼查、国家卫健委、国家统计局等网站数据。