精通Python开发,目前维护和根据新增需求开发国内大厂Api数据业务,根据客户要求计算不同规则token并搭建消息队列(RabbitMQ),敏捷开发快速满足客户需要。业余时间保持额外项目开发,精通scrapy爬虫,通读源码,爬过招聘和房屋交易网站不被封禁,躲过反爬。
主要技能:
1. python + web django/flask(最好您提供前端模版)
2.python Api flask + RabbitMQ
3.python + scrapy 随机user-agent,随机代理Ip
1.国内大厂/MicroSoft Api 数据对接系统 : 根据不同数据来源定时获取不同类型的数据,例如从Ftp 获取Excel 抓取数据转Json,并通过token验证进行数据传输。并在不同系统直接搭建RabbitMQ消息队列来进行系统的解藕。
2.用scrapy对国内招聘网站和房屋交易网站进行分布式数据爬取,绕过反爬机制,实现随机User-Agent和随机Ip,并将获取的数据进行数据分析。(985研究生统计专业)
3.Crm 系统对公司业务数据进行可视化 展示,并增加数据手动补偿发送页面,整体数据结果一目了然。