1、精通python语言
2、精通多线程、多进程、异步编程
3、熟练掌握常见数据库(mysql、redis、mongodb、es、hbase)
4、丰富的爬虫经历(app逆向、js逆向、hook、so层动态调试,常见爬虫框架&自研爬虫组件)
5、熟练使用常见开发框架(Django、Flask、Tornado)
6、机器学习项目经验
1、(公司内部)分布式采集系统开发(新闻资讯数据采集、社交数据采集、简历数据采集)
2、(公司内部)账号管理系统设计开发(智能管理/训练社交平台的僵尸账号,以采集数据&引导舆情)
3、酒店管理系统开发(PMS,订单模块、对账模块)
内部分布式采集系统,用以采集多类数据(新闻资讯、社交网站信息、招聘网站简历数据、多媒体等) 能狗破解多类反爬、控制工作流量、保护己方资源安全等
1、(公司内部)分布式采集系统开发(新闻资讯数据采集、社交数据采集、简历数据采集) 2、(公司内部)账号管理系统设计开发(智能管理/训练社交平台的僵尸账号,以采集数据&引导舆情) 3、酒店管理系统开发(PMS,订单模块、对账模块)