1. Mysql、Redis、业界常用MQ
2.有做过高并发、高安全业务,能够对复杂业务进行合理拆解
3.有过python分布式网络爬虫经验、能够快速解析网页、H5、移动端数据接口数据
4.Linux系统开发经验、熟悉awk、grep、sed等
5.c++、golang、python等后端语言
6.python web开发
7.小程序开发
1. 类饿了么配送平台小程序开发
a. 后台使用python flask框架提供http接口
b. 前端使用vue.js做数据绑定
c. 存储层使用python django的orm框架与mysql进行交互,并且django天然支持做管理后台
d. 使用两台阿里云服务器部署做容灾,nginx做负载均衡
e. 最终项目上线,每天日活几千,服务稳定
2. 分布式网络爬虫系统开发
a. 对需求提供方需要抓取的符合robot协议的网页数据进行抓取
b. 对需求方的需求进行爬虫框架优化(抓取速度、代理自动切换等)
c. 将抓取到的数据按照需求方的需求进行数据清洗
d. 存到指定的mysql表中,由于数据过大还需要做分表(数据量大约千万/天)
e. 最终系统稳定上线,只要网站提供方的html规则不变化,程序基本不用动
角色 | 职位 |
负责人 | 软件开发工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |