接web和app数据爬虫项目
熟悉js逆向、熟练使用requests,selenium,scrapy,appium爬虫工具包
熟悉 mysql,redis、达梦等数据库
爬取过b站,企查查,小红素等app数据
熟练使用pandas,matplotlab,numpy等工具包
熟悉 Java 语法、Spring、SpringBoot、MyBatis-plus 等主流开发框架
熟练 Netty、了解常用网络协议
熟悉 MySQL 数据库,具备 SQL 优化的经验,熟悉MySQL 索引、事务等机制
熟悉 Linux常用命令、有独立部署项目经验、了解Docker、k8s等容器编排技术
中国移动网格通app:
1、外呼服务:对客户进行呼叫访问,记录通话信息、语音存储,数据来源是第三方外
呼平台对全国用户通话状态数据进行分发,由不同省的服务通过Kafka进行数据订阅,
充分利用kakfa的削峰特性,有利的支撑了运营商大规模数据。
2、摆摊服务:进行热力图选点、筛选客户、进行批量短信发送,推销产品。短信发送
主要流程是后台存储了运营商数据中台传过来的需要用于发送短信的用户文件,用户
量达到十万甚至百万级,通过Elasticsearch对用户数据(主要是经纬度)进行存储,
利用es地理空间搜索和计算的优势,查询并返回数据给前端热力图。提供了app主动
发送短信的接口和xxljob定时调度两种发送模式,将短信内容发送给对应选定客户群
。
3、回归助手:携号转网相关业务
服务监视系统:
独立开发的一个模块、用于容器监控、通过Java实现zabbix、promethues、
grafana的接口适配器、使用Websocket技术与前端大屏进行实时数据监控、报警等
角色 | 职位 |
负责人 | Java高级工程师、python爬虫工程师 |
队员 | 产品经理 |
队员 | 前端工程师 |
队员 | 后端工程师 |