java及web、ssm、spingboot的开发
大数据开发,包括sparkstreaming、ibmstreams、Flume的开发
python爬虫的开发,包括原生爬虫的scrapy爬虫
掌握的其他技术:kerberos、docker、redis、ELK、netty等
从视频网站沉淀影片资源,支撑山东移动家客中心保障魔百和热点内容的全覆盖,
并根据热度规划运营位,保障运营位资源合理利用
负责项目对接、爬虫框架规划,解决增量爬取、反爬虫、动态加载问题,并完成
数据同步、coids加载,架构:scrapy + mysql + codis + docker