主要从事后端大数据开发,
开发语言:java、python、scala
开发框架:hadoop、spark、flink、springboot、等
数据库:mysql、pg、redis、MongoDB等
数据采集、ETL、数据处理、报表、网页后台等都可以
中国移动不良信息项目
项目背景为:根据中国移动提供的用户上网浏览日志筛选出其中涉黄的链接,封堵url及域名
项目开发采用python开发语言及scala语言,
项目主要使用的技术为大数据技术及爬虫技术,先对上网日志进行预处理ETL,再使用python爬虫进行爬取验证是否涉黄