熟练掌握开发语言:
Java、Scala、Python、Shell命令
熟练掌握大数据相关技术:
HDFS、MapReduce、Spark、Hive、Presto、Kafka、HBase、Oozie、Azkaban、Sqoop
熟练掌握的大数据集群环境:
CDH、HDP、AWS
熟练掌握的数据库技术:
MySql、Redis
掌握的爬虫技术:
Scrapy框架
中国电信9省IDC/ISP信息安全管理系统项目:
使用CDH搭建Hadoop集群环境
开发DC/ISP信息安全管理系统Hadoop项目
为现场人员进行相关项目的培训
Beyla日志分析系统:
负责调研、设计与开发公司大数据平台,助力数据化运营业务
管理、优化并维护Hadoop集群,保证集群规模持续、稳定
持续丰富、改进大数据平台解决并实现业务需求
对外提供数据接口,方便各部门进行业务数据查询
新能源监控系统大数据开发:
新能源汽车监控系统大数据部分的开发
三电数据分析
采集新能源汽车实时数据,对数据进行清洗、格式化等ETL处理,建立数据仓库对数据进行管理,用户多条件查询数据结果输出。
实时采集APP上传日志数据,对数据进行ETL预处理,根据日志主题类型建立基础表,根据业务需求建立数据仓库,用户可多条件查询数据输出。