主要技能:
1.熟悉主流大数据生态框架的应用与场景方案,如Hadoop、Spark、Flink、Hive、Hbase、Kafka、flume、impala、Phoenix等
2.熟悉Scala,Java编程语言、Shell脚本语言
3.熟悉基于Linux的操作系统的IT系统开发与部署,以及日常使用命令
4.熟悉Mysql、Oracle、PostgreSQL、SQL Server、ES、MongoDB、Redis等数据库的开发应用,熟练使用sql编程及优化,熟悉存储过程、触发器、索引、表设计等,熟悉数据模型设计
4.具备技术/项目管理经验,良好的协调、沟通能力
其它技能:
1.Oracle ERP(EBS)二次开发技术,如form builder/report builder/PL SQL
2.数据分析
3.系统方案设计
广电用户收视行为大数据分析系统
项目描述:
该系统基于广电数字电视终端上报日志与服务器操作日志,利用大数据采集、存储(Hadoop体系)、分析技术(spark体系),对用户收视行为进行深度的、多维度的分析,指在为广电运营决策提供科学可靠的数据支撑。
系统从架构上分为数据采集、行为分析及数据可视化三个大的模块(子系统),行为分析模块充分利用了大数据技术,是项目的核心部分;从功能上提供了离线业务报表(频道统计、点播统计、回看统计、时移统计等)、用户画像、业务实时分析、广告曝光统计等等。
技术关键字:hadoop,spark,hbase,phoenix,hive,kafka,scala,java,mysql,redis,ES
责任描述:
1.参与系统架构设计与核心代码开发
2.担任大数据组组长,负责项目组技术管理
3.与产品经理共同推进大数据系统产品化
4.重点省网、地市网技术支持与需求沟通