一.大数据
1.Linux操作,shell编写,腾讯云,阿里云服务器使用
2.企业级cdh平台大型集搭建(cm,tar或apache版本) zookeeper,HDFS,hdfs高可用,yarn,hive,hbase,kafka,flume,sqoop2,kettle,Redis,storm,及spark,python3编译,hue,使用webui进行开发,对hadoop生态圈有深入了解
3.熟悉hdfs、mapreduce、yarn等hadoop生态体系相关技术。能独立完成集群环境部署以及mapreduce程序的开发
4.scala语言编写
5.idea/eclipse,secureCRT,xshell工具使用
6.熟悉zookeeper分布式协调服务的使用
7.Hbase数据库,熟练使用客户端进行数据操作。
8.熟练使用Hive,熟练使用hql,udf进行数据分析,熟练使用sqoop进行关系型数据库,了解kettle
与hdfs/hive之间进行数据定时导入导出
9.flume+kafka+storm流式计算相关框架技术
10.使用idea进行开发spark,Spark-Streaming,spark-Sql有使用经验
11.使用spark+flume,spark+kafka
12.阅读使用cdh文档,Apache api,github
13.python的基本使用, scrapy爬虫
14.了解云计算,OpenStack,搭建OpenStack界面,会调用第三方OpenStack4j接口
15.了解机器学习应用,了解elasticsearch
16.https://blog.csdn.net/kk25114
17.github: https://github.com/yanke312090307/
二:java部分
1. Java编程,有良好的oop编程思想,代码编写习惯,代码查错能力,JUnit,debug测试
2. Spring、Struts2 springmvc、hibernate mybatis开源框架应用
3. eclipse/idea等编码工具,Tomcat,svn、Maven等开发及版本控制工具
4. jQuery Ajax layui使用 js css html编写
5. mysql,orac
一.大数据
1.Linux操作,shell编写,腾讯云,阿里云服务器使用
2.企业级cdh平台大型集搭建(cm,tar或apache版本) zookeeper,HDFS,hdfs高可用,yarn,hive,hbase,kafka,flume,sqoop2,kettle,Redis,storm,及spark,python3编译,hue,使用webui进行开发,对hadoop生态圈有深入了解
3.熟悉hdfs、mapreduce、yarn等hadoop生态体系相关技术。能独立完成集群环境部署以及mapreduce程序的开发
4.scala语言编写
5.idea/eclipse,secureCRT,xshell工具使用
6.熟悉zookeeper分布式协调服务的使用
7.Hbase数据库,熟练使用客户端进行数据操作。
8.熟练使用Hive,熟练使用hql,udf进行数据分析,熟练使用sqoop进行关系型数据库,了解kettle
与hdfs/hive之间进行数据定时导入导出
9.flume+kafka+storm流式计算相关框架技术
10.使用idea进行开发spark,Spark-Streaming,spark-Sql有使用经验
11.使用spark+flume,spark+kafka
12.阅读使用cdh文档,Apache api,github
13.python的基本使用, scrapy爬虫
14.了解云计算,OpenStack,搭建OpenStack界面,会调用第三方OpenStack4j接口
15.了解机器学习应用,了解elasticsearch
16.https://blog.csdn.net/kk25114
17.github: https://github.com/yanke312090307/