1,了解zookeeper 分布式协调服务应用。
2,熟悉hdfs、mapreduce、yarn能独立完成简单的hadoop集群环境的部署以及编写mapreduce程序进行开发。
3,熟悉Hbase,Redis非关系型数据库和mysql,oracle关系型数据库。
4,能独立完成Hbase集群环境搭建,熟练使用客户端进行数据操作。
5,熟悉Hive的使用,熟练使用hql进行数据分析,能够使用sqoop进行关系型数据库与hdfs/hive之间进行数据导入导出。
6,熟练java编程语言,熟悉java面向对象分析与设计。
7,熟悉java基础知识以及核心类库。熟练运用反射、io、多线程、socket等相关知识进行软件开发。
8,熟悉使用eclipse,myeclipse,idea等相关软件开发工具。
9,熟悉struts2,hibernate,Spring,springMVC,mybaits能独立使用以上框架进行开发,熟悉javaee开发,参与过OA和CRM项目
1,舆情监控系统,通过爬虫和对接数据进行数据分析,属于来源广泛,通过mapreduce自行开发的etl系统,参与了数据分析开发,为决策者提供数据参考。
2,金融舆情监控系统,该系统通过一些权威的新闻发布和具有决定性的站点消息,已经工商等信息通过各种方式和手段获取,通过种种数据给企业评估风险。用处:与银行有合作的企业或者有意愿合作的企业通过该系统给降低银行的风险。
3,oa,办公自动化,此系统采用B/C,使用s2
sh进行开发,其中包含个人办公,审批流程,行政管理,人力资源,电子邮件,实用工具,个人设置和系统管理,通过这些模块降低企业沟通成本。