熟练使用JAVA语言,熟练使用面向对象编程,熟练掌握J2EE技术
熟练使用Eclipse/IDEA开发工具,熟悉gitlab代码管理工具具有良好的编码习惯
熟练使用linux操作系统
熟悉hadoop、flume等大数据相关组件,熟悉Hadoop、flume、kafka的集群部署,了解hbase、hive等数据库的基本操作
熟悉Oracle、MySQL等关系型数据库,熟练掌握SQL操作
熟悉redis数据库,有redis主从数据库搭建经验
熟悉Spring、spring-webmvc、struts、Hibernate、MyBatis等主流开源框架
熟悉HTML、JavaScript、CSS、Ajax、JSP、bootstrap、treegrid、zTree、json等前段页面技术,熟悉jQuery框架,熟悉Tomcat容器
了解ELK日志分析
了解mongoDB文档数据库,掌握java对mongo数据库的基本操作
本系统以Flume为核心,以ftp、sftp、hdfs、database、kafka、 hive、hbase、localfile为源组件和终端组件进行数据采集任务。本系统可一键部署flume、kafka、zookeeper、storm集群。此外,系统部署集群和数据采集过程中,可在系统页面进行日志的可视化处理,方便用户管理采集任务以及集群运行。