熟悉hadoop hive zookpeer kafka flume spark集群的搭建、CDH集群的搭建,管理及调优
熟悉hadoop、hive、zookpeer kafka flume spark工作原理,有Hadoop、zookpeer、hive flume spark项目经验
熟悉Linux/Unix操作系统,熟悉shell、pythone脚本语言编程
熟悉常用的监控工具:Zabbix
熟悉java语言和Java编程
熟悉主流的数据库(Oracle、MySql、SqlServer)安装部署和使用、维护
熟悉Hql和SQL的使用和调优
大数据存储分析系统
软件环境:Linux
项目描述:大数据存储分析平台(基于hadoop+hive+zookeeper+flume搭建的一个数据处理平台)海量数据存储系统,是对解决大数据的一种方案,针对数据分析、挖掘的数据处理平台。
责任描述:
CDH安装部署
CDH的日常管理和维护
集群日常运行状态的监控
集群的容量规划
处理日常维护,优化执行时间过长的任务
udf的函数的开发
完成相关主题的BI任务开发
技术调研(tez)
海量数据存储系统
软件环境:Linux
项目描述:(基于hadoop+zookpeer+kafka+flume+hive+spark搭建的一个数据处理平台)海量数据存储系统,是对解决大数据的一种方案,针对数据快速检索分析的处理平台。
责任描述:
CDH安装部署
CDH的日常管理和维护
集群日常运行状态的监控
集群的容量规划
处理日常维护,优化执行时间过长的任务
udf的函数的开发
完成相关主题的BI任务开发
技术调研(kafka spark)
OA自动化办公系统
软件环境:windows server2003
开发工具:MyEclipse、jdk1.6、oracle 10g、tomcat6
使用技术:Struts2、Hibernate3、Spring3、zTree、jQuery
项目描述:利用网络通讯基础及先进的网络应用平台,建设一个安全、可靠、开放、高效的信息网络和办公自动化、信息管理电子化系统,为管理部门提供现代化的日常办公条件及丰富的综合信息服务,实现档案管理自动化和办公事务处理自动化,以提高办公效率和管理水平,实现企业各部门日常业务工作的规范化、电子化、标准化,增强档案部门文书档案、人事档案、科技档案、 财务档案等档案的可管理性,实现信息的在线查询、借阅,最终实现"无纸"办公。
责任描述:
项目的方案指定和文档
负责部门管理、岗位管理、用户管理、权限管理的编码实现
对应模块的功能测试
对应模块的设计文档和接口文档
项目的部署及后期的维护
角色 | 职位 |
负责人 | 高级java工程师、大数据架构师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |