大数据技术:
hadoop,hive,hbase,zookeeper,flume,kafka,storm,sqoop,linux,shell
java web技术:
jvm,jsp,servelet,ajax,spring,springmvc,hibernate,struts2,ibatis,html,css,javascript,jquery,bootstrap,extjs,mysql,postgresql,dubbo,redis
2016.04 - 至今 百度音乐 数据开发工程师
1、百度音乐商务平台:
搭建hbase集群,hbase表设计,javaapi编写,实现hbase大数据实时条件查询;
搭建phoenix平台,协助hbase实现sql查询;
商务平台架构设计,整合springmvc+hbase+maven,实现大数据的呈现、下载、邮件发送;
整合cas客户端,实现单点登陆与退出;
搭建sqoop平台,导入hive数据到mysql;
2、flume日志收集:
技术调研,在深入理解flume原理与源码的基础上针对公司自己的需求进行源码修改;
部署96个flume节点,小时级拉取广告日志、api日志、lua日志、ui日志等等到hdfs,技术架构采用zookeeper+flume+hdfs;
协助其它组实现实时拉取日志到kafka,技术架构采用zookeeper+flume+kafka;
针对flume添加flume的日志监控,以确保flume的正常运行;
3、hive数据迁移,常见业务统计需求;
4、hadoop集群维护;
2015.04 -2016.03 雅座在线科技发展有限公司(餐饮大数据) 数据开发工程师
雅座,是业界领先的互联网会员营销服务提供商,由国内知名电子商务公司创始人、北美留学归国人员及国有银行卡类技术开发主持人共同创建,是经国家认证的高新技术企业。主要为国内优秀的餐饮连锁企业提供互联网会员营销平台构建、客户关系管理、BI与营销咨询等一系列服务,致力于帮助餐饮企业提高其营销的专业性、精准性和执行力,最终达到企业品牌和经济效益的全面提升。
工作职责:
1、搭建hadoop2.6高可用分布式文件系统,利用zookeeper实现故障自动切换;
2、编写mapreduce程序,实现月报周报统计功能;
3、搭建hive开发环境,进行一些常规表操作,编写UDF函数;
4、搭建redis集群,整合spring进行常规的缓存功能;
5、搭建storm集群环境进行数据实时分析;
6、熟练使用kafka进行消息的接收与发送;
7、熟练使用dubbo为其它系统提供接口;
8、熟练使用intellij idea进行开发;
2013.06 - 2015.04 北京中智信达教育科技发展有限公司(在线教育平台)
商学院在线学习系统、后台管理系统、学习管理系统
1、完全注解的方式开发架构struts2+spring+hibernate,对基础架构进行封装如baseEntity,baseAction;
2、参与数据库表设计,编写常用函数、触发器、存储过程;
3、构建RBAC基于角色的访问控制权限模型;
4、DOM4J+XPATH解析XML文件;
5、EXTJS负责后台管理系统前端页面的显示,封装CSS用于在线学习平台的前端显示;
6、SpringMail为用户发送邮件;
7、HttpClient访问系统提供的接口;
8、采用Maven构建和管理项目。
2010.11 - 2013.06 河南迈佳迈科技有限公司
2011.11—2013.06 流程管理引擎系统
1、完全注解的方式开发架构struts2+spring+hibernate+jbpm4;
2、参与数据库表设计;
3、构建RBAC基于角色的访问控制权限模型;
4、采用hchars完成系统中部分功能需要的饼图和折线图的显示;
5、使用CXF开发基于JAX-WS方式的Web Service的北向接口,使用soapUI对每个Web Service接口进行测试;
6、采用jQuery完成两个多选下拉框的左右移动。
项目简介:
主要包括拓扑管理、配置管理、故障管理、性能管理、安全管理等模块。主要是为了保证网络正常高效率地运行。我主要做故障管理和安全管理两个模块。故障管理主要是对设备和环境的故障进行监视,在发生故障时实现故障单的形成、派出、受理以及审核等功能;安全管理主要是提供有效的安全控制机制,确保合法用户能够正常操作已授权命令,防止越权访问的情况发生。
2010.11—2011.11 河南顺天物流系统
责任描述:
1、完成系统登录功能,将登录密码MD5不可逆加密,登录后采用Ajax动态递归读取jquery.treeview需要的数据,完成动态菜单的显示;
2、区域选择采用Ajax+JSON完成三级下拉联动;
3、采用POI完成司机档案信息的导入和导出;
4、使用Jfreechart生成司机的驾龄分布图。
项目简介:
主要负责车务管理,车务管理主要包括司机管理,证照管理等;