技能/语言:J2EE后端开发,熟练运用ssh框架,springMVC,springBoot, 大数据技术开发,hadoop熟练、spark熟悉,Linux script 编程熟练、Oracle、mysql等数据库开发熟练、前端开发,JavaScript熟练运用前端框架jquery、angularjs、bootstrap、css、html5等,英语阅读口语书写熟练、scalar、python编程熟悉、AI相关技术,如tensorflow、机器人群算法等等
2016/08-2016/12 遵义市公安局大数据全业务平台
所属公司:广州汇智通信技术有限公司
项目描述:
MyEclipse、Google Chrome Browser、Xshell、SecureCRT(开发工具)
Windows、Linux(软件环境)
该全业务系统的门户系统和数据管理平台系统的开发,门户包含各业务系统的链接与通信交互,角色登录,换肤功能,自定义页面模块,系统公告与消息等。数据管理平台系统包含svg数据流向图展示各种数据资源(储存在kafka、hive、hbase等)的使用情况以及对这些资源进行实时跟踪汇报。项目前台使用HTML5+css3+Angularjs+jquery+bootstrap框架开发,用AJAX与后台数据交互,websocket推送后台消息;后台使用分布式架构,用tomcat发布部署在Linux服务器上;数据库使用Oracle
责任描述: 参加系统设计,系统功能的实现
2017/09-2018/01 广东省大数据全业务平台
所属公司:广州汇智通信技术有限公司
项目描述:
MyEclipse、Google Chrome Browser、Xshell、SecureCRT、Toad for Oralce、DBeaver(开发工具)
Windows、Linux(软件环境)
广东省出入境管理局大数据平台的开发,负责的工作是对各种资源数据(电围、ps等)进行综合分析与挖掘。利用分布式数据库Hive、Mpp 以及非分布式数据库Oracle进行联动分析数据,资源数据从kafka、hbase、部分数据从Mpp以及Oracle录入到Hive,开发数据专题模板,后台Hadoop应用程序调度多线程运行模板,生成批量任务,在hive上进行分析,产出结果数据存储在本地,分析任务完成后利用HDFS同步导出到Mpp以及Oralce提供给其他平台以及业务系统调用
2018/02-2019/04 汇丰软件RBWM保险IT Big Data平台
所属公司:中软国际科技服务有限公司
项目描述:
IntelliJ IDE、SSH Secure Shell、Github
负责对各种资源数据进行标准化处理并注入到Hadoop平台。在Control-M部署批量定时任务,该任务利用Linux script程序抓取资源数据到汇丰内部云平台,在云平台上部署Java程序,对资源数据进行标准化处理,最后注入到hadoop平台data lake中进行数据分析
负责的工作主要是大数据全业务系统下的分析中心、侦控系统、门户系统、数据管理平台系统。主要内容包括收集客户需求、编写需求文档、使用Axure设计功能模型、接口以及HIVE库、MPP库、HBASE库的底层数据联调、与其他业务系统ICE通信交互协调、编写模块功能设计文档、设计评审、使用
负责的工作主要是汇丰软件RBWM保险IT部的data lake的数据注入。主要内容包括项目功能说明文档、数据注入Hadoop平台的数据类型文档、开发java程序和Linux script程序、部署control-m 批处理定时任务