技术栈:
Java,Jsp,Python,SpringMVC,MyBatis,Spring,SpringMVC,SpringBoot,SpringCloud,Dubbo,K8S,Nginx
Hdfs,HBase,Elasticsearch,Hudi,Doris,MySQL,Oracle,Redis,Spark,Flink,MapReduceJava,Python,Shell
DataX,Sqoop,Kettle,Jasper report engine
Kafka,RabbitMQ,ActiveMQ
Dolphinscheduler,Activiti,Quartz
Ranger,帆软BI
熟悉TOGAF规范,擅长DAMA理论进行数据治理
业务经验:
银行、保险、基金、房产、汽车、零售、餐饮、教育、电商、外贸等行业关于金融支付,清结算,资金托管等业务的处理和分析。
数据中台:基于大数据实现的数据统一管理和应用平台,累计处理PB级业务数据,按照TOGAF进行架构设计,按照DAMA规范做数据治理,根据要求实现公司生产需求。
查询平台:即席查询系统,满足上亿条数据秒级响应,已经获批国家软件发明专利,我是专利一作。
报表平台:平台包含报表系统,数据跑批系统,任务管理系统,权限控制系统等多个子系统,实现数据多样式展示。
个人职责: 业务系统: 熟悉了解公司40多个条线的业务情况,例如通联通(收付通)、收银宝、二代收单、一代网关(ETS)、二代网关、二代钱包、二代专业化、收单直联、BM、报关(海关)、预付卡·通卡、预付卡·单卡、金融·证券、金融·基金、保银通(金服宝)、云商通(通商云)、外卡(
项目描述: 随着公司对数据检索的需求不断增多,对实时响应的需求越来越高,我们组筹备搭建一个即席查询系统提供查询服务,拟在数仓建设的基础上提供实时查询数仓数据的网站。满足客服、事业部、业务系统、各层级领导对会员、交易、部分实时流水的即席查询需求。 涉及的技术栈: Hive,I