熟练掌握大数据研发,hadoop生态,ambari二次开发,emr搭建
精通java编程语言,熟练掌握进程高并发编程,java多线程 java中的同步锁与重入锁机制;
精通tcp/ip 协议、;
熟练掌握网络I/O: BIO NIO(多路复用的实现) 了解AIO;
熟悉cpu的MESI缓存一致性协议;
熟练掌握分布式高并发架构,zookeeper、redis等中间件;
熟练运用rpc远程过程调用协议 如:dubbo;
熟练掌握mysql主从复制与集群部署,mysql存储引擎实现原理,sql调优;
研究过spring源码,掌握spring基本原理;
熟练掌握ORM框架与jdbc编程的优劣;
熟练使用springboot ;
熟练掌握链表、数组、棧、二叉树、AVL树、散列表、B树等数据结构;
掌握jvm调优
ambari二次开发,企业自建emr平台
1.基于ambari二次开发,企业自建emr平台
负责xx银行对账平台需求分析与开发:
1.优化程序:优化前耗时2小时,优化后程序耗时20s
2.定位xx平台内存溢出问题,jvm 内存参数优化后在未出现内存溢出问题
基于ruoyi框架开发xx市数管局项目
Ambari 就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及
Apache Atlas是一个可伸缩和可扩展的元数据管理工具与大数据治理服务,其设计的目的是为了与其他大数据系统组件交换元数据,改变以往标准各异、各自为战的元数据管理方式,构建统一的元数据库与元数据定义标准,并且与Hadoop生态系统中各类组件相集成,建立统一、高效且可扩展的元数