精通Java编程,熟悉并发、集合、IO等源码,能够熟练进行JVM性能调优。
熟悉J2EE开发,熟悉常用分布式开源框架,如缓存,消息中间件,并了解原理和机制; 熟悉主流开发框架,如Spring、SpringMVC、MyBatis、Redis、Dubbo、ZooKeeper、Netty等,熟悉Git、Maven、Nginx等工具的使用; 熟悉主流开源框架,如Spring、Spring MVC、MyBatis,了解其原理和实现机制; 精通JAVA和spring框架。 熟悉Spring Boot及其微服务治理框架spring cloud; 熟悉MVC,熟练使用Spring、SpringMVC、Mybatis等相关开源框架进行项目开发 ; 了解IOC、AOP原理,熟悉源码; 熟练掌握主流的开源框架设计理念,对Spring、Netty等有深入的了解、研究过源代码;
熟悉Strom,Spark, Hadoop等大数据开发; 熟悉hadoop, storm,HBase, hive,spark等分布式大数据处理技术; 熟练使用 Spark Streaming、Storm、HBase、Hive、Druid 等;深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等)相关技术; 了解Storm、MapReduce等大数据处理技术;
精通数据库设计,MySql, 熟悉常见NoSQL存储,如Hbase、memcached、redis、mongodb等;熟悉MySQL等关系型数据库,了解基本的sql优化,有sql调优经验。熟悉MongoDB,Redis,MySQL的使用,熟练事务等机制以及熟悉数据库优化 ; 熟悉MySQL数据库以及优化方法,了解常用的NoSQL产品,如MongoDB,Redis,Memcache; 了解分布式存储系统特点及原理,如Cassandra,MongDB,HBASE; 熟悉数据库技术(MySQL/Oracle),数据库优化及SQL优化; 熟练掌握基于Oracle或者Mysql的设计和开发,数据库事务有深刻理解。
有大规模高并发互联网应用的设计和开发经验,熟悉常规的分布式架构,熟悉缓存、消息队列等开源中间件; 熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息、负载均衡等机制和实现; 熟悉底层中间件、分布式技术(包括RCP框架、缓存、消息系统等);
中银三星人寿数据中台项目。
原三星人寿的系统是在各个子系统之上建立一个数据仓库,这个项目是引入大数据处理技术实现实时计算和离线数据处理的数据中台。我负责将原有的多个系统的庞大数据同步到大数据存储系统中,在此基础上开发了用户画像,智能推送,用户癖好分析,数据热度,数据地图,数据资产分析等业务系统。
建行大数据云平台基于金山云kde平台提供的底层数据支持,实现和自有云服务的需求。其中还会开发出一些创新的应用,整个系统包括统一数据引擎,大数据交互查询和分析服务。在此基础上提供检索服务,推荐服务,报表服务,在线事务服务,数据可视化服务。
这个项目是使用kde平台的部分功能介入原有系统,之前的大数据任务有shell脚本,python脚本等,接入大数据平台后,开发出工作流管理,资源包管理,版本管理等功能。用到了hadoop生态系统中的hive仓库和kafuka实现数据的实时同步。