1. 熟悉SpringMVC/Struts2/ Hibernate /Spring/MyBatis等开源框架;
2. 熟悉Linux常用命令,熟悉python/shell/JQuery等脚本语言;
3. 熟练应用Web前端技术,如HTML、CSS、Jquery、Bootstrap、Ajax等;
4. 熟悉Tomcat、Nginx、Jboss、Weblogic等应用服务器的配置及优化;
5. 熟悉使用Oracle/Mysql数据库,以及Hbase、MongoDB、Redis等NoSQL技术,能够熟练使用SQL进行数据库操作及优化;
6. 熟悉Maven项目管理,SVN版本管理;
7. 有良好的分析、设计能力和测试习惯 ,能够使用Debug,Junit进行程序测试和log进行日志的记录。
内蒙古电信装维统一模型上传
项目描述:采集电信OSS域的数据,通过物化视图及规则转换引擎实现省内装维数据数据同步和模型转换,将省内er库的模型数据转换为kv模型数据由Hbase数据通道上传给电信集团,以支持集团运营指标的计算分析。
责任描述: 参与该系统模型映射梳理,linux服务器大数据环境搭建,数据的全量和增量同步,数据转换(将oracle数据库的横表数据转换成Hbase的纵表数据)以及数据的上传(基于Hbase Replication来实现省和集团两级Hbase的数据及时同步)。整个项目实施过程中,涉及到的技术有oracle Golden Gate(OGG)数据实时同步,ETL数据清洗,CDC增量数据采集,分布式计算,Hbase存储等。