熟悉Java web编程,熟练使用Spring、SpringMVC、mybatis等主流web开发框架并且了解其实现原理,熟悉MySQL、Oracle、postgresql等常用数据库。有大数据实施经验,熟悉Hadoop、Hive、Impala等常用大数据组件。
熟悉Python语言,可以熟练应用Python进行网络爬虫程序开发。
1、etl工具开发,用于多异构数据源之间进行数据同步、转换。
2、元数据管理系统开发,管理大数据开发过程中的元数据信息。
3、使用Python爬取某网站数据用于测试。
4、参与公司大数据平台实施。