掌握java,熟练使用springboot架构,精通后台开发,也可以开发非web程序;
掌握hadoop架构,可做数据离线处理,也可以搭建hadoop集群;
掌握python,可以写srapy;
掌握mysql,mysql数据库的搭建,dump和binlog数据同步,以及脱敏,mysql的存储过程;
掌握hive,熟练使用sqoop导数据,以及对hive的环境搭建,本地搭建,以及remote模式搭建,熟悉udf编程;
熟悉linux,熟练使用shell编程;
1. 基于springBoot的项目开发
1.1 印刷厂经销存管理系统开发,后台使用springBoot架构开发,由于前台需要手机电脑两端访问,并且项目工期短,就用了Foundation5架构进行开发,后来学习了微信小程序的制作方法;
1.2 非web程序,实现文件处理,对文件数据进行脱敏;
2. mysql
2.1 mysql8.0最新版数据库搭建;
2.2 mysql5.6到mysql8.0的数据库迁移(期间踩过太多的坑了,尤其是只迁移部分表的时候);
2.3 mysql8.0存储过程;
3. hadoop
3.1 hadoop的高可用(HA)集群搭建,本机利用docker实现,实体机2个namenode节点,9个datanode节点;
3.2 hadoop的mapreduce架构使用,并行计算框架,能快速的处理存在hadoop上分布式存储的文件,而架构也能处理本地文件;
4. hive
4.1 hive环境的搭建,当然是基于hadoop上的搭建;
4.2 利用hive进行数据处理,etl清洗、数据分析(整合宽表,并导出到mysql中,开发页面展示);
5. linux
5.1 因为自己的机器用的就是linux系统,从ubuntu到linuxMinit,以及搭建hadoop用的centos系统,都是比较熟悉的,并且学过一些操作系统原理;
6. python
6.1 python主要是自己拿来玩,想要实现什么小功能了,用python进行开发,由于第三方库的成熟,所以很快就能实现自己想要的小功能,并且经常回去爬一些电影网站,保持每周看最少一部电影,大学期间因为抢票困难,自己写了一个抢票爬虫,不知道现在还能不能用;
角色 | 职位 |
负责人 | 大数据工程师 |
队员 | 产品经理 |
队员 | 前端工程师 |
队员 | 后端工程师 |