ID：309352
反杀闰土的猹.
大数据开发工程师
- 公司信息：
- 南昌工学院
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 深圳
- 南山
技术能力
熟悉Liunx操作系统，有独立搭建系统与服务器部署经验。
熟练掌握JavaSE 基础，具有良好的面向对象编程思想。
熟练使用MySQL等关系型数据库，有良好的SQL编写
能够独立完成Hadoop生态的大数据平台的搭建与部署，并进行优化。
熟悉并理解HDFS读写数据原理，NameNode，DataNode，SecondaryNameNode工作原理。
熟悉Zookeeper的内部原理及其应用。
掌握python语言编程基础，有应用python可视化管理系统开发的经历
项目经验
一. 项目背景
1. 互联网数字经济时代, 大数据已经成为生产要素之一
2. 通过分析脱敏后的用户行为数据, 让数据产生价值, 让数据为企业发展, 为行业建设提供一些决策的
建设性的依据和支撑
3. 通过用户行为的分析, 增强网络安全和信息数据安全的建设
二、 项目的价值
1. 为相关统计部门提供数据支持, 比如上网的用户时长, 上网的用户人数, 上网模式的占比等等
2. 为行业发展的预测提供数据支撑
3. 为企业发展提供数据支撑, 分析每个网站的访问情况
三、最终成果
Hadoop基本环境搭建 大数据环境的统一配置, HDSF分布式存储环境搭建, Yarn分布式任务调度
MySQL数据库的安装和应用
SpringBoot项目的日志生成生成程序的流程分析
Flume日志采集到HDFS,并且完成shell脚本的编写
Hive-on-Spark环境的搭建
Hive的基本操作, 外部表,分区表的创建,表数据的导入
数据仓库的分层架构 ODS --> DWD --> DWS --> ADS 数仓结构设计
DataX技术从ADS同步数据到MySQL数据库
QuickBI完成数据可视化处理
相似人才推荐
-
500元/天高级工程师深圳市爱而生科技有限公司概要：个人优势： 1、从事软件定制开发5年有余，接触过市面上各种APP、小程序、网站、系统等， -
500元/天软件工程师南京创新赋能中心概要：作为一个技术顾问，我具备丰富的 Spring Boot、Vue.js、MySQL、Redis、饿了么
-
800元/天高级后端研发工程师中国科学院计算技术研究所概要：- 编程语言: 精通Java、Python3，熟悉Shell脚本编程 - 后端开发: 熟练使用Ja
-
800元/天信息研发工程师华大基因股份有限公司概要：1. 编程语言：精通Python，R，Perl语言，熟练掌握C，C++，Java等编程语言；熟练掌握 -
500元/天技术总监乐享智游科技文旅产业（深圳）有限公司概要：MyBatis,Maven,NoSQL,软件开发,微服务架构,分布式开发,Hibernate,MyS
-
500元/天15级研发岗华为概要：1. 精通Java，Python，熟悉spring，mybatis，flask等常用web开发框架。
-
500元/天高级开发工程师中国移动概要：Java，HTML，Mysql，CSS, Redis, Springboot，SpringCloud
-
1500元/天架构师无单位概要：1、有公司和团队，团队技术强、诚信靠谱。 2、可支撑的技术服务范围：前端开发(PC、App、小程序
