ID:147231

龙腾 有团队

大数据开发工程师

  • 公司信息:
  • 杭州德风信息技术有限公司
  • 工作经验:
  • 3年
  • 兼职日薪:
  • 600元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 北京
  • 朝阳

技术能力

2014/03 - 2016/02 四川准达信息技术有限公司 通信工程师
 2014/3-2014/9:负责LTE基站的安装、调试、质量检查、参数核查、近端数据加载
 2014/9-2016/2:分配到无线接入侧,负责LTE基站后台数据配置,制作,告警处理,
基站流量监控,基站升级,基站网管割接,license申请,协助华为做基站的参数调优等工作。
2016/02 - 2018/1 四川准达信息技术有限公司 大数据开发工程师
 负责HADOOP大数据平台搭建与维护
 数据存储(hive)
 数据分析和统计(spark)

大数据方面:
 1 熟悉HDFS、MAPREDUCE、YARN等HADOOP相关技术。
 2 能够搭建HADOOP集群;了解CDH、Ambari集群的搭建和部署。
 3 熟悉HIVE数据仓库的使用,能使用Hql语句进行数据分析。
 4 能够使用Sqoop进行关系型数据库与hdfs/hive之间进行数据导入和导出。
 5 熟悉zookeeper+Flume+Kafka+Spark流式计算相关框架技术。
 6 熟悉SCALA语言,可以使用SCALA进行简单编程。
 7 熟悉SPARK框架,对spark-streaming有一定的了解和使用。
Liunx方面:
 1 熟悉Linux基本命令,使用过vi编辑器,了解yum相关使用。
 2 了解shell编程。
 3 熟悉Linux服务器环境搭建及项目部署。
JAVA方面:
 1 了解Spring、Springmvc、Hibernate框架。
 2 熟悉使用mysql、redis等数据库。
 3 熟悉eclipse,idea、STS、SVN等相关软件开发工具。

项目经验

拉萨电网数据迁移及系统部署(二期)
参与时间:2017/11 - 2018/01
项目描述:负责大数据平台组件的完善及维护,基于电网大数据平台,部署用生产管理系统、用电采集系统、营销业务系统、调度系统,构建配变状态监测分析和客户用电行为两个统推大数据应用场景以及非结构化数据与大数据平台的迁移改造。

本人角色:大数据开发工程师
基站运营数据实时分析处理系统
参与时间:2017/03 –2017/9
项目描述:数据源通过ftp服务获取文件形式基站数据,利用flume对该文件目录进行实时采集,然后采用flume通过kafka保证容错性与sparkStreaming对接,sparkStreaming通过设置每个批处理的间隔时间,将流式计算分解成一系列批处理作业,实时的交给sparkStreaming清洗处理,获得实时的基站告警数据以及基站流量数据展示并存储到HDFS上,对保存在HDFS的数据利用hive建立外部分区表,通过定时任务执行,统计一天的基站告警信息;利用sqoop工具将结果存入MySQL,供前端展示。

本人角色:大数据开发工程师
使用技术:hdfs+spark+hive+mysql+sqoop+flume
责任描述:参与需求分析,平台环境搭建 ,基站告警统计 ,基站流量监控。


NetStore网上购物管理系统
参与时间:2016/5-2016/8

项目描述:该系统分为首页、用户管理、购物车管理、订单管理、退出5个模块。首页模块实现了模糊分页查询、分类分页查询等功能;用户管理模块实现了登录、注册、修改、查看信息等功能;购物车模块实现了查看、购买、修改商品数量等功能;订单模块实现了查看、删除等功能.

责任描述:此系统中我主要实现用户管理功能,包括用户的登录 注册 个人信息修改的个人管理和管理员的增加和删除以及管理员对普通用户的暂停登录和删除功能

本人角色:J2EE开发工程师
技术选型:Spring、Struts、Hibernate、mysql

团队情况

  • 整包服务: App开发   
角色 职位
负责人 大数据开发工程师
队员 前端工程师
队员 后端工程师

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服