ID:199289

在细雨中呼喊 有团队

大数据开发工程师

  • 公司信息:
  • 太极计算机股份有限公司
  • 工作经验:
  • 5年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 西安
  • 全区

技术能力

有关键独立模块设计、开发和维护经验;
1.熟悉大数据hadoop环境掌握必要的开源组件例如:hbase,kafka,flume,yarn,ElasticSearch,spark,hive,zookeeper等熟悉基本的脚本语言Python,shell,可进行自动化测试脚本编写,熟悉CDH云,华为云
熟练应用Struts2+Spring+Hibernate和SpringMVC+Spring+Mybatis及其他主
流JavaEE开发框架
熟悉XML和JSON解析,数据存储方式
熟练应用Eclipse,MyEclipse,SVN,Maven,WebStorm,IDEA等开发工具
熟练应用JSP/Servlet/JDBC/JavaBean等用MVC模式开发项目
熟练Java编程 ,熟悉常见设计模式,熟悉软件设计开发流程
熟悉EasyUI,Bootstrap, AngularJS等前段框架
能够运用PowerDesigner等建模工具进行需求分析和模型设计
熟练使用MySQL、Oracle等数据库的常用操作
扎实JAVA基础知识,熟悉面向对象编程思想,具有良好的编码习惯
熟悉Nginx,Solr,Redis等服务器的安装、能够搭建开发环境
熟悉Linux操作系统,能够搭建开发环境。

项目经验

DBE产品的开发与维护
该款产品属于安防行业交付件,数据量较大,性能规格要求高,所以使用的多款组件,数据接入方面,利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能,实现数据大规模入库,数据消费方面,利用flume高可用,高可靠的分布式的海量日志采集、聚合和传输的系统,实现数据的消费,数据落盘方面,以hadoop和hdfs文件为基准,使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索,使用spark的parquet文件+ElasticSearch对海量数据进行分析,将分析结果存入postgreSQL,为了便于第三方调取使用,使用Jetty+Nginx反向代理的方式实现负载均衡,为了便于资源统一调度和管理,使用restful风格的设计模式方式,以便第三方的调取使用,该产品使用shell脚本和Python实现了产品的升级和维护 该系统包含如下模块:基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等

团队情况

  • 整包服务: H5网站开发   文档原型图   
角色 职位
负责人 大数据开发工程师
队员 产品经理
队员 前端工程师
队员 后端工程师

案例展示

  • DBE产品的开发与维护

    DBE产品的开发与维护

    开发工具:IDEA + SVN+ Maven 开发技术:hadoop+hbase+kafka+flume+redis+spark+Python+Shell+Java+Scala+…… 该款产品属于安防行业交付件,数据量较大,性能规格要求高,所以使用的多款组件,数据接入方面,利

  • janusgraph模块开发

    janusgraph模块开发

    基于janusgraph开发的图数据库产品,数据导入,过滤,清洗,转换,分析关联人,共同关联人,最短路径等,前台使用zoomchart效果展示。

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服