ID:111983

11月

大数据挖掘工程师

  • 公司信息:
  • 深圳银雁集团
  • 工作经验:
  • 3年
  • 兼职日薪:
  • 600元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 北京
  • 海淀

技术能力

对数据具有一定的敏感度,熟悉机器学习相关算法以及建模流程,对深度学习有一定的了解;
熟悉大数据平台的搭建、使用、维护。熟悉HDFS、HIVE、HBase、Elasticsearch;
掌握Python, Scala、Spark、Graph;
对Neo4j图数据库有一定的了解;
可做爬虫

项目经验

项目介绍:接收公司精准营销项目的交接工作,并且对版本做运行速度优化以及模型复杂度提升。
使用技术:Python、Logistics算法、XGBoost算法、Apriori算法
优化内容:
1、性能优化:通过将程序的循环逻辑改写,将时间复杂度从N*2优化至2N;
2、代码优化:通过函数式编程,将原来一步到底的程序拆解成许多公共函数方法,达到代码复用性强,可读性高,框架清晰的目的。
2、算法优化:预测模型:利用高效的XGBoost算法替代原程序的Logistics预测, 达到预测性能的提高。其中还对比其他主流的模型,比如LightGBM、SVM、RandomForest等,
推荐模型:从规则推荐改良成Apriori算法,使推荐效果更佳且具有可解释性。

项目介绍:因项目数据量升级需求,公司向大数据方向升级。负责公司首次搭建HDP大数据平台,并且将精准营销模型从单机的Python升级到Spark版本。同时将学习路径分享给同事,带领团队入门大数据。
主要技术:HDP大数据平台、spark、scala
主要内容:
1、完成公司内部HDP大数据平台搭建。
2、自主研发spark2拔插式集群安装方法,成功解决HDP2.6版本不能使用spark2的问题。且得到行方的支持,协助行方在生成环境部署完成spark2的部署。
3、对内培训python转型pyspark,再过渡到spark

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服