ID：140997
L
大数据开发工程师
- 公司信息：
- 深圳市丰巢科技有限公司
- 工作经验：
- 6年
- 兼职日薪：
- 800元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 深圳
- 宝安
技术能力
6年java/大数据/爬虫开发经验
擅长于大数据开发，熟练使用Cloudera Hadoop、Flink、HDFS、MapReduce、Hive、Spark 、Flume、Sqoop、HBase等技术进行大数据处理
精通Java编程语言开发
擅长java/python爬虫程序开发
项目经验
1、多个爬虫项目经验
房产网站（Q房网、链家），手机网站（中关村、太平洋）、企业信息（启信宝）、快递（格格、速递易、EMS、菜鸟等）多个网站和手机APP信息抓取，熟练使用模拟浏览器抓取动态网站数据、验证码破解及使用动态代理等技术饶过防爬虫程序。
2.大数据智制管理平台
公司2018年重点项目，立足于大数据管理和挖掘分析等实际需求，集元数据管理、任务定制管理、任务调度、报表定制，到日志分析、网管功能、权限管理等多个子系统于一体的大数据管理平台。用户可通过简单的拖拽方法灵活定制任务流程，实现大数据统计和数据挖掘。
3.广东省电信异网号码解析
基于大数据平台，按照统一的数据模型对全省固网Wi-Fi下用户上网数据（每天数据量约1200亿，17T）进行清洗、挖掘、整合、统计分析（主要采用MapReduce + hive），并向外系统提供运营数据共享，为前端市场部门提供标准的运营数据支撑。
4.广告决策平台
基于电信用户宽带上网数据清单，分析用户上网行为，为每个用户标记相应标签，并同步到redis，提供接口，供广告DSP方投放广告时调用，筛选用户，提高广告投放精准度。
相似人才推荐
-
600元/天大数据后台研发中电科海信院概要：1.熟练掌握Java语言，熟练使用Java各种来源类库，熟悉scala语言，理解jvm； 2.熟悉
-
500元/天软件开发工程师华安证券股份有限公司概要：先后在科大讯分，华安证券任职，从事软件开发工作，从程序员开始干起，目前是公司信息技术部的开发组组长，
-
600元/天tech leaderAvepoint概要：7年后端工作经验，五年前端工作经验，日常工作主要处理Team的前后端技术难题和代码优化及底层架构维护 -
500元/天后台部部长成都华尚科技有限公司概要：本人从事后端工作三年，期间经历了大大小小的项目数十个，包含基本的企业演示网站，各种定制功能网站，单商 -
500元/天研发工程师宜信大数据创新中心概要：精通MySQL，精通Java，JavaScript，Golang，Python。 熟练掌握spri
-
700元/天服务器开发工程师北京快手科技有限公司概要：精通Java及nodejs开发，历经多个大型游戏及电商行业项目，从系统设计到开发实现以及上线运维。具
-
1500元/天技术专家阿里巴巴概要：语言: Java, PHP, Python, JavaScript, C++, Go, Shell,
-
500元/天WPF软件开发工程师NiLu软件有限公司概要：精通C#、WPF，熟练使用Blend编写XAML界面和动画。熟练使用VS系列开发工具。 深刻理解面
