猿急送>

北京后端兼职程序员

ID：123670

百分百...

后台兼大数据开发工程师

公司信息：
北京挖酒电子商务有限公司

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
全区

技术能力

JavaEE方面
◇ 熟练使用Docker容器的部署和编写。
◇ 熟练使用linux系统,熟悉常用的linux的shell命令,能在linux系统下搭建开发环境。
◇ 熟练运用Struts2、Hibernate、Spring、SpringMvc、Mybatis、Jquery、BootStrap等技术进行网站开发。
◇ 熟悉Maven,Gradle,Git等项目部署工具
◇ 熟悉HTTP,FTP等网络应用层协议，熟练掌握Socket编程。
◇ 熟悉Solr,ES等企业级全文搜索框架。
大数据方面：
◇掌握sparkMlib技术.
◇ 熟练Hadoop(MapReduce,Yarn,Hdfs),可以调优,重写大部分mr组件,理解MapReduce编程模型.
◇熟悉Spark工作机制,掌握spark任务的提交,执行流程,以及分布式计算,SparkStreaming,SparkSql.
◇精通 Hive及优化,UDF,UDTF,UDAF.
◇ Hbase,理解Hbase的存储原理和存储架构,及相关编程.
◇ 熟悉Storm编程,对定时批量任务处理,分布式rpc有一定认识.
◇ 熟练使用flume,kafka,Sqoop,zookeeper,solr,oozie等大数据相关组件.
◇ 熟练redis数据库的使用.
◇ 熟练使用MaxCompute进行存储运算。
◇ 熟练使用Pytho进行数据分析及数据爬虫。
◇ 熟悉Groovy,Scala语言,Grails框架的使用。

项目经验

挖酒电子商务平台
工作前期：
1).独立完成七牛云图片上传进行CDN迁移。
2).编写易宝支付代码，链接各大银行支付模块。
3).独立完成整合阿里大鱼验证码。
4).独立完成酒标生成二维码模块。
5).独立完成行业资讯CMS模块。
6).编写区域独家和独家体验后台业务代码。
7).编写赏味七夕活动模块。
8).配合开发团队进行联合调试和编写系统相关文档。
工作后期：
1).系统架构：spark+kafka+hdfs+zookeeper+hbase+flume+hive
2).三大模块：
(1)用户访问session分析模块
业务：按条件筛选session，统计出符合条件的session中，统计访问时长和访问步长在各个时间段的占比。按照时间比例随机抽取1000个session，获取点击、下单和支付数量排名前10的品类，对于排名前10的品类，分别获取其点击次数排名前10的session
技术点：数据的过滤与聚合、自定义Accumulator、按时间比例随机抽取算法、二次排序、分组取topN

(2)各区域热门商品统计模块
业务：区域级别的热门商品的统计业务，包括查询用户指定日期范围内的点击行为数据，各个区域下各个商品的点击量，使用开窗函数统计各区域的top3热门商品，使用内置case when函数给各个区域打上级别标记
技术点：Hive与MySQL异构数据源、RDD转换为DataFrame、注册和使用临时表、自定义UDAF聚合函数、自定义get_json_object等普通函数、Spark SQL的高级内置函数（if与case when等）、开窗函数
(3)广告点击流量实时统计模块
业务：广告点击流量的实时统计的业务。包括为动态黑名单实时计算每天各用户对各广告的点击次数，过滤出每个batch中的黑名单用户以生成动态黑名单，基于动态黑名单进行点击行为过滤，计算每天各省各城市各广告的点击量，每天各广告最近1小时滑动窗口内的点击趋势，计算每天各省的top3热门广告。
技术点：动态黑名单机制（动态生成黑名单以及黑名单过滤）、transform、updateStateByKey、transform与Spark SQL整合、window滑动窗口、高性能写数据库
(4)Spark整体技术点：
性能调优方案：普通调优、jvm调优、shuffle调优、算子调优
troubleshooting经验
数据倾斜解决方案