猿急送>

北京后端兼职程序员

ID：146645

亮

后端开发工程师

公司信息：
北京五八信息技术有限公司

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

1.熟练掌握：Spring+SpringMVC+Mybatis 框架
2. 常用语言：Java , Scala , Python
3. 掌握Selector模式 Future模式单例模式等设计模式
4. ThreadLocal HDFS ConcurrentHashMap ProcessBuilder 线程池定时任务线程池等Java常用技术
5. 能用R，Pyhton语言进行数据处理，数据分析
6. 熟练运用Spark平台，如Spark SQL，Spark Streaming，MLib，ML Pipelines
7. 能够运用Storm进行实时流计算，hadoop离线计算。
8. 实践运用过Hive，HBase，Flume，Kafka，MySQL，Oracle
9. 理解并能够运用各类机器学习算法，如决策树，随机森林，SVM，神经网络，CNN等

项目经验

GitHub: https://github.com/liwenliang0

58魔镜-可视化数据挖掘平台（Java+Scala）(58同城公司内部项目，保密无法上传GitHub)
通过对底层的机器学习算法封装，提供拖拉拽的可视化操作环境，让数据挖掘的创建过程像搭积木一样简单。提供的算法组件包含数据源(支持分区)，数据预处理(过滤映射，采样，拆分等)，特征工程(过滤式特征选择)，机器学习(分类，回归，聚类)，预测，评估(多分类评估)
项目整体架构:前端-后端-数据端后端技术选型: Spring+SpringMVC+Mybatis
前后端交互方式:RESTFul API 后端数据端交互方式：SCF
后端参与: 设计数据库表，以及编写后端业务逻辑代码，如选择数据源，选择特征标签列等各个功能
数据端两部分:数据服务系统(Java)+Spark算法组件 (Scala)
数据服务系统技术关键词: SSM框架 Selector模式线程池处理任务定时任务线程池 Future模式单例模式 ThreadLocal HDFS ConcurrentHashMap ProcessBuilder执行shell脚本并重定向每天日志文件
Spark算法组件: 数据服务系统通过ProcessBuilder执行算法组件的shell命令以提交spark任务。开发数据源，过滤映射，逻辑回归，随机/分层采样，拆分，预测，评估组件。机器学习算法组件基于SparkML算法库

风机状态预警信息发布平台(Java)
基于Storm实时流平台，接收上游Kafka的数据，进行数据清洗，将数据写入HBase中，同时采用滑动窗口机制，对正常数据进行指标监控，Web端实时展示报警信息。(使用Java语言）

天池-天猫推荐算法竞赛(Python)
根据用户 4 个月在天猫的行为日志，建立用户的品牌偏好，并预测他们在将来一个月内对品牌下商品的购买行为。(使用Python语言)
构建特征工程，基于用户、品牌、用户与品牌，构建点击，购买，加购，收藏等行为特征，采用决策树，随机森林，GBDT等算法训练模型，通过训练好的模型，对测试集进行预测

艺术家音乐推荐系统(Scala)
基于Yarn平台，使用Spark，数据清洗，预处理，定时同步增量数据至HDFS，定期重新构建模型，根据模型预测得分结果，进行推荐。使用Quatarz定时任务调度
利用Spark ALS 算法(交替最小二乘法)，通过矩阵分解，最小化反馈代价函数，构建模型。通过超参数调优，K折交叉验证的方式获取最优模型，给用户推荐打分较高的艺术家的相关作品。(使用Scala语言)