猿急送>

天津其它兼职程序员

ID：285522

反手就是一嘴巴子

算法工程师

公司信息：
汽车之家

工作经验：
6年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（离职原因）

所在区域：
天津
全区

技术能力

精通sql调优
擅长使用hive、shell、java、flink
使用过python、scala
主要做数据处理、etl、也可以做java后端开发、winform桌面程序
之前经历主要是用户画像相关，也做过数据分析系统的数据采集

项目经验

经销商项目用户画像项目
项目描述：
该项目是经销商为提升销售对用户画像平台体验感而进行的升级，主要针对核心标签准召率指标建立和填充率提升。由于线索用户是经销商主要服务对象，故针对下过线索的用户进行指标检测。将已有数据进行整合，并与经销商回传数据进行准召率和填充率计算。针对指标较低标签进行针对性分析和典型例子解剖，重新制定方案，并以更合理的方式指定标签的实验对照组。根据组内数据进行标签选取及优化方向。在标签迭代过程中涉及到实时标签、离线统计标签和模型标签。实时标签使用flink+kafka+codis的方式对数据进行整合，这样可以将准确率和填充率进行相对提升，对模型类标签进行升级，从rfm模型升级到深度学习模型，对正负样本也进行更新，从主软行为用户到下线索用户再到历史回传数据，将auc和准召率进一步提升。
项目职责:
1.参与需求分析，协助产品经理梳理数据源以及抽样分析
2.参与标签准召率指标计算方式和校验规则的制定，根据不同标签对应回传数据进行多种组合方式的校验，最终确定一个双方认可的规则
3.参与标签质量提升方案确定，验算方案可行性及效果
4.理通标签提升方案，针对离线标签，根据制定的方案进行DM层开发，通过hsql编写离线标签进行数据同步;对于实时标签，根据分析结果，用新版逻辑完成标签，并通过整合离线标签完成接口访问数据。最后编写udf和mr的的方式完成准召率、填充率和覆盖率的指标计算
5.优化sql，对sql语句进行优化调整
6.将指标做成定时邮件进行监测及展示
7.进行单元测试，验证数据逻辑和指标计算是否正确，解决后续发生的bug
8.整理上线前的脚本及任务清单，参与线上交付，协助产品完成交付文档，及时定位和解决上线过程的问题

标签质量检测体系项目
项目描述：
该项目是为用户标签产品和业务校验侧提供一个有效的标签级别的评价体系。目前标签分为精确率、召回率、用户维度准确率和覆盖率四个指标来评价标签。统计类标签的精确率和召回率通过混淆矩阵的引申的指标来定义，模型类标签通过准召率和auc进行离线后验评估，覆盖率为离线标签的行为覆盖率校验。整个体系建成后对现有标签分布及质量可以有较好认知，对低质量标签进行提升或下线处理，对高质量标签可以将其推送业务方使用。
项目职责:
1.参与需求分析，针对现有标签及行为数据进行梳理
2.参与标签准召率、用户纬度准确率和覆盖率的制定
3.根据制定的指标规则进行重点标签试算，并根据数据结果对数据范围进行再次调整
4.将现有标签划分种类优先级，分批上线标签监控指标数据，通过mr将标签聚合结果和行为数据聚合结果放入DM层，再通过hsql、udf和mr将指标处理到ads层
5.将重点标签指标数据存到mysql，通过汽车之家自研平台进行展示，以邮件的形式进行监控
6.进行单元测试，验证整合逻辑及指标计算是否正确，并解决产生的问题
7.整理脚本及任务清单，并形成文档及列表，后续批量增减监控标签并及时定位和解决上线过程的问题

实时画像
项目描述：
将用户行为数据以特定算法产出标签，并应用于推荐中。由于离线画像对用户的兴趣偏好有时差性偏差，也希望在推荐中使用更实时性以及及时性反馈推送，所以需要应用实时画像作为离线画像补充。在设计时，希望通过行为迭代和行为分类作为初步实时画像的产出。针对当前app的用户行为类型，将用户行为分为浏览、点击、口碑、互动、线索和其他六类，并给予这些行为不同的权重，最后根据行为次数进行衰减。在过程中使用了flink作为实时流计算工具，将最终结果转为pb写入codis，并将数据同时写入kafka落表hive，以便后期溯源。最终在推荐中的效果是比较显著的，对ctr有一定提升。
项目职责:
1.参与标签选取和数据源梳理
2.参与标签类别设计、系数衰减、pb设计、数据分析
3.根据梳理后的逻辑，通过flink api完成标签逻辑，保留历史行为、中间关键数据和标签数据以pb格式存入redis
4.进行单元测试，验证标签逻辑，并发现解决问题
5.整理模块设计形成文档，及时定位和解决问题