猿急送>

上海其它兼职程序员

ID：316245

William

大数据开发工程师

公司信息：
上海市鹰角网络科技有限公司

工作经验：
5年

兼职日薪：
800元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
上海
徐汇

技术能力

开发语言：java、python、scala
后端框架：spring、springboot、以及mvc
单机数据库：mysql、orcale、postgresql
分布式数据库、数据仓库：clickhouse、starrocks、hive、hbase、kudu
数据查询引擎：presto、trino
离线数据计算框架：spark
实时数据计算框架：flink
数据湖技术：hudi

项目经验

项目名称：数据中台前沿化建设
项目架构：flink、spark、kafka、clickhouse、trino、hudi、hive、datahub。
项目描述：针对于传统数仓的高延迟、数据杂乱、数据丢失或重复、数据错误等一系列痛点重新建设数据中台，利用新架构从而完成数据实时入仓，配置化清洗逻辑，添加元数据管理、数据血缘等特性，优化上层建模，提高数据使用效率。并能独立出产品接入任何数据源，如有需要可以提供给外界任何公司做第三方数仓工具。数据最前沿的数据产品，对标数数等数据公司，优于神策。
责任描述：1.负责项目的从0到1的开发；
2.参与项目架构的选型。

项目名称：实时广告归因以及用户行为统计分析
项目描述：根据第三方渠道的广告日志，设备数据以及用户数据完成广告归因，回调第三方，并统计用户行为信息，完成各个渠道带来的新增、活跃、付费、流失、回流等各项指标。广告归因为自己的算法，对标同类广告归因产品热云广告归因。责任描述：1.参与项目的架构选型；
2.负责从0到1的开发;
3.负责各个版本的迭代。

项目名称：智慧城市(数据挖掘)
项目描述：公司关于嗅探设备、侦码设备、审计设备和网络督察长时间积累了大量的数据，为了做智慧城市项目需要做关于人物画像的数据挖掘。由于数据是不同的设备采集的，采集范围、采集点也不相同，每种数据之间无强关联性，只能通过时间和空间的数据进行碰撞，利用概率学，进行关联分析，再进行一系列的业务逻辑计算，从而得到关联性的人物属性的人物画像。
责任描述：1.负责项目的架构指定，技术选型，并带领小组负责该项目的开发;
2.负责架构的性能、压力测试;
3.负责关联分析算法的实现；
4.负责项目的发布与交付。

案例展示

数据中台前沿化建设

项目名称：数据中台前沿化建设项目架构：flink、spark、kafka、clickhouse、trino、hudi、hive、datahub。项目描述：针对于传统数仓的高延迟、数据杂乱、数据丢失或重复、数据错误等一系列痛点重新建设数据中台，利用新架构从而完成数据实
实时广告归因以及用户行为统计分析

项目名称：实时广告归因以及用户行为统计分析项目描述：根据第三方渠道的广告日志，设备数据以及用户数据完成广告归因，回调第三方，并统计用户行为信息，完成各个渠道带来的新增、活跃、付费、流失、回流等各项指标。广告归因为自己的算法，对标同类广告归因产品热云广告归因。责任描
实时广告归因以及用户行为统计分析

项目名称：实时广告归因以及用户行为统计分析项目描述：根据第三方渠道的广告日志，设备数据以及用户数据完成广告归因，回调第三方，并统计用户行为信息，完成各个渠道带来的新增、活跃、付费、流失、回流等各项指标。广告归因为自己的算法，对标同类广告归因产品热云广告归因。责任描