ID：336458
⁽⁽ଘ一颗小西柚ଓ⁾⁾
大数据开发工程师
- 公司信息：
- 腾讯
- 工作经验：
- 6年
- 兼职日薪：
- 1000元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 深圳
- 宝安
技术能力
文档和自动化部署工具：Svn/Git,报表组件：FIneBI/QuickBI,大数据云产品：MaxCompute/EMR/MRS/DLF/Databricks/DLI/DLC,后端框架：Spring/Springmvc/Springboot/MyBatis/MQ/Springcloud/Dubbo/Zookeeper,数据分析：Hive/Spark/Flink数据库相关：Oracle/MySQL/Mongo/PgSQL/Hbase/Phoenix/Redis/Elasticsearch版本管理,消息队列:Kafka/RabbitMQ,数据采集：Flume/Sqoop/Python,ETL框架：Kettle/DataX/Canal/Maxwell/Otter
项目经验
项目描述：随着业务的快速迭代，青龙数仓的库表越来越繁多，初期搭建时确定的数据标准、模型设计规范略显粗糙，且缺少一套完整数据的生命周期管理体系，使得数仓内沉积了大量没有下游引用的数据表，另外因为开发不规范导致分层混乱，层级反向依赖，ODS 层穿透现象增多。需求紧张也产生了大量烟囱数据表和重复开发指标等。为释放集群资源，减少数据质量问题，急需对数仓进行规范化治理，更好地发挥数据价值。
1. 下线各层无用/临时数据表总计2300+，释放存储资源3500T
2. 完成20+个应用层烟囱数据模型整合，10+个公共层模型改造
3. 数仓 ODS 穿透率由原来16%下降至3%
数仓算力资源使用降低了17%，数仓月度 DQC 告警降低了26%
4. 内部培训数仓的开发管理规范，文档的落地，以及后续稽核，奖惩措施的闭环
相似人才推荐
-
500元/天Python工程师中信建投概要：主要编程语言：Python（Djano、Flask） 第三方组件：mysql、docker、red
-
600元/天爬虫工程师柯伊伯电子有限公司概要：本人掌握python爬虫技能，能够利用python编写程序，自动化的从网上抓取、解析并提取有用的数据
-
900元/天自然语言处理开发工程师，后端开发工程师保密概要：语言技能： 熟练使用 Python 操作系统： 熟悉 Linux 操作系统开发以及
-
500元/天python后端开发北京华美汉盛信息技术有限公司概要：熟练使用python, 掌握的框架有: Django、Selenium、requests. 可以
-
500元/天项目经理智能云科信息科技有限公司概要：能够根据项目需求及资源情况制定详细的项目计划 ，并能够合理分配任务 ，确保项目成员明确自己的责任 。
-
500元/天深度学习算法工程师IPMGBA概要：作为深度学习算法工程师，我专注于AIDD（人工智能药物发现）和CDSS（临床决策支持系统）方向。我熟
-
500元/天数据科学家山西大学概要：Python： Flask 以及 Quart （异步版本的 Flask） 构建 Web 应用程序，
-
600元/天大数据工程师复深蓝概要：1,sql 创建数据库,每天定时爬取数据并录入sqlserver 数据库 ,并进行分析 2.提取
