猿急送>

北京Python兼职程序员

ID：339739

高峻

数据开发工程师

公司信息：
北京九恒星

工作经验：
6年

兼职日薪：
1000元/8小时

兼职时间：
下班后
周六
周日
可工作日远程
可工作日驻场（离职原因）
可工作日驻场（自由职业原因）

所在区域：
北京
海淀

技术能力

1.数据建模，数据开发，SQL
2.使用GPT辅助实现各种后端代码，并进行按需求修改定制。
3.Python实现各项功能，包括接口服务，数据处理，爬虫。
4.Java定制udf，进行大数据HIVE开发。
5.Scala，实现spark相关开发
6.涉及开发过程中相关文档的编纂

项目经验

项目名称：中国建材集团财务数据中台建设及BI展示（一期+二期）
开发周期：18个月+9个月
项目架构：(1+N）业务系统oracle+司库系统oracle+kafka+slipstream+TDS+hive+需求数据的其他系统
项目描述：
项目简介：
集团由于业务需要，设立了7个独立部署的结算中心，4个集中部署的结算中心，以及一个财务公司，各结算中心又独立运营多个财务类系统，各类系统总计超过40个，系统之间的数据基本上不互通，集团需要建设统一的财务数据中心，实现对公司财务数据的加强管理。由于数据首次进行统一规范化处理，不具备实时条件，所有数据实现每小时更新一次的准实时数据。
实现流程：
1.建立数据标准规范，根据实际业务情况，在dw层划分为19个主题，分别是：主数据，账户，结算，债务性融资，权益类融资，融资租赁，内部借款，银行授信，票据，信用证，担保，保函，供应链金融，资金预算，市场监控，应收应付账款，投资，金融衍生品，项目管理。
2.与独立部署的业务系统业务负责人进行沟通，对具备准实时条件的系统通过kafka+slipstream方式，实时接入数仓ods层。对于不具备条件的业务系统，采用外部表方式，每日12点-2点之间，业务系统根据指定接口规范，将数据推送到跳板机。
3.对集中部署的业务系统进行数据探查，确认关键事实表和各维度表关联关系，在PDManaer上根据规范建立数据模型，并应用于数据中台，在ODS实现关键事实表增量读取，对其他表实现每日全量更新。
4.带领团队，根据各业务主题模型，整合各业务模块数据，完成各部分数据入库脚本，并配置数据定时同步任务，进入DW层模型，对于不符合入仓条件的数据，与数据源进行沟通，对数据进行补充或者其他预处理。
5.根据已有数据体系需求，对部分数据进行预处理，建立dws模型，优化后续指标的在整体的运行速度，减少部分指标重复计算。
6.根据业务需求，带领完成对大屏，PC端smartbi的数据提供，确保决策类相关项目数据指标的建设。
7.对部分业务系统进行反向供数，如大额资金系统，风控系统，实现数据反哺业务，减少业务人员工作强度。