1、数据Oracle关系型数据库,使用PL/SQL编写存储过程、自定义函数,了解Oracle执行计划,对SQL语句进行脚本优化;
2、熟悉使用Python语言进行数据爬取、分析;
3、熟悉Linux操作系统,及常用的指令,熟练掌握Linux Shell脚本,熟悉SVN等代码管理工具;
4、熟悉项目管理工具SVN,使用Finereport进行报表的制作;
5、了解HADOOP平台,掌握Hive数据库的操作;
6、熟悉ETL开发工具Kettle,掌握Sqoop数据迁移工具的使用;
7、熟悉Excel数据工具的运用。
2020/7-至今
优优小贷金融项目
项目描述:
该项目需要将各类系统包括购销系统,寄存系统,账款系统等数据导入合并,根据需求对业务及财务数据进行统计,建立表连接,对不同的主题域如账款,财务,资金等进行分析及报表展示。
责任描述:
1、参与需求传递会议,熟悉业务需求,根据业务需求针对源系统、源数据进行数据发现;
2、参与概要文档、模型、设计文档讨论;
3、使用Hive编写将数据从ODS到DM层的的存储过程,并解决数据倾斜的问题;
4、根据设计文档使用PL/SQL编写存储过程对数据进行增删改查;
5、使用Kettle结合Crontab进行定时调度任务的开发;
6、完成日常跑数需求。
2019/8-2020/6
睿远基金理财系统
项目描述:
该项目针对用户购买理财产品、期限、金额进行多维度数据分析,了解用户的购买习惯,通过环比同比进行数据可视化分析,为管理层提供决策支持,为客户精准推送类似产品,提高交易量。
责任描述:
1、通过大数据平台 HADOOP 进行接口开发,对数据进行获取,转换并加载的 ETL流程;
2、通过Python对网络接口获取各个板块的数据进行分析;
3、通过Oracel、Linux等开发工具,SHELL编程,编写存储过程进行数据挖掘和同步,检查并优化SQL;
4、编写自定义函数进行部分报表指标计算;
5、利用Finereport工具进行报表开发。
从复杂的sql查询语句中提取所有来源表名。分析日常我们编写的sql查询语句,大概有哪些句式,通过归纳总结,针对这些句式去分析如何按步骤拆解,简化,统一。通过分析,可以把日常的sql查询语句归纳为多种句式。
Python实现简单的excel对比工具,用一个工具,用来对比2个excel表的差异,直接标记出来有差异的行。