目前技术栈:
数据库:MySQL为主,以及Haddop生态的Sqoop、Hive、Impala、Oozie、HUE等。
开发语言:Python,Shell
框架:Flask
第一类:数据分析相关项目
1. 财务风控平台:从多个业务数据源抽取的数据,按照统一的模型进行财务指标计算,如应收账款、DSO等,用于辅助高层决策,主要使用了MySQL存储过程计算指标。
2. 数据驾驶舱大屏:基于Hadoop数据仓库,将大量原始数据按照复杂逻辑计算后的指标,以大屏Dashboard的形式分类展示,使用了Hive、Impala、Oozie、HUE等平台工具。
第二类:自建PaaS容器云平台
基于Kubernetes API以及Helm,经过二次封装开发,目标是实现企业应用平滑上云。自己担任了其中的梳理Kubernetes API、搭建K8S集群的工作。
第三类:爬虫
网站公开信息的合法抓取。