1.熟练操作 Linux、MySQL、Oracle、Hadoop、Hive、MaxComputer、Dataworks、Quick Bi、DataX
2.熟练掌握 SQL、Python、Java、Shell 等语言,并能够使用 Kafka、Flink、Flink SQL处理流数据
3.能够快速理解和梳理业务并设计相应的数据仓库与报表体系
九旗科技步数宝项目
1.选择数据仓库架构(阿里云MaxComputer + Mysql + QuickBi + DataV)
2.使用MaxComputer将业务源数据获取至数据仓库
3.处理源数据缺失值、异常值、数据格式、增量模式等问题生成中间层数据
4.根据业务逻辑建立指标层、以及最后报表层
5.使用Mysql + QuickBi的方式完成报表从而提高报表效率
6.制定数据仓库整体日志体系,重要部分进行短信、钉钉、邮寄等告警信息
7.针对产品设计合理的埋点方案
8.针对业务问题进行数据分析、回归分析等,给出决策建议
9.实时数据进行自动化监控,第一时间发现数据异常问题
自建 Hadoop、Hive 集群,处理Hive中的大量数据 使用 常规 大数据组件对 离线数据进行加工和处理
使用 Python3 编写 GUI 程序 爬取小说网站的小说内容,并展现于软件中 并提供朗读功能和字体大小调节功能