工作中主要使用:Java 、 Python
大数据处理:Spark、 Flink、 Doris
微服务使用:springboot、springcloud
大数据集群相关:Hadoop、Hbase
全文检索:ElasticSearch、Kibana
容器化:Docker、 K8S
等等
数据处理中台:包括数据架构、数据开发、数据安全、数据质量、数据应用功能。数据架构包含元数据、数据模型以及数据血缘等。数据开发包含dag视图化界面管理、作业监控、实例监控、工具配置等。数据应用包含数据服务、数据分析等。
大数据平台及数据处理:日常大数据平台节点稳定维护。 每日数据采集、清洗、入库、全文检索索引建立等
开放平台: 权限验证、数据服务、频率限制等
数据涉密,无法截取具体数据,仅截取大数据环境以及部分数据量。 改平台支持90余个项目数据同步以及在线服务
本人负责数据开发及数据服务。 数据开发主要是对工具类的研发,可以支持扩展不同的工具类。提交任务到后台后,可以对任务以及实例进行监控。 数据服务主要是数据应用的扩展,支持api、sql等方式输出有权限的数据