流处理框架: SparkStreaming,flink
脚手架:streamx
DataLake: hadoop,doris
OLAP: hive,clickhouse,impala,kylin
采集&迁移: flume,sqoop,datax,streamsets
CDC: canal,maxwell,flinkcdc
NOSql:redis,mongodb
列存:hbase,kudu
消息队列: kafka,activemq
可视化: superset,kibana,grafana,sugar
搜索引擎: elasticsearch
监控: zabbix,prometheus,ganglia
上海生生物流有限公司 数据开发 2021.11-2022.02
内容:
编写streamsets pipeline做数据同步
对数据进行预计算,并编写shell脚本做定时增量更新
长沙亿霆信息技术有限公司 数据开发 2019.03-2021.10
内容:
参与全链路数据开发,包括数据采集、数据同步、数据清洗与标准化、数据模型设
计、离线数据和实时数据开发、数据服务化、可视化和数据治理等工作