大数据ETL流水线和数据仓库

企业服务-云计算 px

负责搭建和持续改进公司数据ETL流水线和数据仓库。基于Spark SQL+MongoDB+Airflow+EMR+Redis,分析处理用户业务数据和行为数据,给下游业务部门和决策部门提供数据服务支撑(推荐结果及排序、实时排行榜、给BI提供数据源、等等)。 负责搭建和持续改进公司BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel(曾经还用过Google BigQuery+Looker),分析用户数据,给高层决策部门提供数据分析报表和Dashboard。...

大数据ETL流水线和数据仓库
大数据ETL流水线和数据仓库

基于Lambda和MongoDB数据处理

企业服务-云计算 px

这是一个澳大利亚客户的项目。项目方需要我利用AWS Lambda检测源数据新增,对新增数据进行validate、有效内容提取、格式转换、并最终存储在documentDB(documentDB是AWS兼容MongoDB的数据库实现),并通过有针对性的索引,加速documentDB的高效读取。...

基于Lambda和MongoDB数据处理
基于Lambda和MongoDB数据处理
------ 加载完毕 ------
联系需求方端客服