实时特征综合应用平台是以各行业应用系统数据以及相关社会部门数据作为基础数据源 ,依照大数据建设规范中的数据采集 , 数据处理 、数据组织 、数据服务的技术体系 ,确保数据的高效存储与处理 ,支撑各行业应用系统 ,促进数据驱动决策的实施 ,提高 数据检索与应用的效率 ,支持实时特征分析 ,建设的符合新一代大数据规范的实施特征综合应用。
项目用到的技术及框架:
1 、数据采集:sqoop,flinkcdc
2 、数据存储:hdfs,hbase+phoneix,hive,kafka,iceberg
3 、数据计算:spark,flink
4 、olap分析引擎:clickhouse ,kylin ,presto
5 、可视化 :sugarbi
6 、Web服务接口 :springboot+http