项目简介: 建设网络数据寻址与路由系统的大数据平台;支持基于知识图谱、语义等、大数据分析等技术,对数字身份、标识、域名、地址、路由、区块链节点等网络资源和其上运行的数据进行分析、挖掘、关联和可视化展示;支持标准化的外接查询接口,供第三方进行数据查询。
项目职责:
1、负责编写scala脚本在spark平台上运行,将hive数据周期性的导入到es中;
2、构建springboot微服务模块,基于es进行数据业务查询;
3、为了提升查询性能,引入redis缓存中间件,缓存热数据。