挖掘平台开发

猿急送>深圳产品经理兼职程序员>子翔>

案例列表

基本信息

案例ID：219602

技术顾问：子翔 - 15年经验 - 深圳程翔智能网络科技有限公司

联系沟通

微信扫码，建群沟通

项目名称：挖掘平台开发

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

一、挖掘平台开发
1. 系统开发框架简介：集成大数据环境，airflow工作流引擎，web应用是一个分布式的框架，Maven多模块构建，提供项目模块化、微服务的思想，实现并发高，数据处理与分析，整个项目使用定制化服务思想，模块化的方案
2. 项目描述：包含潜客挖掘，异常担保，担保图谱，Sql特征构建
3. 项目职责：airflow工作流开发，新技术调研
5．技术描述：
1、后端
大数据环境：hdfs，hive，Spark langch，spark-shell，spark-sql 开发语言：java，scala
工作流引擎：airflow web后台：Springboot+Hibernate+mysql/oracle
二、Arango 查询入数性能优化，二次开发
1. 系统开发框架简介：ArangoDB支持灵活的数据模型，比如文档Document、图Graph以及键值对Key-Value存储。ArangoDB同时也是一个高性能的数据库，它使用类SQL查询或JavaScript扩展来构建高性能应用。
2. 项目描述：由于招行大数据量下，3度图查询性能缓慢，入数性能缓慢等问题，提供解决方案
3. 项目职责：1 提供查询优化方案
4. 技术描述：
1、后端
并行运算:Spark 图数据：ArangoDb ，存储引擎：RocksDB