大数据平台搭建
项目简介:根据重庆移动的需求搭建大数据提数平台。支撑市移动内部员工快速提取需求的筛选数据。以及一个自动化建模的数据平台。
负责内容:
平台部分:
使用 Flask-RESTful,keras,tensorflow,scikit-learn,pyspark,redis,mysql,uwsgi,nginx 等技术构建平台。实现数据
上传,数据可视化,用户权限分离,用户登录 token 验证,数据筛选,账号加密,平台 sql 防注入,数据 etl,每
日数据存储过程数据记录,平台日志,用户使用记录,数据信息描述,数据相关性,数据 pca 处理数据分布,数据
预处理,图像预处理,分布式传统模型和深度模型构建,模型训练任务队列化等功能。
模型部分:
模型数据提取,模型数据预处理,构建逻辑回归,决策树,随机森林,支持向量机,dnn,cnn 等模型构建。模型参
数调整控制模型精准率及召回率,使用 ROC,AUC 曲线分析判断模型优劣,使用 pca 模型进行降维处理,正负样
本不均衡问题处理。模型效果评测,模型数据结果输出。营销结果统计。