Datahoop数据分析平台
使用工具:Django、Mysql、celery、MongoDB、Redis
项目描述: Datahoop平台为数据分析和机器学习提供从数据处理,模型训练,数据可视化,结果保存等一站式服务,供协会CPDA学员日常学习和考试练习环境,为广大CPDA学员提供长期服务。同时为高校提供数据实验室搭建。
项目职责: 1.平台日常功能开发,工作台,数据加工,个人中心,在线选课,每周一练,金币系统,运营配置后台,首页算法推荐,社区模块,场景自建, 活动报名等功能的开发
2.CRM系统对接,超星平台对接
3.工作台,自建算法优化设计
4.解决算法输出bug, 自建算法上传,场景上传
技术要点: 1.celery异步处理算法执行,多进程提高执行效率
2.Jupyterhub集成实现多用户交互式编码,利用Docker实现用户隔离
3.利用GridFS进行较大数据集的存储
4.基于Item的协同过滤算法实现首页算法推荐
5.利用zset结构实现排行榜
6.利用Spark实现分布式计算
7.使用DRF模型序列化器快速开发