1.熟悉 Hadoop 生态圈,熟悉使用 HDFS、MapReduce、hive,zookeeper 等
2.熟悉 Java 基础、MySQL、python 开发、等,使用过 Spring、Spring Boot。
3.熟悉 Redis、MongoDB 等数据库,熟悉 Linux 基本命令、Python 语言;
4.熟悉 Scala 编程语言,熟练使用 Eclipse、idea、git、maven 等项目构建管理工具;
5.熟悉 vue 并使用 vue 开发单页项目
6.熟练的使用python爬虫
项目时间: 2023.3-2023.6
项目名称:电商用户行为日志分析 大数据实时计算处理 电商数据报表可视化
项目简介:学情分析系统是斗学网的子系统,分为:爬虫模块、清洗分类模块、聚类统计模块;
项目具体开发:1.通过 Spring Boot 对 MySQL 数据库中的数据在 Swagger 上进行增删改查等
操作;
2.通过爬取将网站的数据存储到本地数据库,并且对这些数据进行清洗分析,最
后再将数据可视化展现出来。
开发环境:JDK1.8、MySQL 数据库、MongoDB、SpringBoot、Redis 等;
负责模块(爬虫模块、可视化):1.搭建好 SpringBoot 基础框架;
2.基于 Echarts、vue 将数据可视化展示;
数据可视化是一种非常清晰的新沟通方式,它将数据与图形、图像等可视元素相结合,以更直观、更易于理解的方式呈现数据。数据可视化的优势和重要性有时甚至超过数据分析本身。数据可视化的目标是让数据、信息更易于被人理解,通过美观的外观,增加人们对信息的接受度。数据可视化可以帮助我们更好地理解
数据可视化的优势和重要性有时甚至超过数据分析本身。数据可视化的目标是让数据、信息更易于被人理解,通过美观的外观,增加人们对信息的接受度。