资深后端开发工程师,精通Java和微服务架构。擅长系统性能优化和数据库设计,熟悉MySQL、MongoDB数据库,具备丰富的云计算和容器化技术实践经验。致力于通过技术创新提升系统稳定性和可扩展性。同时,热爱技术,具备强烈的责任心和团队合作精神,能够快速学习新技术并应用于实际项目中。注重代码质量和系统性能,能够通过技术创新解决复杂问题。
有过爬虫项目的经历,能够对爬到的数据通过MongoDB进行大数据处理;负责过课程管理和用户管理模块的后端开发项目,支持多用户并发访问。
主要负责环境搭建与数据准备与清洗,Spark指标分析和大数据可视化。使用Spark数据处理方法和大数据可视化技术,提高数据清洗、分析及可视化的能力。
将数据上传至MongoDB数据库,导出数据是HDFS,使用Hadoop的并行处理能力对数据进行分析。