猿急送>

北京Java兼职程序员

ID：351846

37º

大数据开发工程师

公司信息：
普联软件股份有限公司

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

作为一名资深的大数据开发工程师，我拥有多年的大数据平台开发与优化经验，熟练掌握Hadoop、Hive、Spark、Flink、Kafka等主流大数据技术栈。对于Hadoop生态系统中的HDFS、MapReduce、YARN等组件有深入理解，能够高效处理大规模数据存储与计算任务。精通Hive数据仓库的建模与优化，善于利用Spark进行分布式数据处理和实时流处理，熟练应用Flink进行低延迟、高吞吐的流数据分析。与此同时，我在Java后端开发方面也有丰富的实践经验，能够独立设计并开发高性能的分布式系统和微服务架构。熟悉Spring、Spring Boot、MySQL、Redis等后端技术栈，具备良好的系统设计能力和代码优化能力。我的技术背景和多元化的技能集，使我能够快速适应并胜任各种大数据和后端开发项目，帮助企业高效处理数据和优化系统性能。

项目经验

1、实时数据处理平台开发
在该项目中，我主导设计并实现了一套基于Flink和Kafka的实时数据处理平台。该平台能够处理来自多种数据源的海量实时数据，进行复杂的流计算并实时输出结果。通过优化Kafka的分区策略和Flink的并行度配置，实现了低延迟、高吞吐的数据处理能力。此外，我还设计了故障恢复和数据重放机制，确保在节点故障或网络波动的情况下，数据处理的稳定性和一致性。项目上线后，平台能够稳定处理每秒数百万条数据流，为企业的实时数据分析和决策提供了有力支持。
2、大数据日志分析系统
在这个项目中，我带领团队构建了一个基于Hadoop、Hive和Spark的大数据日志分析系统。该系统主要用于处理和分析数百TB的用户行为日志。通过设计合理的数据分区和索引策略，优化了Hive查询性能，使得数据查询速度提升了50%以上。同时，利用Spark进行数据聚合和复杂计算，大幅提高了数据处理的效率。项目实施过程中，我还负责了数据管道的搭建和任务调度的优化，确保了整个数据处理流程的稳定性和高效性。该系统成功应用于用户画像分析、广告精准投放等场景，为企业创造了显著的商业价值。
3、分布式文件存储系统开发
在此项目中，我负责开发并优化了一套基于HDFS的分布式文件存储系统。该系统被设计用于存储和管理企业级海量非结构化数据，如图片、视频等。通过对HDFS进行深度定制和优化，解决了大规模文件存储和读写性能的问题。同时，我结合Java后端技术，开发了一个高并发的文件上传和下载服务，利用Spring Boot和Redis实现了高效的缓存和负载均衡策略。此外，针对文件存储的安全性需求，我还实现了基于Kerberos的权限控制机制，保障了系统的安全和稳定。该系统目前支撑了多个核心业务应用，表现出极高的可靠性和扩展性。