猿急送>

重庆其它兼职程序员

ID：343548

Lotus

高级大数据开发工程师

公司信息：
上海艾瑞数智

工作经验：
3年

兼职日薪：
900元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
重庆
全区

技术能力

1. 编程语言：精通Java、Python和R语言，具备良好的编程习惯和代码质量。

2. 大数据处理框架：熟练掌握Hadoop生态系统（包括HDFS、MapReduce、Hive、Pig等），熟悉Spark和Flink等内存计算框架，能够高效处理大规模数据集。

3. 数据库技术：熟悉关系型数据库（如MySQL、Oracle）和非关系型数据库（如MongoDB、Cassandra），了解数据仓库和ETL工具（如Informatica、Talend）。

4. 数据建模与分析：具备数据建模能力，熟练使用SQL进行复杂查询和数据分析，熟悉数据挖掘和机器学习算法。

5. 分布式系统：熟悉分布式系统的设计和实现，了解CAP定理、一致性哈希等分布式系统原理。

6. 云计算平台：熟悉AWS、Azure和Google Cloud等主流云平台，了解容器化技术和Docker、Kubernetes等容器编排工具。

7. 数据可视化：熟悉Tableau、PowerBI等数据可视化工具，能够将数据转化为直观的图表和报告。

8. 版本控制：熟练使用Git进行代码版本控制和团队协作。

9. 软件工程实践：熟悉敏捷开发、持续集成和持续部署（CI/CD）等软件工程实践，具备良好的文档编写和代码注释习惯。

项目经验

项目名称：企业级数据仓库构建与维护
项目描述：我在此项目中担任主要的数据开发工程师，负责构建和维护一个支持企业决策支持系统的数据仓库。该项目涉及从多个业务系统（如销售、财务和库存管理系统）中提取数据，进行清洗、转换和加载到数据仓库中。
责任描述：
1. 数据建模：根据业务需求设计并实现数据模型，确保数据仓库能够高效地存储和管理数据。
2. ETL流程开发：使用Apache Airflow设计和实现ETL流程，包括数据提取、转换、加载任务的编写和调度。
3. 性能优化：对数据查询和ETL过程进行性能分析和优化，通过技术如分区、索引和查询优化提升了数据处理速度。
4. 数据质量监控：建立数据质量监控框架，定期检查数据准确性和完整性，处理数据异常和修正数据错误。
5. 数据安全与合规**：确保数据处理和存储过程符合数据保护法规（如GDPR），实施数据加密和访问控制。
项目成果：
- 成功构建了一个支持每日百万级别数据记录处理的数据仓库。
- 实现了数据的实时监控和报告，显著提高了业务决策的效率和准确性。
- 优化了ETL流程，数据处理时间效率提高了30%。

项目名称：用户行为分析平台开发
项目描述：在该项目中，我负责开发一个用户行为分析平台，该平台能够处理和分析来自不同渠道的用户数据，提供用户行为洞察以支持产品优化和市场营销策略。
责任描述：
1. 数据集成：整合来自Web、移动端和社交媒体的用户数据，确保数据的一致性和完整性。
2. 实时数据处理：使用Apache Kafka和Spark进行实时数据流处理，分析用户行为模式。
3. 数据分析与可视化：开发数据分析模型，使用Python和R进行用户细分、用户留存分析和转化率分析，构建仪表板进行数据可视化。
4. 特征工程：为机器学习模型设计和实现特征工程，提高用户推荐系统和预测模型的准确性。
5. 系统架构设计：参与设计系统的整体架构，确保系统的可扩展性和高可用性。
项目成果：
- 该平台支持了对用户行为的实时分析，为企业提供了动态市场洞察。
- 通过用户行为分析，帮助企业提高了用户参与度和客户满意度。
- 特征工程和模型优化显著提高了用户推荐系统的准确率，增加了用户留存率。