熟练使用 SQL 进行复杂查询、数据清洗和报表生成。
使用 Python 进行数据处理、可视化和统计分析,熟悉 Pandas、NumPy、Matplotlib 等数据分析库。
掌握数据挖掘技术,能够结合大数据平台进行深度数据分析。
大数据组件应用:
熟悉 Hadoop、Spark、Hive 等大数据处理框架,能够进行数据的分布式处理和批量计算。
掌握 Kafka、HBase 等实时流处理与存储组件的使用。
熟悉 Flink 进行流式数据处理,能够设计高效的数据处理管道。
Java接口服务开发:
使用 Java 进行高效稳定的接口开发,熟悉 RESTful API 设计和实现。
熟悉 Spring Boot 框架,能够快速搭建和优化服务端应用。
精通接口的安全加固、认证、性能优化和负载均衡技术。
Python Flask开发:
使用 Flask 框架进行后端服务开发,能够设计并实现灵活的 Web API。
熟悉与数据库的对接,进行业务逻辑处理、会话管理、权限验证等工作。
擅长 API 文档编写和测试,以及集成 CI/CD 部署流程。
Python爬虫开发:
熟练使用 Python 编写高效的爬虫,掌握 Scrapy、BeautifulSoup、Selenium 等爬虫框架。
具备处理 JavaScript 动态加载内容的能力,能够爬取复杂网页数据。
有数据抓取后的清洗、结构化和存储经验,能够处理大规模数据并导入分析系统。
目前我就职1线大厂。
互联网工作3年经验。
数据处理了6年经验。
曾经做过了5个比较出彩项目。
其中项目有4个获得了部门奖励。
其中项目有1个获得了公司奖励。
曾经带团队8人,作为项目leader,工作认真负责。
成功优化了7个核心模块。
工作效率升5成。
项目上线的9个月内达成预期目标。
我们在上线3周内迅速完成了产品的调整和迭代。
本作品属于效率工具。 使用spring boot 开发jdbc端口转发,将请求转发到ck服务器。并且返回查询成功后的数据。 左侧边框存储查询成功的历史20个query。方便下次使用。
产品为回溯平台。 使用python + Flask 开发。会并发执行命令,响应速度快。 可以自定义告警,提交任务前检查机器资源等调度优化。