猿急送>

深圳Java兼职程序员

ID：352890

道是无情却有情

高级后端开发

公司信息：
vivo移动通信有限公司

工作经验：
7年

兼职日薪：
800元/8小时

兼职时间：
下班后
周六
周日
可工作日远程
可工作日驻场（自由职业原因）

所在区域：
深圳
宝安

技术能力

开发语言：具备 Java、Scala开发能力，熟悉多线程与并发编程。具备实际的 JVM 参数设置、性能调优、故障排查等
能力。
中间件：熟练掌握分布式消息中间件 Kafka 和 Pulsar 的原理和架构，有实际调优和压测经验，具备大规模的集群监控
以及运维能力。熟悉RabbitMQ 和 ElasticSearch 并能实际运用。
数据库：熟练使用SQL，能独立完成数据库表设计，有实际的 SQL 优化经验。熟悉 Redis 以及时序数据库 Druid。具
备全链路的数据采集、传输、存储和BI报表配置能力。
开发框架：熟练运用 Spring、Mybatis、Spring MVC、Spring Boot和Sping Cloud等微服务框架，熟悉分布式事务
、分布式锁、分布式缓存等原理。
指标监控：熟练使用 Prometheus 和可视化工具 Grafana 进行指标数据收集和监控面板配置，具备指标采集、监控告
警经验。
分布式技术：熟悉分布式协调工具 Zookeeper，掌握微服务框架 Dubbo 等技术。
大数据组件：熟悉常用的大数据组件Hadoop、Spark、Hbase、Flink等技术。
版本工具：熟练掌握 Svn、Git、GitLab、GitHub、Maven 等版本管理及版本控制工具。
运维开发：熟悉 Linux 常用命令，能通过 Ansible 和 PayBooks 进行高效的集群运维工作。具备大规模集群运维开发P
ayBooks 脚本经验。

项目经验

项目名称：分布式消息中间件Kafka+Pulsar（数据中台）
技术栈：SpringBoot+MySql+Dubbo+Redis+Kafka+Pulsar+ElasticSearch+Druid+Grafana+Zookeeper
项目描述：基于Kafka和Pulsar构建统一的消息接入平台。集业务接入、资源隔离、负载均衡、流量限速、异常告警与服
务治理。每日处理万亿以上规模的数据。用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。
责任描述：
技术预研：调研新一代消息中间件Pulsar的能力，负责压测并输出与Kafka对比的压测报告，对集群进行性能调优并验
证其功能包括：扩缩容、资源隔离、分层存储、延迟队列、限流、压缩、跨集群复制等诸多特性。
平台建设：从0到1独立设计pulsar平台。参与开发集群、资源组、topic、订阅、租户、名称空间、角色等10多项模块
的开发，保障用户的正常接入。
BI指标统计：通过 Jmxtrans 指标上报 Druid 的方式。对集群流量、各维度数量、治理数据、以及生产消费延迟等50+
项指标进行统计与 BI 面板配置。
负载均衡优化：为了解决kafka资源组内流量偏差过大的问题，对 Cruise-Control源码进行二次开发，适配内部的资源
隔离架构，将集群资源组流量偏差从200MB以上降至 30MB 以内，极大提升集群整体的负载能力。
集群扩缩容：将平台接入 LVS 和 VGW 平台，无需手动进行分区数据迁移，实现自动化的扩缩容。并引入pulsar的秒
级扩缩容能力。极大提升运维效率。
监控告警：将 Pulsar 原始指标通过 Prometheus 上报到 Kafka topic，通过Druid任务持久化数据。整合监控告警平
台，对 Topic 流量突增、订阅延迟监控、Topic级别限流、副本缺失等10+项核心指标进行监控告警
组件推广：进行 Pulsar 用户推广并成功引入1000+亿规模的流量并稳定运行。有效解决 Kafka 集群规模增长带来的运
维压力。
源码修复：针对 Pulsar 一些已知的问题，进行源码修复，保证平台服务接口正常响应以及集群运行更稳定。
日常运维：负责组件日常的故障处理以及值班事项，对组件进行一些重点难点技术突破，维护整个组件的稳定。维持
全年可用性在99.99%以上。
数据迁移：对 Kop 进行调研，并开发跨集群的 Topic 元数据同步功能，实现秒级的元数据迁移。极大减少Kafka 迁移
到 Pulsar 的成本。
集群运维：通过Ansible-paybooks编写服务批量搭建、升级、扩容以及缩容等脚本。负责Pulsar集群升级方案制定，
处理升级过程中的难点事项，解决低版本存在的诸多问题。
数据检索：开发 Python 脚本：通过 Kcat 消费 Kafka 将数据写入 ElasticSearch，将任务提交到作业平台并跟踪任务
的执行状态，实现 kafka 基于消息内容的检索。
可观测告警：针对kafka的告警场景，建设可观测的告警体系，进行自动化分析和自愈，将告警发现恢复时长从30分钟
降到1分钟左右，极大提升运维效率和减小值班压力，累计提升人效0.2人/天。

案例展示

丰收互联

2022年4月18日，浙江农商联合银行正式挂牌成立，标志着全国深化农信社改革的“第一单”正式落地，也标志着具有70余年发展历程的浙江农商银行系统迈入了高质量发展新征程。　　目前，浙江农商联合银行下辖82家县（市、区）农商银行、农信联社，拥有网点4000余个，丰收驿站（金融
中国扶贫就业网

主要开发政府的扶贫就业网站。为解决全国各地区贫困大学生的就业问题，响应政府的扶贫政策，开发了面向全国各地区企业招聘和学生就业的大型网站，该网站包括企业用户中心、个人用户中心以及推送的新闻及广告等。