精通c/c++/golang/python.
熟悉nginx,redis/codis集群,mysql, hbase, hdfs,elasticsearch, consul,etcd,prometheus
熟悉分布式理论和实际开发
4. 熟悉docker,熟悉容器编排,熟悉服务注册与发现
2015-2017年
face++人工智能相关产品开发(技术leader )
2017-2018
滴滴分布式存储系统开发(golang开发专家)
分布式人脸识别云服务
技术leader
编辑
2016.08 - 至今
项目是为了应对高并发,大容量底库的人脸识别请求设计的一套分布式人脸识别云服务,目的是开放给第三方厂家和内部SNG-Security使用的人脸识别服务
工作职责:
实现对大容量底库水平划分,可以设置自定义数量的slot数目,参考一致性hash方式,实现slot均匀分布在集群的计算节点上,计算单元就近存储底库数据,支持可选备份,备份分区也可以参与计算
实现水平扩容, 添加新的机器时,主分区根据一致性hash, 只需要动态的迁移部分slot到新添加的机器,同时备份分区也会调整
实现备份情况下的高可用,备份分区根据主分区的分布情况,随机备份在其他机器上,当一台机器下线,这台机器的主分区对应的备份分区切换成主分区,
实现主从分区同步的_sync接口,分区包含_version,且包含数据的change log,备份分区如果是创建,指定new参数,直接从主分区copy数据;如果是同步操作,主从分区的_version差异不大(小于10000条,因为change log数组长度10000),直接根据change log同步;如果_version差异超过10000,直接删除备份分区,重新new主分区
实现管理节点对外的restful api服务和部分请求的map reduce
分布式存储
类似于amazon s3服务
角色 | 职位 |
负责人 | golang开发专家 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |