熟练应用python语言,工程能力强,能独立设计和开发项目。
有海量数据爬取/清洗/存储经验
有各类数据库应用经验,redis/mysql/tidb/neo4j/mongo
熟练运用 pulsar、kafka等消息队列组件,了解k8s/docker/jenkins,有腾讯云和aws使用经验
熟悉Go语法,并独立开发百万级并发的项目
有pytorch使用经验,熟悉模型使用和调参如DBScan、bert等
领星采集-报表服务
项目描述:
对接亚马逊sp-api接口,定时给授权领星的店铺拉取各种类型的报表用于erp数据更新,每小时需要拉取数百万个报表,是领星重要的数据服务之一
工作成果:
项目由我重新设计并使用Go语言重写,极大的提高了领星系统数据更新的及时性和稳定性
机器资源的使用降为重构前的十分之一,为公司节约了成本