ETL开发,数据仓库架构设计,数据仓库开发,爬虫,数据分析
具有海量数据处理经验,对数据敏感,有较强的逻辑推理、数据分析能力
擅长大数据处理,sql优化,数量掌握python,shell编程,熟悉Linux系统操作。
抖音等视频网站批量视频爬取下载
最新地域信息爬取
某国企数据仓库建设
某政府部门智慧财政平台数据分析平台建设
数据中台架构设计
针对某一个博主,加载其主页下的所有视频,通过爬虫批量主页下的所有视频。也可以针对单一视频下载,粘贴地址即可。
通过爬虫程序自动实现滑块验证点击验证。识别缺⼝位置,找到canvas标签,获取两张图⽚ ⼀张有缺⼝的图⽚ ⼀张没有缺⼝的图⽚