三年爬虫工程师经验
操作系统:Redhat windows
语言:Java,python(3年),javascript
数据库:redis,mongo,mysql
库:scrapy,requests,pandas,numpy
主要能力:精通爬虫,能应付各种反爬手段,可以写分布式爬虫,多进程+多线程+协程,单机日爬虫100万条,熟悉基本的数据分析手段
新闻资讯爬虫
爬取各大网站的新闻,爬取标题,文章内容,图片,负责数据抓取,清洗,去重,增量爬虫等,日更新100万条
视频爬虫
批量下载视频到本地,腾讯视频,搜狐视频,今日头条等。日下载20000条