本人主要擅长使用python做爬虫。
在反反爬方面 有 js 逆向、 css反爬、以及验证码识别和IP限制 经验;
在数据存储方面,有 mysql, mongodb, redis 等数据库使用经验;
在服务器部署方面,有 docker 微服务 使用经验;
曾使用 scrapyd + docker + redis 实现过 分布式服务器集群爬取;
做过爬取过 网易云和B站评论, 爬过斗鱼直播数据。
网易云和B站评论, 爬过斗鱼直播数据。
主导并设计一个小型网络舆情检测系统,能抓取各个新闻,贴吧,论坛等信息进行分析。