1.熟悉爬虫requests、urllib、bs4、selenium 模块,有数据抓取经验
2.熟悉网页抓取原理 熟悉网页抽取技术 CSS Xpath
3.有scrapy框架使用经验
4.熟悉Mysql 数据的清洗和入库
5.有反反爬经验 代理IP 验证码
6.有js逆向解密经验
7.熟悉 正则表达式
8.熟悉多线程
1.有抓取过app项目数据 保存本地或连接数据库存储
2.有一定的js逆向经验 解密过md5、RSA等...
3.有反反爬经验 代理IP 延迟 验证码
4.爬取过 抖音 区块链 各种网页数据
5.熟悉多线程
先观察网址url每一页的变化 后编写请求头 想url发起请求 通过解析网页 获得想要的数据 和 图片的链接 最后保存本地 jpg格式
从区块链网站中分析虚拟币的最近交易情况 直接在网页上寻找api接口 向api接口发起带参数请求 会返回给我们最近100条交易数据
分析url中每一页的请求,得出规律写一个循环 然后像网页发起请求 分析网页的数据 用json 做数据清洗