1.使用MySQL数据库进行项目搭建,有开发经历
2.在python中用过requests、Scrapy框架爬取网站
3.对于selenium有些了解
4.了解一些反爬手段
5.使用Fiddler进行APP抓包
目前爬过一些网站
1.使用Golang语言进行项目开发,编写并正在编写小说、教育企业的后端
2.小说中使用python对小说网站进行数据筛选
3.使用Flask+scrapy+vue的形式实现提供网址即可爬取
利用scrapy框架,爬取小说,解决章节乱序问题 该项目可以实现下载小说,并实现解决异步下载带来的章节乱序的问题
不知道有没有小伙伴和笔者一样,不喜欢Scrapy里固定网址的方式想从网站上通过输入要爬取的网址点击按钮进行爬取。 不管有没有,反正笔者是这样做了一个爬取小说的小东西 哈哈哈...废话不多说,开始代码