案例展示

• 

  scrapy下载某漫画网站漫画

  1.分析该网站地址，为ajax加载，post参数加密。 2.查看js文件找到post参数的加密方法。 3.使用scrapy编写代码，并且使用scrapy的异步功能进行下载。 4.要求用户首先输入起始章节号，之后将开始循环下载，直到该漫画的所有内容下载完毕。

• 

  爬取个人微博

  1.微博web版内容复杂，爬取困难，因此选择了微博手机版页面。 2.分析url地址，构造请求。 3.获取个人微博的所有内容，并将数据存入mongodb中。