个人博客

教育-兴趣教学 hope

个人博客系统,开发这个项目最初的打算是先出一个原型,然后再不断改,后端管理包含三大块内容:博客的增删改查、分类的增删改查以及标签的增删改查。 前端展示主要负责博客的各种展示:所有博客展示、最新博客展示、按照分类展示以及按照标签展示等。 我相信好的博客用户看了肯定会想要说点什么,因此评论功能是必不可少的,这点教程作者跟大多数个人博客的作者一样,我称之为非注册式评论,就是用户无需注册,只需要提供昵称和邮箱,即可对博客进行评论,但是我觉得这对后续回复评论不是很友好,所以这里我采用注册式评论,用户需要先注册登录一个账号才能进行评论,同时这也是我的一点期望,打算以后能在个人博客上添加站内邮件的功能,...

个人博客
个人博客

爬虫工具

教育-兴趣教学 hope

Python 爬虫架构主要由五个部分组成,分别是调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)。 调度器:相当于一台电脑的CPU,主要负责调度URL管理器、下载器、解析器之间的协调工作。 URL管理器:包括待爬取的URL地址和已爬取的URL地址,防止重复抓取URL和循环抓取URL,实现URL管理器主要用三种方式,通过内存、数据库、缓存数据库来实现。 网页下载器:通过传入一个URL地址来下载网页,将网页转换成一个字符串,网页下载器有urllib2(Python官方基础模块)包括需要登录、代理、和cookie,requests(第三方包...

爬虫工具
爬虫工具
------ 加载完毕 ------
联系需求方端客服