Python基础语法、爬虫语法及网络爬虫,包括scrapy框架、Django框架使用、MySQL数据库使用、Html语言及Web前端开发、Python数据分析库使用,包括matplotlib和NumPy、构建flask框架、正则表达式应用
Django项目:模拟淘宝商城机制,设置首页、用户、商品、购物车、结算、登陆注册界面,并搭建后端mysql数据库,在centos中创建uwsgi和nginx服务器
scrapy爬虫项目:搭建scrapy框架,解析出网易新闻五大板块对应的url,分别爬取网易新闻五大子板块的新闻内容,下载中间件使用selenium动态加载新闻数据,解析五大板块子页面,提取新闻标题及新闻内容,通过管道持久化数据到文件
通过Django框架前后端结合,达成数据的前后端传输、保存以及调用。同时,html编写,css、json文件使用,也包括在内。
scrapy爬虫框架结课项目。利用srapy编辑爬虫文件解析urls,爬取网页内容并保存至txt文件,转成html文件便可打开呈现为网页。