1. 熟练掌握python语言开发,使用MySql辅助搭建项目;
2. 熟悉Scrapy开源框架,及使用requests, urllib, urlretrive的对网页网站进行的数据爬取; 了解常用的网站反爬手段和解决方案;
3. 熟练python+selenium手段对于网站信息的采集;
4. 熟悉借口测试工具postman的使用;
5. 了解并发和分布式爬虫原理;
1.基于python语言开发的招聘信息实时爬取和数据可视化分析;
2.python+selenium对租房管理信息系统的数据进行采集;
目的:针对客户端电子书应用存在正版收费的情况,对于新发布的小说文学作品在免费的情况下进行阅读 技术:python,requests,lxml,os, mysql 实现:通过获取到资源对应的网站链接,对网页结构进行分析,提取出需要的字段内容 难点:数据采集时因为采集频率过高触
目的:通过获取票房数据集进行分析当前票房一段时间内的电影票房增长的趋势 技术:python, selenium, requests, mysql, pymysql 内容:通过分析猫眼网页结构,发现数据以json格式存储,使用requests请求存放数据的页面链接获取数据,并解