可以进行动态网站和静态网站数据的挖掘爬取,保存到mysql数据库和表格中,同时可以实现办公的自动化,可以根据表格的信息自动输入到指定的网页当中,实现自动化的填写。python的项目开发,可以使用python做一些简单的小项目。
对安居客的租房信息爬取到表格当中,根据自己的需求信息可以筛选出自己想要的信息。工作招聘网的职位信息爬取,把内容提取到表格或者数据库。还是在校学生所以还有很大的学习空间,目前就是想锻炼一下自己
通过python的selenium库对指定网站的信息挖掘,首先分析完整的结构,通过抓包找到自己想要的数据,通过url的请求,获取响应,得到想要的数据,再进行数据的分析和清晰,把有用的数据进行保存。
这个是静态网站的信息,因此我使用了request来进行数据爬取,通过get请求网址,获得响应,得到信息提取信息里面的json数据,再通过jsonpath来进行json数据的处理,最后把信息提取处出来保存到表格。