编程语言:Python
数据库:MySQL
前端技术:HTML/CSS
数据分析:Pandas/Numpy/Scipy/Matplotlib/Seaborn
爬虫:Requests/Scrapy/Selenium
1、编写 Python 爬虫,采集王者荣耀高清图片网络上一些与博客网站主题相关的优质文章,为自己和读者提供高质量资料。
2、数据库设计与管理,负责设计数据表和数据模型,利用 MySQL 对数据进行增、删、改、查操作,优化和维护数据库。
3、爬取部分网站数据,对数据进行简单的分类,数据挖掘和简单的数据可视化
通过利用pycharm对www.pvp.qq.com中的王者荣耀不同尺寸的高清图片读取出来并且保存到文件当中。
使用爬虫程序对网页消息进行读取、分析、筛选并保存到Excel表格中。通过读取不同的数据可以进行不同的操作,一些大量的数据可以进行简单的数据可视化和数据挖掘。