熟练使用Python urllib3、requests等网络模块,Python lxml、BeautifulSoup、re、json模块进行数据提取,熟悉XPath语法规则和各CSS Selector的使用;熟练使用Selenium+Pycharm实施动态HTML抓取,并将所需数据保存到MySQL,MongoDB数据库中; 熟悉Linux开发环境,了解其常用命令行的使用。熟练使用Qt,利用Qt开发基于串口通信的可视化界面;
基于scrapy框架爬取某音乐网站音乐信息,并下载需求音乐;整理网站上相关数据进行数据分析;基于pyqt5开发可视化界面;基于qt开发上位机可视化界面。
该项目基于python中scrapy框架,爬取当前主流音乐网站音乐的相关信息,通过js逆向、cookie参数等破解网站的发爬虫机制,实现项目正常的功能。
基于pyqt5开发了一款小的爬虫软件,将文件导入软件内部,会自动提取出需要的信息,并将所需的信息写入到excle表中。
基于pyqt5开发了一款小的爬虫软件,将文件导入软件内部,会自动提取出需要的信息,并将所需的信息写入到excle表中。