使用python爬虫对各打网站进行数据的爬取,能使用spark等大数据工具对数据进行分析、处理
了解mysql等数据库工具对数据进行爬取等,
使用python爬虫对各打网站进行数据的爬取,能使用spark等大数据工具对数据进行分析、处理
了解mysql等数据库工具对数据进行爬取等,
做过豆瓣top250电影分析 并实现网站上的展示 豆瓣全站的数据爬取 30天以来对全国新冠疫情的持续爬取使用python爬虫对各打网站进行数据的爬取,能使用spark等大数据工具对数据进行分析、处理
了解mysql等数据库工具对数据进行爬取等,
本人自行编写python爬虫代码并使用xpath、bs4等包对网站进行解析并使用并使用http模板对数据进行展示
编写python spider爬虫文件request xpath 等进行解析保存到mysql 或本地 将 爬虫文件上传至linux 进行持续爬取