1、 爬虫:requests模块、selenium、xpath、bs4等模块的使用;
2、 数据库:mysql、sql、oracle等常用数据库的查询;
3、 数据分析:掌握numpy、pandas、matplotlib、pyecharts等的用法;
1、爬取京东、唯品会、天气预报等网站数据;
2、爬取数据保存本地csv、excel、txt、数据库等;
3、对爬取到的数据进行清洗、转化、抽取、合并、计算等;
4、使用matplotlib、pyecharts等可视化工具,制作成可视化图表。
1、使用selenium、bs4、csv、time、random等模块爬取历年天气预报数据; 2、将爬取的数据以csv格式保存到本地;
1、使用requests、bs4、time、random等爬取京东网站的电脑数据; 2、使用csv模块,将爬取的数据保存到本地。