熟悉python,会利用python爬取数据 ,常见的三种爬取方式都能够熟练运用,对json数据格式的转换也有了解。并且可以利用python做数据可视化,包括动态图表、词云图等,熟练使用ANACONDA\Pycharm等软件。
1.静态\动态网页都有爬取案例,如b站视频数据、携程网评论数据等,对于get、post等请求方式比较熟悉,并能够利用第三方工具包:pyecharts\wordcloud等做动态的数据图表
爬取旅游网页的相关评论数据,并运用第三方工具包对数据进行可视化分析,通过关键词提取,得出有效的评论信息
利用爬虫技术爬取同程网的景区评论数据,将数据写入文件中,利用三方库和工具包筛选数据,并对获取到的数据做可视化分析
对爬取到的数据做筛选,选出有效评论,运用工具包做词频分析,并形成词云图,运用pyecharts等三方工具包做可视化