会使用python、pycharm,Navicat等等
数据爬取后利用xpath,json、Bs4进行解析数据,可以将数据保存到MySQL、MongoDB、excel、text等等
会使用selenium自动化
采集携程网站中的景点,酒店,下载过LOL皮肤,采集过喜马拉雅的音频、梨视频的视频、有来医生的文章,使用selenium进入京东
采集喜马拉雅的音频,找到小说名字、找到音频链接的一部分,通过音频链接的一部分生成音频的下载链接,下载音频,保存到本地
采集梨视频的视频下载到本地,在列表页中找出详情页链接的一部分,生成详情页的链接,找到视频的下载链接,下载视频,保存到本地
采集携程网景点,在列表页找出详情页,去详情页收集某个城市的,景点名称、景点热度、具体地址、评论等等,保存到本地
采集彼岸图网的图片,在列表页找出详情页链接,在详情页中找到对应图片,找到图片链接,下载下来,保存到本地