使用 NumPy,Pandas,Matplotlib, Excel,PowerBI,Tableau,PyEcharts,Seaborn 工具进行数据清洗,数据预处理,数据可视化。使用 Scrapy ,Requests库,Selenium 工具进行高效便捷的采集数据,主要是动态页面获取,增量爬虫,自动化测试脚本,bs4、xpath、正则解析数据,持久化保存,MongoDB、MySQL。
国内外大型期刊网站期刊,会议的增量爬虫,数据量大概是千万级别,例如万方,汉斯,WOS等。
自动化测试程序,一键启动。做数据分析报表和数据可视化。