熟练掌握Python的Scrapy爬虫框架;
掌握反爬和混淆对抗技巧;
有MongoDB等数据库的使用经验;
熟悉numpy,pandas,jupyterlab等Python数据处理工具;
熟悉GIS、RS常用工具和技术,有遥感影像处理经验。
1.通过云服务器使用Python定时爬取水文网站多个观测点的数据,并在失败时发出警告邮件。
2.使用Scrapy克隆了某图片网站,并将网站挂载到本地离线使用。
3.爬取专利数据和论文数据供研究使用。
4.使用ENVI、ArcGIS二次开发自己建立了数据处理分析系统。
分析上海学区房微信小程序接口,批量获取各学校学区范围,格式为GeoJson;并将获取的数据与小区位置信息相结合,所得信息作为研究政策变化的参考。
分析福建省海洋预报台网站公开数据的接口,爬取各预报站点的物理、化学监测数据,并部署到云服务器实现每日定时抓取。