我是学计算机专业的,大学主攻方向是计算机工程。能熟悉掌Windows及linux系统。同时掌握Python、JavaScript等语言,同时对Mysql也有一定程度上的认识,能熟练掌握Django框架,爬虫等技术,现就职于一家互联网公司做全栈开发工作,参加多个重大项目的后端开发工作,工作之余主修爬虫,有爬取大量网站的经验,实力上线。
在爬虫方面有很多实战经验,做过微博评论爬取,充电桩数据爬取,餐饮店面数据爬取,电影爬取,大众点评数据爬取,留学网站数据爬取等诸多实战案例,对自动化操作浏览器也比较精通。
此项目客户要求爬取留学鸟网站的每种学历的所有学校的一个专业情况和课程情况,数据分别存放在四层的页面中,要一层一层不断深入获取。
这个项目要求爬取该网站所有的充电桩的详细信息,这个项目的难点在于要获取每个充点站的经度和纬度,在爬取过程中通过调用百度地图来实现这一要求。
这个项目是自己玩的,爬取一个电影网站的电视剧,由于该电视剧的集数比较多,下载太慢,所以用协程的方式进行爬取,加快速度。