前端开发js,html开发流程,后端:mysql ,Python 等开发。拥有成熟的开发经验,能够独立开发后端程序的能力
利用python.根据需要爬取数据进行需求分析,遇到防爬从的网站,则运用防爬虫的手段。
利用python通过request,scrapy,xpath,re等技术手段编写爬虫程序进行内容抓取。
熟悉使用Redis做一个分布式爬虫开发
使用django框架开发管理系统。导入导出excel,根据实际情况合理配置系统。不断优化系统,使大家更方便使用。
爬取招聘网信息,旅游网信息网,游戏皮肤信息等等,对于你想要的信息都可以爬取出来
豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的Sheet ,采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封
Bilibili用户爬虫。抓取字段:用户id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等