1. web爬虫, 熟练使用requests, beautifulsoup, selinium, playwright, scrapy等爬虫框架、库进行web网页数据爬取
2. 后端开发: 熟练使用django, flask, fastapi等框架构建高质量的后端
3. 前端vue: 熟练使用vue进行前端开发
4. 数据库: 熟练使用mysql进行数据存储查询
5. 熟练使用pandas, numpy等进行数据处理
1. 爬虫: 爬取大众点评全国商铺信息
2. 爬虫: 爬取小红书作者主页笔记数据以及笔记评论
3. 爬虫: 爬取bilibili作者主页投稿视频以及动态
这是一个爬虫项目,用来爬取小红书作者笔记的评论,以及将评论区的图片下载到本地,使用的技术包括主要requests, beautifulsoup。评论结果和图片链接都会保存到本地的数据库方便查询和进一步处理。
这个项目是用来爬取小红书某作者首页的笔记内容,包括笔记文本,标题, 图片,视频等全部下载到本地,使用的技术主要是requests和beautifulsoup4