本人熟练使用request爬虫,selenium自动化,scrapy分布式爬虫,js解密,mysql数据库,redis数据库,简单了解html,css,javascript,jQuery,django等前端知识,还会使用pandas进行数据分析。
1.使用scrapy爬取堆糖网,健康之家等网站的数据。
2.使用selenium爬取b站up主主页投稿视频的播放量,播放时间,视频时长,视频标题,并使用pandas进行数据分析。
3.使用pygame制作一个飞机大战的小游戏。
4利用现有的html,css,js文件,我搭建一个简易的web服务器,采用epoll的方式实现多任务
角色 | 职位 |
负责人 | python爬虫工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
使用scrapy模块爬取堆糖网,jkw,涨姿势,maoyan等网站的数据,并将部分数据规整后保存为csv文件
使用request模块爬取b站一视频合集中的所有视频和音频,并用ffmpeg模块拼接为一个完整的视频。 使用selenium模块爬取b站up主主页投稿视频数据,包括标题,播放量,日期,播放时长。
爬取百度文库,爬取ppt网站,爬取国家法律文献网站, 爬取小说网站,爬取网易云网站歌曲,部分数据通过一些特殊模块进行转化后进行保存