1. 在校期间主要学习了Python、数据分析和一些大数据相关的课程。如Linux、SPSS、Tableau、PowerBI、Hadoop、spark等;
2. 熟练掌握了JavaScript,jQuery等前端知识和Flask、Django等后端框架;
3. 熟练掌握了Python的爬虫库,如requests、beautifulsoup4、pyquery、re、selenum、scrapy等库;会一些的JS逆向和APP爬取;
4. 会使用numpy、pandas、Matplotlib和Pyecharts等数据分析和可视化库;
在线视频爬取:该项目主要包含两个在线视频网站的爬取。一个是马蜂窝在线视频的爬取,另一个是水母影院的电视剧爬取。都用到了js逆向技术;
字体反爬:该项目主要包含两个网站的字体的爬取。一个是起点的书籍简介页的数字加密,另一个是大众点评的评价爬取。
小说爬取:该项目主要用到了requests、aiohttp进行页面下载,lxml、re、multiprocessing等库进行数据提取;
智慧医保:项目主要运用了Flask、Layui和Oracle等将数据根据不同的维度进行汇总展示,从而帮助领导层进行管理。
● 用户板块的设计与实现; ● 留言板块的设计与实现; ● 数据的读取、处理及可视化; ● 对数据进行简单的统计分析; ● 生成并导出分析结果报告。
● 马蜂窝在线视频爬取: 发起第一次请求,将响应体中设置cookie的js语句通过js2py运行后写入requests中的session;发起第二次请求,将响应体中的代码处理执行后再次将cookie写入requests中的session;发起第三次请求,用正则将响应体中的m3u