数量掌握以下技能:
1.数量掌握python基础知识;
2.python爬虫,数量掌握reuqests、selenium、scrapy等库的操作和使用,掌握js逆向基本技术;
3.数量掌握python数据分析pandas和numpy库的使用;
4.python自动化办公应用,数量掌握xlwings、openpyxl模块的使用;
5.Excel办公软件的使用;
6.文字材料编写。
1.爬虫基础练习项目,豆瓣电影250;
2.2345天气王爬虫;
3.iQOO手机反馈社区js逆向及数据分析;
4.有道翻译js逆向;
5.oppo手机社区js逆向;
6.其他项目的pandas数据分析和整理;
7.xlwings自动化办公数据对比、汇总和整理脚本编写;
8.基于爬虫和pandas、xlwings编写的自动化信息报送脚本。
这个项目来自我每天要进行一项重复性的工作,通过selenium可视化爬虫获取数据,再通过os模块移动文件到指定目录,通过pandas进行数据清洗,用xlwings实现格式调整,最后再通过aotopygui启动微信发送数据。
本项目是通过扣取js代码,并在本地改写,然后通过爬虫技术,调用本地js代码,实现vivo手机社区的爬虫。
该项目是通过pandas和xlwings的应用,实现多个Excel表格的按条件筛选、合并,最终输出。