1. 熟练mysql数据库,熟练 GUI
2. 熟练python,有Js逆向基础,熟练掌握Requests,selenium,scrapy等爬虫框架。
3. 熟练数据分析, 掌握模块pandas,numpy,sciepy。
4. 熟练正则表达,xpath,css,等网页信息获取技术。点击认证,滑动认证等自动化操作。
5. 熟悉linux命令,git命令
6. 有C语言基础,java基础,单片机基础,HTML基础。
7. 有kali渗透技术基础
1. 爬取外国多个外卖网站的每个城市的每个餐厅的信息,保存到mysql数据库。这些项目主要使用了selenium和requests框架,主要用到多线程爬取,自动化点击和翻页,使用正则表达,xpath,css方法,最后保存到数据库表。
2. 爬取https://vectorizer.ai/该网站可以将图片格式转换成svg格式并下载到本地,自动将本地图片文件上传到网站经过一系列点击操作。该项目主要使用selenium和os框架。
3. 使用gui界面实现中英文翻译器设计使用requests爬取百度翻译,调用API接口,实现图片文字识别和语音转文字识别。
4. 使用scrapy爬取sc.chinaz.com里的图片,实现翻页爬取,保持图片。
5. 使用requests爬取https://ccprec.com网站的页面的分页数据得到页面数据,获取js逆向加密参数代码,然后获取js解密代码页面数据。
使用gui界面实现中英文翻译器设计使用requests爬取百度翻译,调用API接口,实现图片文字识别和语音转文字识别。
爬取外国多个外卖网站的每个城市的每个餐厅的信息,保存到mysql数据库。这些项目主要使用了selenium和requests框架,主要用到多线程爬取,自动化点击和翻页,使用正则表达,xpath,css方法,最后保存到数据库表。