Python技能:
1.熟练掌握python的基本语法,对面向对象思想有一定的了解.
2.了解Python垃圾回收机制及其原理
0对系统编程和网络编程有一定的认识
爬虫技能:
1熟悉HTTP/HTTPS协议, TCP/IP网络协议
2掌握常见的爬虫、反爬虫知识及应对措施
3熟练使用Python lxml、 BeautifulSoup、 re、 json 模块进行数据提取
4熟悉XPath语法规则和各CSS Selector 的使用
5解Tesseract机器图像识别系统,并处理简单的文字验证码
6熟练使用Selenium+ PhantomJS实施动态HTML抓取
7熟悉fiddler抓包工具的使用,能够获取到动态生成的页面
web技能:
1掌握HTML、CSS、 jQuery 等前端页面的基础制作,了解Django框架
数据库技能:
1熟练使用MySQL数据库,了解M ongoDB , Redis的相关操作
网易云音乐(个人项目)
责任描述:
1找到start_ _url; 导入selenium的webdriver包
2.发送get请求,获得响应
3.利用find_ elements_ .by_ xpath来获取数据
4.对某- -首歌曲的所有评论进行点赞
豆瓣电影分类排行榜(个人项目)
责任描述:
1分析网页url地址,获悉该网页是动态加载生成的
2.由抓包获得需要的请求参数,并进行分析
3发送请求,并获取到每部电影的名字、主演和评分
有道翻译/百度翻译(个人项目)
责任描述:
1.分析是get请求还是post请求,获得url
2.得知是post请求时,通过抓包获得请求参数
3.发送请求并且通过用户输入的指令进行翻译
个人项目:采取selenium 自动化的方式爬取猫眼电影TOP 100 的电影,使用CSS选择器、标签名已经ID和class属性定位元素等。
通过js逆向的方式获取猫眼电影TOP100,并用python代码模拟JavaScript中的加密算法,爬取信息
个人项目: 通过独自分析,逆向接口完成通过调用脚本自动上传文件,同时脚本可被打包exe调用。 脚本上传的文件至个人独立的账号可被下载转存等. 脚本支持上传单个文件以及上传单个文件夹,并且提供下载直链。