编程基础:Python基础扎实,有良好的编码习惯
设计模式:熟悉工厂和单利等模式
网络编程:了解多线程、多进程、网络通信相关知识
数据库:Mysql、MongDB
爬虫:熟练Requests,Scrapy,Selenium模块的数据抓取,利用Xpath、Re、lxml、josn提取筛选数据,JS、CSS异步加密等防爬措施的应对
H5:了解HTML+CSS网页设计,熟悉JavaScript,Ajax,JQuery脚本运用
Linux:熟悉Liunx开发环境,了解常用命令行使用
web:熟悉Django,FlaskWeb
豆瓣电影分类排行
1.分析网页url地址,得知该网页是动态加载的
2.由抓包获得需要的请求参数,并进行分析
3.发送请求,并获取每部电影的名字、主演和评分
百度翻译
1.分析是get请求还是post请求,获得url
2.得知是post请求,通过抓包获得请求参数
3.发送请求并且通过用户输入的指令进行翻译
获取所有分类下的所有电影信息(排名、电影名、评分、演员等) 思路: 1. 获取每一个分类的URL ---> 获取type值 2. 先拼接获取总共电影数的url ---> 获取每一个类型下的电影总数 3. 再计算请求次数,获取所有电影信息 分析: 喜剧片:
需求:用户自定义输入单词,获取解释 分析:1.post请求,获得url 2.通过抓包获取请求参数 3.根据用户输入的指令进行翻译