1、熟悉网络通信编程相关知识,有良好编码习惯;
2、熟练掌握Linux(ubuntu),MacOS,windows系统中常见操作,能独立搭建python开发环境,会使用pycharm,jupyter,vim进行编程开发;
3、熟练面向对象的开发方式与面向对象编程思维;
4、熟练掌握关系型mysql数据库语句和非关系型mongodb,redis的基本操作;
5、熟练掌握请求库urllib,Requests,Selenium可对ajax加载或JS渲染网页进行爬取使用,掌握爬虫开发的常见技术与反爬技术,掌握正则表达式,bs4,css选择器,xpath文本分析技术,有简单识别验证码经验;
6、熟悉运用爬虫的多线程,快速进行爬虫程序;
7、熟练运用Scrapy框架,掌握Scrapy-Redis分布式;
9、.熟悉运用浏览器抓包功能和Flidder使用;
10、熟悉掌握Numpy,Pandas,Matplotlib等数据分析及数据可视化工具;
11、熟悉掌握jieba和wordcloud的使用根据词频分析来进行图示化显示;
12、了解机器学习中朴素贝叶斯,决策树,线性回归,概率论原理;
13、掌握Html,Css,ajax掌握前端基础开发;
14、掌握Django框架能进行网页后端的开发;
15、掌握开源工具Github,码云;
1、爬取主流视频网站评论和信息
2、爬取基金内容舆情分析
3、汽车网站图片
4、模拟淘宝登陆爬取
5、app爬取
6、制作抢课代码
等等。。。。。。。。。。。