1:熟悉Linux开发环境,熟练掌握python编程 。
2:熟练掌握HTML,CSS,JavaScript,JQuery及AJAX等前端知识
3:熟悉关系型数据库MySQL,sqlite和非关系型数据库Redis,Mongodb。
4:熟悉HTTP/HTTPS协议,TCP/IP七层网络模型。
5:熟练使用Python Requests等网络模块进行多线程爬虫。
6:熟练使用Xpath,re正则表达式进行非结构化数据处理,使用json进行结构化数据的提取。
7:熟练使用Selenium+PhantomJS模拟用户进行登录,动态页面进行点击,动态HTML抓取。
8:熟练掌握Scrapy框架,以及编写各类中间件。
9:熟悉scrapy-redis分布式框架,了解各组件工作机制。
10:熟悉Django Web 开发框架。
11:熟悉Nginx WebServer的部署和应用。
1 海南网维三期项目:基于django框架,在公司平台上进行后端开发,根据公司的需求编写运维页面和大屏的敏感数据后端代码,主要设计到与pg数据库的交互,redis缓存,开发环境为linux,熟悉常用的linux命令,了解kafka,es等大数据基本组件的使用,了解pg数据库基本的性能调优,数据hive数据仓库的使用,熟悉webserver协议。
2 独立负责过ips入侵日志外发项目,独立搭建开发环境并与第三方客户进行联调
3 自己平常使用python写过一些小爬虫之类的小项目