熟悉lxml,BeautifulSoup,re,json,xpath语法进行数据数据提取
熟练使用pycharm,vi,vim等开发工具
熟练使用scrapy框架urllib2,requests等爬虫技术
熟练掌握h5 css3等页面布局,以及ajax,jqury,jsonp等开发技术
熟练使用nginx 开发部署,且能在win和Linux上部署项目
熟练掌握svn git deng 版本管理工具 熟练|12
熟练掌握django tornado 等web开源框架 精通|10
熟练使用数据库操作
1、使用Scrapy、Scrapy-redis实现分布式,通过继承RedisCrawlSpider类迭代获取饭店详情页,
2、使用lxml+xpath解、析页面获得目标数据,
3、使用Redis缓存数据,使用MySQL存储数据