1. 熟悉python,深入理解面向对象编程思想,擅长系统的设计搭建开发,模块化,低耦合,易维护;
2.熟悉Djiango、Flask、scrapy等主流框架。
3. 熟悉常见的反爬程序。
4.熟悉Mysql、redis、MongoDB等。
5.擅长Web、数据分析、数据爬取等后端开发。
具有多年的互联网开发经验,善于学习和总结,有良好的团队合作能力和编程习惯。
某在线教育平台
该项目是一个在线视频类网站,主要针对IT人士,对于网站的性能要求十分严格,利用数据库主从、大文件数据分离、web端负载均衡、redis缓存等提高网站高并发的处理能力和用户体验。
链家二手房信息爬取,获取每页房屋详细信息链接地址,解析URL地址获取价格、小区名称、所在区域、基本属性、交易属性等信息并存储MongoDB。
需求 爬取数据 价格分析 统计评论最多的前10个景点 统计评论最多的前10个的5A景点 查看等级景区和市区的关系 数据分布分析 景区等级分布 评星分布 评论分布 价格分布 进行数据建模 环境版本 scrapy == 2.11.