1.熟练掌握Python语言,熟悉Python的常用库和框架,如Flask、Numpy、Pandas、Django等
2.具备良好的数据结构和算法基础,能够高效的解决各类编程问题
3.熟悉数据库操作,如MySQL、MongoDB等,有数据库设计和优化经验
4.熟悉Web开发,熟悉HTML、CSS、JavaScript等前端技术
5.熟悉Linux系统操作和常用命令,熟练编写shell脚本
6.熟悉RESTful Api,深刻理解MVC概念,了解服务框架理念以及实现技术,熟悉缓存、消息队列等相关技术
7.熟练应用PyCharm、svn、Git等开发工具,有良好的代码规范
8.熟悉爬虫的基础知识与requests应用,掌握常见的爬虫、反爬虫知识及应对措施,利用Xpath,Regex对数据进行提取
Python开发项目描述:
VIP客户需要开发一款在线网购商城平台。该商城是一家以黄酒为主附加绍兴特色小食品的综合性网络销售平台,主要包括前端 商品商城系统、后端管理系统。前端包括:首页、商品搜索页、商品详情页、注册&登陆、购物车页面、订单页面、支付页面、帮助中心等;后端包括:会员管理、商品分类管理、商品管理、订单管理等。
责任描述:
1.负责参与项目的需求分析、功能代码模块实现,编写设计文档。
2.根据项目的需求分析设计商品分类信息、商品信息和用户信息数据model。
3.商品的分类管理,实现商品的多级分类,以及动态的增加和删改。
4.商品信息管理,实现新商品录入,和商品上下架管理。
5.个人信息管理,实现用户基本信息,个人订单信息,收获地址信息的管理。
6.使用uWSGI + Nginx将项目部署到服务器上。
Python爬虫项目描述:
因客户需要大量体育类新闻数据,所以根据公司需求,对虎扑上的体育类新闻内容以及新闻素材、新闻时间、新闻来源数据进行采集,制定定时任务,固定时间采集最新新闻,并对数据进行筛选和去重。
责任描述:
1.负责分析其网页结构以及参数验证机制,制定爬取策略。
2.负责使用 Scrap框架编写爬虫,对每天的新闻内容,时间,来源数据进行采集。
3.负责使用Redis部署分布式爬虫任务,充分利用服务器资源,提高爬取效率。
4.负责使用 BloomFilter做去重工作,优化去重任务,提高空间利用率。
5.负责编写she脚本,定时开启爬虫任务。 6.负责爬虫项目的维护和优化。