熟练运用python语言及常用模块;
Ø 熟练使用Django框架;
Ø 熟练使用 MySQL 数据库;
Ø熟练掌握Redis的使用;
Ø 熟练使用Linux操作系统;
Ø 熟悉前端技术,HTML,JavaScript,Ajax等;了解vue框架,nuxt.
Ø 熟练使用scrapy爬虫框架,熟悉分布式爬虫结构;
Ø 熟悉网页抓取原理及技术,了解基于cookie的登入原理,熟练使用正则表达
式,xpath, BeautifulSoup提取网页数据;
Ø 熟悉Selenium+chromedriver爬取页面;
Ø 熟练使用git控制版本;
Ø 遵循PEP8代码规范,有自己的代码风格;
项目名称:modesens-firehose
项目简介: 电商爬虫整合,通过firehose爬虫以及merchant对应配置来爬取不同的电商,更新商品数据信息(库存和价格等),根据typ控制爬取信息的类型等。
主要职责:
1、电商爬虫的编写及维护;
2、项目的完善及多类型支持;
3、多电商支持;
4、feed与爬虫的监控;
核心技术:
1、我们采用 scrapy-redis框架创建项目;
2、使用redis更新产品数据;
3、不同电商size转化统一标准;
4、通过cookie或异步接口来爬取电商不同国家的信息;
5、通过feed和爬虫实现双管道监控;
__________________________________________________________________________________________
项目名称:modesens-web
项目简介:modesens网站项目,功能的开发以及更新迭代。页面的维护,提供新接口,前后端分离后的接口迁移。
主要职责:
1、前后端分离,api迁移,提供新接口;
2、django admin开发及维护;
3、为内部人员工作提供功能开发,前端及后端编写;
核心技术:
1、实时更新,通过产品页面调动服务,实时调动爬虫去更新当前页面产品信息;
2、django admin自定义开发,功能拓展;
___________________________________________________________________________________________
项目名称:modesens-frontend
项目简介: 前后端分离后的前端项目,部分参与;
主要职责:产品导入信息页面的编写;