马帅
高级测试开发工程师
- 公司信息：
- 南京中兴通讯有限公司
- 工作经验：
- 8年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 南京
- 全区
技术能力
熟悉Flask、Django等主流web开发框架
熟练掌握MYSQL、Oracle关系型数据库和Redis、MongoDB非关系型数据库及数据库索引
熟悉Linux（CentOS）系统的常用命令及操作，会编写部分Shell脚本
熟悉RESTful Api，深刻理解MVC概念，了解服务框架理念以及实现技术
熟悉缓存、消息队列等相关技术
熟悉同步、celery异步等网络编程模型，多线程, 协程等并发模型
熟练应用PyCharm、svn、Git等开发工具，有良好的代码规范
熟悉Nginx、Docker的部署及操作
熟悉爬虫的基础知识与requests应用
掌握常见的爬虫、反爬虫知识及应对措施，利用Xpath，Regex对数据进行提取
掌握简单的Selenium和Phantomjs
掌握scrapy-redis分布式框架并进行开发
了解HTML5、JavaScript、css、jQuer、Ajax、VueJS、Angular等前端技术
项目经验
项目名称：餐饮信息爬虫
项目描述：本项目主要爬取是对目前主流的外卖app进行商品数据采集，清洗，存入数据库，数据用途主要用来监控餐饮价格，用户消费及评论，好为客户服务。
项目模块：1. spider模块：处理需要的数据和请求地址
2. 中间件模块： 设置代理IP和User-Agent
3. 管理模块：数据库交互并保存数据
责任描述： 使用到的技术：Scrapy框架，python与MongoDB交互，
运用redis进行url去重，防止同一页面反复抓取，支持断点续爬。
1. 分析网页面代码，提出稳定有效的爬虫建议
2. 使用Xpath（lxml），正则（re）进行页面分析并提取数据，清洗，入库。并提供给数据部门
3. 使用scrapy-redis进行分布式爬取
4. 用户json，csv和redis进行信息存储
相似人才推荐
-
600元/天全栈开发公司概要：数据采集（爬虫）、数据分析及展示、数据管理 工作内容：金融，期货证券 擅长语言：python、s
-
500元/天11概要：11111111111111111111111111111111111111111111111111
-
800元/天技术总监能飞概要：java后端开发：springboot、springmvc、mybatis、mybatis plus
-
800元/天大数据开发工程师信泰保险有限公司概要：主要后端开发语言：java,scala,python 主要的前端开发语言：h5,vue 熟练掌握
-
500元/天软件开发工程师华讯网络概要：精通react，java，python技术栈，有较强的前后端开发经验，参与过多个项目的架构以及设计， -
500元/天高级软件工程师中国石油化工股份有限公司安庆分公司概要：多年来，先后参加了智能工厂配套项目建设、IP.21实时数据库、生产执行系统MES、计量系统、无线能源
-
500元/天数值仿真计算高级工程师北方工业大学概要：在我担任数值计算高级工程师的职业生涯中，我积累了丰富的技术经验，特别是在数值计算、Python编程、
-
500元/天无无概要：熟练掌握 spring，springmvc，springboot，springcloud 的开发，数
