1. 1 年以上 Python 编程的经验,注重代码规范,代码整洁;
2. 熟悉 MySQL,MongoDB,Redis 数据库;
3. 熟练多线程、多进程的使用;
3. 熟悉 Xpath(lxml),BeautifulSoup、正则表达式,进行数据提取;
4. 掌握 Appium+Fiddler 抓包,实现 APP 数据抓取;
5. 熟悉 Selenium+Chrome,Firefox,PhantomJS 等模拟浏览器的方法;
6. 熟悉 Scrapy 框架,Scrapy-redis 分布式爬虫;
7. 熟悉常见的反爬措施(Ip 封禁、验证码、字体加密、base64 参数加密、js 动态加载);
9. 掌握 Django 框架,了解前端 HTML、CSS、JavaScript、jQuery 等技术;
涨停板监测系统(已上线)
项目网址:http://zt.jinguxun.net/
项目描述:
该项目是帮助公司客户抓取网络上公开的股票信息,使用的框架是 Django,用 MySQL 作为数据库管理,Tornado+Websocket
实时更新网页数据。实现了统计分析并对采集到的涨停原因进行归类操作,后台超级管理员、内容管理员可以添加/删除、修改涨停
原因以及详细原因,最终的数据信息以图表的形式展示到网页端。
项目职责:
1. 负责利用 bootstrap 框架编写前端页面;
2. 编写后台的业务逻辑,实现涨停股票的程序分类和手动分类;
3. 编写 Tornado+Websocket 接口,保证服务器和客户端的实时通讯,减少服务器的性能消耗;
4. 负责将项目部署在 linux 上,用 nginx 作为服务器,使用 supervisor 来管理进程;
Excel 数据管理系统
项目描述:
该项目是帮助公司客户管理其分公司楼盘的基础配套信息。开发框架使用 Django,用 MySQL 作为数据库管理,数据表之间采用外
键关联的方式,网页通过异步 ajax 加载数据,实现用户登录、数据管理、模板管理、权限管理、上传 excel 和下载 excel、检查楼盘
地址等功能模块。
项目职责:
1. 独立完成项目的整个开发及测试;
2. 根据客户需求画出思维导图,并设计每个功能模块;
3. 通过 bootstrap,及 js,css 完成前端页面的构建;
4. 通过 django 搭建后端框架,编写每个功能模块以及对应 API;
当当网图书爬取与图片处理
项目描述:
根据公司客户提供的书名编写 scrapy-redis 分布式爬虫,将数据清洗过滤分表存入 mongodb 数据库中,以及解决 tbi 图片类型替换水印的问题。
项目责职:
1. 清洗书名,过滤重复字段以及一些特征值;
2. 使用 scrapy 框架编写爬虫逻辑,解析查找该网站的数据接口;
3. 设置 middlewares 中间件使用随机 User-Agent 和代理 IP 解决反爬问题;
4. 使用多线程+OpenCV+numpy 对图片去除水印;
项目描述: 该项目是帮助公司客户抓取网络上公开的股票信息,使用的框架是 Django,用 MySQL 作为数据库管理,Tornado+Websocket 实时更新网页数据。实现了统计分析并对采集到的涨停原因进行归类操作,后台超级管理员、内容管理员可以添加/删除、修改涨停 原
项目描述: 该项目是帮助公司客户管理其分公司楼盘的基础配套信息。开发框架使用 Django,用 MySQL 作为数据库管理,数据表之间采用外 键关联的方式,网页通过异步 ajax 加载数据,实现用户登录、数据管理、模板管理、权限管理、上传 excel 和下载 excel、检查