1、掌握 Django后端开发框架,掌握Flask框架
2、熟悉MySql,MongoDB,Redis等数据库
3、熟练使用HTML5,Css,JS, jquery,Ajax等前端技术
4、熟练多进程,多线程编程
5、熟练使用Linux常用命令
6、熟练使用Xpath、BeautifulSoup4、re等页面解析工具
7、熟练使用urllib2、requests等模块
8、熟练使用scrapy、scrapy-redis框架
9、熟悉HTTP/HTTPS协议,TCP/IP协议
10、熟练使用celery
项目名称:电商平台数据抓取(淘宝、京东)(爬虫)
项目描述:
需要获取电商网站平台的所有大品牌家电商品的一些信息,包括店铺情况,确定入口链接,具体抓取的页面链接,需要采集的字段。将我们获取到的信息存放本地数据库MongoDB中以供公司需求的提取。
个人职责:
1、分析网页结构,制定抓取方案;
2、使用selenium对动态页面数据进行抓取;
3、获取某商品的所有链接
4、拼接链接然后按层次抓取
5、抓取到所有的商品信息和用户评论
6、参与对获取数据的过程中遇到的反爬虫机制进行处理;
7、负责对数据进行入库操作。
项目名称:中国天气信息抓取(爬虫)
项目描述:
抓取网站信息,为公司研发项目做数据展示
个人职责:
1、分析页面结构,模仿浏览器对页面进行请求
2、使用bs4进行数据抽取
3、构建ip池和header头来处理网站的反爬虫机制
4、抓取全国所有城市的天气信息,MySql数据库进行存储
5、使用pyecharts进行数据可视化展示
项目名称:小饭桌企业官网
项目简介:
小饭桌企业官网是一个创业新闻平台,主要分为用户模块,新闻模块,课程模块,付费资讯模块,主要负责用户模块和课程模块,交易模块
个人职责:
1、使用Ueditor第三方富文本编辑器
2、图片,视频上传到七牛云服务器
3、使用百度云第三方进行视频加密播放
4、使用AdminLTE第三方进行后台管理系统搭建
5、使用rest-framework进行接口开发
6、使用art_template将接口数据进行展示
7、第三方支付宝,微信支付集成
8、使用celery进行异步执行任务
项目名称:名师到
项目描述:
名师到为家长和学生,老师提供了教育解决方案优选顶级的教育资源,为用户提供最优质的教育服务,主要包括用户模块,用户操作模块,商品模块,交易模块
个人职责:
1、实时课程直播采用第三方平台连接
2、在线咨询功能接入营销QQ第三方接口来完成
3、教学视频采用了七牛云存储,提升视频的加载速度
4、使用百度云第三方进行视频加密播放
5、开通会员采用了第三方支付,并设置会员观看视频的权限
项目名称:爱否商城
项目描述:
爱否商城是一个二手电子产品交易平台,主要分为用户模块、用户操作模块、商品模块、交易模块。主要负责用户模块和交易模块接口设计,以及数据表设计。
个人职责:
1、使用xadmin第三方库进行后台管理系统的搭建
2、使用JWT用户登录的状态保持
3、第三方支付宝支付集成
4、微信,QQ,微博第三方进行登录
5、短信验证码使用云片网第三方服务
2017年6月—2017年12月 项目名称:小饭桌企业官网 项目简介: 小饭桌企业官网是一个创业新闻平台,主要分为用户模块,新闻模块,课程模块,付费资讯模块,主要负责用户模块和课程模块,交易模块 个人职责: 1、使用Ueditor第三方富文本编辑器 2、图片,视频上
项目名称:爱否商城 项目描述: 爱否商城是一个二手电子产品交易平台,主要分为用户模块、用户操作模块、商品模块、交易模块。主要负责用户模块和交易模块接口设计,以及数据表设计。 个人职责: 1、使用xadmin第三方库进行后台管理系统的搭建 2、使用JWT用户登录的状态