1. 熟练使用python语言编程。
2. 熟练使用flask 框架编写api接口。
3. 熟练应对反爬虫的策略ip池,cookies模拟登陆等。
4. 熟练使用requests模块、scrapy框架对一些网站进行抓取。
5. 熟练使用selenium、appium自动化,以及Fiddler抓包手机app。
6. 熟练使用xpath、re正则表达式等对页面数据进行提取。
7. 熟练使用 多线程 多进程 分布式抓取网页,加速数据提取速度。
8. 熟练使用mysql、mongodb、redis数据库。
9. 熟练使用git团队协作开发工具。
10.熟练linux日常工作环境。
11.熟悉django、tornado,web开发框架。
12.熟悉前端html、css、js、jquery。
1. 爬取 58同城、百姓网等上百个网站个人房产信息,黄页公司电话,微信朋友圈数据,app数据,抖音 快手 web端 视频评论等。
2. 模拟 58同城、百姓网、搜房网等 登陆 发布房源信息
3. Flask框架 后台 api接口开发
4. 贝壳 房天下 我爱我家等 模拟登陆 给经济人 发送消息
1. 用flask框架编写api接口 2.实时爬取房产数据与模拟发布房产信息 3.图片合成视频, 添加背景音乐 4.支付宝在线 app支付 开通会员开发
1. 根据需求mysql数据库 表 构建 2. 搭建Flask框架 api接口开发 3. 运用nginx、gunicorn部署服务器 正常运行