1、掌握python语法、有python项目开发经验;
2、熟练应用Flask、Django框架开发web项目;
3、熟悉python爬虫框架(PySpider、Scrapy),有开源网页爬虫开发经验;
4、熟悉MySQL、Oracle数据库,熟练掌握SQL语句;熟悉 MongoDB。
5、 熟悉HTTP、XML、JSON、SOAP、tcp/ip、网络代理等网络协议。
6、熟悉常见反爬机制及对应的应对措施,如ua、cookie识别;
7、有较强的数据分析与建模能力;
8、熟悉Linux常用命令.
1、抓取中国玉米网
针对网站的数据进行抓取并写入csv档案 每行csv分别记录:日期、类型(收购、到站)、省份、城市、价格
2、抓取淘宝、京东等电商网站
抓取各电商的商品信息,销售量以及对商品的评论.
3、爬取招聘网站
爬取BOSS招聘网的招聘能显示的基本信息
4、爬取小说网
能够爬取所有免费的小说
5、爬取智联招聘,二手车网
获取房屋信息和车辆信息
6、使用flask框架制作了一个微信小程序
7、使用diango框架做了一个音乐网站