熟悉python爬虫,分布式爬虫,scrapy框架等;
熟悉http协议,linux基本命令;
熟练使用redis,Mysql数据库;
掌握爬虫和反爬技术,深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术;
熟悉matplotlib,numpy,pandas等数据分析工具。
校园招聘信息
开发技术:python+scrapy框架+mysql+GUI+pandas
项目简介:
1.用户输入要查询的岗位,获取校园招聘网上对应岗位的信息。返回给用户。信息包括:岗位名、岗位所在城市、招聘人数、招聘类型、详情页网址等。
2.数据存入数据库
3.取出数据库中的数据,以图形界面展示给用户,数据以表格的形式排列。
4.对岗位的数据进行分析,得到图表直观的反应给用户该岗位的情况。
利用scrapy框架爬取校园招聘网上对应岗位的信息,连接mysql数据库,存取数据。利用tkinter实现信息图形界面化,同时使用numpy、pandas将数据生成图表直观的展示给用户。