为了便于求职者更精准地把握当前就业市场的变化与需求,提出了基于Python语言的求职信息采集分析系统,利用Scrapy分布式爬虫获取招聘信息,利用数据挖掘技术分析求职者意向,最后将数据清理并格式化后进行可视化展示。所得出的数据模型可以帮助求职者有效的评估出合适岗位和薪资,从而提高求职者的求职效率,同时招聘单位也可以通过此模型对招聘市场的趋势进行总体把握,提高企业的竞争力
研究目标网站的信息交互和展示方式,按照浏览器与服务器的交互方式和浏览器渲染过程制定分类标准,对互联网招聘信息承载网站进行归类。
根据目标网站不同的类别制定相应的数据爬取策略。
研究基于配置模板方式的URL地址提取方法。
研究基于余弦距离法和统计规律的URL归类过滤算法。
研究基于浏览器内核的JavaScript动态页面抓取方法。
研究暗网数据抓取的实现方式。
实现互联网招聘信息聚焦爬虫软件模型并进行数据采集应用。