案例介绍
对各大招聘网站进行人才信息的采集，采集数据存储在mysql中，数据量：2千万/月
详情描述：
1. 像大街网这样更换登录cookie的网站，通过判断响应回来的状态码判断是否更换cookie，需要更换
cookie，发送搜索页的请求获得新的cookie，携带新的cookie获取数据
2. 多数网站有封ip的机制，比如智联招聘、拉钩网等，自己封装了个ip代理池，解决ip的可用性，并且定期更换ip代理池的ip数量
3. 将爬取到的数据存入到redis中提高存储和查询效率，随着数据量越来越大，将部分数据存入到mysql中
4. 利用Django和echarts将数据按照分类进行可视化处理
案例图片
相似案例推荐
其他人才的相似案例推荐
-
HR Mangement tool
招聘管理 人员管理 预算管理 Django x-char
-
打工直通车
负责从需求调研-产品规划-实现方案-迭代升级的完整把控管理，
-
早知招聘
早知招聘是一个兼职招聘和求职平台，我是整个项目的主力开发，负
-
AI阅人面试
岗位、简历、权限、菜单就可以支撑第一版上线要求； 从0到1
-
纺织人才小程序
纺织人才小程序，用于给纺织业的各个人才寻找工作的小程序，其中
-
招聘
招聘项目，可以包含用户端和企业端，企业可以发布招聘，也可以发
-
兼职信息发布平台
兼职信息发布平台 项目技术栈：springboot，spr
-
Moka HR SaaS
Moka招聘和Moka People的组合，将从整体性和底层
-
就业宝校园招聘
专注于高校就业创业服务领域，致力于为高校打造“互联网+”大数
-
河北公共招聘网
河北省政府招聘网站百度可搜到，定位用到百度地图。企业和个人之
-
某开发区微招聘平台
这个项目包括一个微站和一套管理后台，用户可以在微站上浏览企业
-
某人力资源市场考试报名系统
项目介绍：该考试报名系统的考生端前后端分离，接口部分由我独立
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
