项目介绍:该考试报名系统的考生端前后端分离,接口部分由我独立开发完成,基于.net core2.1,用户可以浏览考试信息,完善个人信息后可以报名考试,考生报名完成后,在已报名处查看考试各个阶段(审核,缴费,笔试,面试等)的情况,并进行相应的操作(缴费,下载通知单等)。另有一套管理后台,是在老项目基础上二次开发的,扩充和修改了较多地方。 这个项目由我主导开发,其中技术选型,需求讨论等环节我均有参与。...
对各大招聘网站进行人才信息的采集,采集数据存储在mysql中,数据量:2千万/月 详情描述: 1. 像大街网这样更换登录cookie的网站,通过判断响应回来的状态码判断是否更换cookie,需要更换 cookie,发送搜索页的请求获得新的cookie,携带新的cookie获取数据 2. 多数网站有封ip的机制,比如智联招聘、拉钩网等,自己封装了个ip代理池,解决ip的可用性,并且定期更换ip代理池的ip数量 3. 将爬取到的数据存入到redis中提高存储和查询效率,随着数据量越来越大,将部分数据存入到mysql中 4. 利用Django和echarts将数据按照分类进行可视化...