技术架构:Scrapy、xpath、MongoDB、proxy_pool、selenium
项目描述:
深入分析Cnvd、Cnnvd、Nvd等网站,有效抓取漏洞库信息并存储,实现与固件库的精准关联,用户可便捷地通过固件名称查询对应的漏洞信息,提升了固件安全管理的效率和准确性。
从myip.ms网站获取black IP,从多家安全网站上搜集IP的详细信息、分类、家族等信息,构建黑产IP库集成到固件二进制分析系统中。
责任描述:
1、 自动化采集多家漏洞库网站信息,建立百万级别漏洞库。
2、 分析安全网站,编写脚本提取所需信息,存储入库构建黑产IP库。
3、 利用代理池解决外网访问问题,利用YESCAPTCHA解决Google的recaptcha验证码。
4、 构建docker镜像,部署。