Python、Django、Mysql、Redis、Elasticsearch、Celery、Scrapy、Docker、Linux,熟悉常见的反爬措施以及应对方案,python爬虫,python后端开发
1.涉及技术:Python、Django、Mysql、Redis、Celery 项目描述:在公司每日入库的恶意样本中提取APK类型的文件,对其进行解包、分析,获取APK的基本信 息,根据敏感词库对其文件文本内容进行敏感词匹配。将APK信息及其敏感词匹配结果通过网页展示。 工作内容: 1. 参与项目前期需求的分析、APK识别的流程分析、数据库的设计。 2. APK识别。使用AAPT第三方工具进行APK基本信息的获取,使用APKTOOL第三方工具对APK进行解 包。遍历解包后文件夹的文件,通过DFA算法对敏感词进行匹配,通过正则对文件中的URL、 Domain、IP进行匹配。为加速APK识别的速度,此识别流程使用多进程。APK的下载使用多线程。 Redis作为任务队列。 3. WEB后端开发。用于展示APK的基本信息以及识别的结果。负责除用户模块的其他后端接口。使用 Celery对数据定时进行统计,提高首页大屏接口的响应速度和数据的实时性。
2.涉及技术:Python、Django、Mysql、Redis、Elasticsearch、Celery 项目描述:展示公司威胁情报小组收集的APT组织攻击事件和公司每日入库的恶意样本检测结果。 工作内容: 1. 参与项目前期需求的分析、数据库的设计。 2. 数据的入库。定期将威胁情报小组整理的APT攻击事件(Excel)导入数据库,编写脚本定时获取每日新 入库的恶意样本。 3. 除用户模块的其他后端接口。使用Celery对数据定时进行统计,提高首页大屏接口的响应速度和数据的 实时性。 4. Elasticsearch亿级IP指纹的入库。每季度更新下载IP指纹数据,将数据整合清洗,写入ES数据库。 5. 项目的部署上线。使用Nginx+uwsgi部署项目。