* 熟悉基本数据结构和算法,熟悉C++/Python/Java。
* 熟悉机器学习、数据挖掘、深度学习等基本原理与算法。
* 机器学习工具:熟悉numpy、pandas、scikit-learn、lightgbm、TensorFlow等。
* 网页爬虫:熟悉selenium、phantomjs、requests等爬虫库。
钓鱼邮件的邮件内容、布局等与正常邮件极其相似,传统的机器学习方法的检测精确率和鲁棒性不是很理想。项目提出一种基于Word2Vec和卷积神经网络的深度学习分类方法。
– 数据预处理:对邮件样本进行过滤字符、中文分词、文档对齐等预处理,并训练得到word2vec特征向量。
– 训练卷积神经网络:构建由卷积层、最大池化层和全连接层组成的卷积神经网络,激活函数采用ELU,并采用dropout、 L2正则化以避免模型过拟合。
– 模型对比:增加两个分类效果较好的模型---基于高斯RBF核函数的支持向量机,以及随机森林模型。
– Docker分布式部署:用预装TensorFlow环境的docker镜像,创建多个container进行深度学习隔离训练。