编程语言:Python、Java、GO、
数据库:Mysql、MongoDB、Hive
深度学习框架:pytorch、tensorflow
机器学习算法:sklearn、XGB、LGB
深度学习算法:LSTM、CNN、Transformer、NLP、CV、YOLO
通过事实类关系以及⾏为、内容类关系构建异构图,采⽤社区挖掘Lovain以及快速发现团伙以及使⽤GraphSaint算法识别异常用户。
项⽬职责:
1、事实类关系的抽取以及权重的计算,主要针对IP类弱事实关系抽取采⽤BM25算法计算权重;内容类关系搭建,主要采
⽤预训练模型对内容相似性进⾏计算;⾏为协同性主要是从登录、发帖、浏览等⾏为⽅⾯对关系进⾏计算抽取;
2、基于pytorch_geometric 开源库实现GraphSaint 算法,对中介⽤户进⾏识别并对模型效果进⾏评估。
达到效果:
1、图挖掘模型对⽐XGBoost模型在精准率和召回率有1%-2%的提升。
2、在治理上对于信息真实度有1%左右的提升。
电力现货价格预测,主要通过人工智能算法对第二天的现货价格进行预测,采用LGBM,XGB等机器学习算法,以及LSTM和transformer的模型构建模型,并基于交易中心公布的边界条件预测价格;
1. 获取目标网站的要获取数据; 2. 模拟请求,并请求接口爬取指定的数据; 3. 集成到chrome浏览器插件的形式,进行数据筛选和爬虫启动