机器学习算法,如线性回归、决策树,,逻辑回归,贝叶斯等。数据分析pandas,numpy,sql等。
自然语言处理,常用库(sklearn,gensim等),词嵌入模型Word2Vec等。深度学习,熟悉RNN,CNN,LSTM,Transformer,BERT等模型。有文本相似度、文本聚类、命名实体识别、文本分类等工作经验。了解深度学习pytorch框架。
社科联专家课题推荐系统
基于客户提供的社科专家和社科工作者信息(论文数据、著作信息、研究报告等),为政府研究课题推荐合适的专家。
本人在项目中主要负责专家匹配框架的设计。该部分基于bert模型(用于做文本、句子相似度分析)。
利用模型首先得到待匹配课题与专家研究成果的语义相似度(如课题与论文题目相似度,与著作名称相似度),并设定合适的阈值(如0.65),选出相似度大于阈值且在一定数量范围内的专家,作为候选人员。
在语义相似度的基础上,结合其它指标,如论文排名,期刊等级,发表年份,成果等级等,对专家的得分做出修正,各个指标赋予一定的权重(语义相似度为主),得到最终的专家推荐度。
项目内其它同事同时设计了专家能力评分模型,最终各个课题的候选专家或学者会交由客户审核,客户结合两个模型确定最终的人选。