论文

人工智能-其他 稚乐

An Efficient Method of Supervised Contrastive Learning for Natural Language Understanding 第一作者 论文背景 论 :对于文本分类任务,目前主流的方法:预训练语言模型+微调的范式,常常采用交叉熵损失函数。模型输 出置信度在0.5左右的样本,是对于模型分类比较困难的样本。针对这个问题,利用监督对比学习有效地提升了模型 对于困难样本的分类准确率。 • 主要内容 主 :1.通过融合交叉熵损失函数以及提出的监督对比学习损失函数,尽可能地最大化类间方差和最小化类内方 差,提升类别特征区分度。2.通过在隐...

论文
论文

深度学习算法竞赛

人工智能-其他 稚乐

NTCIR-16 Real-MedNLP Subtask3 第二名,主要参赛人员 任务描述: 任 从给定的病历报告中,对病历文本中包含的多个疾病和药物的不良药物反应程度进行分类。 1. 针对样本不均衡(1300+/100-/100-/200-):1.重采样(重复少类样本);2.重加权(加权交叉熵损失、Focal loss 等);3.提出的两阶段训练方法(第一阶段正常交叉熵训练,使模型学习原始数据分布;第二阶段加权交叉熵训练, 消除数据类别比例对模型预测的影响)。 2. 针对数据量较少:第一是课程式学习方法(1.构建一个疾病、药物分类的数据集;2.构建一个完形填空的任务,候选 答...

深度学习算法竞赛
深度学习算法竞赛

深度学习算法竞赛

人工智能-其他 稚乐

NTCIR-16 Real-MedNLP Subtask3 第二名,主要参赛人员 任务描述: 任 从给定的病历报告中,对病历文本中包含的多个疾病和药物的不良药物反应程度进行分类。 1. 针对样本不均衡(1300+/100-/100-/200-):1.重采样(重复少类样本);2.重加权(加权交叉熵损失、Focal loss 等);3.提出的两阶段训练方法(第一阶段正常交叉熵训练,使模型学习原始数据分布;第二阶段加权交叉熵训练, 消除数据类别比例对模型预测的影响)。 2. 针对数据量较少:第一是课程式学习方法(1.构建一个疾病、药物分类的数据集;2.构建一个完形填空的任务,候选 答...

深度学习算法竞赛
深度学习算法竞赛
------ 加载完毕 ------
联系需求方端客服