熟悉windows,linux开发环境
熟练使用python、java,了解C,C++等编程语言
熟练使用主流数据库:MySQL、MongoDB、Neo4j等;
熟练使用Django等web 框架;
熟练使用Scrapy 爬虫框架;
熟练掌握主流的机器学习与深度学习算法CNN,RNN;
熟练使用机器学习中常用的第三方模块Sklearn;
具备目标检测,人脸识别等图像处理项目开发经验;
熟练使用Tensorflow,了解keras等深度学习框架;
熟练掌握Word2vec、HMM、CRF、Bert、ELMO、FastText、Glove等自然语言处理技术;
具备知识图谱,问答机器人等NLP项目开发经验。
项目一:证券知识图谱
自然语言处理工程师
所在公司: 上海天壤智能科技有限公司
项目描述: 1、本项目通过自然语言处理技术,从海量非结构化数据中辨别证券实体,定义并挖掘实体间的各种关系,从而构建证券相关知识图谱。
2、根据新闻文本数据,对股票做出利好利空的预测。
项目职责: u参与数据采集,知识结构化,预处理(Scrapy+Selenuim)
u负责命名实体的识别(BiLSTM+CRF)
u负责实体之间的关系抽取;对抽取的知识进行融合(TextCNN)
u负责数据的存储(Neo4j)
u负责对新闻文本信息搜集、打标、建模、训练做出利好利空预测(SVM)
项目二:法务咨询问答系统
自然语言处理工程师
所在公司: 上海天壤智能科技有限公司
项目描述: 以罪名为核心,收集相关数据,建成基本的罪名知识图谱,法务资讯对话知识库,案由量刑知识库
项目职责:
u基于案由量刑知识库的罪名预测模型(SVM)
u基于法务咨询对话知识库的法务问题类型分类(CNN/LSTM)
u基于法务咨询对话知识库的法务问题自动问答服务(语义相似度+文本相似度加权打分策略)
u基于罪行知识图谱的知识查询(CQL)
项目三:脑健康防止咨询问答系统
自然语言处理工程师
所在公司: 上海天壤智能科技有限公司
项目描述: 该项目针对大众患者,为他们推荐疾病相关防治、和康复建议的推荐系统
项目职责: u参与问句语句分类,语句分析,查询结果
u基于特征分词分类的方法来识别用户查询意图
u清洗对话数据
u结合用户意图构造清洁语料库
项目四:农业知识图谱
自然语言处理工程师
所在公司: 上海天壤智能科技有限公司
项目描述: 农业知识图谱是融合了农业地域性,季节性,多样性等特征后,利用农业领域的实体概念与关系,挖掘出农业潜在价值的智能系统。
项目职责: u使用scrapy在农业百科爬取农作物名称,在互动百科,维基百科爬取气候,人物,城市等实体名称,以及农作物与气候,人物之间的关系,城市与气候之间的关系
u对爬取的数据进行数据清洗,知识提取,以及人工将气候与植物之间的关系,城市与气候之间的关系与实体联系起来保存到csv文件中
u使用KNN算法和人工标注的方法对实体进行分类,分为17类,并保存到csv文件
u负责数据的存储
项目五:高速监控抓拍系统
图像处理工程师
所在公司: 上海天壤智能科技有限公司
项目描述: 该项目主要对高速行驶车辆进行识别及测速,对违规使用车道的车辆进行抓拍并记录
项目职责: u参与海量数据的分析和处理及项目前期准备等工作;
u参与建模过程;
u参与模型验证,监控,调优;
u产品上线及后期维护;
1、本项目通过自然语言处理技术,从海量非结构化数据中辨别证券实体,定义并挖掘实体间的各种关系,从而构建证券相关知识图谱。 2、根据新闻文本数据,对股票做出利好利空的预测。
以罪名为核心,收集相关数据,建成基本的罪名知识图谱,法务资讯对话知识库,案由量刑知识库 参与问句语句分类,语句分析,查询结果 基于特征分词分类的方法来识别用户查询意图 清洗对话数据 结合用户意图构造清洁语料库