语言技能:
熟练使用 Python
操作系统:
熟悉 Linux 操作系统开发以及常用命令,编写 Shell 脚本
数据库技能:
熟悉关系型数据库 Mysql,编写 sql 语句进行 CRUD 操作
熟悉非关系型数据库 Redis、Mongodb,elasticsearch
精通列存数据库clickhouse的使用和部署
框架技能:
了解 Python 机器学习、深度学习开发库 Sklearn、PyTorch,huggingface相关库
熟练使用 Numpy、Pandas、Matplotlib 的科学计算库
其他技能:
熟悉 HTTP/HTTPS 协议,TCP/IP 网络协议,多线程,多进程机制
熟练使用 Git 进行版本管理和项目的提交、维护
熟悉 Nigix、Docker 等的使用和配置
了解 hadoop 大数据生态环境系统,了解 hive,Hbase,spark 的基本用法
了解基本的linux shell脚本编写,以及常用的centos系统配置
项目名称:
XXX 自然语言处理核心引擎
项目简介:
XXX自然语言处理核心引擎主要包括标注器、提取器、链接器和理解器,可以高效率、高精度、多场景处理多种文本信息,同时易于部署,可拓展性高,满足业务的定制化需求,满足上层应用的核心服务。
项目职责:
1、算法调度引擎开发,实现多算法自由调度,以及依赖算法的递次调用。
2、实体链接、实体消歧等算法研发以及部分基于规则的算法研发。
3、负责系统硬件适配以及docker部署项目调度。
项目技术:
硬件层主要涉及系统部署的硬件适配支持、环境依赖安装等相关管理和配置,同时为了提高本系统可移植性我们支持docker灵活性迁移部署、云平台部署。
数据层包括原始数据接入和解析结果写入,可以支持文档上传,数据库查询检索,标注数据标记,在相应流程结束后完成结果写入。
组件层提供了NLP核心算法模型,主要包括标注器、提取器、链接器和理解器,其中标注器中设计文本分词、分句、词性标注和实体识别;抽取器包括关键词抽取、关系抽取、属性抽取、事件抽取和文本摘要组件;链接器包括实体链接、指代消解、地理空间映射等功能。分类器包括情感分类、主题分类、主题聚类以及业务文本智能自适应分类等;最后的理解器包括中英文机器翻译和阅读理解。
应用层包括文本内容智能解析、机器翻译和智能阅读,可以直接对文档进行全范围智能理解与解析。
应用层主要提供对业务系统等智能决策系统的统一接口,可以提供高复用,易拓展的接口支持。
智能情报分析平台
项目简介:
GoIN智能情报分析平台是以情报应用为主要抓手,对标国际先进系统的新一代大数据情报分析系统,通过对覆盖政治、军事、经济、社会等方面的大数据关联融合,辅助用户从大数据中萃取重大情报,实现人机协同的情报深度可视化分析、快速研判、智能生成与协同决策。
项目职责:
各系统后台数据库数据管理,非结构、结构数据解析入库。
系统中间层项目开发,提供数据处理与页面展示。
系统服务部署维护,甲方项目增量更新。
项目技术:
基于elasticsearch构建数据搜索引擎,快速查找目标数据。
以实体、事件、文档为三大基础节点,各类关系扩展延伸构建千万级知识图谱。
覆盖政治、军事、经济、社会等方面的大数据关联融合,数据来源丰富,规模过亿。
利用分布式列存clickhouse构建后台数据存储,99%查询秒级响应。
全局schema控制管理系统节点体系,简化节点属性关系的变更。
XX智能情报分析平台
项目简介:
XX智能情报分析平台是以情报应用为主要抓手,对标国际先进系统的新一代大数据情报分析系统,通过对覆盖政治、军事、经济、社会等方面的大数据关联融合,辅助用户从大数据中萃取重大情报,实现人机协同的情报深度可视化分析、快速研判、智能生成与协同决策。
项目职责:
各系统后台数据库数据管理,非结构、结构数据解析入库。
系统中间层项目开发,提供数据处理与页面展示。
系统服务部署维护,甲方项目增量更新。
项目技术:
基于elasticsearch构建数据搜索引擎,快速查找目标数据。
以实体、事件、文档为三大基础节点,各类关系扩展延伸构建千万级知识图谱。
覆盖政治、军事、经济、社会等方面的大数据关联融合,数据来源丰富,规模过亿。
利用分布式列存clickhouse构建后台数据存储,99%查询秒级响应。
全局schema控制管理系统节点体系,简化节点属性关系的变更。
自然语言处理核心引擎主要包括标注器、提取器、链接器和理解器,可以高效率、高精度、多场景处理多种文本信息,同时易于部署,可拓展性高,满足业务的定制化需求,满足上层应用的核心服务。 负责工作: 1、算法调度引擎开发,实现多算法自由调度,以及依赖算法的递次调用。 2、实体链接、实
智能情报分析平台是以情报应用为主要抓手,对标国际先进系统的新一代大数据情报分析系统,通过对覆盖政治、军事、经济、社会等方面的大数据关联融合,辅助用户从大数据中萃取重大情报,实现人机协同的情报深度可视化分析、快速研判、智能生成与协同决策。 负责工作 1、各系统后台数据库数据管理