项目:基因注释库项目
开发环境: IntelliJ IDEA + JDK1.8 + MySQl5.7
技术架构:Spring Boot + Mybatis + MYSQL
项目描述:
基因数据完成测序分析后,对于检测到的变异信息需要进行基因组注释(genome annotation), 通过标注变异检出位点在经过验证的各类公共数据库中的记录,达成辅助致病性判定的结果。注释过程便是通过对多数据库中的已记录变异信息进行比对查找,对当前个体变异进行标注的过程。
责任描述:
1.海量原始数据的清洗及写入mysql;
2.mysql的分表分库规则的设计及创建最佳索引方式依据等;
3.接口的设计及开发,解决客户端请求过多服务端性能下降问题;
4.sdk的设计及开发;
5.探索使用oceanbase数据库与mysql的差异与可行性;
技术要点:
1.数据量巨大,创建最佳的索引,在空间与性能之间找到平衡点;
2.数据库的分表、分库规则的设计;
3.上百GB的原始数据清洗及百亿数据插入mysql常用的方式效率低下;
4.多个SDK客户端调用服务引起的高并发问题;