技术能力

计算技能：大模型微调、机器学习、生物信息学、计算机科学、生物医学统计
编程能力：熟悉Python、Perl、Java、R语言，熟练linux、Docker(Singularity)及云端操作，具备数据结构与
算法能力。曾使用C++、Julia、Matlab等完成过项目，可以使用Pytorch、Tensorflow2(Keras)等深度学习框架，
在大模型微调(预训练；提示词、全参、QLoRA和指令等微调；DPO等)中以HuggingFace/Pytorch为主。课题项
目主要在linux系统下，使用多张GPU(如A100、RTX 3090/8000等)和大内存CPU的机器来完成。

项目经验

2023.09- 2023.12，构建人的基因型-表型数据集，评估了经典机器学习方法、常见深度学习模型和
DNA_bert_6和human_gpt2-v1模型多种微调策略的性能对比；证实了大模型的基因组表征能力，并提
出了“大模型表征+其余常见模型“策略，给出了”大模型表征+经典生物信息学“分析方法；
2023.05- 2024.03，人类泛基因组数据的整合完善及局部区域序列的功能特点探索；
2024.05- 2024.09，开发HervEVO模型（隐式卷积的Decoder-only类型）对类不均衡的HERV序列进行
生成，检测生成HERV序列的质量并提高了其分类效果；同时也提取灵长类动物基因组中的这些序列，
结合EVO大模型微调后进一步评估其分类效果；
2024.06- 2024.07，使用llama3-chinese-8B模型进行指令微调、量化及部署（Ollama；Phidata）；利
用ModelScope-Agent等调用Qwen-max模型开发“AI婚礼策划咨询师”V1版；
2024.07- 至今，使用llama3.1-8B在HERV数据集上进行模型的增量预训练与开发，然后评估其分类效
果；此外，结合上述微调模型（蒸馏或拼接），给出整体较优的DNA序列建模训练组合。
2024.08- 至今，测评了Minimind-0.1B全部阶段训练（Pre-train；SFT；DPO）；基于Minimind-0.1B
和llama3.1-8B探究领域模型构建中应该选择Pre-training还是Continual Pre-training策略。

团队情况