猿急送>

北京其它兼职程序员

ID：387475

Null

算法工程师

公司信息：
腾讯科技

工作经验：
5年

兼职日薪：
2000元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

1. 工程能力: 熟悉python和C++, 有模型部署和推理优化相关的经验；熟悉TNN, MLC, TVM和tensorrt等AI部署框架；熟悉大模型
推理部署框架vllm,sglang和tensorrt-llm; 代码开发能力强
2. 模型训练: 熟悉deepspeed, Megatron-LM等大模型训练框架；熟悉大模型轻量化相关的流程
3. 对大模型微调(lora, QLora,FT)训练有比较深刻的理解，了解向量数据库及RAG

项目经验

腾讯科技:
1. 负责腾讯地图全国高精地图数据及SD车载地图数据构建，专注于解决算法中的边缘案例。
2. 开发并优化图像特征提取算法（包括superpoint+superglue），确保关键点提取的准确性。
3. 实施图像分割算法（如unet, deeplab v3），提升数据处理效率。
4. 进行模型轻量化工作，通过技术如soft label和hard label蒸馏，成功替换superpoint和superglue的backbone。
5. 优化模型推理过程，采用int8模型量化和tensorrt加速技术，显著提升推理速度。
转大模型后:
1. 负责大模型和agent的prompt设计，通过优化prompt，成功实现了水晶球意图识别和AI搜索的NL2SQL链路调通，有效解决了
多种prompt的bad case问题。
2. 负责构建训练数据，为gpt 4o和claude等闭源模型提供query和真值数据，确保模型训练的准确性和有效性。
3. 执行模型微调工作，利用llama-70B、qwen-72B等基础模型进行lora和全参微调，并通过mask方案将system prompt融入模
型，显著减少了输入token和推理延迟。
4. 针对小模型的知识和能力不足问题，基于微调的大模型和标注数据以及大模型CoT数据进行进一步微调，提升了小模型在特定任
务（如相对时间计算、SQL语句调优）上的表现。
5. 负责模型推理加速工作，采用vllm/sglang等框架进行优化，包括模型量化（awq, gptq, fp8）和kv cache复用等技术，显著
提升了模型在移动端的部署效率和性能。
6.移动端模型部署评测:评测apple mlx, mlc-llm和llama.cpp等框架在Mac M1和intel ultra等机器上的推理性能，为产品决策提
供数据支持