Embedding模型微调实战（ms-swift框架）

目录

简介

1. 创建虚拟环境

2 安装ms-swift

3安装其他依赖库

4. 下载数据集

5.开始embedding模型训练

6. 自定义数据格式和对应的Loss类型

（1） infoNCE损失     

(2)余弦相似度损失

(3)对比学习损失

（4).在线对比学习损失

（5）损失函数总结

---

简介

ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持500+大模型与200+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。其中大模型包括：Qwen3、Qwen3-MoE、Qwen2.5、InternLM3、GLM4、Mistral、DeepSeek-R1、Yi1.5、TeleChat2、Baichuan2、Gemma2等模型，多模态大模型包括：Qwen2.5-VL、Qwen2-Audio、Llama4、Llava、InternVL3、MiniCPM-V-2.6、GLM4v、Xcomposer2.5、Yi-VL、DeepSeek-VL2、Phi3.5-Vision、GOT-OCR2等模型。

🍔 除此之外，ms-swift汇集了最新的训练技术，包括LoRA、QLoRA、Llama-Pro、LongLoRA、GaLore、Q-GaLore、LoRA+、LISA、DoRA、FourierFt、ReFT、UnSloth、和Liger等轻量化训练技术，以及DPO、GRPO、RM、PPO、GKD、KTO、CPO、SimPO、ORPO等人类对齐训练方法。ms-swift支持使用vLLM、SGLang和LMDeploy对推理、评测和部署模块进行加速，并支持使用GPTQ、AWQ、BNB等技术对大模型进行量化。ms-swift还提供了基于Gradio的Web-UI界面及丰富的最佳实践。

https://github.com/modelscope/ms-swift?tab=readme-ov-file

1. 创建虚拟环境

conda create -n swift_venv python=3.12 -y
conda init bash && source /root/.bashrc
conda activate swift_venv
conda install ipykernel
ipython kernel install --user --name=swift_venv

2 安装ms-swift

#1使用pip安装，把ms-swift作为一个库，安装到anaconda的虚拟环境中
pip install ms-swift -U#2从源码克隆安装（推荐）pip install git+https://github.com/modelscope/ms-swift.git#3从源码安装
git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
pip install -e .

3安装其他依赖库

pip install deepspeed liger-kernel 
pip install scikit-learn
pip install -U sentence-transformers
# 建议科学上⽹后，再执⾏下⾯的命令
pip install flash-attn --no-build-isolation

4. 下载数据集

# 设置下⾯命令，⽆需科学上⽹
export HF_ENDPOINT=https://hf-mirror.com
pip install --upgrade huggingface_hub
huggingface-cli download --repo-type dataset --resume-download microsoft/ms_marco --local-dir 下载保存路径

数据格式：

5.开始embedding模型训练

# 把下面命令，保存为train.sh格式，   运行bash train.sh命令，启动训练CUDA_VISIBLE_DEVICES=0 \
swift sft \--model /data/qwen3_embedding/Qwen3-Embedding-0.6B \--task_type embedding \--train_type full \     #训练模式full lora  --torch_dtype bfloat16 \--num_train_epochs 100 \               #训练轮数--per_device_train_batch_size 16 \   #训练批次--per_device_eval_batch_size 16\--learning_rate 1e-4 \--lora_rank 8 \--lora_alpha 8 \--target_modules all-linear \     #目标模块    all-attention--gradient_accumulation_steps 1 \--eval_steps 1 \--save_steps 1 \--save_total_limit 2 \--logging_steps 5 \--max_length 512 \--output_dir output \        #输出路径--warmup_ratio 0.05 \--dataloader_num_workers 8 \--model_author swift \--model_name swift-robot \--split_dataset_ratio 0.3 \   #train 和val分割比例--dataset /home/dataset \    #数据集路径--loss_type infonce       # 损失函数3种类型   contrastive  cosine_similarity infonce

 使用swift sft --help命令查询有哪些训练设置参数。

6. 自定义数据格式和对应的Loss类型

（1） infoNCE损失     

  --loss_type  infonce

对⽐学习损失函数，最⼤化正样

本对相似度，最⼩化负样本对相似度 .

使⽤批内对⽐学习策略，将同批次内其他样本作为负样本.

数据格式：

[{"query": "如何学习编程？","response": "可以从Python语言开始入门，它语法简单适合初学者。","rejected_response": ["随便看看书就会了", "编程很难学不会的"]},{"query": "推荐一款性价比高的手机","response": "Redmi Note系列在2000元价位段表现均衡，值得考虑。","rejected_response": ["越贵的手机越好", "苹果手机永远是最好的"]}
]

 

(2)余弦相似度损失

 --loss_type cosine_similarity

直接优化预测相似度与真实相似度标签的差异 ，使⽤ MSE 损失计算 ||input_label - cosine_sim(u,v)||_2

数据格式：

[{"query": "A dog is barking loudly.","response": "The canine is making loud barking noises.","label": 0.8},{"query": "Children are playing in the park.","response": "Kids are playing in the playground.","label": 1.0},{"query": "The sun is shining brightly.","response": "Bright sunlight is visible.","label": 0.7}
]

(3)对比学习损失

 --loss_type contrastive

经典的对⽐学习损失，正样本拉近，负样本推远 需要设置 margin 参数。

[{"query": "A dog is barking loudly.","response": "The canine is making loud barking noises.","label": 1},{"query": "Children are playing in the park.","response": "Kids are playing in the playground.","label": 1}]

（4).在线对比学习损失

--loss_type online_contrastive

对⽐学习的改进版本，选择困难正样本和困难负样本 通常⽐标准对⽐学习效果更好。

（5）损失函数总结