解读

面试官真正想考察的是：

1. 你是否意识到样本量极度不均衡会导致 logits 分布“一边倒”，从而让模型在少样本任务上过拟合；
2. 你是否能用温度系数这一“低成本”手段，在微调阶段就抑制少数类的过度自信，而不是等训练完再靠重采样或重加权去补救；
3. 你是否能把温度系数纳入LLMOps 闭环，让它随数据分布漂移而自动演化，而不是拍脑袋定一个 0.1 或 5.0 就上线。

国内真实业务场景里，百亿/千亿参数大模型往往先“热启”再做轻量级 LoRA 微调，数据不均衡通常出现在垂类指令（如医疗问诊、法律条款、电商客服）之间，100× 的差距司空见惯。此时显存、训练窗口、人力都受限，重采样+重加权成本高，温度系数就成了“不增加额外推理延迟”的首选杠杆。

知识点

1. 温度系数 τ 的梯度意义：
   损失函数对 logit z_i 的梯度正比于 (p_i – y_i)，其中 p_i = softmax(z_i / τ)。τ 越大，p_i 越接近均匀分布，梯度越小，相当于对“置信度”做 L2 正则。

2. 样本量与置信度耦合：
   多类样本量大 ⇒ 梯度更新频繁 ⇒ logits 迅速被推高 ⇒ softmax 饱和 ⇒ 交叉熵损失进入“低梯度”区域，模型对少数类更加视而不见。
   此时把 τ 调高，可以让 logits 保持在线性区，让少数类继续得到有效更新。

3. 动态 τ 策略：

   • 类级别 τ：为每类设独立温度 τ_k = τ_0 * (N_max / N_k)^α，N_k 为第 k 类样本量，α∈[0.3,0.5] 经验值，τ_0 初始 2~3；
   • 样本级别 τ：batch 内根据样本所属类的 N_k 实时计算 τ，一行 TensorFlow/PyTorch 代码即可实现，不增加额外参数；
   • 课程式退火：训练初期用较大 τ（5~8）防止少数类被淹没，后期线性退火到 1.0，让模型逐渐收敛到真实分布。

4. 与 LLMOps 的结合：
   把 τ 作为在线监控指标一同上报，若发现少数类 Recall 连续两个周期下降且 τ 已逼近 1.0，则触发自动扩样或提示模板优化，实现数据-模型双循环。

答案

“面对 100× 的样本量差异，我不会直接重采样，而是把温度系数当成动态正则器来用。具体分三步：
第一步，类级别初始化：τ_k = 2.5 × (N_max / N_k)^0.4，保证少样本类 logits 不被过度放大；
第二步，训练阶段采用课程退火：前 30% 步数保持 τ≥3，让模型先‘看到’少数类，之后线性退火到 1.0；
第三步，上线后把 τ 写进推理配置表，通过 LLMOps 平台实时监控少数类 Recall，一旦漂移就自动回退 τ 或触发数据补充。整个流程不增加推理延迟，也不改动主干网络，在千亿参数模型上只需 20 行代码即可落地。”

拓展思考

1. 如果面试官追问“温度系数会不会让多样本类掉点”，可以补充：用 Focal Loss 的 γ 与 τ 联合搜索，在验证集上做贝叶斯优化，一般能把多样本类掉点控制在 0.5% 以内。
2. 若业务要求端到端可控生成，可把 τ 做到提示层：在 system prompt 里显式写“回答时请保持温度=3 的多样性”，通过提示工程把 τ 的语义传递给模型，实现**“训练-提示”双通道正则**。
3. 最后可以反问面试官：“咱们线上目前用哪种方式监控少样本类的置信度漂移？如果我这边把 τ 做成可热更新的服务配置，能否直接接入你们的Prometheus+Grafana 看板？”——既体现LLMOps 落地意识，又把话题拉回工程闭环，加分项。 </模板>