7 月 15 日，谷歌发布首个Gemini嵌入模型，在多文本嵌入基准测试平台MTEB上平均分达68.37，超过OpenAI文本嵌入模型的58.93分，登顶榜首。该模型基于Gemini的双向Transformer编码器构建，以Gemini底层32层Transformer为基础，冻结这些层以继承其语言理解能力，添加池化层和随机初始化的线性投影层，采用噪声对比估计（NCE）损失函数训练，还引入多维度训练策略，提升灵活性与适应性。此外，谷歌为不同任务设计多样化训练数据，利用Gemini过滤低质样本。训练流程分预微调和精调阶段，还采用Model Soup技术提升泛化能力。Gemini嵌入模型每100万token仅需0.15美元，已开放API，降低了使用成本，使更多独立创作者和自由职业者能使用该技术。

链接>>