DMIS Lab UltraBERT 开源：同编码器兼顾分类与检索，GLUE 91.0 / BEIR 47.7

DMIS Lab 发布 UltraBERT 150M/380M 英文编码器与 Embed-150M：原生 32K 上下文，自称首个分类+检索双 SOTA（GLUE 91.0 / BEIR 47.7），Apache 2.0。

DMIS Lab UltraBERT Hugging Face blog cover — 32K encoder for classification and retrieval

韩国高丽大学 DMIS Lab 于 2026-10-14 在 Hugging Face 博客发布 UltraBERT 英文编码器家族：150M 与 380M 两档预训练骨干（原生 32K 上下文），另附即用型 UltraBERT-Embed-150M。官方称其为首个在分类与检索两端同时登顶的编码器——380M 版 GLUE 91.0、BEIR 47.7，10 项基准中 9 项第一；Embed-150M 在 MTEB(eng,v2) 得 67.24，自称 200M 以下 dense 嵌入最高。训练亮点：同批混用 5% 与 50% masking、双 LM head 解耦，并仅在低 masking 侧蒸馏 1.3B 教师。权重与集合见 Hugging Face dmis-lab/ultrabert；论文 arXiv:2610.15028。

谁能用：Apache 2.0 开源权重，公众可免费下载自部署（transformers≥5 + sentence-transformers；长输入建议 FlashAttention 2）。非 ChatGPT/Claude/Gemini App 或 Pro/Ultra/API 订阅直出，无 waitlist。解读：编码器赛道长期「分类强的检索弱、检索强的分类弱」，UltraBERT 用 masking 配方而非堆参数试图同时占住右上角；对 RAG/去重/决策模型（单次读入长文档打分）更直接。讨论：① 自报 GLUE/BEIR 在第三方复现下能否站住？② 32K 整篇嵌入相对切块基线在你的语料上增益有多大？来源：Hugging Face Blog · X @kalyan_kpl https://huggingface.co/blog/dmis-lab/ultrabert https://huggingface.co/dmis-lab/UltraBERT-380M https://x.com/kalyan_kpl/status/2110309970885722414 https://arxiv.org/abs/2610.15028

参考资料

阅读 Hugging Face / X @kalyan_kpl 原文

同栏目 · 模型