匿名對比大模型回答並由使用者投票形成排名的評測平台
AI模型評測 arena.ai
LMArena 是什么
LMArena(现名 Arena,原名 Chatbot Arena)是加州大学伯克利分校研究人员创建的大模型评测平台。它的做法是:用户输入同一个问题,平台匿名给出两个模型的回答,用户投票选出更好的那个,再根据大量投票给模型排名。Chatbot Arena 于 2023 年 4 月 24 日上线,2024 年 9 月换成独立域名 lmarena.ai,2025 年成立公司 Arena Intelligence Inc.。
能做什么
- 匿名对战投票:同时看两个模型的回答,投票后才揭晓是哪两个模型
- 排行榜:按真人投票结果给模型排名,覆盖文字、图像等多个榜单(2024 年 6 月加入图像支持)
- 免费试用各家模型:可以直接和多家公司的最新模型对话
- 新模型预发布测试:很多公司会先用代号把未发布的模型放上来测试,比如 DeepSeek 在 R1 走红前几个月就在这里测过原型,OpenAI 的 GPT-5 曾以代号 summit 出现
价格
用户使用免费。
适合谁
- 想知道「哪个模型现在最好用」的普通用户
- 选型时需要参考真实使用偏好的开发者和企业
- 想免费体验各家新模型的人
使用前要知道
- 已有研究指出它的评测方法有局限。2025 年 4 月,Meta 的 Llama 4 Maverick 在榜单上的版本和公开发布的版本不一样,引发争议,LMArena 随后修改了规则。
- 投票反映的是用户偏好,会受回答风格、长度影响,不完全等于准确性。看排名时最好结合自己的任务实测。
- 平台由 OpenAI、Google DeepMind、Anthropic 等公司提供模型,2026 年 10 月完成 2 亿美元 B 轮融资,估值 31 亿美元。
同类工具
可以对比 Open LLM Leaderboard、OpenCompass、SuperCLUE;学术基准可以看 MMLU、C-Eval。