Skip to content

Latest commit

 

History

History
43 lines (24 loc) · 1.97 KB

README.md

File metadata and controls

43 lines (24 loc) · 1.97 KB

MiLM-6B

介绍

MiLM-6B 是由小米开发的一个大规模预训练语言模型,参数规模为64亿。在 C-Eval 和 CMMLU 上均取得同尺寸最好的效果。

模型相关信息持续更新中...

评测结果

C-Eval

C-Eval 数据集是一个全面的中文基础模型评测数据集,涵盖了 52 个学科和四个难度的级别。

模型 Average STEM Social Sciences Humanities Others Avg(Hard)
MiLM-6B 60.2 54.5 71.7 62.7 57.7 42.0
MiLM-1.3B 45.8 38.0 59.5 49.8 43.4 29.9

测试采用zero-shot

CMMLU

CMMLU 数据集是一个综合性的中文评估基准,专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。

  • zero-shot
模型 平均分 STEM 人文学科 社会科学 其他 中国特定主题
MiLM-6B 60.37 48.88 63.49 66.2 62.14 62.07
MiLM-1.3B 50.79 40.51 54.82 54.15 53.99 52.26
  • five-shot
模型 平均分 STEM 人文学科 社会科学 其他 中国特定主题
MiLM-6B 57.17 46.85 61.12 61.68 58.84 59.39
MiLM-1.3B 45.39 35.59 49.58 49.03 47.56 48.17