(相關(guān)資料圖)
近日,小米的大語(yǔ)言模型MiLM-6B首次亮相C-Eval、CMMLU兩大AI模型評(píng)測(cè)榜單。據(jù)悉,MiLM-6B在C-Eval總榜單中排名第10,同參數(shù)量級(jí)排名第1,而在CMMLU中文向大模型中則位列第1。C-Eval公布的數(shù)據(jù)顯示,MiLM-6B模型在各個(gè)測(cè)試科目中的平均成績(jī)表現(xiàn)良好。在STEM(科學(xué)、技術(shù)、工程和數(shù)學(xué)教育)的20個(gè)科目中,包括計(jì)量師、物理、化學(xué)、生物等多個(gè)項(xiàng)目都取得了較高的準(zhǔn)確率。在10個(gè)社會(huì)科學(xué)科目中,除教育學(xué)和地理外,該模型在所有科目中都獲得了較為理想的準(zhǔn)確率。在人文科學(xué)的11個(gè)科目中,MiLM-6B在歷史與法律基礎(chǔ)上也有著不錯(cuò)的準(zhǔn)確率表現(xiàn)。然而,盡管MiLM-6B模型在大多數(shù)科目中表現(xiàn)出了相對(duì)良好的準(zhǔn)確度,但在法學(xué)、數(shù)學(xué)、編程、概率論、離散數(shù)學(xué)等科目上的表現(xiàn)仍有待提升。據(jù)了解,MiLM-6B是小米開(kāi)發(fā)的一個(gè)大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型,參數(shù)規(guī)模為64億。