《ＡＩ熱潮》騰訊推出參數規模最大的開源ＭｏＥ大語言模型

　　《經濟通通訊社６日專訊》騰訊（００７００）宣布推出業界參數規模最大、效果最好的開
源ＭｏＥ大語言模型Ｈｕｎｙｕａｎ－Ｌａｒｇｅ。
　　此外，騰訊還宣布將推出自研的長文評測集「企鵝卷軸」
（ＰｅｎｇｕｉｎＳｃｒｏｌｌｓ），以填補行業在真實長文評測集上的空白。企鵝卷軸基於公
開的金融、法律、學術論文等長文本構建，文本長度從１Ｋ到１２８Ｋ不等，覆蓋深度閱讀理解
和長文推理任務。
　
＊Ｈｕｎｙｕａｎ－Ｌａｒｇｅ超越一流開源模型＊
　
　　Ｈｕａｎｙｕａｎ－ｌａｒｇｅ模型的總參數量為３８９Ｂ、激活參數為５２Ｂ、訓練
ｔｏｋｅｎ數量為７Ｔ、最大上下文長度為２５６Ｋ、詞表大小為１２﹒８ｗ。
　　在技術創新方面，Ｈｕｎｙｕａｎ－ｌａｒｇｅ通過高質量的合成數據來增強模型訓練，彌
補了自然數據的不足。
　　其中，該模型預訓練支持處理高達２５６Ｋ的文本序列，大幅提升了長文本上下文的處理能
力，能夠更高效地完成長文本任務。
　　據了解，Ｈｕｎｙｕａｎ－ｌａｒｇｅ在ＣＭＭＬＵ、ＭＭＬＵ、ＣＥｖａ１、ＭＡＴＨ等
多學科綜合評測集上表現優異，在中英文自然語言處理、代碼生成、數學運算等９大能力維度中
全面領先，超越了Ｌｌａｍａ３﹒１和Ｍｉｘｔｒａｌ等一流開源模型。（ｃｔ）