博业体育官方APPOpenBuddy发布新一代中文跨语言大模型OpenBuddy-Llama3-70B-v211-8k

2024-05-16 12:15:16
浏览次数:
返回列表

  博业体育官方APPOpenBuddy发布新一代中文跨语言大模型OpenBuddy-Llama3-70B-v211-8kLlama370B 是一个15T 训练集训练而成的稠密大模型,然而由于训练集中缺少中文数据,Meta 官方的 Llama3系列对话模型在中文领域的认知、理解能力较弱博业体育,容易出现以英文回答中文问题的现象。因此,OpenBuddy 团队在此次训练中选择了 Llama370B Base 模型作为基础,重点提升模型的跨语言理解、认知能力。

  测试过程中,OpenBuddy-Llama3-70B 展现出了优秀的中文理解能力,具备了更的认知潜力和量化后性能。在此次发布的模型中,他们对 Llama3现有词表进行了扩充,增加了7000余个中文字词,进一步提升了模型中文编码密度。

搜索