網友在 LocalLLaMA 子 Reddit 板塊中發帖表示,4050億參數的 Meta Llama 3.1在幾個關鍵 AI 基準測試的結果中,其性能超越了目前的領先者 OpenAI 的 GPT-4o。這代表著開源模型首次擊敗目前最先進的閉源模型。
Meta Llama 3.1在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem 和 winograd 等多項測試中均優于 GPT-4o,但是,它在 HumanEval 和 MMLU-social sciences 方面卻落后于 GPT-4o。這些數據來自 Llama 3.1的基本模型,意味著后續通過調整優化,可以進一步釋放該模型的潛力,在上述基準測試中邁上更高的臺階。 |