AI 不過周末，硅谷也是如此。大周日的，Llama 家族上新，一群 LIama 4 就這么突然發(fā)布了。
這是 Meta 首個(gè)基于 MoE 架構(gòu)模型系列，目前共有三個(gè)款：
Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。
最后一個(gè)尚未推出，只是預(yù)告，但 Meta 已經(jīng)毫不避諱地稱前兩者是“我們迄今為止最先進(jìn)的型號(hào)，也是同類產(chǎn)品中最好的多模態(tài)型號(hào)”。
詳細(xì)來(lái)看一些關(guān)鍵詞 ——
Llama 4 Scout，16 位專家的 170 億激活參數(shù)的多模態(tài)模型，單個(gè) H100 GPU 可運(yùn)行，同類 SOTA，并擁有 10M 上下文窗口。
Llama 4 Maverick，128 位專家的 170 億激活參數(shù)多模態(tài)模型，擊敗 GPT-4o 和 Gemini 2.0 Flash，與 DeepSeek-V3 同等代碼能力參數(shù)只要一半，主打與 DeepSeek 一樣的性價(jià)比，單個(gè) H100 主機(jī)即可運(yùn)行。
Llama 4 Behemoth：2 萬(wàn)億參數(shù)的超大超強(qiáng)模型，以上二者都由這個(gè)模型蒸餾而來(lái)；目前還在訓(xùn)練中；多個(gè)基準(zhǔn)測(cè)試超過 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。
Meta 官推激情表示，這些 Llama 4 模型標(biāo)志著 Llama 生態(tài)系統(tǒng)新時(shí)代 —— 原生多模態(tài) AI 創(chuàng)新的開始。
與此同時(shí)，大模型競(jìng)技場(chǎng)排名迎來(lái)一輪更新。
此次發(fā)布的 Llama 4 Maverick，在困難提示、編碼、數(shù)學(xué)、創(chuàng)意寫作方面并列第一；得分 1417，不僅大大超越了此前 Meta 自家的 Llama-3-405B（提升了 149 分），還成為史上第 4 個(gè)突破 1400 分的模型；。
而且跑分明確 —— 超越 DeepSeek-V3，實(shí)現(xiàn)亮相即登頂，直接成為排名第一的開源模型。
谷歌 CEO 劈柴哥第一時(shí)間發(fā)來(lái)賀電：
AI 世界，從不平淡！
恭喜呀！前進(jìn)吧，Llama 4 團(tuán)隊(duì)！
中杯、大杯首批亮相
了解了 Llama 4 家族全體成員后，我們先來(lái)見識(shí)一下首批發(fā)布的 2 個(gè)模型：
中杯
：Llama 4 Scout（偵查兵 Llama 4）。
大杯
：Llama 4 Maverick（特立獨(dú)行的 Llama 4）。
兩者均已能在 Llama 官網(wǎng)和抱抱臉上下載。
我們抓取并提煉出這倆模型的一些特點(diǎn)：
Meta 首批 MoE 架構(gòu)模型
這是 Llama 系列，第一批使用 MoE（混合專家模型）構(gòu)建的模型。
中杯 Llama 4 Scout 有 17B 激活參數(shù)，擁有 16 個(gè)專家模型。
大杯 Llama 4 Maverick 擁有 17B 激活參數(shù)，擁有 128 個(gè)專家模型。
至于還沒和大家正式見面的超大杯 Llama 4 Maverick，擁有 288B 激活參數(shù)，擁有 16 個(gè)專家模型。
非常長(zhǎng) ———— 的上下文
Llama 4 系列，均具有很長(zhǎng)的上下文窗口。
這一點(diǎn)主要體現(xiàn)在 Meta 公布的中杯 Llama 4 Scout 的詳細(xì)數(shù)據(jù)里：
Llama 4 Scout 提供了行業(yè)領(lǐng)先的 100 萬(wàn)上下文窗口。
經(jīng)過預(yù)訓(xùn)練和后訓(xùn)練，Llama 4 Scout 長(zhǎng)度為 256K，這使基本模型具有高級(jí)長(zhǎng)度泛化能力。
這個(gè)配置，讓它在廣泛的測(cè)評(píng)集上，比 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1 的結(jié)果更優(yōu)秀。
它在「大海撈針」測(cè)試上的表現(xiàn)如下：
結(jié)果如下：
那么之前的 Llama 系列模型的上下文窗口情況呢？
Llama 1，上下文窗口為 2k；
Llama 2，上下文窗口默認(rèn)為 4k，但可以通過微調(diào)等可以拓展到 32k；
Llama 3，上下文窗口是 8k，后來(lái) Llama 3.1 的長(zhǎng)文本能力拓展到了 128k。
Meta 官方博客中是這么寫的：
（Llama 4 的長(zhǎng)上下文）開辟了一個(gè)充滿可能性的世界，包括多文檔摘要、解析廣泛的用戶活動(dòng)以執(zhí)行個(gè)性化任務(wù)以及對(duì)龐大的代碼庫(kù)進(jìn)行推理。
原生多模態(tài)設(shè)計(jì)
Llama 4 系列，開啟了 Llama 的原生多模態(tài)時(shí)代。
而已經(jīng)公開對(duì)外的中杯和大杯，被官方稱為“輕量級(jí)原生多模態(tài)模型”。
給用戶的體驗(yàn)就是，上傳一張圖片，可以直接在對(duì)話框中提問關(guān)于這張圖片的各種問題。
不是我說，Llama 終于長(zhǎng)眼睛了?。?！
