聯手微軟掀全球AI狂歡Meta推出免費商用的Llama 2，最強“GPT-4平替”開源！
今天，Facebook母公司Meta發布其首個開源可商用大語言模型Llama 2！
智東西7月19日報道，今天凌晨，Meta在其官網宣布大語言模型Llama 2正式發布，Llama 2是Meta大語言模型Llama模型的最新版本，也是Meta首個免費商用的大語言模型。
該模型目前支持70億、130億、700億等多個參數規模版本。相較Llama 1，Llama 2經過2萬億個tokens訓練，其對上下文訓練的長度是Llama 1的兩倍，達到4096。Llama-2-chat模型還接受了超過100萬個人工標注訓練。由于其強大的參數規模以及性能表現，不少人稱之為“GPT-4最強平替”，也是大模型之戰中AI平權的又一例證。
此外，Meta和微軟高調宣布將在生成式AI領域聯手，微軟將成為Llama 2的首選合作伙伴。微軟Azure客戶將能夠在Azure上輕松安全地微調和部署Llama 2模型，快速構建適用于自身業務的專用大模型。
“大語言模型正被企業用作生成式AI的核心要素。”Meta在官網中說道。Llama 2模型的發布，是Meta在大語言模型領域的又一次有力發聲。此前，谷歌、微軟曾通過接入大語言模型，更新其旗下多個產品線。
OpenAI的GPT-4和Meta的Llama分別是大語言模型領域閉源和開源的代表。全球有眾多大模型基于Llama開發而來，但又受限于無法免費商用。隨著Llama2免費開源商用，并與微軟這樣的云服務商深度合作，開源力量可能重新劃分AI市場的格局，對眾多大模型應用企業也是好消息。
現在，用戶需要通過提交表格的方式即可獲得Llama-2-chat模型。用戶下載每個模型后，將收到大模型的型號代碼、規模、用戶指南信息。
論文地址：
https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
項目地址：
https://github.com/facebookresearch/llama
Llama-2-chat模型下載地址：
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
一、Llama-2大模型，強在哪里？
Llama 2是一組經過預先訓練和精細調整的大型語言模型（LLMS），規模從70億到700億參數不等。
目前，Meta正式發布了Llama 2大模型的70億、130億、 700億三個參數規模版本。據悉，Meta還訓練了340億版本，但沒有發布。在論文中，我們還發現了330億和650億版本的Llama 2訓練數據信息。
此次發布過程中，Meta還隨著Llama-2大模型提供預訓練模型和對話微調版本的模型權重和初始代碼。
在此次訓練中，Meta還將預訓練語料庫的規模增加了40%，將模型的上下文長度增加了一倍，并采用了分組查詢注意力（grouped-query attention）方法。
根據Meta公布的測評數據，Llama 2在許多外部基準測試上都優于其他開源語言模型，包括推理、編碼、熟練程度和知識測試?；谌祟悓Υ竽Ｐ偷挠杏眯砸约鞍踩脑u估，Llama 2可能是封閉源模型如GPT等的適當替代品。
其中，Llama 2-Chat是針對對話AI場景進行優化的，使用來自人類反饋的強化學習來確保安全性和有用性。
在訓練過程中，Llama 2使用公開的在線數據進行預訓練。然后通過使用監督微調創建Llama-2-chat的初始版本。接下來，Llama-2-chat會通過人類反饋強化學習第一次出現標注上（RLHF）進行迭代細化，其中包括拒絕采樣和近端策略優化（PPO）。
Llama-2大模型將免費用于研究和商業用途。微軟是Llama 2的首選合作伙伴。據悉，Llama 2可在 Azure AI模型目錄中使用，使用Microsoft Azure的開發人員能夠使用它進行構建，并利用其云原生工具進行內容過濾和安全功能。
Llama 2還針對在Windows的本地運行進行了優化，為開發人員提供了無縫工作流程，為跨不同平臺的客戶帶來生成式AI體驗。目前，Llama2也可通過Amazon Web Services（AWS）、Hugging Face和其他提供商獲取。
二、經過三方安全測試，Meta與微軟聯合推動Llama-2落地
人工智能在給社會帶來巨大進步的同時，也伴隨著風險。Meta希望提供開源，以促進大模型的透明度。
據Meta介紹，Llama-2已經通過安全測試。測試團隊不但來自于Meta內部，通過生成對抗性提示以促進模型微調，還有第三方機構對Llama-2進行外部對抗性測試，以識別性能差距。
在Meta進一步的研究論文里，Meta解釋了模型的微調和評估方法并指出了其缺點，并披露了此前經歷過的已知挑戰和問題。
Meta創建了大模型指南作為指引，以支持開發人員提供負責任的開發和安全評估的最佳實踐。該指南概述了一些實踐成果，反映了整個人工智能研究行業討論有關負責任的生成式AI最先進的研究。
Meta還啟動了一項新的合作伙伴計劃，研究人員可以申請加入從業者社區，分享有關Llama-2的經驗，社區將制定一個研究議程來推動未來的發展。同時，Meta還在政策監管下，明確禁止某些使用大語言模型的指導方向，以幫助確保這些模型得到公平和負責任的使用。
結語：開源大模型，Meta加速AI領域發展
隨著Meta大模型Llama 2發布，全球的大語言模型矩陣又新增一位重磅嘉賓。Meta和微軟的聯合，也迅速將Llama 2的應用，直接和成千上萬的開發者連接起來。
相較于上一代，Llama 2 在推理、編碼、熟練程度和知識測試，優于其他開源語言模型。
隨著大模型研發和落地的加速狂飆，我們有望看到更多大模型為生活以及產業帶來巨大影響。
來源： 智東西