LLaMA
この記事は英語版の対応するページを翻訳することにより充実させることができます。（2024年1月） 翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。
|
LLaMA（Large Language Model Meta AI）は、Meta AI が2023年2月に発表した大規模言語モデル[1][2]。70億パラメータから650億パラメータまで、さまざまなサイズのモデルが学習された。LLaMA の開発者は、130億パラメータモデルがほとんどのNLPベンチマークにおいてGPT-3（1750億パラメータ）の性能を上回ること、最大のモデルは PaLM や Chinchilla などの最先端モデルに匹敵することを報告している。従来、ほとんどの強力な大規模言語モデルは限られた API を通じてしかアクセスできなかったが、Meta は LLaMA のモデルのウェイトを非商用ライセンスで研究コミュニティに公開した。LLaMAのリリースから1週間で、そのウェイトがリークされた[3]。
アーキテクチャと学習 編集
LLaMA は、2018年以降の言語モデリングの標準的アーキテクチャである Transformer アーキテクチャを採用している。 LLaMA の開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。 これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。 LLaMA は、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。
- コモン・クロールでスクレイピングしたWebページ
- GitHub のオープンソースリポジトリ
- ウィキペディア（20種類の言語）
- プロジェクト・グーテンベルクのパブリックドメインの書籍
- ArXivにアップロードされた科学論文のLaTeXソースコード
- Stack Exchangeウェブサイトの質問と回答
リリースとリーク 編集
LLaMA は、2023年2月23日、ブログ投稿と論文により発表された。 モデルのトレーニングに使用されたコードは、オープンソースのGPLv3ライセンスで公開された[4]。モデルの重みへのアクセスは管理され、「世界中の学術研究者、政府・市民社会・学術機関の関係者、産業界の研究所にケースバイケースで許可される」ことになっていた。
応用 編集
Alpaca 編集
スタンフォード大学の基盤モデル研究センター（Center for Research on Foundation Models, CRFM）は、LLaMA の 70億パラメータ・モデルをファイン・チューニングした、Alpaca をリリースした[5]。Alpaca は OpenAI GPT-3.5シリーズの text-davinci-003モデルに匹敵する性能を獲得した[6]。
脚注 編集
出典 編集
- ^ Touvron, Hugo; Lavril, Thibaut; Izacard, Gautier; Martinet, Xavier; Lachaux, Marie-Anne; Lacroix, Timothée; Rozière, Baptiste; Goyal, Naman; Hambro, Eric; Azhar, Faisal; Rodriguez, Aurelien; Joulin, Armand; Grave, Edouard; Lample, Guillaume (2023). "LLaMA: Open and Efficient Foundation Language Models". arXiv:2302.13971 [cs.CL3]。
- ^ “Introducing LLaMA: A foundational, 65-billion-parameter large language model”. Meta AI (2023年2月24日). 2023年4月1日閲覧。
- ^ a b Vincent, James (2023年3月8日). “Meta's powerful AI language model has leaked online — what happens now?”. The Verge. 2023年4月1日閲覧。
- ^ llama - GitHub
- ^ stanford alpaca - GitHub
- ^ Yizhong Wang; Yeganeh Kordi; Swaroop Mishra; Alisa Liu; Noah A. Smith; Daniel Khashabi; Hannaneh Hajishirzi (2022年12月20日), “Self-Instruct: Aligning Language Model with Self Generated Instructions” (英語), arXiv, arXiv:2212.10560, ISSN 2331-8422, Wikidata Q117202254
関連項目 編集
- Transformer (機械学習モデル)
- ROCm – Llama.cpp