Llama 2(ラマツー)の使い方や日本語は? ダウンロード手順とブラウザ実装サイト。デザイナー、コーチ、ディレクター / 井川

igawa design.

Memo

Llama2について。使い方や日本語のチャット例。

です・ます調の文章でなくてすみません。当初は個人的なメモ書きだったためです。

Llamaとは?

Llamaは、Meta社による会話型、対話型のAI。

OpenAI社のChatGPTと同じく、もともとはGoogle社が開発したTransformer (機械学習、深層学習モデル)による自然言語処理をベースとしている。

動物のラマ(リャマ)と同じスペルで、名前が可愛らしい。

MetaのLLM。

LLMは「Large Language Models(大規模言語モデル)」の略称であり、ChatGPTやBard、Bing Chatなどの生成AIのことを指す言葉。

Llamaと会話できる? チャットサイトの使い方や日本語対応は?


Llama 2。Meta社による会話型、対話型AI、LLM。

次世代LLM。Llama 2。

Llamaは「Large Language Model Meta AI(Metaの大規模言語モデル)」の略称となっており、FacebookやInstagramで有名なMeta社による生成AI。

今回はそのLlamaの、バージョンアップ版となる。

Llama 2にできること。
  • 自然言語による会話。
  • 文章の生成。
  • 翻訳。
  • インターネット検索。
  • AIチャットシステムの作成。
  • MicrosoftのAzureやWindows、AmazonのAWSなどでの活用。

その他、さまざまな場面で使用されていくと思われる。


Meta AI Blogによる、MetaとMicrosoftのLlama2の発表の画面。

引用元サイト:Meta and Microsoft Introduce the Next Generation of Llama

商用利用可、かつ無料で使える。

Meta社のブログによると、Microsoft社も関わっており、研究や商用利用が無料で可能とのこと。

Llamaとラマ、そして人間とのニューラルネットワークは可能だろうか?

Llama 2の読み方は?

Llama 2の読み方は、そのまま「ラマツー」となる見通し。

Llama 2の日本語対応は?

日本語対応はしているが、後述のチャットサイトで実際に会話してみたところ、現時点では日本語力は高くない。

また、使用モデル(7B、13B、70B)によって、精度が異なる。

日本語の情報量、学習量が少ないことが想定されるので、これから対応していくと思われる。

Llama 2はオープンソースで提供。

Meta AIのサイトでは、オープンソースで提供されるとのこと。(ライセンス要確認。)


Llama 2はオープンソースで利用可能。Meta AIの画面。

引用元サイト:Meta AI

ライセンスの注意点。

商用利用可能だが、Llama 2コミュニティライセンス契約によると、月間ユーザー数が7億人を超えている場合は追加ライセンスが必要となる模様。

ライセンス契約や利用規約などについては下記ページへ記載されている。

参照:Llama access request form – Meta AI(英語。Chrome、Safariなどで翻訳可。)


Llama 2のダウンロードページ。

Metaの公式サイトに、Llama 2のダウンロードページが用意されている。


Llama 2のダウンロードサイトのスクショ。

引用元サイト:Llama 2 – Meta AI

次世代Llamaへのリクエスト。

「Download the Model」をクリックすると画面が切り替わり、アカウント作成画面のような、氏名やメールアドレスなどの入力項目が現れる。

Llama 2のアカウント作成画面。

入力項目に入力し、画面下部にある「Accept and Continue(同意して実行)」のボタンを押すと、改めて専用のURLが送られてくるそうだ。

ダウンロード注意点。

ダウンロードされるのはあくまでもコードであり、実装するためには、Pythonやコマンドプロンプトやターミナル、GitHubなどの、プログラム系の知識が必要。

ChatGPTやBardなどのように、チャットだけを試してみたい場合は、下記にLlama 2 チャットサイトの紹介があります。)

Llama 2のモデル。

Llama 2には以下の3つのモデルがある。

  • Llama 2-7B:70億パラメータ
  • Llama 2-13B:130億パラメータ
  • Llama 2-70B:700億パラメータ
  • 「B」は「Billion(10億)」の略。)

パラメータが増えていくにつれ精度、性能が高くなるが、その分インストールするPCのCPUメモリ容量などのスペックによってはかなり重たくなってしまう。

先代のLlamaを全てダウンロードすると200GBを超えるという情報や、Llama 2の7Bモデルだけで13GB以上という情報もあった。

LLMのパラメータは、ニューロンとシナプス、ニューラルネットワークのよう。

LLMのパラメータとは?

LLMのパラメータは、人間の脳で例えた場合、ニューロン(神経細胞)をつなぐシナプスのようなものと言われたりする。

基本的に数が多いほど学習量が多く、情報量や情報伝達に長けている。

ただし情報過多になると逆に判断力が鈍ってしまうように、単純にパラメータが多ければ良いというわけではない。

目安としては、他のLLMのパラメータは以下の数となっている。

確認できる範囲、またはそれぞれのAIに聞いてみた数値。)

  • GPT-3:1,750億パラメータ
  • ChatGPT(GPT-3.5):3,550億パラメータ
  • GPT-4:非公開
  • Bard:5,400億パラメータ
  • Bing Chat:3,550億パラメータ

GitHubからLlamaをダウンロードできる。

GitHub上のLlama。

Llama 2の事前トレーニング済みモデルは、2兆のトークンでトレーニングされているという。

トークン数が多いほど単語や文字数の扱いに長けるが、GitHub上のREADMEによると、事前トレーニング済みモデルはチャットやQ&A用に微調整されていないとのこと。

なので、3つのモデルがさらに2つに分けられる。

  • Pretrained Models(事前トレーニング済みモデル)
  • Fine-tuned Chat Models(llama-2-7b-chat、llama-2-13b-chat、llama-2-70b-chatなどのチャットモデル)
pets要チェック、README。

2023.07.18時点で、ダウンロードやライセンス同意についての注意が記載されている。

参照:facebookresearch/llama: Inference code for LLaMA models

AzureやWindowsにおけるLlama 2。

Microsoft Azureのクラウドで活用できるようになり、Windowsのローカルでの実行にも最適化されているとのこと。

参照:Meta and Microsoft Introduce the Next Generation of Llama

MetaのLLM。Llama 2。


Llama 2のブラウザ実装サイト。

すでにLlama 2のチャットモデルをサイトに実装している方々がおり、ブラウザ上で会話を試すことができる。

注意点。

ChatGPTやBard、Bingなどと同じように、個人情報や機密情報の入力には気をつける。

LLaMA2 Chatbot

モデルの選択。

LLaMA2 Chatbotの場合は、画面左のメニューから、7B、13B、70Bとモデルを選択できたり、出力される回答の調整ができたりする。

モデルや文字数の調整などについて。
  • Choose a LLaMA2 model: デフォルトの70Bが高精度。ただし返答速度は遅くなる。
  • Temperature: ランダム性の調整。1以上はランダム。MAXは5。
  • Top P: テキストをデコード(解読)するときに、最も可能性の高いトークン(単語や句読点で分けたテキスト)の上位からサンプリングする。MAXは1。
  • Max Sequence Length: チャットの最大文字数。ChatGPT(GPT-3.5)の目安が日本語2,048文字まで。
  • Clear Chat History: チャット履歴をクリアする。
使い方。

LLaMA2 Chatbotでのチャットの仕方は、ChatGPTやBard、Bing Chatと同様、画面下の入力欄から始められる。

下記の例は、左側のメニューはデフォルトでの状態。

スクショはダークモード時のもの。)


Llama 2でチャット。LLaMA2 Chatbotの画面。

日本語レベル。

日本語対応は、ChatGPT(GPT-3.5)などに比べ、まだちょっと時間を要しそうだった。

「おはようございます。」と入力したところ、ちょっと不自然な組み合わせの返答があった。

急に英語になることもある。

7Bのモデルでは、ソクラテスが古代ギリシャの哲学者であることを知っていたが、野茂英雄元選手は漫画家、大谷翔平選手はプロレスラーという返答だった。

70Bのモデルでは、精度は少し高くなるが、回答速度が遅くなる。

参照:LLaMA2 Chatbot

2023.08.12 追記)

LLaMA2 Chatbot or Chat with a Llama?

インターフェイスが変わっており、名称も「Chat with a Llama」となっている。

アカウント不要かつ無料で、Llama 2-Chatが可能に。


LLaMA2 Chatbotのチャット画面1。

GitHubを見てみたところ、「https://llama.replicate.dev」というサイトもあり、全く同じ作り、ソースコードになっていた。

現在はログイン不要で使用可能。また、画面右横の「Settings」を押すと、調整用のパネルが開く。

2023.08.15 追記)

画面上部に「Powered by Replicate」という記載が追加された。


LLaMA2 Chatbotの画面上部に「Powered by Replicate」が追加された画像。

Replicateとはユーザーが投稿したAIを試すことができるWebサービスの1つ。

また、以前は画面左側にあったパネルが、右側からスライドで現れる。

(英語だがブラウザの翻訳機能が使える。)

LLaMA2 Chatbotのチャット画面2。

参照:Chat with a Llama

チャットの例。

日本語で問いかけても回答が英語となる。ただし意味はある程度通じており、ブラウザの翻訳機能で日本語に変換できる。

英語で「LLaMA2 Chatbot」なのか「Chat with a Llama」なのかを複数回聞いてみたところ、「LLaMA2 Chatbot」とのこと。

LLaMA2 Chatbot or Chat with a Llamaのチャット画面。

replicate / llama-2-70b-chat

アカウント不要かつ無料で、Llama 2-Chatが可能。
Replicateとは?

Replicate.comでは、機械学習された生成AIを使うことができる。言語生成だけでなく、画像生成や動画生成のAIもある。短時間の利用であれば無料。

研究者、開発者向けな感じのサイトで初心者用とは言えないが、翻訳を使えば色々と試せる。

Replicateのサイトから直接、replicate/llama-2-70b-chat – Run with an API on Replicateを使っても、アカウント不要かつ無料で、Llama 2 チャットができる。
モデルの選択。

Llama 2-Chatのモデルは各ページ別となっている。こちらも70Bでも回答速度は遅くない。

日本語レベル。

現時点では日本語と日本語での会話は難しい。(英語ではできる。)

使い方。

画面左側の入力欄(「Input」 > 「prompt」)から始められる。回答のランダム性の調整や生成するトークン数なども細かく調整可能。


Llama 2-Chat - Replicateの画面。

参照:Replicate.com

Perplexity Labs

アカウント不要かつ無料で、Llama 2チャットが可能。

Perplexity Labsは、今のところアカウント不要でかつ無料で使うことができる。

モデルの選択。

画面右下のメニューからモデル(7B、13B、70B)を選択できる。こちらは70Bでも回答速度は遅くない。

日本語レベル。

こちらでは70Bのモデルでも、「おはようございます。」と入力してみたところ、ローマ字混じりの英語での返答だった。

まだ日本語での回答には対応していない模様。時間と共にアップデートされていくのだと思われる。

使い方。

画面下の入力欄から始められる。


Llama 2を使用した、Perplexity Labsのサイトの画面。

こちらもインターフェイスが変わっている。


Llama 2を利用した、Perplexity Labsの画面。

参照:Perplexity Labs

Llama 2-ChatやPerplexity Labsの使い方、日本語対応を考える猫ちゃん。

以上、参考になれば幸いです。


AI 関連メモ。

Chat D-ID 関連メモ。
ChatGPT 関連メモ。
OpenAIのロゴ。
Bard 関連メモ。
Googleのロゴ。
DALL·E 関連メモ。

Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いています。(元々はメモ書きでしたので順次見直し、更新しています。) 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 写真は主にUnsplashPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、購入素材、もしくは自前のものを使用しております。

デザイナー、ディレクター、講師、コーチ / 井川宜久

免責事項について

  • 記事ページ(Memosのページ)は当初は文字通りメモ書きでした。その後、修正や更新をしております。
  • 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ早急に対応いたします。
  • 一個人のポートフォリオサイトですので、万一損害・トラブル等が発生した場合でも、一切の責任を負いかねます。