Llama 2(ラマツー)の使い方や日本語は? ダウンロード手順とブラウザ実装サイト。デザイナー、コーチ、ディレクター / 井川

.

Memo

です・ます調の文章でなくすみません。

当初の名残りです..pets

Llama2について。使い方や日本語のチャット例。

Llamaとは?

Llama

Llamaは、Meta社による会話型、対話型のAI。

OpenAI社のChatGPTと同じく、もともとはGoogle社が開発したTransformer (機械学習、深層学習モデル)による自然言語処理をベースとしている。

動物のラマ(リャマ)と同じスペルで、名前が可愛らしい。

MetaのLLM。

LLMは「Large Language Models(大規模言語モデル)」の略称であり、ChatGPTやBard、Bing Chatなどの生成AIのことを指す言葉。

Llamaと会話できる? チャットサイトの使い方や日本語対応は?


Llama 2。Meta社による会話型、対話型AI、LLM。

次世代LLM。Llama 2。

Llamaは「Large Language Model Meta AI(Metaの大規模言語モデル)」の略称となっており、FacebookやInstagramで有名なMeta社による生成AI。

今回はそのLlamaの、バージョンアップ版となる。

Llama 2にできること。
  • 自然言語による会話。
  • 文章の生成。
  • 翻訳。
  • インターネット検索。
  • AIチャットシステムの作成。
  • MicrosoftのAzureやWindows、AmazonのAWSなどでの活用。

その他、さまざまな場面で使用されていくと思われる。

引用元サイト:Meta and Microsoft Introduce the Next Generation of Llama

商用利用可、かつ無料で使える。

Meta社のブログによると、Microsoft社も関わっており、研究や商用利用が無料で可能とのこと。

Llamaとラマ、そして人間とのニューラルネットワークは可能だろうか?

Llama 2の読み方は?

Llama 2の読み方は、そのまま「ラマツー」となる見通し。

Llama 2の日本語対応は?

日本語対応はしているが、後述のチャットサイトで実際に会話してみたところ、現時点では日本語力は高くない。

また、使用モデル(7B、13B、70B)によって、精度が異なる。

日本語の情報量、学習量が少ないことが想定されるので、これから対応していくと思われる。

Llama 2はオープンソースで提供。

Meta AIのサイトでは、オープンソースで提供されるとのこと。(ライセンス要確認。)

引用元サイト:Meta AI

ライセンスの注意点。

商用利用可だが、Llama 2コミュニティライセンス契約によると、月間ユーザー数が7億人を超えている場合は追加ライセンスが必要となる模様。

ライセンス契約や利用規約などについては下記ページへ記載がある。

参照:Request access to Llama (英語。ブラウザで翻訳可。)
参照:Use Policy (英語。ブラウザで翻訳可。)


Llama 2のダウンロードページ。

Metaの公式サイトに、Llama 2のダウンロードページが用意されている。

引用元サイト:Llama 2 – Meta AI

次世代Llamaへのリクエスト。

「Download the Model」をクリックすると画面が切り替わり、アカウント作成画面のような、氏名やメールアドレスなどの入力項目が現れる。

Llama 2のダウンロードページの画面。

入力項目に入力し、画面下部にある「Accept and Continue(同意して実行)」のボタンを押すと、モデルのダウンロードができるようだ。

ダウンロード注意点。

ダウンロードされるのはあくまでもコードであり、実装するためには、Pythonやコマンドプロンプトやターミナル、GitHubなどの、プログラム系の知識が必要。

ChatGPTやBardなどのように、チャットだけを試してみたい場合は、下記にLlama 2 チャットサイトの紹介があります。)

Llama 2のモデル。

Llama 2には以下の3つのモデルがある。

  • Llama 2-7B:70億パラメータ
  • Llama 2-13B:130億パラメータ
  • Llama 2-70B:700億パラメータ
  • 「B」は「Billion(10億)」の略。)

パラメータが増えていくにつれ精度、性能が高くなるが、その分インストールするPCのCPUメモリ容量などのスペックによってはかなり重たくなってしまう。

先代のLlamaを全てダウンロードすると200GBを超えるという情報や、Llama 2の7Bモデルだけで13GB以上という情報もあった。

LLMのパラメータは、ニューロンとシナプス、ニューラルネットワークのよう。

LLMのパラメータとは?

LLMのパラメータは、人間の脳で例えた場合、ニューロン(神経細胞)をつなぐシナプスのようなものと言われたりする。

基本的に数が多いほど学習量が多く、情報量や情報伝達に長けている。

ただし情報過多になると逆に判断力が鈍ってしまうように、単純にパラメータが多ければ良いというわけではない。

目安としては、他のLLMのパラメータは以下の数となっている。

確認できる範囲、またはそれぞれのAIに聞いてみた数値。)

  • GPT-3:1,750億パラメータ
  • ChatGPT(GPT-3.5):3,550億パラメータ
  • GPT-4:非公開
  • Bard:5,400億パラメータ
  • Bing Chat:3,550億パラメータ

GitHubからLlamaをダウンロードできる。

GitHub上のLlama。

Llama 2の事前トレーニング済みモデルは、2兆のトークンでトレーニングされているという。

トークン数が多いほど単語や文字数の扱いに長けるが、GitHub上のREADMEによると、事前トレーニング済みモデルはチャットやQ&A用に微調整されていないとのこと。

なので、3つのモデルがさらに2つに分けられる。

  • Pretrained Models(事前トレーニング済みモデル)
  • Fine-tuned Chat Models(llama-2-7b-chat、llama-2-13b-chat、llama-2-70b-chatなどのチャットモデル)
pets要チェック、README。

2023.07.18時点で、ダウンロードやライセンス同意についての注意が記載されている。

参照:facebookresearch/llama: Inference code for LLaMA models

AzureやWindowsにおけるLlama 2。

Microsoft Azureのクラウドで活用できるようになり、Windowsのローカルでの実行にも最適化されているとのこと。

参照:Meta and Microsoft Introduce the Next Generation of Llama

MetaのLLM。Llama 2。


Llama 2のブラウザ実装サイト。

すでにLlama 2のチャットモデルをサイトに実装している方々がおり、ブラウザ上で会話を試すことができる。

注意点。

ChatGPTやBard、Bingなどと同じように、個人情報や機密情報の入力には気をつけた方が無難。

Chat with Llama 2(LLaMA2 Chatbot)

モデルの選択。

LLaMA2 Chatbotの場合は、画面右のメニューから、7B、13B、70Bとモデルを選択できたり、出力される回答の調整ができたりする。

LLaMA2 Chatbotのチャット画面。

参照:Chat with Llama 2(LLaMA2 Chatbot)

2024.02.02 追記)

「Llava 13B」と「Salmonn」というモデルが追加されていた。

モデルや文字数の調整などについて。
  • Llama Size: サイズが大きいほどスマートになるが、速度は遅くなる。
  • System Prompt: プロンプトの先頭に追加され、システムの動作をガイドするのに役立つとのこと。
  • Temperature: ランダム性の調整。1以上はランダム。MAXは5。0.75が適切な開始値。
  • Max Tokens: チャットの最大文字数。ChatGPT(GPT-3.5)の目安が日本語2,048文字まで。
  • Top P: テキストをデコード(解読)するときに、最も可能性の高いトークン(単語や句読点で分けたテキスト)の上位からサンプリングする。MAXは1。
使い方。

LLaMA2 Chatbotでのチャットの仕方は、ChatGPTやBard、Bing Chatと同様、画面下の入力欄から始められる。

スクショはダークモード時のもの。)

参照:Chat with Llama 2(LLaMA2 Chatbot)

日本語レベル。

日本語対応は、ChatGPT(GPT-3.5)などに比べ、まだちょっと時間を要しそうだった。

「おはようございます。」と入力したところ、ちょっと不自然な組み合わせの返答があった。

急に英語になることもある。

7Bのモデルでは、ソクラテスが古代ギリシャの哲学者であることを知っていたが、野茂英雄元選手は漫画家、大谷翔平選手はプロレスラーという返答だった。

70Bのモデルでは、精度は少し高くなるが、回答速度が遅くなる。

2024.02.02 追記)

野茂英雄元選手と大谷翔平選手についての回答が大幅に改善されていた。両者ともほとんど間違いがない内容だった。

アカウント不要かつ無料で、Llama 2-Chatが可能に。

GitHubを見てみたところ、「https://llama.replicate.dev」というサイトもあり、全く同じ作り、ソースコードになっていた。


LLaMA2 Chatbotのチャット画面1。

参照:Chat with Llama 2(LLaMA2 Chatbot)

両サイトともログイン不要で使用可能。


LLaMA2 Chatbotの画面上部に「Powered by Replicate」が追加された画像。

Replicateとはユーザーが投稿したAIを試すことができるWebサービスの1つ。

チャットの例。

日本語で問いかけても回答が英語となっていたが、少し改善されている。

英語で「LLaMA2 Chatbot」なのか「Chat with a Llama」なのかを複数回聞いてみたところ、「LLaMA2 Chatbot」とのこと。

画像ファイルや音声ファイルのアップロードができるようになっている。

LLaMA2 Chatbotのチャット画面。

replicate / llama-2-70b-chat

アカウント不要かつ無料で、Llama 2-Chatが可能。
Replicateとは?

Replicate.comでは、機械学習された生成AIを使うことができる。言語生成だけでなく、画像生成や動画生成のAIもある。短時間の利用であれば無料。

研究者、開発者向けな感じのサイトで初心者用とは言えないが、翻訳を使えば色々と試せる。

Replicateのサイトから直接、replicate/llama-2-70b-chat – Run with an API on Replicateを使っても、アカウント不要かつ無料で、Llama 2 チャットができる。
モデルの選択。

Llama 2-Chatのモデルは各ページ別となっている。こちらも70Bでも回答速度は遅くない。

日本語レベル。

現時点では日本語と日本語での会話は難しい。

使い方。

画面左側の入力欄(「Input」 > 「prompt」)から始められる。回答のランダム性の調整や生成するトークン数なども細かく調整可能。


Llama 2-Chat - Replicateの画面。

参照: meta/llama-2-70b-chat – Run with an API on Replicate

Perplexity Labs

アカウント不要かつ無料で、Llama 2チャットが可能。

Perplexity Labsも、今のところアカウント不要でかつ無料で使うことができる。

モデルの選択。

画面右下のメニューからモデルを選択できる。こちらは70Bでも回答速度はなかなか速い。

いつの間にか、モデル数も増えている。

Llama 2を使用した、Perplexity Labsのサイトの画面。

日本語レベル。

当初は日本語での会話は難しかったが、こちらも数ヶ月間で驚くほど上達している。

使い方。

画面下の入力欄から始められる。


Llama 2を利用した、Perplexity Labsの画面。

参照:Perplexity Labs

Llama 2-ChatやPerplexity Labsの使い方、日本語対応を考える猫ちゃん。

以上、参考になれば幸いです。


AI 関連メモ。

ChatGPT 関連メモ。
OpenAIのロゴ。
Bard 関連メモ。
Googleのロゴ。
DALL·E 関連メモ。

Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いているので「です・ます調」ではありません。(元々はメモ書きでした。) 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 写真は主にUnsplashPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、購入素材、もしくは自前のものを使用しております。

デザイナー、ディレクター、講師、コーチ / 井川宜久

免責事項について

  • 記事ページ(Memosのページ)は当初は文字通りメモ書きでした。その後、修正や更新をしております。
  • 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ早急に対応いたします。
  • 一個人のポートフォリオサイトですので、万一損害・トラブル等が発生した場合でも、一切の責任を負いかねます。