ChatGPTとBardの違い。なぜAIは日本語チャットが苦手なの? / いがわ

.

Memo

BardとChatGPTの違い。なぜAIたちは日本語が苦手なのだろうか?

プログラムや言語モデルとは思えないイージーなミス。

敬称略

自然な文章を生成。

2022年のChatGPT(チャットGPT)の登場は、自然な文章で会話ができることに大きな驚きがあった。

それまでのAIチャットと比べ、明らかにレベルが違っていた。

まずこの「自然な文章・文体」について、多くの人たちは驚いただろう。

ChatGPTとBardの違い。なぜAIは日本語チャットが苦手なの?

間違いを回答する文章も生成。

その反面、とんでもない間違いを回答することも多々あった。

それでも、口調が優しく、倫理面での問題などもほとんどなかったことから、誤回答でも許せてしまう愛されAIとなっていった。

平気で間違いをするプログラム?

間違えても許される、愛されキャラの立場を確立したChatGPTは、その後もどんどん受け入れられていった。

ただし、冷静になってよくよく考えると、ちょくちょく間違いをするプログラムなんて、計算ができないコンピュータなんて、そもそも違和感がないだろうか?


日本語のテキスト、データ不足?

原因のひとつは日本語のテキストやデータの不足。

世界で最もよく使われている言語は英語であり、コンピュータ言語も英語が基となっている。

そのため必然的に、世界の中では、英語の情報が一番多い。

参考:世界の言語ランキングTOP31!アラビア語が驚異の成長率に|翻訳会社WIPジャパン

日本人データ不足は画像生成AIでも。

ちなみにこの問題は、画像生成AIでも同様で、比較的簡単に生成できる欧米人に比べ、日本人を生成するのは難しい。

ChatGPTとBardの違い。なぜAIたちは日本語が苦手なのだろうか? 猫も考える。

ChatGPT(GPT3.5)の方が、おそらく日本語文章力は高い。

いくら日本語が苦手でも、試験運転中とは言えども、Bardはちょっとよくない。

全く同じ文章を、繰り返し返してきたりするのだ。
そのような「プログラム」、「仕組み」があるのだろう。

この点では、ChatGPTの方がまだ無難で柔らかい。

Bardの方が、おそらく英語の文章力が高い。

ChatGPTも日本語よりも英語の方が精度が高いが、Bardはより、正確性が高い。


試しに、英語でBeatlesについて聞くと…
Bardの場合。

Bardの画面

試しに日本語でも情報量の多い、「The Beatles」について英語で会話をしてみたところ、Bardはかなりマニアックな情報も知っていた。

しかもBeatlesのことを「ビートルズは私の大好きなバンドの1つで、長年にわたってビートルズについて多くのことを学びました。」(日本語訳した言葉。)と言う。

ちょっとした感情があることを匂わせるような言い方だ。

ChatGPTの場合。

ChatGPTの画面

ChatGPTの場合は、「AIの言語モデルとして、私には個人的な好みや感情がないため、何かを好きになったり嫌いになったりする能力はありません。」(日本語訳した言葉。)と言った返答となる。

感情がないことをはっきりと断言する言い方をする。

Paul Mccartneyのシャウト。

ちなみにBardもChatGPTも、ポールが感情をこめてシャウトする曲を知っていた。
(例えばHey Judeはシャウトするが、Yesterdayはしない。)

John Lennonのセッション中の一コマ。

John Lennonはセッションの中で、Paulの曲である「Let It Be」を言葉遊び的に、「Let It A, Let it B, Let It C, Let It D..」と歌っている。

これはそれほど有名なエピソードではなく、ChatGPTは知らなかったが、Bardは知っていた。

参照:John Lennon – Let it A, Let it B, let it C, Let it D..

では、桑田佳祐はどうか?

「Keisuke Kuwata」、「桑田佳祐」については曖昧だった。(英語と日本語の両方で検証。)

桑田佳祐さんは活動期間が長いので、日本語でも情報量が非常に多い。

BardでもChatGPTでも。

もちろん正しい回答の方が多かったが、提示してくれた「桑田佳祐(サザン含む)の代表曲」には、他のシンガーの曲がけっこうな割合で含まれていた。

架空の曲もあった。

Wikipediaを参照すればすぐにわかることでも、間違ってしまう。

英語圏発の情報量と、日本語で話すこと。

The Beatlesはそもそも英語圏の人物なので、英語での情報が多いのは当然と言えば当然。
これは、ChatGPTやBardとの会話でも同じ理屈で、会話を日本語にすると途端に精度が落ちる。

ただ、Web系やIT系の情報や、AIや物理学系の情報はやはり英語発が多い。
なので、これらの分野では、つたない英語で頑張った方が、まだマシである。


日本語版Wikipediaを参照するかどうか?

ChatGPTの場合。

無料で使えるChatGPT-3.5は2021年9月時点までの情報しかなく、Wikipediaもあまり、もしくは全く参照しない。

そもそも、ネット上をブラウジングできない。

Bardの場合。

同じく無料のBardは、一応最新情報にアクセスはでき、Wikipediaも参照している。

それなのにも関わらず、平気で年月や人物の名前を間違ってしまう。

それでもWebブラウジングができるので、ある程度最新情報へも対応ができ、また計算能力も高い。


Bardに作成を依頼した、ChatGPTとの比較表。

Bardに、ChatGPTとの違いについて、なるべく詳細に比較した表の作成を依頼したところ、下記のテーブルが出来上がった。

機能 Bard ChatGPT
開発元 Google AI OpenAI
トレーニングデータ量 1.56兆単語 1750億単語
トレーニングデータソース テキストとコードの膨大なデータセット テキストとコードの膨大なデータセット
利用可能な言語 265 65
テキストの生成 はい はい
言語の翻訳 はい はい
さまざまな種類のクリエイティブコンテンツの作成 はい はい
質問への回答 はい はい
開発状況 開発中 開発中
価格 無料 有料
制限 なし いくつかの制限あり
利点 より多くのデータとより多くの言語、および無料 より多くの機能とより多くの言語、および有料
欠点 まだ開発中、および無料 まだ開発中、および有料
全体的な評価 優秀 優秀

Bardが言うには、

「ご覧のとおり、BardとChatGPTは非常に似た言語モデルです。どちらもテキストの生成、言語の翻訳、さまざまな種類のクリエイティブコンテンツの作成、質問への回答を行うことができます。ただし、BardはChatGPTよりもトレーニングデータ量が多く、利用可能な言語も多くなっています。また、Bardは無料で使用できますが、ChatGPTは有料です。」

とのこと。


間違いも日本語も、おそらくプラグインによって解決されていく。

ChatGPTもBardも、一般公開されてから数ヶ月しか経っていない。

そしてどちらもプラグインが発表され、これからもどんどんと増えていく流れにある。

なのできっと、時間が経てば解消されるのだろう。

猫ちゃんの疑問。BardとChatGPTの違い。なぜ彼らは日本語が苦手なのだろうか?

以上、参考になれば幸いです。


Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いているので「です・ます調」ではありません。(元々はメモ書きでした。) 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 写真は主にUnsplashPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、もしくは自前のものを使用しております。

井川 宜久 / Norihisa Igawa
デザイナー、ディレクター、講師、コーチ / 井川宜久

AI 関連メモ。

ChatGPT 関連メモ。

DALL·E 関連メモ。

Sora 関連メモ。

Gemini 関連メモ。

Copilot、Bing 関連メモ。

Llama 関連メモ。


免責事項について

  • 記事ページ(Memosのページ)は当初は文字通りメモ書きでした。その後、修正や更新をしております。
  • 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ早急に対応いたします。
  • 一個人のポートフォリオサイトですので、万一損害・トラブル等が発生した場合でも、一切の責任を負いかねます。