ChatGPTの正確性を、簡単かつ格段に上げる使い方。 / メモ / いがわ

ChatGPTの正確性を、簡単かつ格段に上げる使い方。

2023.01.25 2024.06.26更新。

Contents - 目次

1 ChatGPTは大谷翔平を驚くほど知らない？
2 ChatGPTは、イチローについても、かなり間違った認識を持っている。
3 ChatGPTへの、日本語と英語でのベーブ・ルースへの質問。
4 正確性の高い情報を知りたいときは？
5 ハルシネーションとは？
6 ChatGPTへはステップ・バイ・ステップで。
7 AI 関連メモ。

ChatGPTは大谷翔平を驚くほど知らない？

（※敬称略）

ChatGPTは、大量のテキストテータから学習しているとのこと。

そこでChatGPTへ、大谷翔平選手について知っているかを聞いてみた。
ところがChatGPTは、はちゃめちゃな答えを返してくれる。

（※その後は、着々と改善中。）

「大谷翔平について何か知っていますか？」

ChatGPTへの質問と返答。

ChatGPTの正確性を上げる使い方の例。

ChatGPTの課題。ハルシネーション。

実際には、大谷翔平選手は2013年に北海道日本ハムファイターズからNPBデビューし、2018年にはロサンゼルス・エンゼルスからMLBデビューし、新人王を獲得している。

現時点では、ChatGPTは2021年3月までの情報しか保持していないそうなので、ある程度は仕方ない。

が、彼のMLBでの所属球団は2018年〜2021年3月時点まで一度も変わっておらず、日本でも日ハム以外に所属したことはない。

実存しないチームや賞、リーグまで答えてくる。

画像サイズとブレイクポイントの目安。

野球選手については、ネット上に英語でも日本語でも十分なテキストデータがあるはずなのに、なんだかちょっと不思議。

なぜか、一回も正確な答えがない。

負荷がかかってしまったのか、正確な返答ができないという旨のメッセージが出て、質問は打ち切りとなってしまった。

※2023.10.01 追記）

その後、日本語での精度も上がっている。

ChatGPTの画面。数ヶ月で精度が上がっている。

大谷翔平選手への質問の回答が改善されている。

ChatGPTは、イチローについても、かなり間違った認識を持っている。

「イチロー選手は知っていますか？」

ChatGPTへの質問と返答。

ChatGPTへの質問。イチロー選手は知っていますか？への返答。

イチローまでも、このような感じ。現在はヤンキースに所属し、日本のプロ野球で22年間プレーし、MLBでも12年間プレーしているという。

年齢もデビュー時期もチームもプレー期間もまるで違う。

一体どこから得た情報なのだろうか。少なくとも一般的なメディアやWikipediaでそのような記載は見たことがない。

この感じの断定口調で答えられたら、野球に詳しくない人は真に受けてしまうのではないだろうか。

※2023.10.01 追記）

イチロー元選手への質問の回答も改善されている。

正確性が上がったChatGPTの画面。

ChatGPTへの、日本語と英語でのベーブ・ルースへの質問。

「ベーブ・ルースを知っていますか？」

大谷翔平やイチローは日本人であり、メディアもWikipediaに執筆する方も日本人が多いので、英語と比べるとテキストデータは少ないだろう。

それが原因かもしれない。

そこで英語でのテキストデータが大量にあると思われる、野球の神様「ベーブ・ルース」についても聞いてみた。

ChatGPTへの質問と返答。

ChatGPTへの質問。ベーブ・ルースは知っていますか？への返答。

ところが、だめだった。はい、知っていますと断言したのにも関わらずに、誤情報のオンパレードだ。

ChatGPTは野球が好きではないのだろうか。

「Do you know 「Babe Ruth」？」

そこで、発想を変えて英語で尋ねてみることにした。すると、おおむね正しい回答が返ってきた。

（実際には、最終年はボストン・ブレーブス（現アトランタ・ブレーブス）でもプレーしている。）

英語での質問、「Do you know babe ruth？」に対するChatGPTの回答は正確性が高い。

※2023.10.01 追記）

ベーブ・ルース元選手への質問の回答も、改善されている。

正確性が上がったChatGPTの画面。

大谷選手、イチロー元選手同様に、余計なことを答えようとして誤情報を出さないような簡潔な回答となっている。

正確性の高い情報を知りたいときは？

上記の試行錯誤で、コツがわかる。

正確性の高い情報を知りたいときは、英語で質問すると良い。

そこで今度は、英語で大谷翔平選手について聞いてみた。

「Do you know about Shohei Ohtani?」

「Do you know about Shohei Ohtani？」に対するChatGPTの回答も正確性が高い。

大谷翔平でも、日本語での質問に対して、格段に、精度が上がった。間違えもほぼない。

しかもなぜか、2021年秋に発表された、アメリカンリーグMVP受賞のことも知っていた。

（※前述の通り、ChatGPTは2021年3月時点での情報しか知らないと自分で言っている。）

「Do you know about Ichiro?」

イチローについては…

「Do you know about Ichiro？」に対するChatGPTの回答は正確性が高い。

試合数や殿堂入りなど、けっこう重要な部分に誤情報があるが、やはり、日本語よりは正確性は上がった。

今回は野球選手についての質問をしてみたが、以前音楽に関する質問でJohn Lennon（ジョン・レノン）に兄がいると言ったり、物理学に関わる質問時に素粒子のニュートリノがまだ発見されていないとの返答も受けたりしていたので、野球に限らず、ChatGPTは日本語に弱いのだと思われる。

なので、英語で聞いた方が現時点では無難な答えが得られるだろう。

また、一気に答えを求めずに、こちらから情報や条件を伝え、段階的にやりとりをすると、精度が高くなる。

※2023.10.01 追記）

ジョン・レノンについても改善されていた。

Hey JudeとLet It Beはポール・マッカートニーの代表作だが、それ以外は正しい。

正確性が上がったChatGPTの画面。

英語で聞いてみても、正確性が上がっていた。

「Do you know about John Lennon?」

正確性が上がったChatGPTの画面。

Google語訳による日本語訳。

正確性が上がったChatGPTの画面。

英語は苦手だ。わからないよ！という場合は。

英語に苦手意識がある場合は、日本語での質問をGoogle 翻訳やDeepL翻訳などの翻訳サイトやブラウザのツールで翻訳すれば良い。

コピペでできる上、翻訳機能は一足先に、精度が上がっている。

会話生成AIのChatGPTはハルシネーションを起こすことがある。

ハルシネーションとは？

AIによる幻覚。

ハルシネーションが起こる。

Wikipediaによると、「ハルシネーションとは、AI（人工知能）が学習したデータからは正当化できないはずの回答を堂々とする現象」とのこと。

2023年にAIが大躍進し、それに伴いハルシネーションという言葉もよく使われるようになった。

原因がわかれば対策を講じることができるので、上記の野球選手に関するハルシネーションはわずか数ヶ月という期間で改善されていった。

ChatGPTへはステップ・バイ・ステップで。

AIの仕組み、ニューラルネットワーク。

ニューロンとシナプス。ニューラルネットワーク。

また、人間と同様に、段階的に、ステップ・バイ・ステップで質問していくと正確性が上がりやすい。

いきなりどかっと質問したり、あちこち飛び飛びで質問したりすると、精度が上がりにくくなる。

そもそもAIは、人間の頭脳を参考に設計されているのだから、前述のように幻覚のような症状が出たりもする。

なので、段階的、具体的に、質問をしていけば良いと思われる。

ChatGPTへ質問をするとき。

なにかを質問をするときに、回答が長すぎることがある。

そういうときは、「○○文字以内で簡潔に答えてください。」や、「小学生でもわかるようにお願いします。」などの文を加えると短くできる。

また、「あなたは〇〇のプロです。」で始まる文章での指示が効果的だという情報が多い。

あくいは、「ではこの出力を60点とします。これを60点とした時に、100点とはどのようなものですか？」で始まるものも精度が高くなると言われている。

方向性をはっきりとさせて、段階的かつ柔軟に進めていけば良いと思われる。

ChatGPTの正確性を、簡単かつ格段に上げる猫。

以上、参考になれば幸いです。

※Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いているので「です・ます調」ではありません。（元々はメモ書きでした。） ※事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 ※写真は主にUnsplashやPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、もしくは自前のものを使用しております。