ChatGPTの正確性を、簡単かつ格段に上げる使い方。デザイナー、コーチ、ディレクター / 井川

igawa design.

Memo

ChatGPTの具体例。意外と野球選手を知らない。

です・ます調の文章でなくてすみません。当初は個人的なメモ書きだったためです。

ChatGPTは大谷翔平を驚くほど知らない?

ChatGPTは、大量のテキストテータから学習しているとのこと。

そこでChatGPTへ、大谷翔平選手について知っているかを聞いてみた。
ところがChatGPTは、はちゃめちゃな答えを返してくれる。

「大谷翔平について何か知っていますか?」

ChatGPTの正確性を上げる使い方を教えて。

実際には、大谷翔平は2013年に北海道日本ハムファイターズからNPBデビューし、2018年にはロサンゼルス・エンゼルスからMLBデビューし、新人王を獲得している。

現時点では、ChatGPTは2021年3月までの情報しか保持していないそうなので、ある程度は仕方ない。

が、彼のMLBでの所属球団は2018年〜2021年3月時点まで一度も変わっておらず、日本でも日ハム以外に所属したことはない。

実存しないチームや賞、リーグまで答えてくる。

画像サイズとブレイクポイントの目安。

野球選手については、ネット上に英語でも日本語でも十分なテキストデータがあるはずなのに、なんだかちょっと不思議。

なぜか、一回も正確な答えがない。

負荷がかかってしまったのか、正確な返答ができないという旨のメッセージが出て、質問は打ち切りとなってしまった。


ChatGPTは、イチローについても、かなり間違った認識を持っている。

「イチロー選手は知っていますか?」

ChatGPTへの質問。イチロー選手は知っていますか?への返答。

イチローまでも、このような感じ。現在はヤンキースに所属し、日本のプロ野球で22年間プレーし、MLBでも12年間プレーしているという。

日本で22年間のプレーであればMLBデビュー時は40歳となり、プロ生活の合計も34年間となり、現在52歳の人物となる。(実際は49歳。)

というよりも、2019年に引退なのであれば実働34年となるので、イチローのデビューも1985年まで遡ってしまう。

年齢もデビュー時期もチームもプレー期間もまるで違う。

一体どこから得た情報なのだろうか。少なくとも一般的なメディアやWikipediaでそのような記載は見たことがない。

この感じの断定口調で答えられたら、野球に詳しくない人は真に受けてしまうのではないだろうか。


ChatGPTへの、日本語と英語でのベーブ・ルースへの質問。

「ベーブ・ルースを知っていますか?」

大谷翔平やイチローは日本人であり、メディアもWikipediaに執筆する方も日本人が多いので、英語と比べるとテキストデータは少ないだろう。

それが原因かもしれない。

そこで英語でのテキストデータが大量にあると思われる、野球の神様「ベーブ・ルース」についても聞いてみた。

ChatGPTへの質問。ベーブ・ルースは知っていますか?への返答。

ところが、だめだった。はい、知っていますと断言したのにも関わらずに、誤情報のオンパレードだ。

ChatGPTは野球が好きではないのだろうか。

「Do you know 「Babe Ruth」?」

そこで、発想を変えて英語で尋ねてみることにした。すると、おおむね正しい回答が返ってきた。

(実際には、最終年はボストン・ブレーブス(現アトランタ・ブレーブス)でもプレーしている。)

英語での質問、「Do you know babe ruth?」に対するChatGPTの回答は正確性が高い。


正確性の高い情報を知りたいときは?

上記の試行錯誤で、コツがわかった。

正確性の高い情報を知りたいときは、英語で質問すると良い。

そこで今度は、英語で大谷翔平について聞いてみた。

「Do you know about Shohei Ohtani?」

「Do you know about Shohei Ohtani?」に対するChatGPTの回答も正確性が高い。

大谷翔平でも、日本語での質問に対して、格段に、精度が上がった。間違えもほぼない。

しかもなぜか、2022年のアメリカンリーグMVP受賞のことも知っていた。

(前述の通り、ChatGPTは2021年3月時点での情報しか知らないと自分で言っている。)

「Do you know about Ichiro?」

イチローについては、、、

「Do you know about Ichiro?」に対するChatGPTの回答は正確性が高い。

試合数や殿堂入りなど、けっこう重要な部分に誤情報があるが、やはり、日本語よりは正確性は上がった。

今回は野球選手についての質問をしてみたが、以前音楽に関する質問でJohn Lennon(ジョン・レノン)に兄がいると言ったり、物理学に関わる質問時に素粒子のニュートリノがまだ発見されていないとの返答も受けたりしていたので、野球に限らず、ChatGPTは日本語に弱いのだと思われる。

なので、英語で聞いた方が現時点では無難な答えが得られるだろう。

また、一気に答えを求めずに、こちらから情報や条件を伝え、段階的にやりとりをすると、精度が高くなる。

敬称略)


2023.02.14追記)

ChatGPTは実際に日本語に弱いそうだ。世界における日本語の使用率は数%と少ないので、当然ChatGPTは日本語よりも英語のテキストデータの方を優先して学習している。

また同様に、「言語」を優先しているため、「計算」を苦手としている。

ChatGPT(チャットGPT)は計算が苦手。


ChatGPT 関連メモ。
後日追記)
ChatGPTアプリ。
OpenAI社が、「ChatGPT app for iOS」をリリース。

参考:Introducing the ChatGPT app for iOS

(英語だがブラウザの翻訳機能で読める。)
GPT-4。
OpenAI社が、有料プラン向けの「GPT-4」をリリース。

参考:GPT-4

(英語だがブラウザの翻訳機能で読める。)
GPT plugins。
OpenAI社が、「ChatGPT plugins」をリリース。

関連:ChatGPTにプラグイン。広がる機能と使い方。最新情報も。

ChatGPTの正確性を、格段に上げる使い方。


英語は苦手だ。わからないよ!という場合は。

英語に苦手意識がある場合は、日本語での質問をGoogle 翻訳DeepL翻訳などの翻訳サイトやブラウザのツールで翻訳すれば良い。

コピペや検索バーでできる上、翻訳機能は一足先に、精度が上がっている。


AI 関連メモ。

Chat D-ID 関連メモ。
ChatGPT 関連メモ。
OpenAIのロゴ。
Bard 関連メモ。
Googleのロゴ。
DALL·E 関連メモ。

以上、参考になれば幸いです。


Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いています。(元々はメモ書きでしたので順次見直し、更新しています。) 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 写真は主にUnsplashPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、購入素材、もしくは自前のものを使用しております。

デザイナー、ディレクター、講師、コーチ / 井川宜久

免責事項について

  • 記事ページ(Memosのページ)は当初は文字通りメモ書きでした。その後、修正や更新をしております。
  • 事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ早急に対応いたします。
  • 一個人のポートフォリオサイトですので、万一損害・トラブル等が発生した場合でも、一切の責任を負いかねます。