ChatGPT（GPT-4o）で、PDF要約の精度を検証した結果。
Contents - 目次
ChatGPTのPDF要約はどこまでできるのか？
PDF要約検証。Illustratorのショートカットキーのリスト。
GPT-4oのPDF要約をチェック。
GPT-4oではPDF要約もできる。そこで、どこまでできるのかを検証してみた。
（※無料プランでは回数などの制限あり。2024年5月下旬時点ではGPTsもまだ利用できない。）
PDFファイルを用意。
Adobe公式サイトから、PDFをダウンロード。
このPDFファイルは編集権限が必要なため、基本的に編集ができない。また、PDFファイルとしてはペライチのシンプルなもの。
ChatGPT（GPT-4o）へアップロード。
ChatGPTがPDFファイル内の文字を認識し、要約をする。
PDFファイルの内容が、Adobe Illustratorのショートカットキーリストであることは正しく認識している。
キーボード部分の「shift」や「command」などの色分けも判断しているので、単純に文字だけを認識しているわけではない様子。
ChatGPTへのメッセージで「要約」という言葉を一切使用していないにもかかわらず、自主的に「主要なポイント」としてまとめている。
ただ、こちらが想定したものとは限らないので、指示出しに気をつけなければならない。
ChatGPTの要約が正しいかをチェック。
少なくとも、以下の4つはPDFには記載されていなかった。
そして、間違った内容も出力していた。
- PDFには記載されていない、「背面へペースト」を出力している。（ショートカットは正しい。）
- PDFには記載されていない、「ガイドを作成」を出力している。（ショートカットも間違い。）
- PDFには記載されていない、「アンカーポイントの追加」を出力している。（ショートカットも間違い。）
- PDFには記載されていない、「アンカーポイントの削除」を出力している。（ショートカットも間違い。）
ChatGPTの回答は、必ずしも正しいとは限らないということ。
（※ChatGPTへのメッセージ入力欄の下に注意書きがされているように。）
ChatGPTのPDF要約を再確認。
PDF要約検証。Photoshopのショートカットキーのリスト。
PDFファイルを用意。
別の日、同じくAdobe公式サイトから、Photoshopのショートカットキー一覧のPDFをダウンロード。
ChatGPT（GPT-4o）へアップロード。
ChatGPTがPDFファイル内の文字を認識し、要約をする。
前回とセッションを変えて、メッセージは同じ、「こんにちは」と「このファイルの内容がわかりますか？」にして検証。
前回同様、Adobe PhotoshopのショートカットキーリストのPDFファイルであることは認識している。
やはり、GPT-4oが自主的に「Mac用ショートカット」と「Windows用ショートカット」を要約してくれている。
もしかしたら学習しているのか、前回よりも見やすく、無難になっている。
そして比較的難しいと思われる、「キーボードの部分」については一切触れていない。
改めて「キーボードの配列部分」について聞いてみたところ、ちょっとややこしい感じとなってしまった。
なので、「Mac用だけの、すべてのキーボードショートカットを箇条書きにしてください。Windowsは必要ありません。」という指示で依頼してみた。
これでだいぶ想定通りの感じに要約、テキスト化ができた。
ChatGPTの要約が正しいかをチェック。
内容を確認したところ、PDFの「テキスト」の部分はほぼ間違いなかった。
が、「キーボードの配列」の箇所はいくつか間違いがあった。
- PDFに記載されている、「色の校正」のショートカットが間違っている。
- PDFに記載されている、「不透明度」のショートカットが間違っている。（10%〜100%までの計10箇所。）
- PDFには記載されていない、「ブラシ設定変更」を出力している。（ショートカットも間違い。）
少なくとも上記の3項目は誤り。この感じであれば、このままでは学校などのテストでは使えない。
ファクトチェックは必須。
GPT-4oによるPDFと画像の違いを確認。
画像認識検証。Illustratorのショートカットキーのリスト。
ChatGPTの画像認識をチェック。
GPT-4oでは画像認識もできる。そこで、PDFと全く同じ内容のWebPファイルで検証。
画像なので、PDFのような「テキストデータ」は含まれていない。
今回も前回とセッションを変えて、メッセージは同じにして検証。
Illustratorのショートカットキーリストであることは、しっかりと認識している。
ただし、間違いや記載されていない内容を出力している。
画像認識検証。Photoshopのショートカットキーのリスト。
ChatGPTの画像認識をチェック。
次に同じく、Photoshopのショートカットキーリストの画像。
Photoshopのショートカットキーリストであるという認識は問題なし。
しかし、やはり明らかな間違いがチラホラと見られる。
PDFファイルでも画像ファイルでも、人間からは見た目は一緒だが、ChatGPTからは違うのかもしれない。
少なくとも、こちらが全く同じ言葉で依頼しても、回答が同じとはならない。
GPT-4oのPDF要約をチェックしてみた感想。
ChatGPTとはなんなのか？
ソフトウェアとハードウェア。
今回は2種類だけなのでサンプル数は少ない。
それでも想像以上に精度は高く、自信満々で間違うというということはわかる。
一旦原点に戻って考えてみた。
ChatGPTは、同じ「ソフトウェア」であるIllustratorやPhotoshopとは違う。
もちろん、同じ「機械」である、MacやWindows、iPhoneやAndroidとも違う。
機械が間違うリスク。
機械が間違うのは不思議なことでもあり、リスクでもある。
100円ショップで買える計算機でも、間違うことはまず考えられない。
しかし医療機器や自動運転が間違ってしまうと、極めてリスクが大きい。
デバイスとシナプス。
ChatGPTなどの生成AIのポテンシャルと成長速度は、デジタルデバイスが普及したときと似ている。
そしてそれらは互いに組み込まれていく。
気持ちの通じ合い、みたいな複雑でありシンプルでもある、シナプスのようなものが必要なのかもしれない。
以上、参考になれば幸いです。
※Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いているので「です・ます調」ではありません。（元々はメモ書きでした。） ※事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 ※写真は主にUnsplashやPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、もしくは自前のものを使用しております。
井川 宜久 / Norihisa Igawa
AI 関連メモ。
ChatGPT 関連メモ。
- iPhoneやiPad、MacでChatGPT（GTP-4o）が。Apple Intelligence。
- 生成AIとWebデザイン、ChatGPTを活用したコーディングに必要なもの。
- ChatGPT最新モデル GPT-4oが無料でも。使える主な機能。
- ChatGPT（GPT-4o）で、PDF要約の精度を検証した結果。
- GPT-4o。ChatGPTと画像見ながら音声で会話？有料でも無料でも。
- ChatGPT 3.5（無料版）でも画像生成が可能に。GPT-4だけじゃない！？
- ChatGPT（チャットGPT）にアーカイブ機能が。復元も削除も。
- ChatGPT（チャットGPT）を日本語化。日本語設定の方法。
- ChatGPT（チャットGPT）との音声会話と、音声の変更方法。
- ChatGPTアプリのインストールとログイン方法、チャットの使い方。
- ChatGPT（チャットGPT）のスペルチェック、文章校正がむっちゃ楽。
- ChatGPT（チャットGPT）へのログイン方法。ログインできないとき。
- ChatGPTにプラグイン。広がる機能と使い方。最新情報へも。
- ChatGPTがLINEに?「AIチャットくん」の始め方、そして使い方。
- ChatGPTの始め方と使い方と。初心者向けシンプル版。
- ChatGPTはSVGアイコンを作れるのか？
- ChatGPTの文章作成やコーディング、SEO対策は変わるか？
DALL·E 関連メモ。
Sora 関連メモ。
- OpenAI Soraの短編映画。アーティストや映画制作者たち。
- OpenAIのSoraの公開デモから、Soraの仕組みをできるだけシンプルに。
- OpenAIからSora（動画生成AI）が広がる。使用はテキストから動画形式で。
Gemini 関連メモ。
- BardからGeminiに。使い方はどう変わる？日本語対応は？
- Bard（Gemini）が絵を描けるように。テキストから画像生成の方法。
- Bard（Gemini）の画像認識の使い方。日本語対応済み、Googleレンズで画像読み取り。
- 最新情報を日本語かつ無料で使いたいときは、GoogleのBard？
- ChatGPTとBardの違い。なぜAIは日本語チャットが苦手なの？
- Bard（Gemini）が日本語対応。ログイン方法や最新情報など、使い方の例。
- BardでGemini。Googleの最新AIを無料で使う方法。
- GoogleのBardは、OpenAIのChatGPTを越えられるだろうか？
Copilot、Bing 関連メモ。
- ChatGPTとCopilotの違い。料金や、できることと、できないこと。
- Copilotとは？ GPT-4とDALL·E 3が無料で使える生成AI。
- SkypeのBingチャット。GPT-4を日本語かつ無料で使える。& 注意点。
- BingのGPT-4、チャットの使い方。使えない？（今はまだ。）
- MacでGPT-4（ChatGPT最新版）を使う場合、Edgeが必要なのかも。
Llama 関連メモ。
- Meta Horizon OSとApple Vision Pro。オープンかクローズか。
- Llama 3。無料でオープンソースなMeta AI最新モデル。
- Llama 2（ラマツー）の使い方や日本語は？ ダウンロード手順とブラウザ実装サイト。