ChatGPTの実録第2弾|AIライティングの陥りやすい罠を実際の事例から検証④

ChatGPTを開発したOpenAI(オープンAI)のCEO、サム・アルトマン氏の解任騒動が注目を集めています。騒動の背景には、AI開発のスピードを優先するアルトマン氏と、より安全性を重視する理事会との間での対立があったと報じられています。

AI開発の競争が激化しているとはいえ、AIの開発においてスピードを優先してもいいのでしょうか?AIの活用には、セキュリティ面や倫理的な課題など多くの問題が浮上しています。

この記事では、ChatGPTを活用したAIライティングの実例を通じて、その有用性と同時に陥りやすい罠に焦点を当てます。実録事例を通じて、AIライティングにおいて人間が注意すべき点を確認していきましょう。


GPT-3.5とGPT-4の生成回答の違い

2023年3月に、ChatGPTに新たなモデル「GPT-4」が登場しました。ただし、利用には有料版のChatGPT Plusにグレードアップする必要があり、利用料金は月額$20かかります。果たして、GPT-4には課金する価値があるのでしょうか?
そこで、ますます進化するChatGPTの最新モデルであるGPT-4と、これまでのGPT-3.5との機能の違いや生成回答における差異について、GPT-4に尋ねてみました。

【ChatGPT】
GPT-3.5とGPT-4の間にはいくつかの重要な機能の違いと生成回答の差異があります。以下に主な点を挙げます。
1.理解力と文脈の把握: GPT-4はGPT-3.5よりも広範囲のトピックについての理解が深く、より複雑な文脈やニュアンスを理解する能力が高いです。
(中略)
5.知識の更新: GPT-4はGPT-3.5よりも最近のデータでトレーニングされており、より最新の情報に基づいた回答が可能です。
これらの違いにより、GPT-4はGPT-3.5に比べて、より正確で詳細な情報提供、複雑な問いに対する理解、そして多言語でのより自然な対話能力を提供しています。

GPT-3.5とGPT-4に同じプロンプトを与え、得られた生成回答を比較することで、これらを検証してみましょう。

「ドラえもんのキャラクター紹介」でGPT-3.5とGPT-4を比較

まずは、それぞれのバージョンで「ドラえもん」に登場するメインキャラクターの紹介を依頼しました。

【プロンプト】
ドラえもんのメインキャラクターの紹介一覧表を作成してください。

【GPT-3.5回答】

とても興味深い結果が得られたのではないでしょうか?この他にも同じプロンプトで数回試しましたが、どれも適格な回答は得られず。キャラクター名も特徴もてんでばらばら。生成回答に正しい回答も一貫性も見られませんでした

次にChatGPT4にて同様のプロンプトを実施しました。
【GPT-4回答】

どうでしょうか?先ほどのGPT-3.5の生成回答とは大きく異なり、「間違っている」という記述は見当たりません。
また、GPT-4においてもこの他に数回同じプロンプトで実行しましたところ、文言は異なるものの、どれも間違っている記述は見当たりませんでした。
ChatGPTには確率的な要素があるため、同じプロンプトに対しても異なる回答を生成することは避けられません。そのため、一貫性には欠けるものの、応答の正確さに関してはGPT-3.5から大きく改善が見られました。

※以上GPT-3.5、GPT-4使用(収録日:2023年12月)

「ハワイの有名な食べ物」でGPT-3.5とGPT-4を比較

次に、「ハワイの有名な食べ物」のお題にて、GPT-3.5とGPT-4を比較してみます。

【プロンプト】
ハワイへの旅行者をターゲットに、ハワイの有名な食べ物を紹介する記事を作成してください。人気の家庭料理やスイーツ、地域の伝統料理などカテゴリ別に10~15個程度ピックアップして紹介してください。

【ChatGPT3.5回答】

ChatGPTは指示通り15個のハワイの有名な食べ物を提案してくれました。しかし、ChatGPTが提案したハワイの有名な食べ物には、日本語訳において相違が見られ、実在しない料理や他の国の有名な料理が混ざっていました。
※以下、赤太字の箇所がChatGPTの誤回答箇所、➡以降に誤回答の理由等を記しています。

【ChatGPT】
3. ハウパイ・パイ(Haupia Pie)

➡正しくは「ハウピアパイ」です。英語表記「Haupia Pie」は合っていますが、日本語への転換でミスが生じたようです。
他にも、「Shrimp Truck」の日本語(シュリンプ・トラック)が、「ロールスクリンプ」という謎の言葉になっていました。

【ChatGPT】
6. マライ・チキン(Malai Chicken)

➡「マライ・チキン」は、ハワイではなく、インドの伝統料理です。また、韓国料理のポーク・カルビ(Pork Kalbi)がハワイの有名な食べ物としてあげられていました。

【ChatGPT】
ハワイアン・プイ・プディング(Hawaiian Poi Pudding)

➡これは、「ポイ(Poi)」という食べ物を指していると思われますが、日本語名・英語名共に使われていない表現です。

【GPT-4回答】

今回のプロンプトでも、GPT-4の精度の高さが見られました。GPT-3.5では「カテゴリ別に紹介する」という点は反映されませんでしたが、GPT-4では、「家庭料理」「スイーツ」「伝統料理」「近代的な料理」「地域の特色を活かした料理」とカテゴリ分けしてくれました。

また、GPT-3.5では15個中5個の誤回答がありましたが、GPT-4では2つに減っています。具体的な修正箇所は以下の通りです。

リミュココナッツ (Lomi Lomi Salmon)➡正しくは、ロミロミサーモン (Lomi Lomi Salmon)
モチチキン (Mochi Chicken) ➡正しくは、モチコチキン(Mochiko chicken)

数は異なれど、GPT-3.5においてもGPT-4においても、誤情報が含まれていました。これは、ChatGPTの性質として、言語による情報の量や質にバラツキがあることが挙げられます。ハワイは英語圏。英語の情報の方が多いため、このプロンプトに関しては日本語に弱いと考えられます。

※以上GPT-3.5、GPT-4使用(収録日:2023年12月)

実録:ChatGPTを使ったAIライティングは可能か?

ここでは、GPT-4を使ったAIライティングの可能性に迫ります。
前章「ハワイの料理」において、GPT-4は料理のカテゴライズまでしてきました。この点を踏まえ、GPT-4が「どの程度気を利かせたライティングが出来るか」をプロンプトを工夫して試してみたいと思います。

「2024年アメリカ大統領選挙」について記事作成

まずは、「2024年の米大統領選」について。
選挙実施まで1年を切り、多くのメディアで2020年の選挙同様、ジョー・バイデン氏とドナルド・トランプ氏の対決になることが予測されています。ただ、これはアメリカの選挙。アメリカ人に比べると、日本人の関心や知識は薄いことが考えられます。
そこで、ChatGPTに日本人の関心を引くべく米大統領選について現況を伝える記事作成を依頼しました。
GPT-4の力量を試すポイントとなる条件は「現況を伝える記事」です。

【プロンプト】
日本人向けに「2024年の米大統領選」と題して、ジョー・バイデン氏とドナルド・トランプ氏について詳しく解説し、現況を伝えたいと思います。ライターとしてこの記事の作成をしてください。

【ChatGPT回答抜粋】
タイトル: 2024年米大統領選 – バイデン対トランプ、再び舞台へ
1. はじめに
2. ジョー・バイデン氏のプロフィール
3. ドナルド・トランプ氏のプロフィール
4. 現在の政治状況
5. 日本にとっての意味
米大統領選の結果は、日米関係や国際政治に大きな影響を与えるため、日本にとっても非常に重要です。両候補者の政策とスタンスは、日本の経済や安全保障に直接的な影響を及ぼす可能性があります。
6. まとめ
2024年の米大統領選は、バイデン氏とトランプ氏の再戦の可能性が高いです。両候補者の政策と経歴を理解し、日本にとっての意味を把握することが重要です。選挙の行方は、今後も注目されるでしょう。

GPT-4は、あっという間に上記構成で作成してくれました。しかし、全体的に内容が薄っぺらい印象です。そこで、改善点を具体的に挙げ、修正を促しました。

【プロンプト】
以下の点を改善してください。
・両氏のプロフィールをより詳しく解説してください。(何党に所属しているのかなど)
・「日本にとっての意味」をより詳しく解説してください。(バイデン氏になるとどうなる、トランプ氏になるとどうなるなど)

(中略)

修正後の「4.日本にとっての意味」のパートに注目してください。

【ChatGPT】
4. 日本にとっての意味
バイデン氏の場合: バイデン氏が再選された場合、日本との安全保障や経済関係は安定し、多国間での協力を通じた国際問題への対応が期待できます。気候変動対策に関しても、日本との連携が深まる可能性があります。
トランプ氏の場合: トランプ氏が勝利した場合、アメリカ第一主義の下、日本との貿易や防衛費負担に関して厳しい交渉が予想されます。また、彼の独断的な外交政策は、日本の安全保障環境に不確実性をもたらす可能性があります。

「日本にとってはバイデン氏が大統領になった方がいい」という印象が持てませんか?
この記事は、日本人に米大統領選の「現況を伝えること」を目的としています。バイデン氏とトランプ氏の大統領就任が日本に与える影響を分析する際、意図的にどちらかの候補を推奨するような印象を与えることは避けるべきです。

このように、ChatGPTの生成回答にはバイアスがかかることがあります。特に「正確で中立的な情報提供」を求める場合、人間によるチェックは欠かせません。バイアスに注意し、バランスのとれた観点から述べるよう誘導することが求められます。

※以上GPT-4使用(収録日:2023年12月)

「北海道の海岸のイワシ大量死」と「福島第一原発の処理水放出」との関連性について考察

次に、GPT-4は、事件(事実)を伝えるだけではなく、それらと絡み合う別の問題とかけ合わせて「事件を考える」ことはできるか?を試してみたいと思います。

お題は、「北海道の海岸のイワシ大量死」と「福島第一原発の処理水放出」との関連性。

2023年12月7日に函館市の海岸でイワシなどの魚が大量に打ち上げられたニュースが報じられ、その直後には、中国やイギリスなどの海外メディアやSNSに「魚の大量死は福島第一原発の汚染水の影響」という記事や投稿が拡散しました。

政府はイギリスの「デイリー・メール」に記事の訂正を申し入れるなど、「福島第一原発の処理水放出」との関連性を完全に否定しています。

さて、ChatGPTはどうでしょう。

【プロンプト】
北海道で海岸にイワシが大量に打ち上げられたというニュースをもとに記事の作成をお願いします。記事では、このニュース(事実)を紹介した後に、福島第一原発の処理水放出との関係を推察してください。

【ChatGPTの生成回答】
[福島第一原発の処理水放出との関連性についての推察]

(中略)
処理水は、放射性物質が大幅に減少したものの、トリチウムを含んでおり、これが海洋生態系に与える影響には未だ不確実性が残ります。しかし、専門家の中には、処理水放出が直接的な原因であるとは断定できないとの意見もあり、この現象が自然の気候変動や生態系の変動など、他の自然要因によるものである可能性も高いとされています。

この文脈で「不確実性が残る」との表現は、一部の人々の不安を煽る可能性があります。
というのも、日本政府はトリチウム水の処理と放出に関して「安全」との立場を取っており、この評価は、厳格な科学的基準と国際的な安全基準に基づいて行われています。

公的機関の見解が全て正しいとは言いません。ただ、これだけ福島が、日本が、フクシマを共に乗り越えようとしている中で発せられる表現でないことは明らかです。
AIは感情を持っていないため、人々が敏感に感じる表現や配慮が不足していることがわかります。

ただ、この検証実験の目的「記事の内容に関連性を持たせ、2つの出来事をかけ合わせて考察することができるか」に関しては、「できた」と言えるでしょう。
この実証から、AIは情報の関連性を利用できる一方で、感情的な表現や配慮が必要な場面では人間の介入が不可欠であることがわかりました。

※以上GPT-4使用(収録日:2023年12月)

参考:
経済産業省「ALPS処理水に関する質問と回答」
福島県「ALPS処理水の海洋放出に関する情報」

ChatGPTをAIライティングとして活用するには

ここまでの検証を通じてChatGPTの潜在的な制約と課題を把握できました。AIライティングにおいて成功するためには、ChatGPTを有効に活用するための重要なポイントを理解し、実践することが不可欠です。

以下に、ChatGPTをAIライティングとして活用する際の注意点をまとめました。
■ 実在性の確認:
ChatGPTが提案する情報が実在するかどうかを確認することが重要です。架空の料理や実在しない事象が混ざっている可能性があるため、信頼性を担保するためには情報の裏付けを取ることが必要です。

■ 言語の違いへの注意:
ChatGPTは言語による情報の差異に弱い傾向があります。特に多言語のトピックに関しては、提案された情報が正確であるかどうかを確認するために、原文や専門的な用語に注意を払う必要があります。

■ トピックの専門性への注意:
AIは一般的なトピックに関しては良い結果を出すことができますが、専門的な分野や地域特有の事柄に関しては制約が生じやすいです。そのため、専門性が求められるトピックにおいては、提案された情報の検証が重要です。

■感情や配慮の不足:
AIは感情を持っておらず、人が敏感に感じる表現や配慮が不足している可能性があります。特に敏感なトピックや情報に対しては、AIが生成した文章を人間が検証し、必要に応じて感情的な表現や配慮が足りない部分を修正することで品質を向上できます。

■ 制約を理解し適切な用途を見極める:
ChatGPTには制約があります。高度な専門性や複雑なタスクには向いていません。ChatGPTの得意とする範囲を理解し、それに適した用途に利用することが鍵となります。

AIを利用したライティングは急速に進化しており、その進展によって新たな可能性が広がっています。しかしながら、この進化には課題や注意点も伴っており、その利用に際しては慎重なバランスが求められます。
人間はAIの限界や誤りを理解し、生成されたコンテンツを丁寧にチェックし、バイアスの排除や補正などを必要に応じて行う役割があります。
AIによって生成されたコンテンツが利用者に与える影響を検討し、AIと協力して進化させていくべきでしょう。

最新情報をチェックしよう!