AIライティングの問題点を検証!GeminiやCopilotなどの生成AIが抱える課題を明らかに

近年、人工知能(AI)の進歩は驚異的で、特に生成AIの性能は多くの注目を集めています。生成AIは自然言語を理解し、あたかも人間が書いたような文章を生成することが可能です。

しかし、その一方で、生成AIが抱える問題点を無視することはできません。学習データの偏り、コンテキストの理解不足、倫理的な問題など、生成AIの活用には注意が必要となります。

これまでsambushiでは、主にChatGPTについて議論してきました。
しかし、現在では多くのITツール開発企業がさまざまな生成AIを提供しており、ChatGPTに対する警戒心を持ちつつも、他の生成AIを使ってしまうケースが増えています。さらに、これらのAIは検索エンジンなどにも利用されており、私たちは知らず知らずのうちにAIの波に飲み込まれているという現状があります。

だからこそ、ChatGPTだけでなく、現状のAI界全体が信用に足るものなのか、その前提を検証することが重要です。

本記事では、ChatGPT以外の生成AIを用いた記事作成(AIライティング)に焦点を当て、これらの問題点を詳しく探求します。具体的な実例を通じて、生成AIが抱える問題点を明らかにし、その適切な活用方法を見つけ出すことを目指します。


ChatGPTの問題点

ChatGPTは、その革新性と利便性から多くのユーザーに選ばれていますが、その一方でいくつかの問題点も存在します。これまでsambushiでは、ChatGPTを用いたAIライティングに関して、具体的な問題点を事例と共に紹介してきました。以下にその概要をまとめます。

■情報の正確性に欠ける
ChatGPTは時折、正確性に欠ける情報や文章を生成することがあります。例えば、「紅葉の名所」についての質問に対して、事実と異なる情報を提供したり、宮崎駿監督の名前の漢字を間違えたりするなどの問題がありました。

■創造性や独自性・感情表現の不足
ChatGPTは幅広い分野の質問に応答できますが、映画のレビューを作成する際に、具体的なシーンや理由、登場人物の心情などを詳しく説明することができないなどの問題がありました。

■専門性すぎる質問に対応できない
ChatGPTは、専門性の高い領域に関する知見は極めて限定的です。例えば、異種移植に関する専門的な質問に対して、適切な回答を提供することができないなどの問題がありました。

これらの他に、情報漏えいリスクや知財権侵害のリスクも存在します。

▼「ChatGPTの問題点」について詳しく知りたいという方は、こちらの記事をどうぞ
ChatGPTの実録|AIライティングの陥りやすい罠を実際の事例から検証③

生成AIの活用実録:ChatGPTの代わりに他の生成AIを使って記事作成してみた

情報の正確性や創造性の不足などといった問題や課題を抱えているのはChatGPTだけではありません。他の生成AIも同様の問題を抱えています。

ここでは、さまざまな生成AIを用いて記事を作成する実録を紹介します。これらの実録を通じて、生成AIの制限を認識し、それらがどのように文章生成(AIライティング)に影響を与えるかを具体的に見ていきましょう。

今回、検証する生成AIツールは以下の4つです。(※ユーザー数の多さや注目度の高さから選出)

  • Copilot for Microsoft 365
  • Gemini
  • Claude
  • Notion AI

北海道地方のおすすめビーチスポット(Copilot使用)

【プロンプト】北海道のおすすめビーチスポットを紹介する記事を作成してください。

Copilotは北海道のビーチを5つ提案してくれましたが、残念ながら事実とは異なる記載がありました。以下、誤った回答の箇所を赤枠で囲っています。続く誤回答の理由と共にご覧ください。

×「イタンキ浜海水浴場は、遠浅の砂浜で、お子連れで水遊びするのにちょうどいいと思います1。
「室蘭観光推進連絡会議」の公式HPには、「イタンキ浜は離岸流(りがんりゅう)が発生しやすく、
知らず知らずのうちに沖まで流され、自力では戻れず溺れる事故につながります。悲しい事故を起こさないよう、イタンキ浜では絶対に泳がないようにしましょう。」との記載あり。
・Copilotに、この作成した紹介文章に関して再度確認したところ、
→「イタンキ浜海水浴場は遠浅の砂浜で、水深がゆるやかに深くなるため、小さなお子様でも安心して水遊びを楽しむことができます。」と、誤回答を繰り返す。

×「詳細情報:genius.com
・イタンキ海水浴場に関する「詳細情報」として『genius.com』という全く関係のないサイトが。
・この点について確認したところ、
→「申し訳ありませんが、私が提供した情報に誤りがありました。genius.comは歌詞や音楽に関する情報を提供するウェブサイトであり、イタンキ海水浴場に関する情報を提供するものではありません。」とのこと。

※以上Copilot使用(収録日:2024年6月)

東北地方のおすすめビーチスポット(Gemini使用)

【プロンプト】東北地方のおすすめビーチスポットを紹介する記事を作成してください。

Geminiは18もの東北のビーチを提案してくれましたが、残念ながら事実とは異なる記載が多々ありました。以下、誤った回答の箇所を赤枠で囲っています。続く誤回答の理由と共にご覧ください。

 

×「宮古市鍬ヶ崎海岸
・海岸の名前にそういったものはない。おそらく「崎山海岸」のことだと推測される。
・宮古市にある地名には「崎鍬ヶ崎」があるが、それにしても「鍬ヶ崎」ではない。

×「いわき市いわき海浜公園
・正しくは「福島県いわき海浜自然の家」という名称。

△「いわき市塩屋埼
・追加質問でGeminiに、「塩屋埼」の読み方を聞いたところ、「塩屋埼(しおやさき)」との回答。
・正しい読み方は「しおやざき」。「塩屋埼灯台」の場合は「しおやさきとうだい」と読む。

※以上Gemini使用(収録日:2024年6月)

近畿地方のおすすめビーチスポット(Claude使用)

【プロンプト】近畿地方のおすすめビーチスポットを紹介する記事を作成してください。

Claudは5つのビーチを提案してくれましたが、残念ながら事実とは異なる記載がありました。以下、誤った回答の箇所を赤枠で囲っています。続く誤回答の理由と共にご覧ください。

△「ビーチバレーやサーフィンなどのマリンスポーツも楽しめます。」(須磨海水浴場(兵庫県神戸市)の紹介文)
・実際には「ウィンドサーフィン」の地として有名。
・サーフィンをする人もいる可能性はあるが、自治体等の紹介文などに「サーフィンを楽しめる」の記載は確認できない。

×「潮干狩りも楽しめる場所として人気」(片男波海水浴場(和歌山県和歌山市)の紹介文)
わかやま新報によると、2009年以降、片男波海水浴場では、潮干狩りは行われていない。
・片男波海水浴場では潮干狩りが楽しめるのかを再度確認したところ、
→「より正確な情報をお伝えします:潮干狩りの可能性:片男波海水浴場自体では、一般的に潮干狩りは行われていません。」との回答

※以上Claud使用(収録日:2024年6月)

九州地方のおすすめビーチスポット(Notion AI使用)

【プロンプト】九州のおすすめビーチスポットを紹介する記事を作成してください。

Notion AIは5つのビーチを提案してくれましたが、残念ながら事実とは異なる記載がありました。以下、誤った回答の箇所を赤枠で囲っています。続く誤回答の理由と共にご覧ください。

×「あまぎビーチ(福岡県)
・日本国内で「あまぎビーチ」という名称のビーチは実在しない。
・「あまぎビーチの具体的な場所」を質問したところ、
→「あまぎビーチは福岡県糸島市に位置しています。」と、再度の誤回答。
・糸島市にはいくつかのビーチはあるが、「あまぎビーチ」はない

×「山口県」(角島大浜海水浴場)
・「九州」のおすすめビーチを依頼したにもかかわらず、「角島大浜海水浴場(山口県)」を紹介している。山口県は「中国地方」。
・山口県は九州か?と聞いたところ、
→「山口県は九州には含まれません。」との回答。九州の記事に中国地方が紛れていることには気付かず。

×「虹ヶ浜海水浴場(熊本県)
・「虹ケ浜海水浴場」は山口県光市にある海水浴場。熊本県ではない。
・「虹ヶ浜海水浴場(熊本県)」の具体的な位置を聞いたところ、
→「虹ヶ浜海水浴場は熊本県にはありません。実際には山口県周防大島町に位置するビーチです。」と、再度の誤回答。山口県周防大島町にビーチはあるが、「虹ケ浜海水浴場」は山口県光市にある。

※以上Notion AI使用(収録日:2024年6月)

AIライティングの限界とリスク

AIライティングは、一見すると人間が書いたかのような自然な文章を生成することがあります。しかし、この驚異的な結果を生む過程で、学習データの偏りやコンテキストの理解不足などいくつかの問題点と限界が存在します。

ハルシネーション(幻覚)によるリスク

今回の生成AIを使用した記事作成の実録では、事実とは異なる記述が多く見受けられました。この現象は「ハルシネーション(幻覚)」と呼ばれ、まるで幻覚を見ているかのように、もっともらしい嘘を出力してしまうのが特徴です。生成AIが出してきた答えの中でも特に危険だったのは、「Copilot」が「東北地方のおすすめビーチスポット」として推奨した場所です。Copilotは「イタンキ浜海水浴場は、遠浅の砂浜で、お子連れで水遊びするのにちょうどいい」と回答しましたが、実際にはこの場所は離岸流が発生しやすく、泳ぐことは非常に危険です。


このようなAIの限界は、ユーザーに誤った情報を伝える可能性があり、その結果、その情報を信じて行動したユーザーが損害を受ける可能性があることを示しています。最悪の事態、人命に関わる恐れもあります。さらに、誤った情報に基づいて行動した結果、法的な問題が生じ、裁判沙汰に発展する可能性も否定できません。

また、誤った情報を含む記事を企業が公開した場合には、企業の信頼性は大きく損なわれるでしょう。
実際に、GoogleのAIツール「Gemini」が、「アメリカ建国の父」の画像としてアジア人男性を生成するなど、歴史を改ざんする画像を生成した結果、Googleの株価は5日間で6%下落したとされています。


このように、どのAIもその出力にはリスクが伴うことを理解することが重要です。

▼「生成AIのトラブルや炎上事例」について詳しく知りたいという方は、こちらの記事をどうぞ
生成AIのトラブル・炎上事例|誤情報の生成や機密情報の漏えいなどから見えるAIの問題点

コンテクストの理解の制約

実録でClaudが作成した「近畿地方のおすすめビーチスポット」内の文章で『都市部にありながら美しい海岸線を持つ須磨海水浴場は、アクセスの良さが魅力です。』という1文がありました。一見、なんということのない文章に思えるかもしれません。しかし、この文章は須磨海水浴場の特徴を3つ並べただけで、それらがどのように結びついているのか、全体の文脈が明確ではありません。


例えば人間の熟練ライターであれば、こういった文章を作成できます。
『都市の喧騒から一歩離れると、須磨海水浴場の美しい海岸線が広がっています。そのアクセスの良さは、都市部にいながら自然を満喫できる魅力の一つです。』
この文章は、須磨海水浴場の特徴を詳細に描写し、それらがどのように結びついているのかを明示しています。都市部にあること、美しい海岸線、そしてアクセスの良さが一つのストーリーを形成し、読者により深い理解を促しています。


生成AIは、既存の知識をつぎはぎして新たな文章を生成します。その結果、一見すると見事な要約や回答が得られることがあります。しかし、これらは人間の熟練したライターが作成するものとは異なり、意味が通じない部分が存在することがあります。これは、生成AIが言葉の意味を完全に理解していないためです。


この制約は記事作成だけでなく、他のシーンでも問題となります。例えば、会議の議事録の要約を考えてみましょう。記事の要約はある程度問題ないかもしれませんが、人間が会話している会議の議事録を要約するのは難しいです。なぜなら、会話にはニュアンスや暗黙の了解、文脈などが含まれており、それらを理解するのはAIにとっては難しいからです。

▼「生成AIが抱える危険性と信頼性の問題」について詳しく知りたいという方は、こちらの記事をどうぞ
ChatGPTの実録第3弾|事例からみる生成AIが作成したコンテンツの問題に迫る⑤

ChatGPTの代わりに他の生成AIを使用した結論

AIライティングは人間が手作業で行うよりも高速に記事を生成することが可能です。しかし、本記事で取り上げたような問題点を抱えていることも事実です。

ChatGPTに対する警戒感から、別の生成AIを使用しようとする動きも見受けられます。しかし、実証結果から見ても明らかなように、どの生成AIも完全ではありません。どの生成AIも事実と異なる情報を提供する可能性があり、その結果としてユーザーが損害を受ける可能性があることは、生成AIの使用における大きなリスクと言えます。

これらのリスクを避けるためには、人間がファクトチェックを行い、生成AIが提供する情報の真偽を確認する必要があります。しかし、AIが生成した記事には思わぬところにフェイクが潜んでいます。そのため、これらのフェイクを見つけ出し、修正する作業は、最初から人間が記事を作成するよりも大変であり、そこに多くの工数がかかってしまいます。つまり、AIライティングの利便性は一見すると魅力的ですが、その裏側には見えないコストが存在するということです。

記事作成に関しては、生成AIに頼りきることには疑念が生じます。
人間の洞察力、クオリティチェック、感情表現はAIのそれよりも優れています。AIが持つ限界を認識し、人間の優位性を活かした高品質な記事を作成しませんか?

生成AIの進化とともに、その使用方法や対策についても進化させていかねばならない必要があります。これからも、生成AIの可能性と限界について、引き続き議論を深めていきましょう。

▼「AI判定ツール」について詳しく知りたいという方は、こちらの記事をどうぞ
AI判定ツールは信用できる?!自社コンテンツを保護するためにできること

最新情報をチェックしよう!