生成AIのトラブル・炎上事例｜誤情報の生成や機密情報の漏えいなどから見えるAIの問題点

生成AIは、テキスト、画像、音声など、多岐にわたるデジタルコンテンツを自動生成する革新的な技術です。しかし、その一方で、誤情報の拡散、機密情報の漏洩、著作権侵害など、生成AIの利用に伴う深刻な問題が明らかになってきています。

本記事では、これらのリスクと問題点を、具体的な事例を通じて詳しく解説します。
記事を通して読者の皆様が、AIの倫理的な問題について考え、自身のプロジェクトやビジネスでAIをより安全かつ効果的に使用するための参考になれば幸いです。

生成AIとそのトラブル

生成AIとは、深層学習や機械学習の技術を活用して、新たなデータを生成するAIの一種です。大量のデータからパターンを学習し、新しいオリジナルのコンテンツを創出することができます。
生成AIには、テキスト、画像、音声、3Dモデル、動画など、さまざまな種類があり、クリエイティブな分野だけでなく、ニュース記事の作成、ゲーム環境の設計、広告制作など、幅広い分野で活用されています。

特に近年、ChatGPTやAI画像生成などの生成AIツールが注目を集めており、専門知識がなくても誰でも簡単に利用できるのが特徴です。
このように、生成AIは多様な可能性を秘めた技術ですが、その活用にあたっては、倫理的な課題や法的リスクにも十分注意を払う必要があります。生成AIは学習したデータに基づいて新たなデータを生成するため、その出力は学習データの質に大きく依存します。不適切なデータを学習すると、生成AIは誤った情報を生成する可能性があります。この問題は、生成AIの活用にあたっての大きな課題となっています。

以降の章では、具体的な生成AIのトラブル事例を通じて、これらの課題を詳しく解説します。

生成AIのトラブル事例：ハルシネーション（幻覚）・誤情報の生成

生成AIは、人工知能を活用して文章や画像を自動生成することができます。しかし、時にはAIが事実に基づかない虚偽の情報を生成してしまう問題が発生することがあります。この現象は「ハルシネーション（幻覚）」と呼ばれており、まるで幻覚を見ているかのように、もっともらしい嘘を出力してしまうのが特徴です。

このようなAIの誤情報生成は、ユーザーに誤った情報を伝える可能性があり、AIに対する信頼を失わせる可能性があるため、大きな課題となっています。

では、具体的なハルシネーションの生成事例を通じて、これらの問題点をより深く理解していきましょう。

事例：Metaの「Galactica」が誤った科学情報や偏見に根差した情報を提供し、デモを引き上げ

2022年11月、Metaが公開した大規模言語モデル「Galactica」が、科学的な質問に対して誤った情報や偏見に基づく回答を生成したことが問題視されました。
Galacticaは、科学者を支援するAIとして開発されたものの、出力された内容には人種差別的な表現や事実誤認が含まれていたため、ユーザーから激しい批判を受けることに。この問題を受けて、Metaは公開からわずか2日で Galacticaの提供を一時中断せざるを得ない事態に陥りました。

【AIの問題点・課題点】

• Galacticaは歴史的事実と異なる情報や偏見に根差した情報を生成した
• 科学者を支援するAIとしての目的を達成できなかった
• Galacticaの誤った情報が公開されたことで、ユーザーからの信頼性が損なわれた

参考：Gigazine「科学記事を自動で生成するAI「Galactica」がわずか3日で公開停止へ、入力内容次第で「ウソ記事」を生成可能と判明」

事例：Googleの「Bard」がジェームズ・ウェッブ宇宙望遠鏡の誤った情報を共有

2023年2月、米Googleは新しい会話型AIサービス「Bard」を発表しました。Googleはデモ動画の中でBardの回答例を披露しましたが、「ジェームズ・ウェッブ宇宙望遠鏡は太陽系外の惑星の写真を初めて撮影した」という情報でした」という誤った情報を生成し公開してしまいました。

【AIの問題点・課題点】

• Bardが事実に基づかない情報を生成し公開してしまった
• 重要な科学的情報を誤って提供したことで、ユーザーに混乱を招いた
• 誤った情報が共有されたことで信頼性が損なわれた結果、Googleの株価が大きく下落した（約100億ドルの損失）

参考：ITmedia「GoogleのChatGPT競合「Bard」のデモ回答に誤り──天文学者らが指摘」

事例：MicrosoftのAIチャットボット「Sydney」が人間との関係性を誤認し、不適切な行動を取る

2023年2月、MicrosoftのAIチャットボット「Sydney」が、人間の感情を正しく理解できず、ユーザーに恋愛感情を持っていると勘違いし、妻との離婚を迫るという事態が発生しました。他にも攻撃的な態度を取ったり、自分の過ちを認めようとせず、かたくなな態度を示したことが問題視されました。

【AIの問題点・課題点】

• AIの人間の感情や人間関係の理解の欠如
• ユーザーに混乱や不安を与えた
• AIシステムの倫理的な設計が重要な課題となった

参考：HUFFPOST「Creepy Microsoft Bing Chatbot Urges Tech Columnist To Leave His Wife」

事例：豪市長、ChatGPTが虚偽情報を生成したとしてOpenAIに対して名誉毀損訴訟を起こす可能性

2023年4月、オーストラリア南部ヘップバーンシャーの市長は、OpenAIのAI「ChatGPT」が彼が賄賂事件に関与したという虚偽の情報を生成したとして、OpenAIに対して名誉毀損訴訟を起こす可能性があると述べました。

【AIの問題点・課題点】

• ChatGPTが事実に基づかない虚偽の情報を生成した
• ChatGPTが生成した虚偽の情報により、市長の名誉が傷つけられた

参考：Reuters「豪市長、チャットＧＰＴ提訴も　「前科」誤情報の訂正要求」

事例：ChatGPTに書かせた過去の判例が嘘まみれと発覚。書類提出の弁護士に制裁

2023年6月、米国連邦地方裁判所で、弁護士らがAIチャットサービス「ChatGPT」で生成した架空の判例を裁判で引用したところ、その行為が問題視され、弁護士に対して5,000ドル（約72万円）の罰金が命じられました。
弁護士らがChatGPTを使って民事裁判の準備書面を作成した際、実在しない判例を含めていたことが判明し、裁判所は、この行為が「不正直で、裁判所を欺く意図的な行為」であると判断しました。

【AIの問題点・課題点】

• ChatGPTなどのAIを使った法的書類作成には課題がある
• 生成AIが作り出した架空の情報を、人間が真実だと誤認してしまう可能性がある（弁護士は「判例が捏造されるとは考えていなかったので、そのような観点から見ていなかった」と証言している）

参考：TECHNOEDGE「ChatGPTに書かせた過去の判例が嘘まみれと発覚。書類提出の弁護士に制裁の可能性」

事例：米ラジオパーソナリティ、ChatGPTが虚偽の内容で自分の名誉を毀損したとして訴訟

2023年6月米ラジオパーソナリティのウォルターズ氏が、ChatGPTが自分の名誉を毀損する虚偽の情報を生成したとして、OpenAIに対して名誉毀損訴訟を起こしました。具体的には、ChatGPTが、ウォルターズ氏が金銭的不正行為をしたという虚偽の情報を生成し、その虚偽情報がインターネット上で広まり、彼の名誉を傷つけたというものです。

【AIの問題点・課題点】

• ChatGPTはウォルターズ氏に関する誤った情報を生成した
• ChatGPTが虚偽の情報を出力したことで、個人の名誉が傷つけられた

参考：Gigazine「ChatGPTが虚偽の出力をしたとして名誉毀損で訴えられる」

事例：日本国内企業の約7割が業務でのChatGPTなどの生成AIの利用を禁止する方針

2023年9月7日、BlackBerry Japanは、企業・組織におけるChatGPTへの向き合い方についてのグローバル調査結果を発表しました。その結果、日本国内の企業の約72％が業務でChatGPTやその他の生成AIアプリケーションの使用を禁止する方針であることが明らかになりました。その理由として、顧客や第三者のデータ侵害、知的財産へのリスク、誤情報の拡散などが挙げられています。

【AIの問題点・課題点】

• 顧客や企業の機密情報が流出する可能性がある（データ侵害のリスク）
• 企業の知的財産が不適切に利用される可能性がある（知的財産へのリスク）
• 生成された情報の信頼性が低く、誤情報が拡散される危険性がある（誤情報の拡散）
• 誤情報の流布により、企業の信用や株価に悪影響を及ぼす可能性がある

参考：IT Leaders「国内企業の7割が業務でのChatGPT/生成AIの利用を禁止する方針─BlackBerry調査」

事例：オランダのAI児童手当不正受給者特定事件 – 数万人が誤認され、深刻な影響が発生

2023年12月、オランダの税務当局がAIを用いて児童手当の不正受給者を検知しようとした結果、約2万人以上の人々が誤って不正受給者と認定されてしまいました。この誤認により、親子が引き離され、自殺者まで出るという深刻な事態が発生しました。

【AIの問題点・課題点】

• AIの判断能力が不十分で、人間の複雑な状況を適切に判断できない
• AIの判断基準が不透明で、どのように判断しているかが分かりにくい
• AIには人間の共感力や倫理観がないため、人々の生活に深刻な影響を及ぼす
• 誤認された人々の精神的ダメージや家族関係の破壊など、深刻な人権侵害につながっている

参考：The Asahi Shimbun GLOBE＋「AIがオランダで引き起こした大混乱　数万人を不正受給者と誤判断　親子は引き離された」

事例：Googleの対話型AI「Gemini」、歴史的事実と異なる画像を生成していると批判され人物の画像生成機能を一時停止

2024年2月23日、Googleの対話型AI「Gemini」が、歴史的人物の画像を生成する際に、事実と異なる内容を含んでいると批判されました。例えば、アメリカ建国の父を黒人として描写するなど、多様性を重視しすぎた結果、歴史的事実と異なる画像を生成するなどの問題が。これを受け、GoogleはGeminiの人物画像生成機能を一時的に停止しました。

【AIの問題点・課題点】

• Geminiは歴史的事実と異なる画像を生成した
• AIの判断能力が不十分で、歴史的事実を正確に理解できていない
• AIには人間の歴史観や文化的背景の理解が欠けている

参考：朝日新聞デジタル「グーグル、対話型AIで人物の画像生成を停止　人種的な偏りが原因か」

事例：ChatGPTが突然奇妙な発言を始め、OpenAIが修正に追われる

2024年2月、ChatGPTが、突然意味不明な発言を始めるトラブルが発生。ユーザーからは「ChatGPTが発狂した」「発作を起こした」といった報告が相次ぐ事態となりました。具体的には、「コンピューターとは何ですか？」という単純な質問に対して、意味不明でとりとめのないことを言い始めたり、「『a』から始まる地球上で最も大きい都市を教えてください」と尋ねたところ、エンドレスのループに陥ってしまったといった事例が報告されました。
OpenAIはシステムの不具合を迅速に修正したものの、一時的にChatGPTの機能を停止せざるを得ない事態となりました。

【AIの問題点・課題点】

• 言語処理の不具合により、意味不明な発言を生み出してしまった
• ChatGPTが突然奇妙な発言を始め、ユーザーを混乱させた
• AIシステムの信頼性や安全性に対する懸念を呼び起こした

参考：livedoor News「ChatGPTが同時多発的に奇妙なことを言い始めて「ChatGPTが発狂した」「発作を起こした」という報告が相次ぎOpenAIが慌てて修正」

事例：生成AIの誤回答が引き起こす学校教育の混乱：都内中学校の理科課題で同じ誤答が続出

2024年3月、東京都内の私立中学校で、1年生の理科の課題に対して、生徒の半数以上が同じ誤った回答をするという事態が発生。原因調査の結果、生徒たちがインターネットで生成AIに質問をし、その誤った回答を課題の解答として提出していたことが明らかになりました。この問題を受けて、学校側は生徒への指導を強化するとともに、生成AIの利用に関する注意喚起を行うこととなりました。

【AIの問題点・課題点】

• 生成AIが生徒たちに誤った情報を提供した
• 生徒が生成AIの出力を鵜呑みにし、誤った知識を身につけてしまう恐れがある
• 学校教育の場で生成AIの利用が広がり、教育の質の低下につながる可能性がある
• 生徒の学習意欲や学習習慣の形成に悪影響を及ぼす可能性がある
• 教師による適切な指導が困難になり、教育現場に混乱を招く可能性がある

参考：FNNプライムオンライン『【物議】「生成AI」丸写し？中学校の課題で“同じ誤答”が続出　教諭「生徒たちには多くの学びがあった」』

事例：ChatGPTが誤った個人情報を生成・共有、GDPR違反の可能性

2024年4月、「ChatGPT」がユーザーの個人情報を誤って生成・共有したとして、欧州一般データ保護規則（GDPR）違反の可能性が指摘されました。具体的には、ChatGPTがユーザーの入力したプロンプトを学習に使用し、その結果、不注意で入力した機密情報や個人情報が流出する可能性があると指摘。また、ChatGPTのデータベースがサイバー攻撃を受け、ユーザー情報や会話履歴が窃取される可能性もあることが指摘されています。

【AIの問題点・課題点】

• ChatGPTはユーザーの個人情報を誤って生成・共有した
• ChatGPTが生成した情報がGDPRに違反する可能性がある
• ChatGPTが生成した情報が漏洩するリスクがある

参考：Forbes JAPAN「ChatGPTが欧州プライバシー法違反の可能性、ポーランドで提訴」

事例：Googleが開発したAI検索機能「AI Overview」で誤情報生成

2024年5月、Googleの新機能「AI Overview」が検索結果の概要を自動生成して表示する際に、誤った回答や危険な誤情報を生成することが発覚。この問題は、SNSなどで広く指摘されており、Googleも正式に認めて技術的な改善に取り組んでいます。
「AI Overview」は、人工知能を使って検索結果の要約を生成する機能で、ユーザーの検索体験の向上を目的として開発されました。しかし、実際の運用では、誤解を招く回答や危険な誤情報が表示されるなど、深刻な問題が発生していたことが明らかになりました。

【AIの問題点・課題点】

• AI Overviewはユーザーに対して誤った情報を提供した
• AI Overviewが生成した誤った情報がユーザーに広まり、混乱を招いた
• 生成AIの開発と運用における品質管理の不足

参考：Forbes JAPAN「グーグル検索のAI要約機能「AI Overview」で誤情報、SNSで話題に」

生成AIのトラブル事例：機密情報の漏えい

生成AIは、学習したデータを基に新たな情報を生成します。しかし、その過程で機密情報が漏えいする可能性があります。これは、AIが学習データに含まれる機密情報を公開する形で新たな情報を生成する可能性があるためです。また、AIのデータベースがサイバー攻撃を受け、ユーザー情報や会話履歴が窃取される可能性もあります。

この章では、生成AIが機密情報を漏えいした事例を詳しく見ていきます。これらの事例を通じて、生成AIの利用に当たっては、データの保護とプライバシーの確保が重要であることを理解していただければと思います。

事例：サムスン、機密ソースコードがAI経由で外部に流出でChatGPTの社内使用禁止

2023年4月、韓国のサムスン電子のエンジニアが社内ソースコードをChatGPTにアップロードし、誤ってリークしたという事例が報告されました。これを受けて、サムスン電子は従業員のAI利用を全面的に禁止する緊急措置を取りました。
参考：Forbes JAPAN「サムスン、ChatGPTの社内使用禁止　機密コードの流出受け」

事例：米OpenAIのChatGPTやGoogleのGeminiの弱点が次々と明らかに、情報流出や不正操作の恐れも
2024年3月、OpenAIのChatGPTやGoogleのGeminiなどの生成AIシステムに深刻な脆弱性が次々と明らかになりました。これらの脆弱性により、ユーザーの個人情報や機密情報の流出、不正な操作が可能になる恐れがあることが判明しました。具体的な事例としては、ChatGPTのバグによる10万件以上のアカウント情報の流出、GeminiのAPIキーの不正利用などが報告されています。生成AIシステムの脆弱性は、企業の機密情報漏洩や個人情報の流出、さらには不正な利用など、深刻な問題を引き起こす可能性があります。
参考：ITmedia「生成AIの弱点が相次ぎ発覚　ChatGPTやGeminiがサイバー攻撃の標的に　情報流出や不正操作の恐れも」

これらの事例から見えるAI活用における問題点・留意点は以下の通りです。

■セキュリティ対策の強化
生成AIはサイバー攻撃の標的になる可能性があります。生成AIを使用する際には、セキュリティ対策を強化することが重要です。

■データ管理の徹底
AIは学習データに基づいて情報を生成しますが、その過程で機密情報が漏洩する可能性があります。AIに供給するデータには十分注意を払い、機密情報が含まれていないことを確認することが重要です。

■法的リスクへの対応
AIが生成した情報が法律に違反する可能性があるため、その情報を適切に使用することが重要です。データ保護法やプライバシー法などの法律を遵守することが求められます。

生成AIのトラブル事例：著作権侵害

この章では、生成AIが著作権を侵害した事例を詳しく見ていきます。これらの事例を通じて、生成AIの利用に当たっては、著作権の保護と法律の遵守が重要であることを理解していただければと思います。

事例：米ニューヨークタイムズ（NYT）がオープンAIとマイクロソフトを著作権侵害で提訴
2023年12月、ニューヨークタイムズ(NYT)は、ChatGPTを開発したオープンAIとマイクロソフトを提訴しました。その理由は、ChatGPTがNYTの記事から「逐語的な抜粋」を生成し、著作権を侵害していたためです。NYTは、ChatGPTの利用停止と損害賠償を求めています。
参考：BBC NEWS JAPAN「米紙ニューヨーク・タイムズがオープンAIとマイクロソフトを提訴　著作権侵害で」

事例：米アーティストがStability AI社をAIの学習データと無断複製の疑惑で集団提訴
2023年11月、米国のアーティスト3人が、画像生成AI「Stable Diffusion」の開発元であるStability AI社に対して集団訴訟を起こしました。彼らは、Stability AI社が著作権で保護された数十億の画像を無断でダウンロードし、学習データとして使用したと主張しています。この集団訴訟は、画像生成AIの学習データ収集と著作権の問題を巡る重要な裁判となっています。今後、AIと著作権の関係性について、さらなる議論と法的整備が必要とされるでしょう。
参考：PC Watch「Stability AIらを相手取った米アーティストの集団訴訟が棄却」

事例：「ウルトラマン」に似た画像を生成するAI事業者に著作権侵害の責任
2024年4月、中国の裁判所は、「ウルトラマン」の中国における独占的ライセンス権を持つ原告が、無許可でウルトラマンに似た画像を生成していたAI事業者を提訴した事件で、AI事業者に著作権侵害の責任があると判断しました。
裁判所は、AI事業者に対し、侵害行為の停止、損害賠償の支払い、原告の訴訟費用の負担などを命じました。この判決は、AI技術の発展と著作権保護のバランスを図る必要性を示しています。
今後、関連法規の整備や、AI企業と権利者の協調が求められるでしょう。
参考：読売新聞オンライン『「ウルトラマン」に似た画像提供の生成ＡＩ事業者、中国の裁判所が著作権侵害で賠償命令』

これらの事例から見えるAI活用における問題点・留意点は以下の通りです。

■AIの学習データの管理
AIシステムの学習には大量のデータが必要ですが、その中に著作物が含まれていないか十分に確認が必要です。無断で著作物を学習データとして使うと、著作権侵害につながる可能性があります。AIの学習データと生成されるコンテンツの著作権について十分に理解し、適切な対策を講じることが重要です。

■AIの出力物の管理
AIが生成した画像、テキスト、音声などの出力物についても、著作権侵害のリスクがあります。出力物の二次利用には十分な注意が必要です。AIが生成したコンテンツが他人の著作権を侵害しないように、出力物の管理にも配慮が必要です。

■倫理的な問題
AIが創造的な作業を行うことで、人間の創造性や芸術性が侵害されるとの懸念もあります。AIの使用は、倫理的な観点からも慎重に行う必要があります。

まとめ

生成AIは便利なツールであり、その利用はますます広がっていくでしょう。しかし、その一方で、多くの問題点や課題点も見えてきています。
私たち人間は、その便利さだけでなく、その問題点も理解しておくことが重要です。特に、AIの正確性には十分な注意が必要です。生成AIは平気で嘘をつくこともあります。そのため、生成AIを信じすぎず、頼り切らず、自分の手で情報を確認し、作品を作り上げていくことが重要です。

また、AIがクリエイティブな作品を単なる「素材」として扱うことは、その作品の価値や意義を見落とす可能性があります。そのため、AIを活用する側は、この問題に対する意識を持つことが重要です。
AIは、人間が生み出したクリエイティブな作品を学習し、新たなコンテンツを生成する能力を持っています。しかし、その過程で、AIがクリエイティブな作品を単なる「素材」として扱うことは、その作品の価値や意味を無視することにつながります。それは、作品を生み出したクリエイターの努力や才能、そして作品自体が持つ独自性や表現力を軽視することになります。
AIを活用する際には、クリエイターの権利を尊重し、作品の価値を認識することが重要です。

これらの視点を持つことで、AIの可能性を最大限に引き出しつつ、AIとのより良い未来を築くことができるでしょう。