2022年には画像生成AIが注目され、2023年にはChatGPTが急速に普及し、ビジネスや自治体のさまざまな分野で活用が拡大しています。しかし、AI技術を利用する際には便益だけでなく、潜在的な落とし穴やリスクにも注意が必要です。
AIの普及に伴い、オリジナリティの欠如やバイアスの影響など、AIの限界が引き起こすトラブルや、著作権やプライバシーの侵害の観点から訴訟問題も増加しています。世界の多くの国々でAI規制とガイダンスが検討されています。日本でも10月には人工知能（AI）事業者向けガイドラインの素案が政府によって発表され、「AIの利用企業にも一定の責任を課す」方針が示されました。
こうした動きを踏まえ、私たちはChatGPTの利点ばかりでなく、懸念点にも目を向け、AI時代の課題と限界を共に考える必要があります。
この記事では、ChatGPTをはじめとするAIが引き起こしたトラブルや訴訟問題の実例を通して、生成AIの落とし穴に焦点を当て、AI技術への信頼性について考えていきます。
ChatGPTをビジネスで使用している事例
ChatGPTはビジネスの多くの領域で活用されています。
ここでは、企業や地方自治体がChatGPTを実際にどのように導入しているか、具体的な事例を紹介します。
企業でのChatGPT使用例
まずは、企業でのChatGPTの導入事例を紹介します。
| 企業名 | 導入内容 | 特徴 |
| 三井住友銀行フィナンシャルグループ | ・文章の作成、要約、翻訳、ソースコードの生成、情報収集などでの活用を模索中 | ・独自の対話型AIを試験導入 ・実証実験でSMBCグループの独自情報を利用したAIモデルの調整/最適化を進める |
|---|---|---|
| 大和証券 | ・情報収集や資料作成などさまざまな業務で活用 | ・情報が社外に流出しないシステムを構築 ・社員が回答内容の正確性を最終的に確認することで、個人情報の流出や正確性への懸念を解消する |
| 横須賀商工会議所 | ・「ジェネレーティブAI for ヨコスカイチバン（※）」の提供 ※キャッチコピーや店舗紹介文をChatGPTが作成するサービス |
・事業者がカテゴリやターゲット層、店舗の特徴を入力すると、「当店のおすすめ」「店舗紹介文」「お店のキャッチコピー」の3種類を自動作成できる |
| 立命館大学 | ・ChatGPTと機械翻訳を組み合わせた英語学習ツール「Transable（トランサブル）」を導入 ・生命科学部、薬学部における英語授業の一部において試験導入 |
・教育効果の向上を図りつつ、学生が能動的に体得することを目指す |
参考：TechTrends「【2023年最新】ChatGPTを導入した日本の企業・組織事例まとめ」
地方自治体でのChatGPT使用例
続いて、地方自治体によるChatGPTの導入事例の一部を紹介します。
| 自治体名 | 導入内容 | 特徴 |
| 神奈川県横須賀市 | ・すべての職員が業務上で使用しているチャットツールにChatGPTのAPI機能を連携 ・文章作成や文章要約、誤字脱字のチェックやアイデアの提供などに使用 |
・AI戦略アドバイザーとして「note」のCXO深津貴之氏を迎える ・プロンプトコンテストの実施などによるスキルアップを図る ・今後は自殺防止対策など福祉分野への活用も検討している |
|---|---|---|
| 福井県越前市 | ・転出/転入手続きやゴミの分別、住宅補助など住民の質問回答に活用 ・市が定める各種計画や例規、会議録、国/県の情報に基づいて質問に回答してもらい、施策立案などの際の資料作成に役立てる |
・住民向けの質問回答と職員利用の2分野でシステム運用 ・現在試験導入中 |
| 三重県伊賀市 | ・市が蓄積する議事録などのデータや行政手続きのマニュアルを学習させることで、職員間での問合せ対応（QA自動化）、議事録作成、事務文書等の作成、庁内データ収集補助など、市役所職員の業務効率化を図る | ・株式会社FIXERと先端技術を活用した行政サービスの高度化事業に共同して取り組み中 |
| 兵庫県神戸市 | ・文書の要約や翻訳、議事録、草案の作成などの利用を想定 | ・神戸市議会が生成AI（人工知能）の活用指針を定める全国初の条例改正案を賛成多数で可決 ・「Azure OpenAI Service」を活用し、コミュニケーションツール「Microsoft Teams」からAIにアクセスできるアプリを内製 ・試験運用で業務効率化の可能性を検証するとともに、情報漏洩や著作権侵害の懸念を考慮し、ガイドラインをまとめていく方針 |
| 長野県飯島町 | ・ChatGPTを「デジタル相談役」として導入し、業務効率化につなげる | ・施策を考える際の相談役やリサーチをChatGPTが担う |
参考：
横須賀市「ChatGPTの全庁的な活用実証の結果報告と今後の展開（市長記者会見）(2023年6月5日)」
福井新聞ONLINE「越前市が「ChatGPT」で住民の質問に回答 転出・転入手続きやゴミ分別、住宅補助…導入向け試験」
PRTIMES「伊賀市と(株)FIXERとのChatGPTを活用したAI行政サービス実証事業に関する連携協定書の締結式を行いました」
兵庫県神戸市「ChatGPTの試行利用を開始します～独自の利用環境のもと本格利用に向けた検討を進めます～」
Yahoo!ニュース「【ChatGPT】「業務の効率化を」飯島町が県内初導入 思考力への影響や個人情報流出など懸念も」
人工知能に危険性はないのか？
これまで見てきたように、ChatGPTのような人工知能（AI）技術は、業務の効率化や新たな可能性を提供していますが、同時に潜在的な危険性をはらんでいます。
例えば、個人情報の漏洩、性差別や人種差別に影響を与えるバイアス、ソーシャルエンジニアリング攻撃（※）など、多くのリスクが存在します。
AIに無条件に信頼を寄せることは非常に危険です。AIにも明確な限界があり、その限界が引き起こす危険性が存在します。AIの制約と限界を正確に理解し、AIを人間の判断を補完するツールとして活用することが肝要です。
※ソーシャルエンジニアリング攻撃：サイバー攻撃の一種で、フィッシングなど人間の心理的な特性や信頼を悪用して、機密情報を詐取する攻撃手法
AIが引き起こしたトラブル・失敗事例
AI技術の進化に伴いその活用範囲も広がっていますが、AIが引き起こすトラブルや失敗事例も増加しています。AI技術の限界や課題を理解するために、いくつかの具体的な事例を見てみましょう。
歴史や文学などについて嘘を言う
まずは、身近な使用例での失敗事例を紹介します。
実際にChatGPTに、『「明治」の前にはどのような元号がありましたか？』という質問をしてみました。
明治の前は慶応・・・正しい
慶応は1865～1868年・・・正しい
明治は1868〜（現在も使用中）・・・誤った回答が得られました。
次に、『「竹取物語」の作者やあらすじなどの概要を教えてください。』と依頼しました。
竹取物語は日本最古の物語の一つ、作者は不詳、ここまでは正しい情報です。
しかし、成立時期は正確には「平安時代初期（10世紀前半）」であり、登場人物は「竹取の翁（たけとりのおきな）」です。また、ChatGPTによるあらすじでは、かぐや姫が月への帰還を願っているとなっていますが、これも正しい情報とは言えません。
このように、ちょっとした文学や歴史についての質問においても、事実と異なる回答が得られました。正解をこちらが知った上で、遊びのように質問をするケースであれば問題ないですが、ChaGPTの回答をそのまま事実として発表したり業務に活用した場合、トラブルにつながるケースがあります。
以下では、ChatGPTの回答を鵜呑みにしてトラブルにつながった事例を紹介します。
ChatGPTで資料作成：実在しない判例
アメリカの弁護士が、生成AI「ChatGPT」を活用して作成した資料には、実在しない判例が引用されていた事例が問題となっています。
弁護士が使用した資料には、6つの判例が引用されており、これらの判例が実在しなかったことが明らかになりました。裁判官は弁護士がChatGPTを利用していたことを発見し、その結果、虚偽の引用が含まれた資料が提出されたことが判明しました。
この問題について、裁判官は「信じられないほどの虚偽の引用を伴う司法判断が記載された資料が提出された」と指摘し、「前例のない状況に直面している」と述べました。裁判官は、弁護士に対する懲戒処分の可能性を検討し、審理を行う予定です。
弁護士は供述書で「非常に後悔しており、今後はChatGPTを活用しないことを決意した」と述べ、ChatGPTを情報源として信頼しないことを強調しました。
参考：日本経済新聞「ChatGPTで資料作成、実在しない判例引用 米国の弁護士」
Amazon電子書籍にAI作成の書籍：キノコ採りガイド
The Guardianによれば、Amazonを含む電子書籍販売プラットフォームで、チャットボットによって執筆されたと思われる書籍が多数販売されており、その中にはAIが書いたとみられる「キノコ採り」に関するガイドブックも含まれていると報じられています。
これらのキノコ採りガイドブックには、キノコの「匂いと味」に頼ってキノコを識別する方法が奨励されています。しかし、キノコ採りの専門家や菌類学者は、キノコの食用と非食用の区別には経験と知識が必要であるため、これらのAI製キノコ採りガイド本は無責任で非常に危険であると批判しています。
また、保護の観点から採取が禁止されているキノコを採取できる、と記載されている本もあるとのことです。
参考：GIGAZINE『キノコ専門家がAmazonで売られている「AIが書いたキノコ採りガイド」を買わないよう呼びかけ、命に関わる危険も』
AIが企業に深刻な損失をもたらした：米Zillow（ジロウ）
企業がAIに過度に依存した結果、深刻な損失を被った事例もあります。
Zillow（ジロウ）は、アメリカの不動産情報プラットフォームを提供する企業。Zillowは、AIアルゴリズム（計算手法）に基づく予測に依存して不動産を購入・売却し、市場価値から大幅に逸脱した結果、その事業部門を閉鎖せざるを得なくなりました。
この事業部門の閉鎖に伴い、全体の従業員のうち2,000人以上（全体の25％以上）が解雇され、さらに7,000軒以上の不動産を売却する必要が生じました。売却された不動産の総価値は約28億ドル（約3,200億円）に達し、Zillowの評価額は約5億ドル（約570億円）も減少したとされています。
ZillowのCEOであるリチャード・バートン（Richard Barton）は、AIアルゴリズムが住宅価格の変動を正確に予測できなかったことを認めています。
参考：BUSINESS INSIDER「米不動産テック大手Zillowの大失敗に見るAI経営の教訓…｢予測モデルの過信｣｢目標設定のミス｣は他人事ではありません」
ChatGPTの訴訟問題- 著作権侵害や情報漏洩の事例-
ChatGPTの普及に伴い、著作権侵害や情報漏洩などの法的な問題が浮上してきました。
ここでは、ChatGPTの使用における著作権侵害や情報漏洩の実例を検討し、AI技術の法的課題を探求していきます。
著作権とプライバシーの侵害：アメリカ
生成AIはオンライン上で大量のデータを学習し文章や画像を生成する能力を持っており、その利用が拡大するにつれて、著作権やプライバシーの問題が顕在化しています。
| 原告 | 被告 | 訴訟内容 |
| 作家サラ・シルバーマン氏と他の2名の著者 | OpenAIとMeta（旧フェイスブック） | ・自身の著書が同意や対価なしにAIの学習に使用されたと主張 ・「大規模な盗作行為だ」と非難 |
|---|---|---|
| 作家2人 | OpenAIとMicrosoft | ・生成AIの利用者らは許可なく個人情報を収集され、プライバシーが侵害されたと主張 |
| クラークソン法律事務所 | OpenAIとMicrosoft | ・ChatGPTに使用された学習用データセットが著作権とプライバシーの侵害を引き起こしたと主張 ・OpenAIがユーザーの同意や警告なしにインターネット上のテキストを使用してChatGPTを訓練したことがプライバシー法に違反すると主張 ・MicrosoftがOpenAIに数十億ドルを投資し、大規模なデータ収集を行ったことを非難 |
現在、アメリカの著作権法において、生成AIによる学習が「フェアユース（※）」の対象外とされており、明確な政策や法律は確立されていません。OpenAI（オープンAI）の最高経営責任者は、著作物の使用に対価を支払うシステムの開発に取り組む意向を示しましたが、有効な対策には疑念が残っています。
※フェアユース（Fair Use）：アメリカの著作権法における一つの原則で、著作権法の下で保護されている著作物を一部使用する際に、著作権者の許可を必要とせずに使用できる場合があること
参考：
讀賣新聞オンライン「生成ＡＩ企業への訴訟、アメリカで相次ぐ…「同意なく書籍をＡＩに学習された」などと非難」
GIGAZINE「ChatGPT開発のOpenAIがAI学習用データをめぐって集団訴訟を起こされる」
著作権をめぐる法整備の提言：日本
日本のイラストレーターや漫画家らからなる団体、「クリエイターとAIの未来を考える会」が、「画像生成AI」の不適切な使用に対して懸念を表明しました。
この提言では、画像生成AIが著作物を使用する際には著作権の所有者から事前に許可を得ること、生成された画像にはAIによるものであることと元の著作物を明示することを義務づけ、著作者に対して使用料を支払うことが求められています。
松本総務大臣はAIの適切な利用を重要視し、信頼できるAIの普及と利活用を促進するための議論が行われることを示唆しました。
参考：NHK「画像生成AI “クリエーターの権利脅かされる” 法整備など提言」
情報漏洩：サムスン電子
韓国のSamsung（サムスン電子）がChatGPTに機密情報を流出させた3つの事例が発覚しました。具体的には、サムスン社員が半導体データベースのソースコードや機密コード、会議音声をChatGPTに入力し、情報漏えいが起きたとされています。
この問題に対応してSamsungはChatGPTへのプロンプトを制限する緊急措置を発動。この問題が浮上したのは、Samsungが従業員にChatGPTの利用禁止を解除してからわずか3週間後のことでした。
SamsungのようにAIチャットボットの使用を制限または使用を禁止する企業は増えており、主要な金融機関やAmazon、Appleなどの大企業もChatGPTの使用制限に踏み切っています。
しかしながら、サイバーセキュリティ企業のCyberhavenの調査によれば、約3.1%の人が機密情報をChatGPTに入力している状況と言われています。特に大企業では何百件もの情報がOpenAIに共有されている可能性があり、Samsungの事例に限らず、今後も情報漏えいが問題視される可能性が高いと言えるでしょう。
参考：GIZMODO「サムスン、機密情報をChatGPTにリークして大問題に」
情報漏洩：日本
シンガポールの情報セキュリティ会社Group-IB（グループIB）によると、日本からChatGPTのログイン情報（IDとパスワード）が漏洩していることが判明しました。
グループIBは、ウェブブラウザなどに保存された情報を盗み出すマルウェア「インフォスティーラー」によってこの漏洩を発見しました。2023年5月までの1年間で、ChatGPTのアカウントがダークウェブの闇市場で取引されており、その中で少なくとも661件が日本からの漏洩であることが確認されました。
情報漏洩のリスクを認識せずにChatGPTを使用することは、業務上の機密情報がハッカーに渡る可能性を高めます。
参考：日経ビジネス「ChatGPT、社外秘丸見えのリスク 日本からログイン情報漏洩」
AIの限界と課題
AI技術の進歩は驚異的であり、様々な分野で利用されています。しかし、同時にAIの限界や課題も浮き彫りになってきています。
意味理解の不足
現代のAIモデルは、テキストや画像のパターン認識に優れていますが、本質的な意味や文脈を理解するのは難しい場合があります。特に複雑な文章や抽象的な概念に対する深い理解は、AIにとって課題です。
データの偏り
AIは訓練データから学習し、それに基づいて回答や生成を行います。しかし、訓練データに偏りや偏見がある場合、AIの回答にもそのバイアスが反映される可能性があります。これは、人種、性別、社会的背景などの偏りを反映し、公平性に関する問題を引き起こす可能性があります。
セキュリティとプライバシー
AIの進化はサイバーセキュリティとプライバシーにも新たな脅威をもたらします。AIは、個人情報を含むデータを扱う可能性があり、悪意のある利用や情報漏洩のリスクを増大させる要因となります。
情報の正確性
AIは大量のデータから学習するため、その情報が正確であることが前提です。しかし、誤った情報が訓練データに含まれる場合、AIは誤った情報を提供する可能性があります。特に法的な文書や専門的な情報に関しては、情報の正確性を確認する必要があります。
著作権侵害
AIによって生成されたコンテンツが著作権侵害の可能性があることも懸念されます。特に文章や画像の生成において、AIが他の著作物から情報を取り入れることがあり、それが著作権問題を引き起こすことがあります。
意識や創造性の不在
AIは意識や創造性を持っていません。これらの要素は人間特有の特性であり、AIでは模倣できない限界があります。例えば、AIは大量のデータから優れた予測モデルを作成できますが、それは過去のデータからの予測に過ぎません。AIは新しいアイデアや独自の創造性を生み出すことが難しく、人間の発想力や創造的な表現力には及びません。
まとめ
AI技術は私たちの日常生活やビジネスに大きな変革をもたらす一方で、深刻な課題も浮き彫りになっています。情報漏洩、プライバシーの脆弱性、バイアスの問題など潜在的な危険性は無視できません。私たちはChatGPTを含むAI技術の利点を享受する一方で、その落とし穴や課題に真摯に向き合い、より安全で持続可能な未来を築くために努力しなければなりません。
AIが抱える課題に対処するためには、倫理的な観点からの技術の進化と規制の強化が必要です。