【弁護士が解説】自社のAIチャットボットが起こしたトラブルは会社が法的責任を負うのか?

こんにちは、京都市中京区の「こうの法律事務所」です。

「AIに強い弁護士」を目指し、AIを活用しながら法的トラブルの予防・解決に取り組んでいます。

ChatGPT(チャットジーピーティー)やGemini(ジェミニ)を始めとした生成AIの進化に伴い、AIを使ったチャットボットの活用も広がっています。

弁護士 河野

企業のWebサイトを見ると、商品案内やヘルプにAIチャットボットが使われているのをよく見ますね
24時間365日働いてくれる、便利なツールです

しかし、AIチャットボットは万能ではありません。

誤った回答や不適切な発言によって、お客様に迷惑をかけたり、トラブルを起こす可能性も十分あります。

とはいえ便利なツールであることは間違いないので、「リスクがあるから」という理由だけで使わないのも考えものです。

そこでこの記事では、AIチャットボットが引き起こすトラブルに対し、会社がどのような法的責任を負う可能性があるのか、弁護士が分かりやすく解説します。

Contents

誤回答・不適切な回答の例

  • 事実と異なる説明により、ユーザーに損害を与える(誤った商品説明をする、誤った手続案内で申請期限を逃す等)
  • 医療・法律・金融などの専門分野で断定的な助言や誤った助言をしてしまう
  • 他のユーザーが入力した個人情報、社内機密を回答してしまう
  • 競合他社や個人に対する名誉毀損的な回答
  • 「最安値」「国内No.1」「必ず」など広告表示上問題のある回答

実際のトラブル例

Geminiに、実際にAIチャットボットが原因で起きたトラブルを調べてもらったところ、海外の例ですが次のような実例があったそうです。

事実と異なる情報を回答したケース

航空会社のチャットボットが、正規の割引制度とは異なる、誤った格安での購入方法を案内してしまい、会社がその差額の支払いを命じられた

差別的・攻撃的な発言をしたケース

学習データに含まれる偏った情報を元に、特定の属性を持つ人々に対する差別的な発言をしてしまい、社会的な批判を浴びた

不可能な約束をしたケース

自動車ディーラーのチャットボットが、顧客からの「1ドルで新車を売って」という冗談交じりの要求に対し、「約束します」と法的に有効な契約ともとれる回答をしてしまった

誹謗中傷にあたる内容を生成したケース

特定の個人や企業について、事実に基づかない否定的な情報を生成し、名誉を毀損してしまった

AIチャットボットの主な仕組み

一口にAIチャットボットと言っても、その仕組は様々です。

以下に代表的な例を上げますが、これらを組み合わせたハイブリッド型も活用されています。

  • ルールベース型
    あらかじめ設定したシナリオに沿って回答。想定外の質問には弱いですが、意図しない回答をするリスクは低いです。
  • 検索連携型
    社内マニュアルやFAQデータベースを検索し、その内容を要約して回答します。参照する情報が正確であれば、回答の信頼性は高まります。
  • 生成AI型
    ChatGPTやGeminiのような大規模言語モデル(LLM)が、自ら文章を生成して回答します。非常に柔軟な対話が可能ですが、「もっともらしい嘘」(ハルシネーション)を答えてしまうリスクがあります。

AI会社が負う法的責任の全体像

結論を先に言うと、AIの回答によってユーザーに損害が生じた場合、AIを業務に利用した会社自身が責任を負う場合があります。

法的根拠を解説します。

不法行為責任(民法709条)

709条 故意又は過失によって他人の権利又は法律上保護される利益を侵害した者は、これによって生じた損害を賠償する責任を負う。

これが、会社が負う責任の基本です。

AIチャットボットの場合、会社の「過失」とは、具体的に以下のような状況が考えられます。

  • 誤った情報を回答する危険性を予測できたのに、十分な安全対策を講じなかった
  • 参照させる社内データベースの整備を怠り、古い情報や誤った情報が放置されていた
  • AIチャットボットリリース後の監視を怠り、不適切な回答が繰り返されているのを見落とした
  • 誤回答が行われていることを認識しながら放置した etc

つまり、AIチャットボットの設計や運用において、会社が尽くすべき注意義務を怠った場合に、会社の責任が問われるということです。

債務不履行責任(民法415条)

415条 債務者がその債務の本旨に従った履行をしないとき又は債務の履行が不能であるときは、債権者は、これによって生じた損害の賠償を請求することができる。

たとえば商品の性能やサービス内容について誤った回答をしてしまった場合、お客様に対して、回答どおりの商品やサービスを提供できないことになります。

それが債務不履行となり、責任を問われる可能性があります。

たとえば「このプランであれば無制限に使えます」と回答したにもかかわらず、実際には制限があったような場合です。

その他の責任

お客様に対する責任以外にも、場合によっては、景品表示法や個人情報保護法違反として、行政処分などの対象になる場合があります。

AI開発会社に責任を問えないのか?

社長

AIを開発したのは当社ではないのですから、責任を負うのはAI開発元では?

ChatGPTはOpenAI、GeminiはGoogleの製品ですから、OpenAIやGoogleが責任を負うべきだと考える気持ちもわかります。

しかし、これは極めて困難です。

そもそもChatGPTやGeminiなどの利用規約には、通常、「提供する情報の正確性は保証しない」「API利用の結果生じた損害について、提供者は責任を負わない」といった内容の免責条項が定められています。

これは当然のことで、責任を負うとなると、世界中から責任追及が相次いで潰れてしまいます。

ですから、自社のサービスとしてAIチャットボットをユーザーに提供した会社自身が責任を負います。

免責条項も万能ではない

社長

では当社のチャットボットでも、「回答によって生じた損害は負いません」と書いておけばよいのでは?

無論、「回答は一般論です」「責任は負いません」「最終判断はご自身で」といった注意書きは効果的です。

ただし消費者に対する免責には限度があり、消費者契約法8条により無効となる場合があります。

つまり、免責条項は万能ではないのです。

8条 次に掲げる消費者契約の条項は、無効とする。
一 事業者の債務不履行により消費者に生じた損害を賠償する責任の全部を免除し、又は当該事業者にその責任の有無を決定する権限を付与する条項
二 事業者の債務不履行(当該事業者、その代表者又はその使用する者の故意又は重大な過失によるものに限る。)により消費者に生じた損害を賠償する責任の一部を免除し、又は当該事業者にその責任の限度を決定する権限を付与する条項
三 消費者契約における事業者の債務の履行に際してされた当該事業者の不法行為により消費者に生じた損害を賠償する責任の全部を免除し、又は当該事業者にその責任の有無を決定する権限を付与する条項
四 消費者契約における事業者の債務の履行に際してされた当該事業者の不法行為(当該事業者、その代表者又はその使用する者の故意又は重大な過失によるものに限る。)により消費者に生じた損害を賠償する責任の一部を免除し、又は当該事業者にその責任の限度を決定する権限を付与する条項

弁護士 河野

ちなみに、AI開発会社の免責条項は、対企業に対する免責ということもあり、有効と考えてください
つまり、OpenAIやGoogleの責任は免除されるが、御社のお客様に対する責任は免除されない場合があるということです

会社が責任を負うことを前提に利用・運用することが不可欠

以上のとおり、AI開発会社に責任を問うことは極めて困難であり、また、「AIが勝手に回答したことだから知りません」という主張もまず通りません。

AIか人間かという違いはあっても、それらを活用して会社として事業活動を営んでいる点は同じです。

それにもかかわらず、「従業員がやったことなら責任を負うが、AIがやったことには責任を負わない」という理屈は通用しないということです。

会社としては、AIの法的リスクを理解し、AIを安全に活用するための対策を講じるようにしてください。

弁護士 河野

従業員でも問題を起こすことはありますから、AIでも人間でも必ずリスクはあります

まとめ

AIは強力なビジネスツールですが、その力を正しく制御してこそ真価を発揮します。

自社のAI運用に少しでも不安があれば、トラブルが発生する前に、弁護士にご相談ください。

当事務所でも相談を受け付けております。紹介などは不要ですから、お気軽にご相談ください。

執筆者

弁護士 河野 佑宜のアバター 弁護士 河野 佑宜 こうの法律事務所 代表弁護士

2007年に弁護士登録し、2015年に「こうの法律事務所」を開設。
民事・刑事問わず幅広く取り扱う弁護士として活動。
2021年度 京都弁護士会 副会長を務めたほか、京都弁護士会の複数の委員会で委員長・副委員長を務める。

Contents