ChatGPTをはじめとする生成AIは、いまや多くの企業で業務効率化の切り札として活用されています。 文章の要約やメールの下書き、プログラムのデバッグまで、その用途は急速にひろがりました。 しかし、便利さの裏には個人情報の漏洩リスクというみすごせない問題がひそんでいます。

2023年には、大手企業の従業員が社内の機密データを生成AIに入力し、外部に情報が流出した事例が世界的なニュースになりました。 個人情報保護委員会も同年6月に注意喚起を公表し、生成AIサービスにおける個人情報の取り扱いについて法的な整理を求めています。 こうした動きを受けて、企業には「どうすれば安全に生成AIを使えるのか」という実務的な知識が不可欠です。

この記事では、生成AIと個人情報をめぐるリスクの全体像を整理したうえで、個人情報保護法の法的論点、実際の漏洩事例、そして企業が取るべき6つの具体的対策までを一気に解説します。 さらに、AIサービスを選ぶときの安全性チェックポイントもまとめました。 自社のAI活用を安全に進めたい担当者の方は、ぜひ最後までお読みください。

生成AIにおける個人情報リスクの全体像

生成AIの活用がひろがるにつれて、個人情報に関するリスクへの関心も高まっています。 ここではまず、なぜ生成AIで個人情報が問題になるのか、その背景と仕組みをわかりやすく解説します。 リスクの全体像をつかむことが、効果的な対策の第一歩です。

なぜ生成AIで個人情報が問題になるのか

生成AIは、ユーザーがプロンプト（指示文）として入力した情報をもとに、文章や画像などのコンテンツを生成するしくみです。 ここで問題になるのは、入力された情報がAIの学習データとして利用される可能性があるという点にあります。 つまり、プロンプトに個人情報をふくめてしまうと、その情報がAIの「記憶」の一部として取りこまれるおそれがあるのです。

従来の業務ツールとは異なり、生成AIには次のような特有の性質があります。

  • 入力データがクラウド上の外部サーバーに送信される
  • サービス提供者がモデル改善のために入力内容を利用するケースがある
  • AIが学習した情報を別のユーザーへの回答として出力するリスクがある

たとえば、社員が顧客の氏名や連絡先をふくむ文章をAIに入力して要約を依頼したとしましょう。 その入力内容がモデルの学習に使われた場合、まったく関係のない第三者が類似の質問をしたときに、もとの個人情報が回答にふくまれてしまう可能性があります。

さらに、生成AIサービスの多くは海外企業が提供しており、データの保管場所や利用ルールが日本の法律と一致するとはかぎりません。 こうした背景から、個人情報保護委員会をはじめ、国内外の規制当局が生成AIに対する注意喚起をおこなっています。

入力データが学習に使われる仕組みと危険性

生成AIがどのように入力データをあつかうのかを知ることは、リスク対策の基本です。 ここでは、データの流れを段階ごとに整理してみましょう。

段階 内容 リスク
入力 ユーザーがプロンプトを送信 個人情報や機密情報がサーバーに送られる
処理 AIが回答を生成して返す 処理過程でデータが一時的に保管される
保管 サービス提供者がログを保存 不正アクセスや内部漏洩のリスクが生じる
学習 入力データがモデル改善に利用される 学習済みの情報が他ユーザーへ出力される可能性

たとえばOpenAI社のChatGPTでは、無料版や通常の有料版で入力した内容がモデルのトレーニングに使われる場合があると利用規約に記載されています。 API経由での利用やエンタープライズ版ではデフォルトで学習に使わない設定になっていますが、すべてのサービスが同じ方針とはかぎりません。

ここで注意したいのは、オプトアウト（学習利用の拒否設定）をしたとしても、入力データがサーバー上に一切残らないわけではないという点です。 富士通が公開している生成AI利活用ガイドラインでも、「オプトアウトすれば情報漏洩が起こりえないとは限らない」と明記されています。 秘密保持義務を負っているサービス提供者を選ぶことが、データの安全性を確保するうえで重要です。

3つのリスク類型 — 入力・出力・攻撃

生成AIにおける個人情報のリスクは、大きく3つの類型にわけて整理できます。 この分類を理解しておくことで、対策すべきポイントがクリアになります。

  • 入力リスク: ユーザーが個人情報や機密情報をプロンプトに入力してしまうことで、データが外部に流出するリスク。サムスン電子の事例がこの典型です
  • 出力リスク: 生成AIが学習済みのデータにもとづいて、他者の個人情報をふくむ回答を生成してしまうリスク。意図せず第三者の情報が出力される可能性があります
  • 攻撃リスク: 悪意のある第三者がプロンプトインジェクションなどの手法を使い、AIから本来公開すべきでない情報を引き出すリスク。サイバー攻撃の一種として近年注目されています

これら3つのリスクは、それぞれ原因がことなるため、対策もべつのアプローチが必要です。 入力リスクには社内ルールや教育、出力リスクにはサービス選定と設定の確認、攻撃リスクにはセキュリティ面の技術的対策が求められます。 どれか1つだけに対処しても不十分であり、総合的なリスクマネジメントが欠かせません。

個人情報保護法から見た生成AI利用の法的論点

生成AIに個人情報を入力する行為は、単なる社内ルールの問題にとどまりません。 個人情報保護法のもとで、法的な責任が生じる場面があります。 ここでは、企業の実務担当者がおさえておくべき法的論点を整理します。

プロンプト入力は「第三者提供」に該当するか

生成AIに個人データをふくむプロンプトを入力する行為は、法律上「第三者への個人データの提供」にあたるのでしょうか。 この問いは、企業が生成AIを業務利用するうえで最も重要な法的論点の1つです。

個人情報保護法27条1項では、個人データを第三者に提供する場合、原則として本人の同意が必要とされています。 生成AIサービスの提供者（たとえばOpenAI社）が、プロンプトとして入力された個人データを自社の学習目的で利用する場合、これは「提供」に該当する可能性があります。

ここで論点となるのが、「個人データ」と「個人情報」のちがいです。

用語 定義 第三者提供規制
個人情報 生存する個人を識別できる情報 利用目的の範囲内で取りあつかう義務あり
個人データ 個人情報データベース等を構成する個人情報 第三者に提供する場合、原則として本人同意が必要
散在情報 データベース化されていない個人情報 第三者提供の同意義務は法律上なし（プライバシー侵害の可能性は残る）

たとえば、顧客データベースから抽出した情報をプロンプトに入力するケースは「個人データの提供」にあたる可能性が高いといえます。 一方、たまたま会話のなかで出てきた個人名のみを入力する場合は、散在情報として第三者提供規制の直接的な対象にはならないこともあります。 ただし、法律上の義務がないからといってリスクがないわけではありません。 プライバシー侵害の問題は別途残るため、慎重な対応が求められます。

個人情報保護委員会の注意喚起と要点

2023年6月、個人情報保護委員会は「生成AIサービスの利用に関する注意喚起等」を公表しました。 この注意喚起は、生成AIの利用を禁止するものではなく、個人情報の適正な取り扱いとイノベーション促進のバランスを意識した内容です。

注意喚起のなかで、特に企業が注目すべきポイントは次のとおりです。

  • 個人情報取扱事業者が生成AIに個人情報をふくむプロンプトを入力する場合は、特定された利用目的の達成に必要な範囲内であることを十分に確認すること
  • あらかじめ本人の同意を得ずに個人データをふくむプロンプトを入力し、そのデータが応答結果の出力以外の目的で取りあつかわれる場合は、法令違反になる可能性がある
  • 入力する前に、生成AIサービスの提供者が個人データを機械学習に利用しないかどうかを十分に確認すること

つまり、企業が生成AIを業務で使う際は、サービス提供者のデータ取り扱い方針を事前にチェックし、必要に応じて学習利用をオフにする設定をおこなうことが実務上の基本対応となります。 この注意喚起はOpenAI社に対してもおこなわれており、日本の個人情報保護法にもとづく対応を求める姿勢が明確に示されています。

クラウド例外（QA7-53）の適用範囲

個人情報保護法の第三者提供規制を検討するうえで、クラウドサービスに関する例外規定（QA7-53）の理解は欠かせません。

個人情報保護委員会のQA7-53では、クラウドサービスの利用にあたって、サービス提供者が「個人データを取り扱わないこととなっている場合」には、第三者提供に該当しないと整理しています。 この条件を満たすケースとして、次のような状況があげられています。

  • 契約条項によってサービス提供者がサーバー内の個人データを取りあつかわない旨が定められている
  • 適切なアクセス制御がおこなわれている

しかし、生成AIサービスにこの例外がそのまま適用できるかどうかは、専門家のあいだでも見解がわかれているのが現状です。

解釈 内容
厳格に解する立場 クラウドサービス提供者がサーバー内のデータに一切アクセスしない場合にかぎり例外を認める
弾力的に解する立場 通常のサービス提供時にはアクセスせず、インシデント時にかぎりアクセスする場合も例外に含めてよい

生成AIの場合、入力データが応答生成のために処理される以上、「データを取りあつかわない」とはいいきれない場面が多くあります。 特に、入力内容がモデルの学習に利用される設定になっている場合は、クラウド例外の適用はむずかしいと考えるのが一般的です。 そのため、API版やエンタープライズ版のように学習利用がおこなわれない設定のサービスを選ぶことが、法的リスクを下げるうえで有効な手段となります。

利用目的の特定と本人同意の考え方

個人情報保護法では、個人情報を取りあつかう事業者に対して、利用目的をできるかぎり特定することを求めています（法17条1項）。 また、取得した個人情報は、特定された利用目的の達成に必要な範囲内でしか利用できません（法18条）。

ここで実務上よくある疑問が、「利用目的に『生成AIで処理する』と明記する必要があるか」というものです。

  • 利用目的とは、一連の取り扱いによって最終的に達成しようとする目的をさす
  • 個別の処理プロセスごとに特定する必要はないとされている
  • ただし、プロファイリング（行動・関心などの分析処理）をおこなう場合は、その旨を利用目的に含めて特定する必要がある

したがって、たとえば「採用活動に利用するため」という利用目的のもとで取得した応募者の情報を、AIで分析して適性を判断するような場合は、利用目的の変更や追加の同意取得が必要になる可能性があります。

また、海外の生成AIサービスを利用するケースでは、「外国にある第三者への提供」（法28条）の規制も関わってきます。 委託にともなう提供であっても、外国にある第三者への提供にあたる場合は、原則として本人の同意取得が必要です。 企業としては、利用するAIサービスのサーバー所在地やデータの処理場所も確認しておくべきでしょう。

実際に発生した情報漏洩事例から学ぶ教訓

ここまで法的な論点を整理してきましたが、リスクが現実のものとなった事例を知ることも大切です。 過去に発生した代表的な3つの事例から、企業が学ぶべき教訓を確認しましょう。

従業員がソースコードを入力し流出した事例

2023年、韓国の大手電子機器メーカーであるサムスン電子で、従業員が生成AIに社内の機密情報を入力したことによる情報流出が報道されました。 この事例は、生成AI利用における入力リスクを象徴する出来事として、世界中で大きな注目を集めました。

報道によると、3名の従業員がそれぞれ次のような目的でChatGPTを業務に使用していました。

  • 半導体工場の測定データベースに関するソースコードのバグ修正を依頼
  • 歩留まりや不良チップを特定するプログラムのテストシーケンスを最適化
  • 社内会議の録音を書き起こし、議事録の作成を依頼

いずれも業務効率化を目的とした行為ですが、入力された情報はOpenAI社のサーバーに送信され、学習データとして利用される可能性がありました。 サムスン電子はこの事態を受けて、社内ネットワークでの生成AIツール利用を禁止するとともに、個人端末での利用についても知的財産や機密情報の入力を禁じる新ポリシーを策定しています。

この事例から学べる教訓は明確です。 従業員が「便利だから」という理由で安易に生成AIを使った結果、取り返しのつかない情報流出につながったのです。 技術的な対策だけでなく、社員の意識づけとルール整備の両面からの対応が不可欠であることを示しています。

システムバグで他ユーザーの履歴が表示された事例

2023年3月、ChatGPTにおいて、一部ユーザーの個人情報がほかのユーザーに表示されるという不具合が発生しました。 この問題は、ユーザーの操作ミスではなく、サービス側のシステムバグが原因で起きた事例です。

具体的には、次のような情報が影響を受けたと報告されています。

  • 一部ユーザーのチャット履歴のタイトルが、ほかのユーザーの画面に表示された
  • 有料版ユーザーの氏名やメールアドレス、支払い先住所の一部が閲覧できる状態になった
  • クレジットカード情報の下4桁が漏洩したケースも確認された

OpenAI社の調査によると、**有料版ユーザーの約1.2%**が影響を受けた可能性があるとされています。 原因はサードパーティツール（Redisクライアントライブラリ）のバグであり、OpenAI社は迅速に修正対応をおこないました。

この事例は、利用者がどれだけ注意をはらっても、サービス提供者側の技術的問題で情報漏洩が起きうることを示しています。 つまり、AIサービスそのもののセキュリティ水準や運用体制も、選定時にしっかりと評価する必要があるということです。

ダークウェブでアカウント情報が売買された事例

シンガポールの情報セキュリティ企業Group-IBは、2023年に大手生成AIツールのアカウント情報がダークウェブ上で大量に取引されていた事実を公表しました。

項目 内容
調査期間 2022年6月〜2023年5月の1年間
漏洩件数 10万1,000件以上のアカウント情報
日本からの漏洩 少なくとも661件
主な原因 「インフォスティーラー」とよばれるマルウェアによるパスワード窃取

さらに2025年2月には、ダークウェブ上のフォーラムで生成AIツールのアカウント認証情報2,000万件が売買されているとの報告もなされています。 ただし、この件についてはサービス自体のシステムが侵害されたわけではなく、個人端末のマルウェア感染が主な原因とされています。

ダークウェブで取引されたアカウントを第三者が入手すれば、もとのユーザーがAIとの会話で入力した機密情報や個人情報を閲覧できるおそれがあります。 この事例が示す教訓は、生成AIの安全性はサービス側のセキュリティだけでは完結しないということです。 利用者自身のアカウント管理やマルウェア対策も、情報漏洩を防ぐうえで欠かせない要素なのです。

企業が取るべき6つの具体的対策

生成AIのリスクを理解したうえで、次に大切なのは具体的な対策を実行に移すことです。 ここでは、企業が優先的に取り組むべき6つの対策を、実務の流れにそって解説します。 名古屋を拠点にWebコンサルティングを提供する株式会社エッコでは、企業のDX推進やAI活用に関するご相談も承っています。

入力禁止情報リストの策定と周知

生成AIによる情報漏洩を防ぐうえで、最も基本的かつ効果的な対策が**「入力してはいけない情報」を明確にすること**です。 あいまいなルールでは現場の判断がばらつき、思わぬ情報流出につながります。

入力禁止リストにふくめるべき情報の例は次のとおりです。

  • 個人を特定できる情報（氏名、住所、メールアドレス、電話番号など）
  • 機微な個人データ（医療記録、要配慮個人情報など）
  • 金融情報（クレジットカード番号、銀行口座情報、財務データなど）
  • 自社の営業秘密（未公開のソースコード、製品設計図、事業戦略資料など）
  • NDA（秘密保持契約）にもとづいて他社から提供された情報

リストを策定するだけでは不十分です。 全従業員への周知と、定期的な内容の見直しをセットでおこなうことが実効性の鍵となります。 社内イントラネットへの掲載や、チャットツールでの定期リマインドなど、継続的に目にふれる工夫をしましょう。

オプトアウト設定による学習利用の防止

多くの生成AIサービスでは、入力データがモデルの学習に利用されることをオプトアウト（拒否）できる機能を提供しています。 この設定を有効にすることで、入力した業務データが学習に使われるリスクを低減できます。

たとえばChatGPTの場合、設定画面から「チャット履歴をモデルのトレーニングに使用しない」というオプションを選択できます。 API経由での利用では、デフォルトで学習に使用されない仕組みになっています。

ただし、注意すべき点もあります。

オプトアウトの効果 限界
入力データがモデル改善に使われることを防げる サーバー上にデータが一時保管される可能性は残る
他ユーザーへの出力リスクを低減できる サービス提供者の内部不正や不正アクセスまでは防げない
法的リスク（第三者提供該当性）の低減に寄与する すべてのサービスが対応しているわけではない

富士通のガイドラインでも指摘されているとおり、オプトアウトだけに頼るのではなく、秘密保持義務を負っているサービスの利用を前提にすることが望ましいといえます。

DLPツール導入とアクセス権限の設計

DLP（Data Loss Prevention）ツールは、組織内のデータが外部に流出することを検知・防止するためのセキュリティソリューションです。 生成AIに対する情報入力を技術的にコントロールする手段として、導入を検討する価値があります。

DLPツールでできることの一例は次のとおりです。

  • 個人情報やクレジットカード番号など、特定のパターンに一致するデータの外部送信をブロック
  • 生成AIサービスへのアクセスをログとして記録し、監査に活用
  • 部署や役職にもとづいた利用制限の設定

あわせて、生成AIへのアクセス権限そのものを設計することも重要です。 全社員が無制限に使える環境ではなく、利用目的にもとづいて権限を段階的に設定するアプローチが効果的です。 たとえば、機密情報を多くあつかう部署では利用範囲を制限し、マーケティング部門では幅広く活用を許可するといった運用が考えられます。

社内ガイドラインの作成と承認フロー整備

生成AIを安全に業務活用するためには、全社共通のガイドラインを策定することが不可欠です。 ガイドラインがなければ、部署や個人によって利用ルールがばらつき、リスク管理が困難になります。

ガイドラインに盛りこむべき主な項目は次のとおりです。

  • 生成AIの利用が許可される業務範囲と目的
  • 入力が禁止される情報の種類（入力禁止リストとの連携）
  • 生成された出力物の利用・公開前に必要な承認フロー
  • インシデント発生時の報告手順と対応方針
  • 利用にあたって遵守すべき法令の概要

一般社団法人日本ディープラーニング協会（JDLA）では、企業が参考にできるガイドラインのひな形を公開しています。 また、IPAや経済産業省もAI事業者向けのガイドラインを発行しており、これらの公的資料をベースにカスタマイズすることで、策定の手間を大幅に削減できます。

特に重要なのは、生成AIの出力物を社外に発信する前の承認フローです。 管理者の確認を経ずに公開することを禁止するルールを設けることで、誤情報やプライバシー侵害のリスクを低減できます。

従業員向けセキュリティ研修の実施

どれだけ優れたガイドラインやツールを導入しても、それを使う従業員のリテラシーが低ければ効果は限定的です。 生成AIに関するセキュリティ研修を定期的に実施することは、もっとも費用対効果の高い対策の1つです。

研修で取り上げるべきテーマの例を以下にまとめます。

  • 生成AIの基本的な仕組みと、入力データがあつかわれる流れ
  • 個人情報・機密情報を入力した場合に起こりうるリスクの具体例
  • 自社のガイドラインと入力禁止リストの確認
  • オプトアウト設定の方法やアカウント管理のポイント
  • 実際の漏洩事例（サムスンの事例など）から学ぶケーススタディ

サムスン電子の事例でも、従業員は悪意なく業務効率化のために生成AIを使用していました。 「知らなかった」では済まされない事態を防ぐために、研修を通じてリスクへの理解を深めることが重要です。 新入社員研修への組みこみだけでなく、年に1〜2回の全社研修として継続的に実施するのが望ましいでしょう。

定期的なリスクアセスメントと見直し

生成AIの技術やサービスは日々進化しており、1年前の対策がいまも有効であるとはかぎりません。 **定期的なリスクアセスメント（評価・点検）**をおこない、対策の有効性を見直す体制を整えましょう。

リスクアセスメントで確認すべき主な項目は次のとおりです。

確認項目 内容
利用状況の把握 社内でどの生成AIサービスが、どの部署で使われているか
サービスの変更点 利用中のサービスの利用規約やデータポリシーに変更がないか
インシデントの有無 過去の評価期間にヒヤリハットやインシデントが発生していないか
法規制の動向 個人情報保護法や関連ガイドラインに改正・追加がないか
ガイドラインの実効性 策定したルールが現場で正しく運用されているか

少なくとも半年に1回、できれば四半期ごとにアセスメントを実施することをおすすめします。 AI活用の体制整備に課題を感じている企業は、株式会社エッコのようなWebコンサルティングの専門家に相談するのも有効な選択肢です。

安全に活用するためのAIサービス選定基準

社内の対策を整えるとともに、利用するAIサービスそのものの安全性を見きわめることも重要です。 ここでは、サービス選定時にチェックすべき3つの観点を解説します。

データ取り扱いポリシーの確認ポイント

AIサービスを選ぶ際にまず確認すべきなのは、サービス提供者がデータをどのようにあつかうかを定めたポリシーです。 利用規約やプライバシーポリシーを読み解くのは手間がかかりますが、この確認を怠るとリスク対策の土台がゆらぎます。

チェックすべき主なポイントは次のとおりです。

  • 入力データがモデルの学習・改善に使用されるかどうか
  • 学習利用をオプトアウトできる仕組みがあるか
  • 入力データの保存期間と削除のタイミング
  • サービス提供者の従業員がユーザーの入力内容にアクセスできるかどうか
  • データ処理に関するサードパーティ（外部委託先）の有無と管理体制

特に法人向けプランとコンシューマー向けプランでは、データの取り扱い方針が大きくことなる場合があります。 業務利用においては、法人向けプランやAPI利用を前提とした契約を選択することで、データ保護の水準をたかめることができます。

暗号化・通信経路の安全性チェック

データの取り扱い方針にくわえて、技術的なセキュリティ対策が十分であるかもチェックしましょう。 特に重要なのは、通信中と保存中それぞれのデータ暗号化です。

チェック項目 確認内容
通信の暗号化 TLS 1.2以上での通信が保証されているか
保存データの暗号化 AES-256などの強度の高い暗号方式が採用されているか
アクセス制御 多要素認証やIPアドレス制限が利用できるか
ログ管理 利用ログの保存と監査証跡の確認ができるか
第三者認証 SOC 2やISO 27001などのセキュリティ認証を取得しているか

これらの情報は、サービス提供者のセキュリティページやホワイトペーパーで公開されていることが多いため、導入前にかならず確認しましょう。 SOC 2やISO 27001などの第三者認証を取得しているサービスは、セキュリティ管理体制の信頼性が一定水準以上と判断できます。

GDPR・国内法への準拠状況の見極め方

生成AIサービスの多くは海外企業が提供しており、データの処理場所が日本国外であるケースが大半です。 そのため、GDPRや日本の個人情報保護法への対応状況を見きわめることが、コンプライアンス上の重要なポイントになります。

確認すべき事項は次のとおりです。

  • サービス提供者がGDPR（EU一般データ保護規則）に準拠しているか
  • データ処理契約（DPA）を締結できるか
  • 日本の個人情報保護法における「外国にある第三者」としての対応が整備されているか
  • 基準適合体制（法28条に基づく措置）が確保されているか
  • データの越境移転に関する条件と制限が明示されているか

GDPRに準拠しているサービスであれば、データ保護に関する基本的な枠組みは整っていると期待できます。 ただし、GDPRと日本法では細部が異なるため、日本法への対応も別途確認する必要があります。 自社だけで判断がむずかしい場合は、法務部門や外部の専門家の助言をえることをおすすめします。

まとめ

生成AIは業務効率を大きく向上させるツールですが、個人情報の取り扱いをあやまると、法令違反や情報漏洩といった重大なリスクをまねきます。

この記事でお伝えしたポイントをふりかえります。

  • 生成AIのリスクは「入力」「出力」「攻撃」の3つの類型で整理できる
  • 個人情報保護法のもとでは、プロンプトへの個人データ入力が第三者提供に該当する可能性がある
  • サムスン電子やChatGPTのバグなど、実際の漏洩事例から具体的な教訓が得られる
  • 企業は入力禁止リスト、オプトアウト、DLP、ガイドライン、研修、定期アセスメントの6つの対策を総合的に実施すべき
  • AIサービスの選定では、データポリシー、暗号化、法令準拠の3つの観点を必ず確認する

生成AIの活用は「禁止」ではなく「安全な運用」を目指すことが、企業競争力を維持するうえでの正しい方向性です。 ルールと技術の両面から対策を講じたうえで、生成AIを最大限に活かしていきましょう。

株式会社エッコでは、名古屋を拠点としたWebコンサルティングを通じて、企業のデジタル活用やAI導入に関する支援をおこなっています。 「自社でどこから手をつければよいかわからない」というお悩みがあれば、ぜひお気軽にご相談ください。

詳しくはこちらから