AIはいつ安全機能となるのか、そしてそれは何を引き起こすのか
目次
AIが結果に実質的な影響を与えるとき、ライフサイクル管理、適合性評価、および継続的な監督が求められる
人工知能（AI）は、健康、身体的安全、または基本的権利に影響を及ぼすなど、実際の危害を引き起こし得る段階に至った瞬間に、安全機能となります。
EU AI法の下では、健康、安全、または基本的権利に重大なリスクをもたらすAIシステムは「高リスク」に分類されます。この分類は、システムがどれほど高度または自律的に見えるかではなく、その意図された用途と現実世界での影響に基づいて判断されます。
では、AIはいつその境界を越えるのでしょうか？
AIが安全に影響する結果を制御する場合
AIが規制対象製品の一部として安全な動作に影響を与える場合、それは単なるソフトウェア以上の存在となります。すなわち、安全コンポーネントとなります。
例えば以下のようなケースです：
- 診断支援や投与量調整を行う医療機器に組み込まれたAI
- 動作制御、停止、衝突回避を担う産業機械のAI
- ブレーキや操舵判断に影響する車両内のAI
このような場面では、AIは単なる補助ではなく、人々を危害から守る意思決定の連鎖の一部として機能しています。
EU AI法では、AIがEU整合化法令の対象製品の安全コンポーネントとして使用され、かつその製品が第三者による適合性評価を必要とする場合、高リスクに分類されます。
この分類により、ライフサイクル全体にわたる体系的な義務が発生します。
AIが基本的権利に影響を与える場合
安全とは物理的なものに限りません。
AIは、以下の分野において結果に実質的な影響を与える場合にも高リスクとなります：
- 雇用
- 教育
- 信用（クレジット）
- 重要サービスへのアクセス
- 法執行の判断
- 移民手続き
これらの分野はEU AI法の附属書IIIに明示されています。AIシステムがこれらの分野で使用され、附属書IIIに記載された機能を果たす場合（第6条第3項に基づく限定的な例外を除く）、高リスク分類が適用されます。
例えば：
- 候補者を選別する採用アルゴリズム
- 融資可否を判断する信用スコアリングモデル
- 公的機関の意思決定を支援するシステム
出力が結果を実質的に左右する場合、それは規制対象領域に入ります。
重要なのは、人間が形式的に関与しているかどうかではありません。AIが意思決定に実質的な影響を与えているかどうかが鍵です。
この分類が実際に引き起こすもの
AIが高リスクと見なされると、高リスクAIシステムに対する義務が適用されます。
これには以下が含まれます：
- ライフサイクル全体を対象とした文書化されたリスク管理システム（第9条）
- データガバナンス（第10条）および品質管理（第17条）
- 附属書IVに準拠した技術文書
- 記録保持およびログ機能（第12条）
- 透明性（第13条）
- 人的監督（第14条）
- ロバスト性、精度、サイバーセキュリティ（第15条）
特に重要なのは、これは単発の製品検証から、継続的なライフサイクル管理への転換を意味する点です。コンプライアンスは上市時だけで達成されるものではなく、設計、展開、監視、変更管理の全段階で示されなければなりません。
また、市場投入またはサービス提供前に適用される適合性評価手続きを完了する必要があります。さらに、第72条に基づく市販後監視義務および第73条に基づく重大インシデント報告義務も発生し、体系的な監視、文書化されたプロセス、および当局との適時な連絡が求められます。
戦略的な示唆
多くの組織は「自社のAIは高リスクか？」と問います。
しかし、より実務的な問いは次のとおりです：
このシステムは、安全や保護された権利に影響を与える結果に実質的な影響を及ぼしているか？
答えが「はい」である可能性がある場合、そのAIは規制対象ライフサイクルに属するものとして扱う必要があります。すなわち、以下が求められます：
- 文書化されたリスク管理
- 明確な役割と責任
- 追跡可能な変更管理
- 監査に耐えうる証跡
これにより、設計の考え方が変わり、検証は体系化され、変更管理は正式化され、監視は必須となり、インシデント報告は定義され、責任の所在が明確になります。
要点
人工知能（AI）は、その出力が意図された用途のもとで健康、安全、または基本的権利に影響を与える結果を形成し得る場合、安全機能となります。その時点で、EU AI法の枠組みに基づくガバナンスが必須となります。
これを早期に認識する組織は、コンプライアンスと監督体制をアーキテクチャに組み込みます。一方で、それを怠った組織は、規制審査、調達審査、または市販後インシデントの段階でギャップに気付くことが多く、その時点では時間的制約も厳しく、リスクも高まっています。
現在のAI成熟度は、イノベーションが規制責任へと転換するタイミングを理解できるかにかかっています。
この記事を書いた人
