AIの回答に、学習データが持っていた偏りが出てしまうことです。性別・年齢・国籍などで不公平な結果を返す可能性があり、採用・与信・保険などの判断に使う場面では特に慎重な運用が求められます。差別リスクにつながる領域では人による最終確認が事実上の必須要件になります。
あなたの会社でいうと
業種を選ぶと、あなたの会社の例えが最初に表示されます。
あなたの業種:
-
書類・規程参照型のケース
過去の申請通過事例だけを見て学んだ担当者が、特定属性の申請を無意識に落としてしまう状態のようなものです。監視が必要です。
-
受発注・在庫型のケース
過去の取引実績だけを見て与信判断をすると、新規や中小の取引先を不当に落としてしまう状態のようなものです。是正が要ります。
-
接客・問い合わせ型のケース
特定の客層への対応事例だけで学んだ結果、それ以外の来店客への接客品質が落ちるようなものです。是正なしでは信用を失います。
-
製造・現場型のケース
特定機種の不具合事例だけを学ぶと、他機種の異常を見落とす検査員のようなものです。学習データの偏りが判断を歪めます。
-
専門サービス型のケース
特定業界の案件だけで学んだ結果、他業界の案件で見当違いな提案をしてしまう状態のようなものです。データ多様性が要ります。
役員向けの1行
学習データの偏りは判断結果に出る。人が最終確認する設計が前提。
よくある誤解
「AIは中立」と説明されがちですが、学習データの偏りは必ず結果に出ます。採用・与信での丸投げは差別リスクになります。