桐島 真帆

よく「AIの良心を作る人」と言います（笑）。正確に言えば、企業や行政がAIシステムを開発・導入する際に、そのシステムが差別を生まないか、人の尊厳を損なわないか、説明責任を果たせるかを設計の段階から一緒に考える仕事です。法律が追いついていない領域で、「これはやっていいのか」という問いに向き合い続ける——そういうポジションですね。

桐島 真帆

大学院で認知科学と倫理学を同時に学んでいたんです。「人間はどうやって判断を下すのか」という問いが好きで。でも正直、当時は「哲学で食べていけるのか」という不安もあった。ちょうどその頃、外資系のIT企業がAI研究者の知識を持つ人間を欲しがっていて、半ば勢いで飛び込みました。最初はUXリサーチャーとして、ユーザーがどうシステムと対話するかを研究していました。

桐島 真帆

ええ。2015年のことです。私が関わっていたプロジェクトではなかったんですが、当時勤めていた会社のグループ企業が、病院向けに導入した診断支援AIが問題を起こしました。がんの見落としではなく逆で——健康な患者に対して高確率でがんの疑いと判定してしまっていた。後で判明したんですが、訓練データに含まれていた特定の人種・年齢層の画像が極端に少なかったことが原因でした。その方々が受けた精神的苦痛は計り知れない。「私はいったい何を作っていたのか」と、本当に眠れなかった。

桐島 真帆

そうです。でも当時の自分が一番怖かったのは、誰も「悪意」を持っていなかったことでした。エンジニアは優秀で善意の人たちだった。ただ、「倫理的に何がまずいか」を考えるフレームワークを誰も持っていなかった。問題が起きてから「あれは問題だった」と言えても、起きる前に「これは危ない」と声を上げられる仕組みがない。その空白を埋めたい、と思ったのが出発点です。

桐島 真帆

全然（笑）。最初の2年間は本当に苦しかった。「AI倫理」という言葉を言った瞬間に、「ビジネスの邪魔をする人」と思われることが多かった。ある大手のSNS企業に提案しに行ったとき、担当者に「我々の競合も同じことをしているのに、なぜ私たちだけコストをかけて倫理審査をしなきゃいけないんですか」と言われて。返す言葉が……正直、すぐには出なかった。

桐島 真帆

一週間後にその担当者に電話して、「先日の問いに答えさせてください」と言いました。「競合が同じことをしているからという理由で倫理を後回しにするなら、最初に問題が起きるのも、社会から最初に指弾されるのも御社です。倫理はコストではなくリスクヘッジです」と。それが響いたのか、契約につながりました。でも本音を言えば、その一週間、必死で論拠を考えていましたよ（笑）。

桐島 真帆

まず「このAIは誰のためにあるのか」という問いから始めます。シンプルに見えて、これが一番難しい。開発者がユーザーだと思っている人と、実際にそのシステムの影響を受ける人が、全く違うことがよくある。例えば採用選考AIなら、使うのは人事部ですが影響を受けるのは求職者です。その求職者の中でも、過去に不利な評価をされやすかった属性の人——女性、非正規経験者、特定の出身地域の人——に対して、AIがその不公正を再生産していないか。そこを徹底的に掘ります。

桐島 真帆

しょっちゅうです。先日も、物流会社のルート最適化AIについて「このモデルは配達員の休憩時間を法的ギリギリまで削るような最適化をしている」と指摘したら、「それは効率の問題であって倫理の問題ではない」と言われた。私は「人の身体的限界を無視した最適化は、法の問題である前に倫理の問題です」と言い返した。こういうとき、感情的にならず、でも一歩も引かないでいるのが、本当に難しい技術です。

桐島 真帆

そこが私の仕事の核心だと思っています。「これは差別的だ」とだけ言っても、エンジニアには何も伝わらない。だから私は必ず「何を測定するか」まで落とし込みます。例えば「このAIはジェンダーバイアスがある」ではなく、「このモデルの女性への推薦精度は男性より14ポイント低い、具体的にはこのデータ層が原因で、こう修正すれば改善できる」という形で話す。哲学とデータサイエンスを同時に話せるようになるまで、10年かかりました。

桐島 真帆

劇的に変わりました。以前は「このシステムが出した判断の根拠を説明できるか」という問題が中心でした。でも生成AIは、出力が毎回違う。虚偽の情報を堂々と語る。人の声や顔を模倣する。倫理的論点の次元が一気に広がって、正直に言うと、私自身も追いつくのに必死です。去年から認知科学の論文を読み直して、「人はなぜ機械の言葉を信じやすいのか」という心理的メカニズムから改めて勉強し直しています。

桐島 真帆

若いエンジニアが変わっていく瞬間です。最初は「倫理って面倒くさそう」という顔で来るんですよ（笑）。でも一緒に一つのモデルを分析して、「このデータが特定の人を見えなくしている」という事実に気づいた瞬間に、表情が変わる。「自分のコードが人を傷つけているかもしれない」という認識が生まれたとき——あの瞬間の、ハッと目が開くような顔が、私にはたまらない。この仕事を続けている一番の理由です。

桐島 真帆

「間に合わなかった」と感じるときです。私が審査に関わる前にリリースされたシステムが問題を起こす。そのニュースを見るとき、「あそこに私がいれば」と思ってしまう。でもそれは傲慢な発想だとも知っている。社会全体のAI倫理リテラシーを上げない限り、私一人がどれだけ頑張っても焼け石に水です。だから最近は、企業向けの社内教育プログラムを作ることにも力を入れています。コンサルタントである前に、教育者でありたいと思うようになりました。

桐島 真帆

「なぜそう判断したかを、影響を受けた人に説明できるAI」だと思っています。これは技術的な説明可能性だけの話ではない。「あなたはこういう理由で審査を通りませんでした」と言われたとき、その人が「不服だ」と言える権利を保障できているか。機械による決定に対して、人間が異議申し立てできる仕組みがあるか。AIが答えを出した後に、人が介在できる余地を残しているか。その問いを設計の最初に置くかどうかが、良いAIと悪いAIの分岐点だと私は思っています。

桐島 真帆

「文系だから技術はわからない」「理系だから倫理は苦手」という壁を、どうか自分の中で作らないでほしい。私が今ここにいるのは、哲学を捨てなかったからでも、技術から逃げなかったからでもなく、その両方を手放さなかったからだと思っています。AIが人と社会に深く入り込んでいく時代に、「これは何のためにあるのか」と問い続けられる人間が、絶対に必要です。その問いは、どんな専門分野の人でも立てられる。むしろ、多様な場所に立つ人が問いを立てないと、この社会は危ない。臆せず、問い続けてください。