AIの心理学の11章ソーシャルメディアとアルゴリズミックバイアス。これまではデータ生成過程やデータサイエンティストの生み出すバイアスがテーマでしたが、本章ではSNSなどのオンラインサービスを利用するユーザー、コンテンツを作成するユーザー、また悪意をもってアルゴリズムを汚染しようとするユーザー等へと論点が拡張されます。最後の汚染は「machine learning data poisoning」や「ai poisoning」などと検索すると関連情報にリーチしやすいです。

 

データ汚染への記述から、私はAI技術をベースとしたFinTech企業で2021年Q3まで大幅に株価を上げていたUpstart社への大規模かつ組織的な不正攻撃を思い出しました。詳細は不明ですが、Upstart Announces Third Quarter 2021 Resultsdでその事実を確認できます。精度影響軽微との発表でしたが、現場がどう混乱したかは正直わからないなと。

 

私はこの本で、データサイエンティストの認知バイアスが、どのように体系化され紹介されているのかに興味をもって読んでいますが、現実的なML関連技術課題として考えると、このアルゴリズムのセキュリティの方が時代の要請に適合したテーマかとは思います。また例えば、社内の人事評価にAIを使っていると社員が知れば、一部AIリテラシーの高い人は自分が生成するデータをAI好みにチューニングすることもあり得ますので、クローズドな環境で構築されているから安心という訳でもないのです。全てに公正であるのは人間同様、AIでも難しいテーマだとつくづく思います。

---