部門よりオランダで、福祉手当を不正に受給している疑いのある人を見つけ出すために人工知能(AI)を使ったシステムが導入されたそうだ。これに対し人権団体などが欧州人権条約に違反しているとして提訴していたが、この裁判で裁判所は条約違反を認め、システムの使用停止を命じる判断を行なった(Yahoo!ニュース)。このAIは雇用歴や逮捕歴、納税状況などさまざまなデータを使って不正受給の危険度を算定するというもので、4自治体で使用されたという。このスコアを元に人間の担当者が調査を行うというものだが、このシステムの対象とされた地域が低所得者や移民が多く住む地域だったことなどから批判が出ていたという。裁判所はこのシステムについて不透明だと判断、さらにEUの一般データ保護規則(GDPR)やEU基本権憲章などで定められたプライバシ保護の基本原則に合致していないと判断、システムの使用差し止めを命じた。(#3762184)「AIは差別を追認する」AI自体にはなんの意図もないんだが、人種や年齢や学歴なんかの属性で判断させるとじつに差別的な判定をしてしまうというヤツだねこれ。Amazonのエンジニア応募の履歴書をAIで判断させたら女性に低い点をつけた(現状のAmazonのエンジニアのほとんどは男だから)とかクレジットカード限度枠審査で収入を同じくする夫婦の妻の方だけ限度枠が低くなる(現状の女性の多くは男性より限度枠が低いから)とかビッグデータ食わせちゃうとどうしてもそうなる、ってハナシだ。Coward所詮は予測でしかないのに、それを判断基準化するとやっても居ない事のペナルティを他者に押し付けると言う事に。誰だってやっていない事項についてペナルティを受ける筋合いなんかない訳で。近代法も何もあったもんじゃない位の連帯責任論だわな。リスク計算なんかに使い自社内で保険を掛けるのには使えるのだろうけど、それを対外的に使ってしまえば、そりゃ問題にもなるわな。(#3762203)このシステムを国会や国会議員に対して導入しよう。二重国籍の議員も危険度が最高と判定されてすぐに発覚しそう。大事な部分を黒潰しした不透明な文書もAIで復元できそうだ。Coward黒塗りについては「出し直せ」と言えば良いだけだ。(#3762447)そんなことしたらダメですよ。NHKが国会生中継できません。Coward中国では似たようなシステムが地方政府幹部に対し使用禁止になっていたなぁ。Cowardすでにクレカの審査で似たような検出やってない?一度も滞納したことないのに却下したら人権侵害だわな。(#3762432)別にいいやん。