Scunthorpe問題——地名がNGワード扱いされた事件、AI時代にも再燃中

1996年、英国の小さな町Scunthorpeに住む人々が、当時人気だったインターネットサービスAOLへのアカウント登録を一斉に拒否されるという奇妙な出来事が起きました。原因は、彼ら自身の町の名前そのものでした。

AOLの自動フィルタリングシステムは、下品な単語を含むユーザー名や住所を機械的にブロックする仕組みを備えていました。ところが「Scunthorpe」という地名の中には、たまたま英語の卑猥語の綴りがそのまま部分文字列として含まれていたのです。人間が読めば誰も気づかないような偶然の一致ですが、単語の並びだけを機械的に判定するフィルタは「町の名前」と「卑猥語」を区別できず、罪のない住民たちのアカウント登録を軒並みはじいてしまいました。この一件がきっかけとなり、無害な単語が偶然NGワードを部分的に含んでしまい、誤って検閲される現象全般が「Scunthorpe問題」と呼ばれるようになります。

同様の誤爆はその後も繰り返されました。1998年には、日本産キノコの「椎茸」の英語表記でドメイン登録をしようとした人物が、ドメイン管理団体のフィルタに卑猥語を含むと判定されて登録を拒否された事例が報告されています。また、苗字に特定の単語を含む人物が、大手メールサービスで自分の名前を使ったメールアドレスを作成できなかったという事例も知られています。地名や食品名、人の苗字という、誰にも悪意のない普通名詞が、機械的な文字列判定の前ではことごとく「NGワード」に化けてしまうのです。

この問題が興味深いのは、決して過去の笑い話では終わらない点です。2025年にも、あるSNSの自動モデレーションシステムが、人気ゲームシリーズ「ルイージマンション」の新作に関する投稿を、無関係な事件の容疑者の名前「ルイージ・マンジョーネ」と偶然一致する文字列を含んでいたという理由で誤ってフラグ付けした事例が報告されています。1990年代のテキストフィルタ特有の欠陥だと思われがちなこの現象は、AIによる自動判定が至るところで使われる現代においても、対象を変えながら繰り返し発生し続けているのです。古い技術的な失敗談が、姿を変えて最新のAIの現場に今も生き続けている、という構図がこの話の一番の面白さだと言えます。

言語モデルを使った自動判定システムが普及した現在でも、この問題は形を変えて残り続けています。単語の部分一致で機械的に弾く古典的なフィルタは減った一方、文脈を読むはずの生成AIベースの判定でも、学習データに含まれる特定の固有名詞への過剰な反応が原因で、無関係な内容が誤って検出・ブロックされる例が後を絶ちません。技術が「単純な文字列一致」から「文脈理解」へと進化しても、無害な単語がどこかの基準に偶然引っかかってしまうという構造そのものは、驚くほど変わっていないのです。