簡単すぎるシステムじゃないと使ってもらえない

今日は朝9時から二条ではなく大学に出かける．Y君の修士論文公聴会があったからだ．この時期に修論公聴会とはさすがです．さてさて興味深かったのは彼の発表での質疑での一コマ．彼の研究は「語ベースのフィードバックによるWeb検索結果の動的再ランキング」といういわゆるインタラクション(システムとの対話)を扱った研究である．この研究に対してI先生が以下のような質問をした．
 

「昔からインタラクションを情報検索に適用した研究として適合性フィードバックがあるが，どうしてこれがGoogleなどの商用検索エンジンに実際に組み込まれていないのか？」
適合性フィードバックとは情報検索の研究分野においては教科書的な技術であり，
 

ユーザが得られた検索結果のうち，どの文書が検索意図に適合し，どの文書が適合しないかを検索システムに教えることにより，システムの検索精度を改善する手法　from 情報検索アルゴリズム(著:北研二ら)
 

簡単に言うと，Googleなんかで検索結果に「これは思っているものと違う，これは欲しかったやつだ」と幾つか印をつけてやると，意図をくみ取って欲しいだろうページがたくさん出現するようになるというもの(チェックの数が多いほど正確)．この技術は非常に簡単ながら強力でこれを行えば検索精度は確実に向上する．情報検索屋さんなら誰でも知っている技術だ．質問はなんでこんなに精度が良いものに使われていないの？ってことだった．

Y君は「たシステムの背後で何が行われているのか分からない，結果がどうやって変わったのか理解しにくいシステムはユーザには受け入れてもらえないから」と答えていた．これは最近僕個人の経験からもそう思う．さらに僕が過去に読んだ教科書にもこれに関する意見が載っていた．
 

適合性フィードバックはWeb検索エンジンに使われることはほとんどない．唯一の例外はExciteだけだ(中略). 適合性フィードバックは平均的なユーザにとっては理解が難しいし，… (中略) Spinkの調査によるとExcite検索に実装された(これよりももっと良いページが欲しい」とわざわざはっきり書かれたリンクが付けられた)適合性フィードバック機能を用いたユーザは全体の4%に過ぎない．70%のユーザは検索エンジンが返した最初の結果ページしか見ず，そこに答えが無ければそれ以上追求しなかった．　from Introduction to Information Retrieval (著: Chistopher D. Manning)
 

Y君は自分のシステムのユーザビリティ評価で「被験者の8%が本システムの操作に難しさを感じていた」との報告をしたが，この8%というのをどう捉えるか．僕らのように情報検索の分野に浸かっているものに取ってはシステムに難しさを感じないのかもしれないが，ユーザは老若男女問わず，またスキルも様々，だからほとんどのユーザがそうではないはず．研究レベルでかつ自己満足でよければどんなシステムを作ってもよいかとは思うが，便利なシステムを研究開発したいと思う以上は簡単すぎるぐらいのシステムを目指さないとダメなんだ，ということを改めて思った．

Y君はもちろんそれは分かっているので，今後の彼の活躍に期待．