Yusuke Yamamoto's Web site

WWW2010のワークショップの一つであるWICOW2010に参加してきた．このワークショップはWebの信憑性にトピックを絞ったワークショップで僕の研究内容と非常に近い．KeynoteスピーカーがUC Santa BarbaraのProf. Metzgerという方だったのだが，僕は以前からこの方の研究をかなり参考にさせてもらっていたので，そういう意味でも今回のWICOW2010は非常に楽しみであった．

以下はWICOW2010の研究発表のメモである．英語があんまり聞き取れないし，論文を読まず発表のみでメモを取ったので意味が分からない箇所も多いと思うがとりあえずブログに貼り付けておく．

WICOW 2010 Keynote

“Understanding Credibility across Disciplinary Boundaries”
Milliam Metzger (UC Santa Barbara)

（山本）何度も僕が主張していることだが，やはりこの人も信憑性=正しさではなく，ユーザによって認知される特性であるbelievability = credibilityと捉えていることに注意する必要有り．

Why credibility is important on the Internet?
信憑性自体は新しくない概念．しかしインターネットの登場で考えなければならないことも多い．

信憑性に対する考え方@ social science and information science
- Social science
- 第二次世界大戦中，スピーカーの説得学の研究としてスタート
- Credibility = expertise + trustworthiness
– 他にもあるけどこれが2大キー要素

- Social science: credibility = believability, 信憑性はユーザが認知する主観的な特性
– 信憑性判断はいつも合理的に行われるモノでもない
– Heuristics, mental shortcut, or rules of thumbInformation science

- 情報科学の分野では信憑性を違うように考えている
– Information qualityというコンテキスト
– Information qualityにも信憑性という要素は入っている
– 信憑性以外にもAccuracy, relevance, data security, and usability要素有り
– 情報そのもののプロパティを考えている

Web credibilityのガイドライン

• Site features
• Information features
• Author features
• User features
  – Age, Internet experience & reliance, past experience with source, motivation for search task, prior knowledge and attitudes

Old view of credibility evaluation

情報の信憑性を考える上で必要と思われる要素の例（[山本]これはsource credibility，message credibilityの研究を要約したものかな）

• Accuracy: 情報の正しさ，誤りのなさ
• Authority: 情報の発信者，情報源がhighly regarded or not
• Objectivity: 情報のバイアスの有無，公平さ
• Currency: 情報が常に最新の情報か否か for User’s task
• Coverage: 情報が十分に足りているか，網羅されているか for User’s task

信憑性といってもsiteレベル, sourceレベル, メッセージレベルと様々な着眼点がある

NEW view of credibility evaluation

• 実際の信憑性の判断は例の5個の信憑背指標に従って行われることは少ない
• 情報探索に高いモチベーションがあるケース以外ではヒューリスティックを考えることの方が重要
• （山本）たぶん精査可能性モデルでいう周辺ルートを経由する場合の話
• （山本）ChaikenのHeuristic-systematic model(HSM)とも関係あるかと
• Bounded rationalityによる評価 (Simon, 1957)

What heuristics do people use to evaluate the credibility of Web information

（山本）周辺ルートを経由する場合のユーザの信憑性認識モデルについては以下でOKだが，そのようなユーザにどうサポートするかが重要．

• Linking/agreement heuristic: 人は信頼されている人が信じている情報は信じる
• Consensus/bandwagon heuristic: 人は多くの人が信じている情報は信じる
  （例） amazonで星が多い商品は良い商品であると思ってしまう
• Familiarity/recognition heuristic: 人はよく知っている情報ソースから提供された情報を信じる
• Similarity heuristic: 独立した情報源から同意が得られている情報を人は信じる
• Self-confirming heuristic: 人は自分の意見に賛同してくれているような情報を信じる
• Expectancy violation heuristic: 人は自分の期待に回答してくれている情報を信じる

Can heuristics inform credibility system design in useful ways?

（山本）これは非常に重要なポイント！

• Prof. Metzgerの回答は”Yes”
• 信憑性評価のアルゴリズmの中に品源の認知や感情をどう導入するのか？
• ユーザがヒューリスティックプロセスに入っているときにどうやってそのモデルを捉え評価を支援する

Some ideas for future research

• Similarityやlinkageを評価するためにソーシャルグラフをマイニングする．
• そのためにはソーシャルグラフ上に有用でかつ信用できる情報提供者がたくさん存在する必要がある
• ユーザのレビュー情報や評価なんかをマイニング，集約する
• 意見の分布の提示，さらには適切にレビュー情報を判断するための支援ツール
• （山本）「適切に」の意味が重要
• Expertiseとauthorityの認識技術
• Automate cross-validation: authoritativeデータベースの作成, human-computational systems and gamesの考慮

質疑
切れはあんまり良くなかった．たぶん聴衆の知識レベルも考慮したのかなぁ？

• Q. Yahoo! answerとかでBest answerは時々”best”じゃないと思うんだけど，そういうrating systemのトリッキーな部分にはどう対応したら良いんだろうか？
• Q. 情報検索分野ではUser behavior analysisをしてWisdom of crowd的な考えて情報を評価しようとしている．でもこれはあくまでpopularityにしかすぎずcredibilityにも達していないと思う．なにか意見あるかね？

感想

• 周辺ルートを通る人は表層的なヒューリスティック指標を使うが，そういう人にそんな適当な指標を使った信憑性判断を行わせて良いのだろうか？
  – 周辺ルートから中心ルートへの誘導」
• 質疑の回答でProf. Metzgerもそのようなことを言ってた
• そもそも何らかの信憑性判断モデルを持っている人の支援はどうするか？
  -中心ルートを通る人はOK
  – 周辺ルートを通る人の中でもヒューリスティックな指標を持っていない人もいるはず

Session 1: Wikipedia Credibility

“Detecting Wikipedia Vandalism with Active Learning and Statistical Language Models”
Si-Chi Chin, W. Nick Street, Padmini Srinivasan and David Eichmann (The University of Iowa, USA)

対象: Wikipedia
ゴール: 意地悪編集の発見
売り: Vandalismを幾つかの種類に分類．判定対象の記事の過去の編集履歴と少数のtraining setを訓練データに用いる動的学習．学習器を用いてWikiepdiaのvandalismを発見．

Vandalismの分類

• （Insert, change, deletion) × (text, image, link, format)
• いろいろなメディアタイプに対するvandalismを発見できる
• 結局は編集コードを見ているので画像もテキストも関係なく発見できる
• 発見できるのはvandalismの有無だけでこれはvandalism for image descriptionですというようには判定できない

学習には21個の素性を使用

• その中にLanguage modelを使用していると言っているが，いわゆる確率的言語モデルではない．

学習素性の例

• ドキュメント中の単語の数，エントロピー，パープレキシティ
• 編集履歴中に出てきたbi-gram, uni-gram
• 編集された文書の量など

感想:

• Vandalismの発見はできそうな課題．あえて技術的な新規性を挙げるとしたら分析対象記事の編集履歴を学習セットの作成にうまく使っているところか．しかし，実はそこが仇で編集履歴が少ない記事のvandalismは発見できないということ．
• Vandalismを発見した後どうするのかな？
  – Vandalismの有無しか分からない．どんな種類のvandalismかは分からない

“On Measuring the Quality of Wikipedia Articles”
Gabriel de la Calzada and Alex Dekhtyar (California Polytechnic State University, USA)

対象: Wikipedia
ゴール: Wikipediaの品質評価
売り: 記事の評価観点も色々あるので，それぞれにふさわしい評価モデルで評価を行い総合的に記事の品質を評価 (※ 実は品質評価と言いつつ，Stable度合い, controversial度合いの評価方法がメイン)

Wikipedianな感じの人が発表．発表の鼻息が荒かった．

Wikipediaのquality evaluationモデルを2つ用意．

• Stability: 記事の長さ，セクションの数，inlink, outlinkの数などを評価属性に使用
• Controversiality: 編集回数，編集をしたユーザの特性(anonymous or not)

学習を用いてStableな記事度合い，Controversialな記事度合いをそれぞれ計算．
最後に二つの値を合成．

評価はユーザ評価と合成スコアとの相関を調査．

感想：

• 仮説がよく分からなかった．Stableな記事は品質が高い？というわけではないみたい
• 特にStableな記事，controversialな記事を見つけたいわけではないのだから，最初から二つのタイプを分けずに品質の評価関数を作ったら良かったのでは？
• StableとControversialというのは相対する概念のような気がするが発表者はそれは違うようだ．

“Trust in Wikipedia: How Users Trust Information from an Unknown Source”Teun Lucassen and Jan Maarten Schraagen (University of Twente, The Netherlands)

対象: Wikipedia
ゴール: Wikipediaの信憑性（trustworthiness）を評価する際にユーザが重要視している尺度の調査
売り: あまりされていないWikipediaに関する信憑性尺度の調査を実際にやった点

CSの研究者ではなさそう．Wikipediaセッションの中では最も真面目に信憑性というのを考えている印象を受けた．

調査方法

• 12人の大学院生にWikipediaの信憑性評価に関するアンケートを実施
• 併せてWikipediaのオフィシャルスタッフによって信憑性チェックされた記事との評価とを比較

Wikipediaの信憑性を評価する際に使用している指標

• Image – 13%（relevance, quality, quantityに関連）
• Reference – 26% (quality, quantity)
• Textual feature – 26% (comprehensiveness, correctness, length)

感想：

• 調査の被験者が少ない，大学院生であったこと，評価に用いた記事のカテゴリにも偏りがあることが気になる
  -記事によっては信憑性判断に用いる指標が違うはず
• 質疑にもあがったが言語（文化）によっても違うというのもある
• Unknownな記事とknownな記事でも指標が違うというのが信憑性を考える上でのポイントなので，そのあたりの違いを知りたかった．
• 論文中には専門家が記事を判断する上で用いる指標と素人のそれとの比較が載っているみたい
• Trustworthines vs. expertise
• 重要な指標として挙げられたものにWikipedia特有なモノとか目新しいモノとかはなかったが，再確認としては良かったのかと．ただやっぱり難しいなと思うのが「各指標をどう計算機の上で扱えるようにするか」．Textual featureのcorrectnessとかcomprehensivenessが重要というのはある意味当たり前．

Session 2: Studies of Web Information Credibility

“Smart Marketing or Bait & Switch? Competitors’ Brands as Keywords in Online Advertising”
Mark Rosso (North Carolina Central University, USA) and Bernard Jansen (The Pennsylvania State University, USA)

• 対象: sponsored searchの広告
• ゴール: 検索連動型広告における相乗り広告の使用調査．
• 売り: こんな調査はあまりない

[問題設定]

Googleに”pontiac(車メーカー)”と入力したときに”Mazda vs. Pontiac”というタイトルの広告が出てくる．このときに，PontiacはMazdaの製品が掲載されている広告中に自社の名前が使用されているを認めるのか？

• # 検索連動型広告における商標違犯に関する不満は結構あるそうだ．
• # このようにある企業の広告に別の企業の宣伝が混じる広告を”相乗り広告”と呼ぶ

商標に関する違犯事項

• Use in commerce
• likelihood of consumer confusion

[目的]

相乗り(piggyback)広告は検索連動型広告のビジネスモデルに悪影響がある可能性あり．（たぶん）相乗り広告の存在によって，検索連動型広告はブランドの構築するのに不適である可能性もある．

そこで，検索結果広告が相乗り広告をどの程度含んでいるのかを調査:

• 300以上の有名企業の名前を検索エンジンに入力
• 得られた各検索結果広告を自社広告か相乗り広告を手作業で分類
• 相乗り広告の分類はさらにライバル広告かパートナー広告，opportunistic広告に分類

[結果]

• 検索結果広告の半数以上が相乗り広告（Yahoo!の場合90%）
• ただし相乗り広告の70%はパートナー企業の広告
• 敵対企業に関するクエリがトリガーになる広告は相乗り広告の4%程度
• 相乗り広告の悪影響を心配する必要はそれほど無い

[感想]

• お話としては面白い研究だったが信憑性と関係はあったのかな？

“TIME: A Method of Detecting the Dynamic Variances of Trust”
Laurian Vega, Yeong-Tay Sun, Scott McCrickard and Steve Harrison (Virginia Tech, USA)

• 対象: Webサイトの信憑性
• ゴール: 変化するWebサイトの信憑性をインタラクションを通じて評価するための実用的なツール開発
• 売り: 動的に変化するWebサイトの信憑性に着目して分析を行うツールは全然無い．
• 前提:ある対象への信憑性はユーザが対象とインタラクションを交わす毎に変化する．

システムの概要:

適当なタイミングでサイトの信憑性に関する質問をポップアップするシステム．
ポイントは(1)どんな質問を (2)どのタイミングで行うか．

質問内容: 信憑性評価のための尺度:

• 既存研究で提案されている尺度を代用．事前にサイトの信憑性に関する質問を用意．

タイミング:

• 変化する信憑性のトラッキングのタイミングとしてMicro-interactionに注目:
• Micro-interaction = かなり小さいインタラクション．クリックやスクロール操作
• インタラクションが発生した直後に信憑性に関する質問リスト（リカート尺度）がポップアップされる．
• (ポップアップを表示させる間隔は最低30秒はあける)

感想:

• 動的に信憑性が変化する，というモチベーションはその通りなのでどんな話かと楽しみにしていたが，信憑性の評価手法については既にあるモノを利用しているようで，研究の中心は分析ツールをどう実装するかの話になっていた．
• システムの作り込み方によってユーザのWebサイトに対する信憑性を正確に捉えられるかどうかも変わるという結果も出ている．信憑性を測るアルゴリズムも大事だが，信憑性を測るためのシステムや信憑性サポートするための”システム”の信頼性のようなものも重要かと思った．
• 関連研究は信憑性研究謝にとっては何か参考になりそうなものが載ってそう

Session 3: Evaluating Information Credibility

“Identifying Spam Link Generators for Monitoring Emerging Web Spam”
Young joo Chung, Masashi Toyoda and Masaru Kitsuregawa (The University of Tokyo, Japan)

お話としてはよくあるスパム発見の延長の話．

• 興味があるのは学習の素性に使われるRelative TrustRank. Whiteリストを用いたTrustRankとBlackリストを用いたTrustRankを結合して負のスコアを持つTrustRankも扱えるようにしているところに少し興味があった．
• 直感的には RelativeTrust(p) = TrustRank(S+)(p) – TrustRank(S-)(p)．

# TrustRank(S+)(p) = ホワイトリストを用いた場合のページpのTrustRank値

以上の式で計算するとホワイトリスト/ブラックリストの大きさに影響を受けてしまうので，

• RelativeTrust(p) = log(TrustRank(S+)(p)) – log(TrustRank(S-)(p)) – δ
• δ = log( ||S+|| / N ) – log (||S-|| / N )

として，シードの大きさを考慮して補正している．

“SpotRank: A Robust Voting System for Social News Websites”
Thomas Largillier (Universite Paris Sud XI, France), Sylvain Peyronnet (Universite Paris Sud; INRIA; CNRS, France) and Guillaume Peyronnet (Nalrem Medias, France)

• Diggのようなユーザが記事を評価するようなサイトでスパム投稿を発見するための手法を提案．
• 思いつきで用意した指標を組み合わせてSpotRankというスコアを計算．そのスコアの大小によってスパムを発見．
• またスパム発見．スパム発見はイタチごっこなので発表一つでお腹いっぱい．

感想

• 手法の妥当性が良く分からない．もっとSophisticatedな手法はあるはずなのになんでこんなヒューリスティックな戦略を採ったのか発表からはよく分からなかった．

“What is Disputed on the Web?”
Rob Ennals (Intel Labs Berkeley, USA), Dan Byler (University of California at Berkeley, USA), John Mark Agosta (Intel Labs Berkeley, USA) and Barbara Rosario (Intel Labs Berkeley, USA)

Lexical syntactic patternを用いて反対記述のある記述をWebから収集

• 例)  the myth that “ghost exists”, it is not true that  ”ghost exists”という記述がある場合，”ghost exists”という記述には反対記述有りとする

手順:

1. 反証記述発見のパターンを生成

• 少数(54個)のパターンを予め用意
• そこからブートストラップ的にパターンを増やす
• 増やしたパターンから使えるパターンを選ぶのは今のところ手作業らしい

2. パターンで検索して反証記述がある記述を収集

1. “the myth that”で検索
2. “the myth that (claim S)”のときclaim Sを反証記述有り記述として抽出
3. 反証記述のフィルタリング

• 例: the false claim that [won't go away]
• won’t go away は抽出すべき記述ではない．
• 現状，動詞から始まる記述は除去
• 他にも色々フィルタリングルールがあるみたい

関連研究

• 反対記述をユーザにアノテーションさせる(e.g. Diigo, SpinSpotter, Videolyzer)

“Modulating Video Credibility via Visualization of Quality Evaluations”
Nicholas Diakopoulos (Rutgers University, USA) and Irfan Essa (Georgia Institute of Technology, USA)

例のVideolyzerの続編．

Videolyzerのアノテーション情報がユーザのビデオに対する信憑性判断にどのような影響を与えるかを調査．

調査にはAmazon mechanical turkを使用（3種類のビデオ）．

結果:

• アノテーション情報の提示はネガティブな内容のビデオを視聴時には信憑性判断に影響．
• ポジティブな内容のビデオ視聴時には影響なし．

感想:

• 影響の有無を調べるための実験の設計が参考になると思った．
• システムの影響の有無→システムの使用頻度 vs. 信憑性有無の判断結果
• 提示する情報として何が信憑性判断に影響するかもついでに調べて欲しかった
• 態度変容の有無を調べているが，実は態度変容が妥当だったのかは調べていない．
  – これはでもうーん信憑性に対する前提の問題

この記事をtweetする