X(旧Twitter)のコミュニティノートの仕組みはオープンソースで公開されており、誰でも中身を確認できるようになっています。そんなコミュニティノートについて、イーサリアムの考案者であるヴィタリック・ブテリン氏が分析した結果をブログにまとめています。

What do I think about Community Notes?

https://vitalik.ca/general/2023/08/16/communitynotes.html

イーロン・マスクは2022年にTwitter(現X)の買収を完了して以降、会社の人員配置やコンテンツモデレーション、ビジネスモデルなど多数の面を抜本的に変化させてきました。こうした変化が良いものだったのか悪いものだったのかについてはさまざまな意見が存在していますが、その中の変化の一つである「コミュニティノート」はさまざまな立場を超えて広く受け入れられています。

コミュニティノートはツイートに情報を追加するためのツールで、デマ対策や補足説明を行うために利用されます。例えば下図のように「文字通り人々が自由に話すことを許可することでイーロン・マスクはTwitter上での言論の自由を脅かすかもしれない」というCNNのキャプチャ画像に対して、コミュニティノートで「風刺サイトで作成された画像でありCNNの放送内容ではない」と事実が補足されています。



コミュニティノートに参加するための条件は下記の通り。

・最近ルール違反をしていない

・アカウント作成から6カ月以上が経過している

・電話番号を認証済み

上記の条件を守れば誰でもコミュニティノートに参加することが可能です。最初からいきなりコミュニティノートを作成することはできず、まず既存のノートの評価を行って自身のスコアを高めていく必要があります。既存のノートへの投票が、そのノートの最終結果と一致すれば自身のスコアが向上し、一定以上のスコアを稼ぐことで新たなコミュニティノートを作成する権利が付与される仕組みです。

コミュニティノートへの評価は基本的に「役立つ」「部分的に役立つ」「役立たない」の3つとなっていますが、内部的に別のタグが割り当てられる場合も存在するとのこと。評価の集計結果が0.4を超えたコミュニティノートが一般ユーザーに表示されるようになります。ただし、この集計は単純な平均値ではなく、さまざまな立場の人から肯定的な評価を受けると評価が伸びるようなアルゴリズムになっています。

縦にユーザー、横にコミュニティノートを配置し、ユーザーがそれぞれのコミュニティノートについてどのように評価したのかという結果を並べた行列を考えます。この行列では、「i」行は「i番目のユーザーからの評価」で、「j」列は「j番目のコミュニティノートへの評価」となり、「i, j」番地は「i番目のユーザーがj番目のコミュニティノートに付与した評価」が表示されています。それぞれのユーザーが評価を与えるノートの数は少ないため、行列のほとんどは「0」になります。



この行列の値について、下記のようなモデルを作成します。



モデルのそれぞれの変数の説明は下記の通り。

・M_un

uはuser、nはnoteを表しており、左辺のM_unは行列の「u, n」番地の評価結果の予測値です。

・μ

ユーザーが与える評価が一般的にどの程度なのかを説明する「一般大衆の気分」パラメーターです。

・i_u

u番目のユーザーの「親しみやすさ」を表すパラメーターで、そのユーザーが一般的にどの程度の評価を与えるのかを表しています。

・i_n

コミュニティノートの「有用性」を表すパラメーターです。最終的にこのパラメーターの数値を求めることになります。

・f_uおよびf_n

それぞれ、f_uはユーザーの「極性」でf_nはコミュニティノートの「極性」を表すパラメーターです。似た傾向を示すユーザーやコミュニティノートのグループに対して自動で似た極性の値が割り振られており、これまでのところ、政治的に「左派」的なユーザー・ノートに対して負の値、政治的に「右派」的なユーザー・ノートに対して正の値が割り振られているとのこと。これらの区別はアルゴリズムが自動で発見したものであり、ソースコードには左派や右派の概念は埋め込まれていない点に注意が必要です。

コミュニティノートのアルゴリズムでは、最急降下法を用いてそれぞれのパラメーターを求めるようになっています。最終的に「i_n」がそのコミュニティノートの評価となり、「i_n」が0.4以上となったコミュニティノートが一般ユーザーに表示されるというわけ。

分析を行ったブリテン氏は、「極性」の概念を導入した点について高く評価しています。極性パラメーターを用いることで、「一部のユーザーだけに好まれる特性」を吸収し、コミュニティノートが広く好まれる原因となる特性だけを測定可能になっているとのこと。

例えば、極性が「−0.8」という値付近になったコミュニティノートは下記の通り。極性が大きく振れているコミュニティノートは党派性の強い内容になっていることがわかります。

コミュニティノート極性Anti-trans rhetoric has been amplified by some conservative Colorado lawmakers, including U.S. Rep. Lauren Boebert, who narrowly won re-election in Colorado's GOP-leaning 3rd Congressional District, which does not include Colorado Springs. https://coloradosun.com/2022/11/20/colorado-springs-club-q-lgbtq-trans/
(コロラド・スプリングスを含まない共和党寄りのコロラド州議会第3区で僅差で再選を果たしたローレン・ボーバート下院議員などの一部の保守的なコロラド州議員によって、反トランス系の言説は増幅されている。)-0.800President Trump explicitly undermined American faith in election results in the months leading up to the 2020 election. https://www.npr.org/2021/02/08/965342252/timeline-what-trump-told-supporters-for-months-before-they-attacked Enforcing Twitter's Terms of Service is not election interference.
(トランプ大統領は、2020年の選挙に向けた数カ月の間に、選挙結果に対するアメリカ人の信頼を露骨に損ねた。ツイッターの利用規約を強制することは選挙妨害ではない。)-0.825The 2020 election was conducted in a free and fair manner. https://www.npr.org/2021/12/23/1065277246/trump-big-lie-jan-6-election
(2020年の選挙は自由で公正な方法で実施された。)-0.818

なお、極性が「＋0.8」付近ともう一方に振れている場合のコミュニティノートは下記のような内容になっています。

コミュニティノート極性As of 2021 data, 64% of "Black or African American" children lived in single-parent families. https://datacenter.aecf.org/data/tables/107-children-in-single-parent-families-by-race-and-ethnicity
(2021年のデータでは、「黒人またはアフリカ系アメリカ人」の子供の64％が片親家庭に住んでいた。)+0.809Contrary to Rolling Stones push to claim child trafficking is "a Qanon adjacent conspiracy," child trafficking is a real and huge issue that this movie accurately depicts. Operation Underground Railroad works with multinational agencies to combat this issue. https://ourrescue.org/
(ローリング・ストーンズが子どもの人身売買を「Qアノンに隣接する陰謀」だと主張するのに反して、子どもの人身売買は現実の大きな問題であり、このムービーはそれを正確に描いている。「Operation Underground Railroad」は、この問題と闘うために多国籍機関と協力している。)+0.840Example pages from these LGBTQ+ children's books being banned can be seen here: https://i.imgur.com/8SY6cEx.png These books are obscene, which is not protected by the US constitution as free speech. https://www.justice.gov/criminal-ceos/obscenity "Federal law strictly prohibits the distribution of obscene matter to minors.
(発禁処分となったLGBTQ+の児童書のページ例はここで確認可能：https://i.imgur.com/8SY6cEx.png これらの本はわいせつであり、言論の自由として合衆国憲法で保護されていない。連邦法は未成年者へのわいせつ物の頒布を厳しく禁じている。+0.806

ブリテン氏は「極性」を導入することで単純な平均よりどの程度結果が「改善」されるのかについても検証しました。同じ極性をもつユーザーから「+2」の評価を受けつつ反対の極性をもつユーザーから「0」の評価を受ける「良い」グループの平均評価は約0.30となり、同じ極性のユーザーから「+4」の評価で反対の極性のユーザーから「-2」の評価を受ける「偏りのある良い」グループの平均評価は約0.22になったとのこと。平均評価が同じでも、極性の強いコミュニティノートは表示されにくくなっていることがわかります。

グループ平均評価良い0.30032841807271166偏りのある良い0.21698871680927437

アルゴリズムの中心となる部分は上記の通りですが、この他にも多数のシステムが動いています。システム全体についてはXのサイト上で公開されており、誰でも確認可能です。さらに、全てのコミュニティノートおよび評価データについても公開されているため、「本当に説明通りにアルゴリズムが動作しているのか」「運営が勝手に公開・非公開を切り替えていないのか」などをチェックすることができます。

ブリテン氏はコミュニティノートについて、コミュニティノートが気に入らない場合に別のメカニズムを導入できないという点はありつつも、中央集権的な操作をしなかったり不正行為に関与しないプラットフォームを保証したりする点で大きな価値を提供していると述べています。また、対立構造を永続させるのではなく、両者の橋渡しをするようにデザインされている貴重な例であり、今後コミュニティノートや同様のアルゴリズムの発展を見ることを楽しみに思うとブログを締めくくっています。