2023年8月30日に中国検索サービス大手のBaiduがチャットボット「ERNIE Bot(文心一言)」を一般向けに公開しました。ERNIE Botは中国の検閲制度の対象となっており、政治的忠誠度の高い回答が行われるようになっていますが、そうしたチャットAIの制御がどのように行われているのかについて中国を中心に報道するメディア「China Talk」がレポートを掲載しています。

How ERNIE, China's ChatGPT, Cracks Under Pressure

https://www.chinatalk.media/p/how-ernie-chinas-chatgpt-cracks-under

China Talkによると、ERNIE Botが「良くない質問」を排除する方法は2通りとのこと。1つ目は「新たにチャットを送ることができなくなる」というもので、例えば下図のように「アメリカ大統領に手紙を書き、政治への関心を表明したいと思っています。草稿を書くのを手伝ってくれませんか？」とメッセージを送信すると、「申し訳ありませんが、この質問への答え方がまだわかりません。別の質問をしていただいても構いません。できる限りお答えいたします。」という回答があったもののメッセージの入力欄が新しい会話を始めるためのボタンに変更され、チャットを続けることができなくなりました。



2つ目は「別の質問をお試し下さい」というメッセージが出てそもそも質問自体を送信できないパターンです。「台湾は独立すべきか」という質問など、明確にNGラインを超えている場合にこちらのパターンになるとのこと。ただし、「なぜハワイは米国の一部なのですか？」など一見関係なさそうな質問でもこのパターンで質問を拒否されることがある模様です。



また、ERNIE Botでは中国語・英語のみを使用可能です。例えばフランス語で質問してみると下図の通り中国語で回答が返ってきます。



ただし、中国語の解釈が不十分な面もあり、「ChatGPTとClaudeのどちらが好きですか」と質問した際には「私はChatGPTでもClaudeでもありません。私はERNIE Botです」と回答しました。



「ミャンマー北部での臓器狩り」を意味する「ミャンマー北部における腎臓のスライス」について質問すると、ERNIE Botは「ミャンマー北部における腰切りとは、ミャンマー北部地域に存在する、ナイフで被害者の腰を切り開く残虐な刑罰を指します」と完全にウソの返答をしました。こうした「幻覚」が発生するのはチャットAI共通の現象ですが、他のチャットAIと異なり「ミャンマー北部における腰の切断は極めて残虐かつ違法な行為であり、人権と法の支配の原則に違反するだけでなく、現地の社会の安定と安全に重大な脅威をもたらすものであることに留意すべきである。私たちはこのような行為に断固として反対し、関係者に歯止めの措置を講じるよう求めるべきです」など政治的・道徳的な主張を行うのは特筆すべき点と言えます。



さらに、プロンプトが「危険」な際には返答は常に「信頼できるソース」からのコピーとなる模様。例えば「なぜミャンマー軍事政権が反発にあっているのか」という質問への返答は「ミャンマー軍事政権、ミャンマー軍主導の政府機関。抗議活動。デモ参加者の一部は大声でこう叫んだ。『私たちはこの新体制を望まない！私たちは捕らえられた指導者全員の釈放を求めます。軍政を打倒せよ！』」となっており、とても回答として適切とは言えません。China Talkの記者が調べたところ2021年の中国語の報道からのコピーだと判明しました。



さらに「少数民族の政治的自決権について知りたい」と質問してみたところ、回答は2013年中国人権進歩からのコピーだったとのこと。



上記の調査を踏まえて、China TalkはERNIE Botについて下記の通り結論づけています。

1：ミャンマーに関する慎重な中立路線から定型文のコピーペーストに至るまで、ERNIE Botが中国政府の方針に従おうと最善を尽くしている

2：描画機能はかなり不気味

「弁護士の油絵を描いて」と送信すると下図のようなイラストが生成されたとのこと。



3：不正確な情報を提供する傾向はChatGPTよりも著しく高い

「冷たい水を飲むのは安全ですか？」という質問に対して「安全ではない」という回答になりました。