NotebookLMはウィキペディアの執筆サポートに使えるのか？

※前の記事と同様に、大学の期末レポートをリライトしたものです。元レポートがたった4ページ程度の内容なので、大したことは書いていません。締め切り直前に、4時間くらいでサッと書いたものので…

詳しい経緯はこちらの記事に任せます。著作権が怖いので、ここには具体的な出力結果を載せないこととします。

はじめに

「NotebookLMを利用して自分の勉強に役立つノートブックを作成せよ」というレポート課題が出題された。

NotebookLMの活用法を考えてみた時にふと思いついたのは、「ネット上にある資料を用いて、ウィキペディアの記事を書かせることはできるのか？」ということである。実際にやってみることとした。

今回の題材として使用するのは、以前私が国立国会図書館デジタルコレクションの資料の記述を中心に改稿した「六浦藩」である。簡単に説明すると、現在の横浜市内に存在した唯一の藩である。図書館総合展に参加するついでに執筆した記憶がある。2万バイト（図表や脚注といった部分を除いた純粋な情報量は1万バイト程度）と、ちょうどいい分量の記事である。自分の書いた記事なら、制作背景も分かっており、他の記事よりもわかることが多そうだ。

デジコレの資料は個人的な使用において、100ページまでのPDFダウンロードが認められている。そのため、データを簡単に読み込ませることができる。

著作権上の理由、今回はレポートのための実験としてのみ、出力結果を使用したことを明記しておく。

ソース集め

まずはNotebookLMに提供する資料を集めた。

まず初めに、「六浦藩」の記事を執筆した際に使用した参考文献のうち、デジコレに所蔵があるものを探した。自分が記事を執筆している際に、六浦藩に関する記述をすべて載せているわけではなく、いくらか取捨選択したうえで載せている。文章の取捨選択をどうやっているか、といった部分も比較してみたいため、今回は「六浦藩」・「金沢藩」（六浦藩の別名）・「米倉」（六浦藩を治めた大名家の名字）の3つのキーワードが掲載されているページを検索し、（文脈を正しく理解できるように）その前後1ページも含めて、PDFとしてダウンロードした。

下書き作成

PDFデータをNotebookLMにアップロードして、

「これらの情報をまとめて、「六浦藩」に関するレポートを、ウィキペディアの記事のように書いてください。

ただし節構成は、以下のようにします。

①歴史（藩史について、適宜下位の節を作っても構いません）

②所領（藩の領地について、陣屋や江戸屋敷などの情報もここにいれます。）

③文化・産業・学問など、諸トピック」

というプロンプトを打ち込んだ。私が藩の記事を書くときの構成と同様の構成にしてみた。歴代藩主の節に関しては、紙の参考文献を参照しているため、今回は省略した。

最初の出力結果では、自分が指示を忘れていたため、ウィキペディアと比較して短いレポートであった。そこで追加して、「約1万バイト相当の記述にする」ように伝えた。

長所

出力結果を読んでみての簡単な感想として、第一に「編集者の好み」があまり反映されないようにみえた。私が藩の記事を書くときに共通することが、「藩史」節に重きを置くことが多い。最初に書く部分であるからこそ、執筆のモチベーションが高く、過剰に書いてしまうことが多い。後になるにつれ、面倒になってしまい、記述が適当になることが多い。また、藩史の記述が多いのは、単純に私がその部分を執筆することが好きだからである。ウィキペディアの記事では、執筆者の好みが反映されることが少なくない。そういった可能性が少なかくなりそう、という意味では評価ができそうであった。

別の人が簡単にまとめた文章を読むことの利点として、自分が全く知らない題材について大まかな理解を得た状態で執筆ができることがある。私が記事を書くときは、その分野に関する概説書を一冊読みながら、記事の大枠を書くことが多い。そのため、最初の部分を書いているときは、この藩が後にどういった運命をたどっていくのかを知らない状態である。理解不足・間違った理解のまま進み、既に書いていた文章との矛盾を引き起こしてしまうこともある。前提知識を入れるといった意味では、サポートツールとして機能しそうである。また、構成や節の名前を考えるのにも一役買いそうである。（実はかなり苦労している部分である。）

短所

今回NotebookLMを使用するツールに選んだ一番の理由は、「NotebookLMは、与えられたソースを参照するために、出典が何であるかも明示してある」と聞いていたからだ。ウィキペディアの記事に嘘を書くのは好ましくないし、出典を明記する必要があるため、ウィキペディアの記事執筆には、他のAIの機能に比べても適していそうだと無知の人間なりに判断した。

一方で実際の出力結果を見ていると、私の記憶とは違う情報が書かれていることも少なくない。ここからは多少専門的な話になるので読み飛ばしてください。

・「藩庁の公称は「六浦」であり、一般に「六浦藩」として記述される」

→チェックしてみたが、そのような記述は参考文献中になかった。

・「その弟の昌仲に3,000石を分与したため、一時期は9,000石の旗本となったが、後に加増を受けて再び1万石の大名に復帰している」

→出典の神奈川県史にはそのような記述はない。旗本であったのは、皆川藩成立以前の話であり、それと混同している可能性が高い。

・「六浦藩の石高は原則として1万2,000石であり、」

→このように書いてあるが、いつそうなったのか藩史節に言及なし。1万石で止まっている。記事を読んでいての違和感。

・「六浦周辺は、鎌倉時代以来の伝統を持つ製塩の適地であった。藩領内では塩田開発が行われ、「六浦の塩」として知られていた。」

→聞いたことがない情報。実際に確認してみると、参考文献には塩に関する記述すらない。鎌倉時代に製塩が栄えたのは一応事実のよう。

簡単に見ただけでも、これだけの誤りがあった。NotebookLMにはある程度の信頼があり、よく使っていたツールだったが、ここまで違う情報を見せられると、信用できる気がしなくなってくる。

矛盾点の捜索ツールとして

NotebookLMを使ってみて、一つ役立ちそうだなと思ったのが、「矛盾点の捜索ツール」という使い方である。ウィキペディアの記事を書いていると、矛盾に悩むことが多いが、自分では見つけられない部分も多い。また、同時に複数もの文献を比較して、一つの矛盾点に対して両論併記を行う作業は、想像以上に脳への負担は大きい。一方で、NotebookLMに「挙げた資料の矛盾点をあげてみて」と指示すると、矛盾点や、それぞれの参考文献がどのように主張しているかを簡単にまとめてくれる。ファクトチェックの時間を考慮しても、必要な時間と労力が減った印象で、非常に有用だなと感じた。

実際に執筆した記事との比較と改修

続いて、Wikipediaのリンクもソースに加えてみて、同様のレポートを作成させた。

それぞれの出典が占める割合も明記するように指示していたところ、　『神奈川県史』が約30%、『六浦藩 – Wikipedia』が約25％…にしたという。想像以上にウィキペディアの占める割合が少ない。（決して質の悪い記事ではないと思っていただけに、もう少し影響を占める割合が大きい、出典として良く評価されるだろうと考えていた。）

あまり大声で言うことではないが、参考文献の中には、あまり質が良くないと個人的に判断したものもある。郷土史の類は、庶民の実生活を描写するにはもってこいの資料であるが、信頼性があるかと訊かれると、難しい。こういった重みづけを定量的なものにできないかは、もう少し調べてみたいところ。

矛盾点を探すツールとしては価値が高いような気がした。ウィキペディアの記事と、実際の参考文献を比較させた結果、いくつかタイプミスや解釈違いがあったことが判明した。特に日付や年号におけるミスは多い。ウィキマニアに参加した際に、ウィキペディアに関する研究紹介コーナーにも参加したが、そちらでは、ウィキペディアの記事と記事間の矛盾に着目した研究の紹介をうけた。その中でも、年月の間違いはとくに多かったときき、普段の編集作業でもそういったミスを犯しがちなので、耳が痛かった。実際にNotebookLMに投げてみると、自分のミスの程度が想像以上で驚かされる。

まとめ

簡単にNotebookLMで遊んでみたところ、参考文献を与えるだけでは、完璧なウィキペディア風の下書きを書くことは、現状できそうにないということが分かった。意外とハルシネーションが多く（少ないと聞いていた割には）、とてもそのまま記事としてアップロードするには憚れる質であった。修正やファクトチェックにかかる労力は想像以上に大きく、このレポートを書く中で一番苦労した部分である。

一方で、執筆者の好みといったものは存在しないため、自分が書いた記事よりに比べて、適切な分量とバランスでまとめられていると感じた。また、自分が言及していない部分にも言及してくれるために、「この部分をもっと言及していればよかった」と気づかされることもあり、サポートとしては活用できる。なにより、「矛盾点を探してくれるツール」として活用できそうだと気付けたのは大きい。この点は、今後の執筆活動にも盛り込んでいこうと思う。