動画や画像ファイルの重複を検出するツールは数多くありますが、「ファイル名が一致する」・「ハッシュ値が一致する」など付加情報や完全一致でしか重複を判断できないケースがほとんどです。「Video Duplicate Finder」はファイルの形式や解像度が違ったり、透かしなど一部だけが加工されているような動画や画像でも、見た目の類似度から重複を検出できるオープンソースのツールです。

0x90d/videoduplicatefinder: Video Duplicate Finder - Crossplatform

https://github.com/0x90d/videoduplicatefinder

◆Video Duplicate Finderの利用方法

GUI版のVideo Duplicate Finderを利用する場合、メイン画面から「Settings」から「Directories」をクリックし、スキャンするフォルダを「Add」ボタンもしくはドラッグ＆ドロップで指定します。



除外するフォルダを登録することもできます。ファイル名やフォルダ名のパターンで除外したい場合は、「Add Pattern」をクリックし、「*.bk」など除外したいパターンを入力して「OK」をクリック。



重複かどうかの判定基準を設定するには「Setting」から「Scanning」をクリックし、各種パラメータを設定します。大きく3つの設定項目が重複判定の基準として影響します。

Percent：どのくらいの一致をもって重複と判断するかの割合で、推奨値は「90から95％」です。

Duration Difference：動画自体の長さの違いをどの程度許容するかで、0は完全一致のみ検出します。推奨値は「10から20％」

Max sampling duration：解析する動画のサンプリング時間で、0で全体を解析します。推奨値は「30秒」



設定が完了したら「Scanner」から「Scan」をクリックしてスキャンを開始します。



重複するファイルが検出された場合は一覧に表示されます。



アイテムの左側のチェックボックスにチェックを入れて「Delete Checked Items」をクリックするとファイルを削除できます。



スクリーンショットの場合は一致する部分が多いため「Percent」を99％に設定する。人物や風景などの写真は97％にすると似たカットの写真が候補として出てくるなど、コンテンツによって判定基準を調整する必要があります。

◆Video Duplicate Finderの構築方法

今回はWindowsにGUI版のVideo Duplicate Finderを構築します。公式のReleaseサイトからGUI版のZIPファイルをダウンロードします。



ダウンロードしたZIPファイルを右クリックし「すべて展開」を選択します。



解凍先のフォルダを指定して「展開」をクリックします。



Download FFmpegからFFmpegをダウンロードするためダウンロードサイトへのリンクをクリック。



ビルド済みのZIPファイルをダウンロード。



ダウンロードしたZIPファイルを右クリックし「すべて展開」を選択。



解凍先のフォルダを指定して「展開」をクリック。



解凍先のフォルダを開き「ffprobe.exe」と「ffmpeg.exe」をVideo Duplicate Finderを解凍したフォルダにコピー。



「VDF.GUI.exe」をダブルクリックしてVideo Duplicate Finderを起動。



起動すると初回の設定画面が表示されるので「Database Size」は「32ｘ32」を選択し「Next」をクリック。



スキャンするフォルダを登録する画面が表示されますが、いったん「Skip」をクリック。



セットアップが完了しVideo Duplicate Finderのメイン画面が表示されます。



スキャンするフォルダや判定基準などの設定がわかりやすく、重複の基準も細かく設定でき、高速な処理が可能な優れたツールです。