「ternlight」はウェブサイトに軽量な埋め込みモデルを組み込めるパッケージです。埋め込みモデルのサイズは5〜7MBで、ウェブサイト訪問者は自分のCPUで埋め込みモデルを実行することができます。

GitHub - soycaporal/ternlight · GitHub

https://github.com/soycaporal/ternlight

ternlightは小型の埋め込みモデル「all-MiniLM-L6-v2 」を蒸留した超小型モデルをウェブサイトに含めることができるパッケージです。「@ternlight/base」と「@ternlight/mini」の2種類に分かれており、baseは7MB、miniは5.5MBのメモリを使用します。ウェブ開発者はternlightを用いてウェブサイトに「埋め込みモデルを活用したセマンティック検索機能」などを追加することができます。

@ternlight/base - npm

https://www.npmjs.com/package/@ternlight/base

@ternlight/mini - npm

https://www.npmjs.com/package/@ternlight/mini

ternlightのデモサイトは以下のリンク先で公開されています。

ternlight · semantic search · React docs

https://ternlight-demo.vercel.app/

デモサイトにアクセスしたら下方向にスクロール。



ページの下部に「Reactのドキュメント内を埋め込みモデルで検索する」というデモが配置されています。アクセスと同時に埋め込みモデルの読み込みが始まっているのでしばらく待ちます。



読み込み完了。検索バーが表示されました。



検索バーに語句を入力すると関連するページを検索できます。埋め込みモデルの計算処理は訪問者のCPUで実行される仕組み。ノートPCで実行しても数ミリ秒の遅延で処理できました。



ternlightの開発者であるWen Shu Tang氏はパフォーマンスと品質の向上を目指しており、貢献者を募集しています。