大規模言語モデル(LLM)をわずか4GBほどの実行ファイル1つで手軽に配布・実行できるようにしたパッケージ「llamafile v0.7」が公開されました。このバージョンではCPUとGPU両方の計算性能と計算精度が向上しており、命令セットアーキテクチャ「AVX-512」のサポートにより、AMDの「Zen4」アーキテクチャ採用CPUなどでプロンプト処理時間が10倍高速化されるとのことです。Release llamafile v0.7 · Mozilla-Ocho/llamafile ·
ランキング
- 総合
- 国内
- 政治
- 海外
- 経済
- IT
- スポーツ
- 芸能
- 女子