OpenAIのGPT-4をコーディング能力で上回ったというAI検索エンジン・Phindが、新たな大規模言語モデルのフラッグシップである「Phind-405B」を発表しました。

Introducing Phind-405B and faster, high quality AI answers for everyone

https://www.phind.com/blog/introducing-phind-405b-and-better-faster-searches



Phindによると、Phind-405BはMetaのLlama 3.1 405Bをベースにしていて、トークン数は128K、コンテキストウインドウは32k。

プログラミング能力を測る評価指標のHumanEvalでは92％という好成績を示していて、AnthropicのClaude 3.5 Sonnetに匹敵します。

Phindによると、Phind-405Bは特にウェブアプリの設計と実装で高いパフォーマンスを発揮するとのこと。

Phindは、プログラマーのポール・グレアム氏によるエッセイ「創業者モード」のランディングページ作成を依頼した場合の作業事例を挙げています。依頼を受けたPhind-405Bはさまざまなサイトから情報を収集。



そして情報をまとめたランディングページを完成させました。



Phind-405BはDeepSpeedとMS-AMPライブラリを使用して、256個のH100 GPUを用いたFP8混合精度トレーニングが行われたとのこと。Phindによると、FP8混合精度トレーニングは、従来のBF16精度トレーニングよりも劣化が少なく、メモリ使用量を40％減らせるそうです。

また、PhindはAI検索エンジンの改善としてPhind Instantで使用しているモデルのアップデートも同時に発表しています。AIを使用した検索ではGoogleなどの従来の検索エンジンと比べて結果が表示されるまでにかかる時間が長いことが問題ですが、新たにPhind-405Bと同じデータセットでトレーニングしたMeta Llama 3.1 8Bベースのモデルを開発し、1秒当たり最大350トークンを生成できるようになってユーザー体験が向上したとのことです。