大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開

2024年2月21日 12時6分

大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。

A company called Groq may have pushed AI chips to the next level

https://www.androidheadlines.com/2024/02/openai-groq-ai.html

Forget ChatGPT - Groq is the new AI platform to beat with blistering computation speed | Tom's Guide

https://www.tomsguide.com/ai/forget-chatgpt-groq-is-the-new-ai-model-to-beat-with-blistering-computation-speed

Groqはアメリカのマウンテンビューに本拠地を置くAI関連企業で、これまでにAI、機械学習、ハイパフォーマンスコンピューティングアプリケーション向けの高性能プロセッサやソフトウェアソリューションなどを開発してきました。なお、名前がイーロン・マスク氏のAI企業であるxAIが開発するAIチャットボットであるGrokと非常に似ていますが、これとは全くの別物です。

通常、AIツールは並列グラフィックス処理用に最適化されたGPUを用いて計算処理を行います。これはGPUが計算処理を迅速に実行可能で、一般的には非常に効率的にこれをこなすためです。例えばLLMのひとつであるGPT-3では、GPUを用いてプロンプトを分析し、その前後にどのような単語が続くかについて一連の予測を行い機能します。

これに対して、Groqが開発しているLPUは既存のLLMを爆速で動作させるために設計されたチップとなっており、一連のデータ(DNA、音楽、コード、自然言語など)を処理するべく特別設計されているため、GPUよりもはるかに優れたパフォーマンスを発揮可能です。

Wow, that's a lot of tweets tonight! FAQs responses.
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP— Groq Inc (@GroqInc) February 19, 2024