アメリカのAIスタートアップ「Zyphra」が、AMDのGPUインフラで学習した小型推論向け言語モデル「ZAYA1-8B」を公開しました。ウェイトが公開されており、商用利用も可能となっています。Zyphrahttps://www.zyphra.com/post/zaya1-8bZAYA1-8Bは、モデル全体として約80億パラメータを持ちながら、推論時に主に使う有効パラメータを約7億に抑えたMixture of Experts(MoE)モデルです。複数の専門家ネットワークから入力内容に合う一部だ