通常、大規模言語モデル(LLM)のほとんどは「次の単語を予測する」という作業を行っており、一度に出力されるデータ(トークン)は1つです。これに対しMetaは2024年4月の論文で、一度に複数のトークンを出力する「マルチトークン予測」というアプローチを提案しています。7月4日、Metaがマルチトークン予測を用いた事前トレーニング済みモデルを、AI開発プラットフォームのHugging Faceにオープンソースでリリースしました。In April