Metaがコードのコンパイルや最適化を行える商用利用可能な大規模言語モデル「Meta Large Language Model Compiler」をリリース
Metaがコードをコンパイルしつつ最適化するという大規模言語モデル「Meta Large Language Model Compiler」をリリースしました。モデルは商用利用可能で、Hugging Faceにてホストされています。
Meta Large Language Model Compiler: Foundation Models of Compiler Optimization | Research - AI at Meta
Today we’re announcing Meta LLM Compiler, a family of models built on Meta Code Llama with additional code optimization and compiler capabilities. These models can emulate the compiler, predict optimal passes for code size, and disassemble code. They can be fine-tuned for new… pic.twitter.com/GFDZDbZ1VF— AI at Meta (@AIatMeta) 2024年6月27日
Metaの研究チームはCode Llamaモデルをベースに、コンパイラの中間表現とアセンブリコードの合計5460億トークンのコーパスでトレーニングすることでコンパイラーの中間表現やアセンブリ言語、そして最適化の手法を扱えるモデルを作成したとのこと。
今回、事前トレーニング済みモデルとして「7B」「13B」と2つのサイズのモデルがリリースされたほか、追加でファインチューニングを行うことでアセンブリコードの最適化やコードサイズの削減能力の向上や、アセンブリコードをコンパイラの中間表現に逆アセンブルできるように調整した「LLM Compiler FTD」の「7B」「13B」モデルがリリースされました。
モデルにコンパイラの中間表現をプロンプトとして渡し、最適化の方法を指定するとその最適化を行った後の出力コードがどうなるかを出力することが可能です。LLM Compiler FTDの13Bモデルの場合、コンパイラのコードサイズ削減オプションである「-Oz」オプションを使用した場合と比べて61％のケースでよりサイズの小さいオブジェクトファイルを生成することに成功しました。
コンパイラの最適化のエミュレート能力の比較は下図の通り。Code Llamaモデルはコンパイラの中間表現に関する知識がないため正確性はほとんどありませんでしたが、LLM Compilerの場合は7Bモデルで16％、13Bモデルで20％のケースで実際のコンパイラの出力結果と文字レベルで一致させることに成功しています。
x86のアセンブリコードを元にコンパイラの中間表現を生成する逆アセンブリタスクの場合、LLM Compiler FTDモデルはコードサイズを改善できるだけでなく、翻訳タスクの評価に用いられるBLEUスコアでその他のモデルに大差を付けて勝利し、高精度で逆アセンブリをこなせることを示しました。
今回発表された4つのモデルはいずれも商用利用が可能な「Meta Large Language Model Compiler (LLM Compiler) LICENSE」でリリースされており、Hugging Faceからダウンロード可能になっています。
◆フォーラム開設中
本記事に関連するフォーラムをGIGAZINE公式Discordサーバーに設置しました。誰でも自由に書き込めるので、どしどしコメントしてください！Discordアカウントを持っていない場合は、アカウント作成手順解説記事を参考にアカウントを作成してみてください！
• Discord | "「コンパイラでのコード最適化」に似た最適化が可能なAIモデル、何に役立ちそう？" | GIGAZINE(ギガジン)
https://discord.com/channels/1037961069903216680/1256175165889581217
