大河原克行のNewsInsight 第43回 世界と戦う「富岳」、世界最高峰スパコンの強みを探りに生産拠点を訪ねる
富士通のサーバー、ストレージの生産拠点である富士通ITプロダクツ(FJIT)において、スーパーコンピュータ「富岳」の生産および出荷が始まっている。先頃、スーパーコンピュータの消費電力性能を示すGreen500において、富岳のプロトタイプが世界1位を獲得。この成果を引っ提げて、2019年12月からは、兵庫県神戸市の理化学研究所計算科学研究センターに搬入が開始されている。
世界最高峰のスーパーコンピュータはどのように作られているのだろうか。そして、FJITの強みはどこにあるのだろうか。それを知るために、石川県かほく市のFJITを訪れた。
石川県かほく市の富士通ITプロダクツ(FJIT)
○富士通ITプロダクツ(FJIT)の来歴と現在
富士通ITプロダクツは、2002年4月1日に設立した。
1979年に稼働したPFU笠島工場を母体としており、同工場で生産していた小型サーバーや下位ストレージ、スキャナ、プリンタのほか、富士通長野工場で生産していた上位ストレージ、富士通沼津工場で生産していた大型サーバー、富士通熊谷工場で生産していた各種プリント板ユニットの製造を移管。そうした経緯を背景に、CPUモジュールからプリント板、装置組立、試験、顧客別構成構築までを行なう一貫体制を敷いているのが特徴だ。
現在、FJITで生産しているのは、基幹IAサーバーのPRIMEQUESTやUNIXサーバーのSPARC M12シリーズ、メインフレームのGS21、ストレージのETERNUSシリーズなど多岐にわたる。2019年3月からはスーパーコンピュータ「富岳」のCPUモジュールの生産を開始した。基板製造、組み立て、検査の一貫生産を行い、同年12月2日には、富岳の第1号筐体を出荷したところだ。また、「富岳」の開発で培った技術を生かして開発した商用スーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000」および「PRIMEHPC FX700」も、FJITで生産されている。
富岳の生産は、FJITで行われているが、ハードウェア開発は富士通川崎工場で、ソフトウェア開発は富士通沼津工場および川崎工場、システム評価は富士通沼津工場で行われている。
「FJITは、富岳プロジェクトに企画段階から参画している。出来上がった図面通りに生産するといった役割ではなく、モノづくり側からの要望や提案を行ってきた」と、富士通ITプロダクツの加藤真一社長は語る。
富士通ITプロダクツの加藤真一社長
品質評価についても、製品単体テストを実施するだけでなく、OSやミドルウェアなどのソフトウェアを搭載した確認テストを行っている。ここでは新機能に着目したテストや、ハードウェアおよびソフトウェアの組み合わせテスト、運用環境で想定される部品故障時のリカバリテストも行っている。
さらに製品品質を源流にまで遡って管理。部品サプライヤーと連携して、品質を高めるための仕組みを構築。FJITや富士通の品質管理部門が直接サプライヤーの現場に出向き、共同で品質向上に向けた取り組みを行うといったことも行われている。
「富岳の生産体制に確立に向けては、約2年前から、当社が生産受注した時のことを考えて準備をしてきた。リスクを洗い出して、それを潰す作業を繰り返してきた。約10年前に、京の生産を行った際の経験やノウハウが蓄積されていることは強みであるが、それが油断につながることを最も心配した。時間をかけて、入念に準備をした」と振り返る。
ここでは、富岳の生産を想定して、ICTを活用した自動化や専用治具の開発、作業環境の対策、OJTをはじめとする教育および訓練のほか、品質リスクマネジントを実施。富岳の生産に限定しても、約3万件ものリスク評価を行い、ポカヨケの手法を考案したり、治具の拡充などによって、作業リスクの大幅な低減を果たしたという。
たとえば、ICTを活用した自動化や専用治具の開発では、設計段階のデータをもとにしたバーチャルものづくり検証を行い、作業時に必要な場所に手が入るか、設置した部品同士が干渉しないか、どんな工具や治具が必要かといったことをアニメーションや3Dモデルを使用してシミュレーション。「モノを作らないモノづくりによって、設計段階から製造性を検証し、高品質と低コストを実現した」という。
さらに、富士通が取り組んでいる、組み合わせ最適化問題に能力を発揮するデジタルアニーラを活用。部品倉庫の棚から部品を調達し、これを製造ラインの棚に供給するのに、最適なルートを導き出すことに応用。入出庫順序を算出し、最短経路の動線で作業が行えるようにしているという。
一方で、富岳の生産におけるサプライヤーからの部品調達では、京のときと同様に、「ミルクラン」方式と呼ぶ仕組みを導入した。
ミルクランとは、複数の牧場で絞った牛乳を、トラックがまわり定期的に回収する仕組みを語原としており、複数のサプライヤーを巡回するトラックが、当日使用する量の部品だけを最小ロットで毎日納入。棚卸資産の圧縮や保管スペースの圧縮、納期管理工数の削減、物量の平準化といった効果につなげている。
富士通ITプロダクツの加藤真一社長は、「サーバー、ストレージ装置の製造で培った製造技術や試験技術をベースに、スマートなものづくりを実践し、信頼性の高い富岳を生産することを目指した」と語る。
FJITでは、月間60ラック以上の富岳を生産し、最終的には400ラックを生産する計画であり、2020年6月までに全量を出荷する予定だ。
○富岳を月間60ラック以上、今後400ラックを計画する生産ライン
では、富岳の生産ラインの様子をみてみよう。
富岳のCPUモジュールの検査工程。周波数特性などをみている
富岳のCPUモジュール
富岳の基板。小さな部品が搭載されたのちに、大型の部品が搭載される
基板がラインに投入され、まずはCPUモジュールが実装される。すべて自動化されている
各種部品が実装されていく
カセットに部品をセットしているところ。最小で0.6mm×0.3mmの部品を搭載する
高速マウンターで部品を搭載していく
検査工程も自動化されている
CPUモジュールをはじめとして部品が搭載された基板
リフロー炉を使いハンダで部品を固定する
基板がリフロー炉に入るところ
自動外観検査機で検査を行う
完成した富岳の基板。ひとつのボードに2つのCPUモジュールが搭載されている
完成した富岳の基板は1階の組み立て工程に運ばれる
1階の組み立て工程の様子
ケースに基板を組み込む
基板を組み込んだところ
ネジで固定する
続いて水冷装置を作業台に乗せる
CPUモジュールにグリスを塗る機械
冷却装置を組み込む工程。まずはガイドとなるピンを4本立てる
ガイドにあわせて冷却装置を組み込む
続いてネジで固定する
大きめのスプリングナットを使用している
完成した装置
ケースの上蓋を取り付ける
上蓋をネジで固定する
ケースにシールを貼る
棚に乗せてラックのあるエリアに運ぶ
ラックに組み込まれて検査を行っているところ
出荷準備工程に入った富岳
完成した富岳。ここに192枚のメインボードを搭載。CPUは384個搭載されている
梱包され出荷を待つ富岳
ここからはFJITの富岳以外の生産ラインも少し見てみよう。
4階の基板生産ラインの様子
生産されたサーバー向け基板。50cm〜5cmまで様々なサイズを生産。400種類にのぼるという
基板への実装の際にハンダを塗布するための版
カセットに装着する実装機から各種部品が供給される
UNIXサーバーの組み立てラインの様子。サーバーとストレージの混流生産が可能だ
UNIXサーバーの検査工程の様子
ラックサーバーの最終出荷準備工程
○富岳は性能競争のためではなく、"役立つ"スパコンを目指した
富岳は、スーパーコンピュータ「京」の後継機として、富士通と理化学研究所が共同で開発。2021年〜2022年頃の共用開始を目指しているスーパーコンピュータである。
ものづくり、ゲノム医療、創薬、災害予測、気象・環境、新エネルギー、エネルギーの創出・貯蔵、宇宙科学、新素材の9つの分野を重点領域として、コンピュータシミュレーションなどに活用されることになる。
「コンピュータシミュレーションは、見えないものが見え、実験できないものができる。いまや理論、実験と並ぶ、第三の科学、研究開発の手段になっている。製品開発の分野に取り入れられ、企業にとってもシミュレーションが生命線のひとつになっている」と、富岳の開発をリードした富士通の新庄直樹理事は語る。
富士通の新庄直樹理事
さらに、富士通の櫛田龍治執行役員常務は、「富岳は、AI向けの計算を高速化できる機能を新たに追加。シミュレーションだけでなく、AIやビッグデータの分野での利用が想定されている。富士通が持つ最高の技術を投入した富岳が、Society 5.0の実現に向けて、貢献できる」とする。
富士通の櫛田龍治執行役員常務
スーパーコンピュータは、長年に渡り、日本、米国、中国による性能競争が激しい。だが、新庄理事は、「富岳は、スーパーコンピュータの性能競争のために開発したわけではない。科学技術の探求だけでなく、産業界をはじめとして実用的に役立つ汎用性の高いスーパーコンピュータを目指して開発したものである」と位置づける。
昨今の性能競争は、特定の計算の速さだけを追求した結果、汎用性がなくなるという課題がある。
新庄理事は、「富岳は、科学的、社会的に役に立つことを目指しており、そのために、省電力、アプリケーション性能、使い勝手の良さに重視して開発している」と前置きし、「エネルギー問題は地球規模の問題であり、エネルギー効率を重視することはスーパーコンピュータにとって重要な指標。さらに、特定の計算の速さではなく、実際に動かす実アプリの性能を重視しており、多様な言語やアプリ、機能に対応し、ポーテビリティを確保。アプリケーション開発者が使いやすい環境の実現を重視している」とする。
その点が、他のスーパーコンピュータとは大きく異なる点だ。
11月18日には、富士通沼津工場に設置している富岳のプロトタイプが、スーパーコンピュータの消費電力性能を示す「Green500」において、世界1位を獲得した。
ピーク性能の2.3593PFLOPSに対し、連立一次方程式を解く計算速度(LINPACK)で、1.9995PFLOPS、消費電力1ワットあたりの性能で16.876GFLOPS/Wを達成し、世界トップの消費電力性能であることが実証されたのだ。また、GPUなどのアクセラレータを用いず、汎用CPUのみを搭載したシステムで初めて世界一を獲得した点でも評価されるものだ。これにより、様々なアプリケーションにおいても高い性能と省電力を両立した利用環境を実現できることを証明した。
また、オープンソースアプリに対応。GCCやPython、Ruby、Eclipse、Docker、KVMが利用できるほか、レッドハットのRHEL8をベースにしたArm Linuxを利用していることで、開発環境および利用環境を充実。使い勝手の向上が図られている点も、富岳の大きな特徴のひとつだ。
○富岳のCPU「A64FX」、ピーク性能は「京」の24倍
富岳は、CPUには、A64FXを採用。Armのv8-A命令セットアーキテクチャーをスーパーコンピュータ向けに拡張した「SVE」を世界で初めて使用しており、CPUピーク性能はスパコン「京」の24倍となる3TFLOPS、メモリバンド幅は京の16倍となる1024GB/sを実現する。
富岳と京のスペック比較。2012年に完成した京は、CPUに45nmプロセスのSPARCを搭載していた
「2つのCPUをメインボードに搭載し、192枚のメインボードをひとつのラックに搭載している。心臓部となるA64FXは、最先端の半導体技術により、すべての機能をワンチップに集約。省電力のために機能を集約した。消費電力あたりの性能は、最新のインテルCPUと比較して3.7倍以上の効率性を発揮している」とする。
1ペタのシステムの場合、京では、80個の計算ラックと、20個のディスクラックが必要であり、計算ノード数は7680、IOノード数は480、設置面積は128平方メートルが必要だった。だが、富岳では、1ラックだけで済み、設置面積も1.1平方メートルで済む。192枚のメインボードに搭載された384個のCPUで、同等の性能を発揮することになるからだ。
さらに、A64FXは、AI分野で使用される半精度演算、8ビット幅整数演算を効率的に実行することができ、AI分野への対応にも長けている点も見逃せない。
富士通の新庄理事は、「富岳は、省エネ、実用性、使い勝手の良さを追求し、汎用スーパーコンピュータとして、様々な分野において、成果創出に貢献したい。さらに、今後の普及が見込まれるAI分野でも性能を発揮し、将来的にはSociety 5.0の実現に貢献したい。また、今回の開発で培った技術を、商用スーパーコンピュータである『FUJITSU Supercomputer PRIMEHPC FX1000／FX700』にも活用して、科学技術の発展および産業基盤の拡充に貢献するとともに、富士通のHPCビジネスを拡大する」と述べる。
京は2019年8月に運用を停止。その役目は富岳へと引き継がれる
なお、FUJITSU Supercomputer PRIMEHPC FX1000／FX700は、日本だけでなく、グローバルに展開するほか、ヒューレット・パッカード・エンタープライズの傘下にあるクレイとパートナーシップ契約を締結し、A64FXがクレイのスーパーコンピュータにも搭載されることになる。
社会課題の解決に貢献するというスーパーコンピュータの本質を追求した製品の出荷がいよいよ始まったといえる。
○富士通ITプロダクツ(FJIT)の来歴と現在
富士通ITプロダクツは、2002年4月1日に設立した。
1979年に稼働したPFU笠島工場を母体としており、同工場で生産していた小型サーバーや下位ストレージ、スキャナ、プリンタのほか、富士通長野工場で生産していた上位ストレージ、富士通沼津工場で生産していた大型サーバー、富士通熊谷工場で生産していた各種プリント板ユニットの製造を移管。そうした経緯を背景に、CPUモジュールからプリント板、装置組立、試験、顧客別構成構築までを行なう一貫体制を敷いているのが特徴だ。
現在、FJITで生産しているのは、基幹IAサーバーのPRIMEQUESTやUNIXサーバーのSPARC M12シリーズ、メインフレームのGS21、ストレージのETERNUSシリーズなど多岐にわたる。2019年3月からはスーパーコンピュータ「富岳」のCPUモジュールの生産を開始した。基板製造、組み立て、検査の一貫生産を行い、同年12月2日には、富岳の第1号筐体を出荷したところだ。また、「富岳」の開発で培った技術を生かして開発した商用スーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000」および「PRIMEHPC FX700」も、FJITで生産されている。
富岳の生産は、FJITで行われているが、ハードウェア開発は富士通川崎工場で、ソフトウェア開発は富士通沼津工場および川崎工場、システム評価は富士通沼津工場で行われている。
「FJITは、富岳プロジェクトに企画段階から参画している。出来上がった図面通りに生産するといった役割ではなく、モノづくり側からの要望や提案を行ってきた」と、富士通ITプロダクツの加藤真一社長は語る。
品質評価についても、製品単体テストを実施するだけでなく、OSやミドルウェアなどのソフトウェアを搭載した確認テストを行っている。ここでは新機能に着目したテストや、ハードウェアおよびソフトウェアの組み合わせテスト、運用環境で想定される部品故障時のリカバリテストも行っている。
さらに製品品質を源流にまで遡って管理。部品サプライヤーと連携して、品質を高めるための仕組みを構築。FJITや富士通の品質管理部門が直接サプライヤーの現場に出向き、共同で品質向上に向けた取り組みを行うといったことも行われている。
「富岳の生産体制に確立に向けては、約2年前から、当社が生産受注した時のことを考えて準備をしてきた。リスクを洗い出して、それを潰す作業を繰り返してきた。約10年前に、京の生産を行った際の経験やノウハウが蓄積されていることは強みであるが、それが油断につながることを最も心配した。時間をかけて、入念に準備をした」と振り返る。
ここでは、富岳の生産を想定して、ICTを活用した自動化や専用治具の開発、作業環境の対策、OJTをはじめとする教育および訓練のほか、品質リスクマネジントを実施。富岳の生産に限定しても、約3万件ものリスク評価を行い、ポカヨケの手法を考案したり、治具の拡充などによって、作業リスクの大幅な低減を果たしたという。
たとえば、ICTを活用した自動化や専用治具の開発では、設計段階のデータをもとにしたバーチャルものづくり検証を行い、作業時に必要な場所に手が入るか、設置した部品同士が干渉しないか、どんな工具や治具が必要かといったことをアニメーションや3Dモデルを使用してシミュレーション。「モノを作らないモノづくりによって、設計段階から製造性を検証し、高品質と低コストを実現した」という。
さらに、富士通が取り組んでいる、組み合わせ最適化問題に能力を発揮するデジタルアニーラを活用。部品倉庫の棚から部品を調達し、これを製造ラインの棚に供給するのに、最適なルートを導き出すことに応用。入出庫順序を算出し、最短経路の動線で作業が行えるようにしているという。
一方で、富岳の生産におけるサプライヤーからの部品調達では、京のときと同様に、「ミルクラン」方式と呼ぶ仕組みを導入した。
ミルクランとは、複数の牧場で絞った牛乳を、トラックがまわり定期的に回収する仕組みを語原としており、複数のサプライヤーを巡回するトラックが、当日使用する量の部品だけを最小ロットで毎日納入。棚卸資産の圧縮や保管スペースの圧縮、納期管理工数の削減、物量の平準化といった効果につなげている。
富士通ITプロダクツの加藤真一社長は、「サーバー、ストレージ装置の製造で培った製造技術や試験技術をベースに、スマートなものづくりを実践し、信頼性の高い富岳を生産することを目指した」と語る。
FJITでは、月間60ラック以上の富岳を生産し、最終的には400ラックを生産する計画であり、2020年6月までに全量を出荷する予定だ。
○富岳を月間60ラック以上、今後400ラックを計画する生産ライン
では、富岳の生産ラインの様子をみてみよう。
ここからはFJITの富岳以外の生産ラインも少し見てみよう。
○富岳は性能競争のためではなく、"役立つ"スパコンを目指した
富岳は、スーパーコンピュータ「京」の後継機として、富士通と理化学研究所が共同で開発。2021年〜2022年頃の共用開始を目指しているスーパーコンピュータである。
ものづくり、ゲノム医療、創薬、災害予測、気象・環境、新エネルギー、エネルギーの創出・貯蔵、宇宙科学、新素材の9つの分野を重点領域として、コンピュータシミュレーションなどに活用されることになる。
「コンピュータシミュレーションは、見えないものが見え、実験できないものができる。いまや理論、実験と並ぶ、第三の科学、研究開発の手段になっている。製品開発の分野に取り入れられ、企業にとってもシミュレーションが生命線のひとつになっている」と、富岳の開発をリードした富士通の新庄直樹理事は語る。
さらに、富士通の櫛田龍治執行役員常務は、「富岳は、AI向けの計算を高速化できる機能を新たに追加。シミュレーションだけでなく、AIやビッグデータの分野での利用が想定されている。富士通が持つ最高の技術を投入した富岳が、Society 5.0の実現に向けて、貢献できる」とする。
スーパーコンピュータは、長年に渡り、日本、米国、中国による性能競争が激しい。だが、新庄理事は、「富岳は、スーパーコンピュータの性能競争のために開発したわけではない。科学技術の探求だけでなく、産業界をはじめとして実用的に役立つ汎用性の高いスーパーコンピュータを目指して開発したものである」と位置づける。
昨今の性能競争は、特定の計算の速さだけを追求した結果、汎用性がなくなるという課題がある。
新庄理事は、「富岳は、科学的、社会的に役に立つことを目指しており、そのために、省電力、アプリケーション性能、使い勝手の良さに重視して開発している」と前置きし、「エネルギー問題は地球規模の問題であり、エネルギー効率を重視することはスーパーコンピュータにとって重要な指標。さらに、特定の計算の速さではなく、実際に動かす実アプリの性能を重視しており、多様な言語やアプリ、機能に対応し、ポーテビリティを確保。アプリケーション開発者が使いやすい環境の実現を重視している」とする。
その点が、他のスーパーコンピュータとは大きく異なる点だ。
11月18日には、富士通沼津工場に設置している富岳のプロトタイプが、スーパーコンピュータの消費電力性能を示す「Green500」において、世界1位を獲得した。
ピーク性能の2.3593PFLOPSに対し、連立一次方程式を解く計算速度(LINPACK)で、1.9995PFLOPS、消費電力1ワットあたりの性能で16.876GFLOPS/Wを達成し、世界トップの消費電力性能であることが実証されたのだ。また、GPUなどのアクセラレータを用いず、汎用CPUのみを搭載したシステムで初めて世界一を獲得した点でも評価されるものだ。これにより、様々なアプリケーションにおいても高い性能と省電力を両立した利用環境を実現できることを証明した。
また、オープンソースアプリに対応。GCCやPython、Ruby、Eclipse、Docker、KVMが利用できるほか、レッドハットのRHEL8をベースにしたArm Linuxを利用していることで、開発環境および利用環境を充実。使い勝手の向上が図られている点も、富岳の大きな特徴のひとつだ。
○富岳のCPU「A64FX」、ピーク性能は「京」の24倍
富岳は、CPUには、A64FXを採用。Armのv8-A命令セットアーキテクチャーをスーパーコンピュータ向けに拡張した「SVE」を世界で初めて使用しており、CPUピーク性能はスパコン「京」の24倍となる3TFLOPS、メモリバンド幅は京の16倍となる1024GB/sを実現する。
「2つのCPUをメインボードに搭載し、192枚のメインボードをひとつのラックに搭載している。心臓部となるA64FXは、最先端の半導体技術により、すべての機能をワンチップに集約。省電力のために機能を集約した。消費電力あたりの性能は、最新のインテルCPUと比較して3.7倍以上の効率性を発揮している」とする。
1ペタのシステムの場合、京では、80個の計算ラックと、20個のディスクラックが必要であり、計算ノード数は7680、IOノード数は480、設置面積は128平方メートルが必要だった。だが、富岳では、1ラックだけで済み、設置面積も1.1平方メートルで済む。192枚のメインボードに搭載された384個のCPUで、同等の性能を発揮することになるからだ。
さらに、A64FXは、AI分野で使用される半精度演算、8ビット幅整数演算を効率的に実行することができ、AI分野への対応にも長けている点も見逃せない。
富士通の新庄理事は、「富岳は、省エネ、実用性、使い勝手の良さを追求し、汎用スーパーコンピュータとして、様々な分野において、成果創出に貢献したい。さらに、今後の普及が見込まれるAI分野でも性能を発揮し、将来的にはSociety 5.0の実現に貢献したい。また、今回の開発で培った技術を、商用スーパーコンピュータである『FUJITSU Supercomputer PRIMEHPC FX1000／FX700』にも活用して、科学技術の発展および産業基盤の拡充に貢献するとともに、富士通のHPCビジネスを拡大する」と述べる。
なお、FUJITSU Supercomputer PRIMEHPC FX1000／FX700は、日本だけでなく、グローバルに展開するほか、ヒューレット・パッカード・エンタープライズの傘下にあるクレイとパートナーシップ契約を締結し、A64FXがクレイのスーパーコンピュータにも搭載されることになる。
社会課題の解決に貢献するというスーパーコンピュータの本質を追求した製品の出荷がいよいよ始まったといえる。
