【最新環境構築済】NVIDIA DGX-1 DGX OS 6 / Ubuntu 22.04 Xeon E5-2698v4 メモリ512GB GPUメモリ128GB 検）RTX 5 000 6000 8000 4090 P100 V100 A100 H100
NVIDIA DGX-1 DGX OS 6 / Ubuntu 22.04
Ubuntu 22.04 LTS(jammy)＋CUDA 12.2(nvidia-driver-535-server)
最新のDGX OS 6 / Ubuntu 22.04で環境構築(2024年4月時点)ができておりジャンク扱いではなく動作するNVLinkの並列GPU＆CPUの超ハイメモリ環境を前提とした価格設定です。
こちらに興味がある方は少し古い世代だとしても中～大規模LLMの開発などでGPUに併用して大量の物理メモリも欲しいケースがあるのではと存じます。
モデルにもよりますが、例えばllama3-8Bの場合、Transformersのdevice_map="auto"で動作させるとNVLinkで8つのGPUに数GB程度バランスしてロードして並列計算して結果を返すので同性能や上位の単一GPUより早い場合もあります。推論マシンや小さいモデルの学習としては未だそれなりに使えるはずです。
サーバー室に余裕があれば並列処理を活かして7B-30BぐらいのサイズのLLMをホストして公開する環境として使うのはありだと思います。(勿論他の用途にも)
実際そのように使っており、他に超大規模の量子化モデルの動作テストや小規模の学習などに使っていたのですが、事務所に関連する都合（他のサーバーを含めた電源の課題や音の課題）で十分に稼働ができないためこの度手放すことに決めました。
売れない場合もメイン環境のリソースが不足した時に一時的に利用するサブ環境やクラスタ環境として利用する可能性があるのでこの価格でも欲しい方向けに出しています。
出荷ロットにもよるかもしれませんが、正直この製品は非サポート状態で高い値段でジャンクガチャをすると調査工数等がそれなりに必要です。場合によってはDGX OSのUbuntu環境が作れない可能性もあると思います。（元はそういう状態で購入し、購入後に環境が作れず絶望し、かなり後悔もしました）
何の手掛かりもなしで環境構築すると正直何度も心が折られます。元の価格は軽く1000万円以上するので多少問題があってもNvidia担当者が張り付いて保守などで丁寧にサポートしていたのではないかと推測しています。
【ハード詳細】
Xeon E5-2698v4 (CPUx2) 20コア40スレッド 2.20～3.60GHz
メモリ 512GB (32GB x16)
ディスク SSD 480GB + 1.92TB ※DGX-1デフォルトより少ないです。勿論追加可能です。
GPU Tesla P100 128GB (16GB x 8)
電源 200V 50/60Hz 10A (x４) ※200Vのみ利用可
3Uサイズ W484×D950×H135 (mm) / 約60kg
※出品物はDGX-1本体のみでその他は一切付属しません。
動作には一般的な200Vサーバ用電源タップやコードなどが必要です。
初期出荷時の状態が正確にはわかりませんが、正面のディスクマウントを隠すための蓋の固定用のピンがありません。ただし、磁石になっているのでピンがなくても蓋は固定はできています。
その他傷や汚れが多くあります。現状の配置の都合でサーバラック固定ではなく机に置いており、筐体まわりでその他細かい不備がないか不明です。（目視では問題なさそうに見えますが筐体外観についてノークレームでお願いします）
【内容説明】
前置きが長くなりましたが、ここからもう少し具体的な中身の説明です。
ディスクはRAID0で、Ubuntu 22.04 LTS(jammy)＋CUDA 12.2(nvidia-driver-535-server)のDGX OS6の最新環境で構築済みです。
環境構築した現在のUbuntuのままお引渡し予定です。
状態を簡単に説明すると、社内ネットワークからSSHログインで利用ができており、NVlinkで8つのGPUがつながっていること、pytorchを入れてLLMが連結したGPUで動作することを確認しています。
※DGX OSに関する全機能がテストできている訳ではないことをご了承ください
こちらは元々ディスクが個別に初期化された動作不明の中古品として入手しました。初期化状態からのUbuntu環境構築に時間がかかり一旦の放置期間を含め1年以上かけて時間のある時に調査しながら右往左往してようやくDGX 最新環境を入れるまで辿り着きました。
初期インストールの課題解決も大変なのですが、DGXでは古いUbuntuからのアップグレードにも問題があるらしく解決方法を調べても最終的にNVIDIA担当に連絡してくれとなっているケースばかりでなので色々と問題がある様子は伺えます。
元がプレミアム価格で多くの人が手にするものでないこと、新規購入の場合はセットアップされておりNVIDIA担当のサポートもついていることから、サポートなしで初期化から最新環境へセットアップする人口はかなり限られていると想定されます。よって、ネット上には情報がほぼなくさらには現状は手順情報にも不足点がありUbuntuのインストールにかなり難航しました。
(探すとDGX OS込みのISOと公式UbuntuにDGXツールを後入れする方法が見つかりますがどちらも普通にやると途中でインストールエラーになります。これは出荷ロット等に依存するものかもしれません)
ここ数年で世界的にA100/H100等が売れたことが関係すると思われますが、ここ1年の間にNVIDIAのWEBサイトでDGX関連の手順情報等が実は充実してきました。しかし、現状の情報通りにやってもこのDGX-1では未だUbuntuインストールに失敗します・・・
様々な入れ方を試したり、ログを解析したり、問題切り分けのためにWindows Serverインストーラで試したりしてハードそのものに問題はなさそうなことは把握しつつ、最近になってようやくDGX最新環境としてセットアップができました。
※Ubuntuの入れ方は簡単なメモとしてノウハウを共有します(どうやってもインストールが無理だったので最初はWindows Serverを入れて使っていました)
そもそもの問題がUbuntu側なのかDGXのRAIDコントローラー等の問題なのかなどの詳細までは切り分けられていませんが、このようにすると完全初期化状態からRAID設定をしてさらにUbuntuインストールまで完了したという情報を引き継ぎます。
詳細マニュアルではなくこの情報を参照しながらこれらの分岐をこっちに回避してこうするとインストールまで辿り着けるというメモ書き程度のものです。
GPUはやや古い世代にはなりますが、DGXの最新環境が入っていること（DGXのサポートしている最新がUbuntu 22.04)であることと、GPUメモリ128GBと実メモリ512GBが積まれているのは魅力的に映る利用ケースはあるのではないでしょうか。
Windows Serverとして転用しても潰しがきくと思います。実際Windwos Serverとしても一時期動作させていましたが、仮にファイルサーバやVDIサーバなどの目的で使うとしても2024年時点で十分なスペックです。
発売時価格は12万9000ドルの世界初のディープラーニング用のスパコンですのでその歴史的価値やこのハード・ソフトを扱うことでの教育的価値もあるかと思います。
【発送について】
単体だと重量の都合で輸送会社の条件に合わないので、GPUモジュールを外して2小口の発送となります。到着後に分離されたGPUモジュールを押し込んで付ける作業が必要です。ご了承ください
現時点で配送は愛知県から飛脚ラージサイズ260(50kgまで)で2個口を想定していますが、詳細はどうなるかわからないので1個口として東京までの8,420円を設定して送料は一律とします。恐らくこれ以上を超える送料がかかると思いますが残りはこちらで負担します。
恐れ入りますが、発送先が沖縄・北海道・離島の場合は送料は別途追加となりますので事前にご連絡お願いします。
また、配送業者との調整が必要になるため発送までに1週間程度お待ちいただきます。
【その他】
ご落札後にご依頼いただければ、適格請求書発行事業者登録番号付き（インボイス対応）の領収書を発行可能です。
最新環境のDGX OSとCUDAインストールが完了しており、pytorchも動作確認ができている状態でお渡しできるのですぐにGPU又はGPU込みのハイメモリ環境を利用されたい方にとっては大きなポイントになるかなと思います。
繰り返しとなりますが、到着後に電源を入れ環境へログインできて以降のサポート等は一切できませんのでご了承お願いいたします。（先の説明の通りOSの入れ方も公開情報通りには入れていません）
高価なものなので丁寧に説明は書いたつもりですが手探りでDGX-1を触ってきたので合ってない部分があるかもしれません。一度他者に渡った中古品であることを前提にノークレーム・ノーリターンにご協力できる方のみご入札いただければ幸いです。
※現在普通に利用できているものなのでいわゆる逃げのためのジャンク扱いなどの意味ではなく、起動するにも利用するにも広範囲で専門的な話を多く含むのでノーサポート・ノークレーム・ノーリターンであることをご了承ください
RTX6000 4090 P100 V100 A100 H100','https://auctions.c.yimg.jp/images.auctions.yahoo.co.jp/image/dr000/auc0508/users/da1037da9014897f102e79d77aa3171663bc8810/i-img1200x675-1723643882qkigbn7.jpg');)
