NVIDIA NIM による生成 AI 推論 - パフォーマンスと TCO 優位性
NVIDIA NIMマイクロサービスによる高性能な生成AI推論がもたらす効果について視覚的にご紹介します。この動画では、事前に構築および最適化されたマイクロサービスであるNIMが、オープンな推論エンジンよりも優れたパフォーマンスを発揮し、同じNVIDIAアクセラレーション インフラストラクチャ上で実行した場合、1秒あたりのトークン処理量が最大3倍になることを紹介します。
この動画では、LLMで動作するクロスワードパズルを解くアプリケーションで、NIMマイクロサービスの利点をご紹介しています。LLMのリクエストを50から200に同時スケーリングしています。推論のワークロードが増加するにつれてスループットの利点が拡大し、同じインフラストラクチャで1秒間に処理されるトークン数が増加し、全体的なTCOを削減しながらより多くの生成AIアプリケーションを実行できる様子をご覧ください。
今すぐ始めましょう：https://www.nvidia.com/ja-jp/ai/
関連情報：
NVIDIA NIM 詳細：https://www.nvidia.com/ja-jp/ai/?ncid...
無料でお試し、APIカタログ：https://build.nvidia.com/explore/disc...