GenAIマネーモンスターを飼いならす：DoiT Cloud Analyticsとアプリケーション推論プロファイルがAWSの岩盤コストを明瞭にする方法

ジェネレーティブAIのワイルド・ウェストでは、予算はすぐに町で最も速いガンマンとなり、何が起こったのか気づく前に、慎重に計画された財政に穴を開けてしまう。組織がAmazon NovaやAmazon Bedrockを通じた他のような基盤モデルの採用を急ぐにつれて、多くの人が不快な真実を発見している：誰がAIに何を費やしているかを追跡することは、雷雨の中で雨粒を数えようとしているように感じるかもしれない。

Amazon Bedrockのアプリケーション推論プロファイルは、GenAI財務管理の縁の下の力持ちであり、あなたの予算（そしてあなたの仕事）を救うかもしれません。DoiT Cloud Analyticsと組み合わせると、不透明なAI支出を明確な洞察に変える強力なソリューションが得られます。

Read for free:https://medium.com/@edu7mota/07dc441e3a3a?source=friends_link&sk=67ef0d4c71aa421702b8f7272fe036a5

痛ましい問題：見えないAI支出

もしあなたが本番環境で基盤モデルをデプロイしているならば、AWSの請求書が届いた時に恐ろしくなった経験があるだろう。"先月、誰がAmazon Novaクエリにそんなに費やしたのか？"適切なトラッキングがなければ、GenAIの支出は本質的にブラックボックスとなる。何のために？そして誰が？

アプリケーション推論プロファイルは、Amazon Bedrockの基礎モデル呼び出しに関連するコストを追跡、割り当て、管理する強力な方法を組織に提供します。AWSがジェネレーティブAIサービススタックの一部としてリリースしたこれらのプロファイルは、部門、チーム、アプリケーションにまたがるコスト帰属とリソース利用監視のきめ細かなコントロールを提供します。

アプリケーション推論プロファイルとは何か？

アプリケーション推論プロファイルは、基礎モデルの API 呼び出しに付ける特別な識別子と考え てください。アプリケーション推論プロファイルを作成する際、1つのリージョンにおける単一の基礎モデル、またはクロスリージョン（システム定義）の推論プロファイルのいずれかを指定します。一旦設定されると、そのプロファイルを通して行われたモデル呼び出しリクエストはログに記録され、それに応じてタグ付けされるため、詳細なトラッキングとコスト帰属が可能になります。

これらのプロファイルは、各AIリクエストとその発信元（特定のチーム、アプリケーション、顧客など）の間の接続を維持するルーティング・メカニズムとして機能する。

ゲームを変える3つのユースケース（あなたの正気を救う）

1.マルチテナントのコスト配分誰が何を使っているのか？

もしあなたがGenAIの機能を使ったSaaS製品を作っているなら、おそらく疑問に思ったことがあるだろう：「顧客一人一人のAI利用コストはどれくらいなのだろうか？

アプリケーション推論プロファイルでは、顧客やテナントごとに固有のプロファイルを作成できます。顧客やテナントがAIとやり取りするたびに、その利用状況が特定のプロファイルで追跡されます。つまり、以下のことが可能になります：

• 各顧客が基礎モデルの使用においてどれだけのコストをかけているかを正確に把握する。
• 異なる価格レベルを必要とするパワーユーザーを特定する。
• 誤用やバグを示す可能性のある異常を発見する。
• 実際の利用パターンに基づく、より正確な価格設定モデルの構築

2.チームベースのコスト管理：ドラマのない説明責任

主なメリットは、AWSのコスト割り当てタグを使用して、異なるビジネスユニット、チーム、またはプロジェクト間でモデルの呼び出しコストを割り当てることができることです。これにより、正確なチャージバックの仕組みと、AIの使用に関する部門ごとの説明責任が可能になります。

マーケティングチーム、製品チーム、カスタマーサービスチームが同じAmazon Novaモデルを使用していると想像してみてください。適切なトラッキングを行わなければ、どのグループが請求のどの部分を担当しているのかがわかりません。アプリケーション推論プロファイルを使えば

• チームや部署ごとにプロフィールを作成
• 使用パターンを監視し、消費量の多い時間帯を特定する。
• チームごとのコスト管理またはノルマの実施
• 適切なコストセンターへの公正なチャージバックを可能にする。

3.環境ベースのトラッキング：開発から生産へ

GenAIワークロードの管理で最も厄介な側面の一つは、開発環境間でコストがどのように異なるかを理解することです。開発者はテストに膨大な費用を費やしているのか？本番環境は最適化されていますか？アプリケーション推論プロファイルは次のような点で役立ちます：

• 開発、ステージング、プロダクション間のコストの分離
• テスト段階における予期せぬコスト上昇の特定
• 開発実験が予算オーバーにならないようにする
• 生産規模を拡大するための正確な予測の作成

アプリケーション推論プロファイルの作成

アプリケーションの推論プロファイルを作成するには、apiかAWS SDKを使うしかない。提供するものは主に3つある：

• 推論プロファイル名
• プロファイルに使用するモデル
• このプロファイルに関連付ける任意のタグ

以下は推論プロファイルの作成方法の例である：

インポートboto3

クライアント = boto3.client("bedrock")

response = client.create_inference_profile()
 inferenceProfileName='顧客A推論ノヴァライト'、
 description='顧客Aの全ワークロードの推論プロファイル'、
 modelSource={。
 'copyFrom': 'arn:aws:bedrock:us-west-2:058264544288:inference-profile/us.amazon.nova-lite-v1:0'
  },
 tags=[
  {
 'key'：'customer'、
 '値'：'顧客 a'
  },
  {
 'key'：'environment'、
 '値'：'dev'
  },
 ]
)

DoiTクラウド分析がGenAI FinOpsをどう変えるか

DoiTのクラウド・アナリティクス・プラットフォームが真に輝くのはこの点であり、生の追跡データを実用的なインテリジェンスに変換する。

DoiTは、AWSコストアロケーションタグを含む、いくつかのカテゴリのAWSタグを分析プラットフォームに組み込んでいる。アプリケーションの推論プロファイルに適切に適用すると、これらのタグはGenAIのコスト管理のための強力なツールになります。

DoiTクラウド・アナリティクスでは、以下のことが可能です：

• 洗練されたコスト内訳の作成チーム別、顧客別、環境別など、複数の次元でGenAIのコストを同時に可視化します。
• トレンドと異常の発見DoiTクラウドアナリティクスでAWSタグを使用すると、プロジェクト、チーム、環境、またはその他のビジネスに関連するディメンションごとにコストを可視化できるきめ細かなコスト内訳など、いくつかの重要な利点が得られます。これにより、利用パターンを特定し、非効率や問題を示す可能性のある異常なアクティビティを検出することができます。
• 将来のコストを正確に予測DoiTを通じて適切なAWSタグベースのコスト追跡を実施する組織は、コスト予測の精度を最大20％向上させ、全体的な予算効率を約15％向上させることが期待できる。
• クロスアカウントの可視性DoiTの際立った特徴の1つは、追加設定なしでシームレスにAWS組織タグを課金データに組み込む機能です。この機能は、AWS のベストプラクティスに従って複数のアカウントにまたがるアプリケーションをデプロイする際の重要なペインポイントを解決します。