Cloud Intelligence™
生成AIコストの暴走を止める。Application Inference ProfilesとDoiTで費用を見える化
このページはEnglish、Deutsch、Español、Français、Italiano、Portuguêsでもご覧いただけます。
About Eduardo Mota
"We need to serve customers better, and we can't scale the department at the same rate we are acquiring customers". This was the trigger from my boss that got me to build my first ML system 15 years ago at a contact centre. Eve was its name.
Not only did it helped us solved emails faster, route interactions properly, manage our phone and chat system, but it also gave me first hand experience on how AI can improve the customer experience when done properly.
I'm not gonna lie, there were hiccups. Like when it encountered an encoding issue with a new language and it stopped working for 2 days backup the email queue to 2k emails when the normal queue would be 500. These learnings didn't make me turn away from the technology, but continue working in improving it.
Life at DoiT
I’m in a place where I get to express every part of who I am on a daily basis—understanding how systems behave, how machine learning models actually produce value, and how to leverage that value efficiently in the real world.
I’m a Sr. Cloud Data Architect and AI/ML specialist helping enterprises design, build, and operate production-grade cloud and generative AI systems.
My work sits at the intersection of:
- Hands-on architecture
- FinOps-aware design
- Strategic advisory
- Business strategy
I partner with customers to modernize data platforms, adopt generative AI responsibly, and bring cloud costs under control—while building internal capability so their teams can operate and evolve these systems long after I’m gone.
Impact, teaching, and public work
My dream has always been to build something so meaningful that it positively impacts the lives of thousands of people, and over time I’ve had the chance to design solutions that move the needle for real teams and customers.
One of the most fulfilling ways I do that now is through teaching and up-skilling.
I lead live online trainings with O’Reilly on building AI applications and RAG systems with AWS Bedrock, and I serve as an instructor for Udacity programs on large language models and generative AI.
I speak regularly at industry events, including Google Next and AWS Community Day, and I’ve appeared on podcasts and in publications to talk about:
- The evolution of AI
- Practical ML architectures
- What it really takes to run AI in production
My style is pragmatic and no-nonsense, but personal too: I like to take complex ideas and turn them into clear, actionable guidance that helps both executives and engineering teams make better decisions—and, hopefully, leave feeling a more capable than when they walked in.
My personal page
生成AIという無法地帯では、気がつけば予算が街いちばんの早撃ちガンマンと化し、綿密に立てたはずの財務計画を穴だらけにしてしまいます。Amazon Bedrock経由でAmazon Novaをはじめとする基盤モデルの導入を急ぐ企業が増えるなか、多くの組織が向き合いたくない事実に気づき始めています。「誰がAIに何をいくら使っているか」を把握する作業は、雷雨のなかで雨粒を数えるようなもの、というわけです。
そこで活躍するのが、Amazon BedrockのApplication Inference Profilesです。生成AIの財務管理を陰で支える存在として、予算(そしてもしかするとあなたの仕事)を救ってくれるかもしれません。さらにCloud Intelligence™と組み合わせれば、霧に包まれていたAI支出をクリアな分析へと変える強力なソリューションが手に入ります。
無料で読む: https://medium.com/@edu7mota/07dc441e3a3a?source=friends_link&sk=67ef0d4c71aa421702b8f7272fe036a5
PerfectScale™ for Kubernetes
Ready to optimize?
Get your free Kubernetes savings analysis
見えないAI支出という頭の痛い問題
本番環境で基盤モデルを動かしたことがあるなら、AWSの請求書が届いた瞬間のあの嫌な予感は身に覚えがあるはずです。「先月、Amazon Novaのクエリにこんなに使ったのは誰だ?」適切な追跡がなければ、生成AIの支出は実質ブラックボックス。お金が出ていくのは見えても、どこへ、何のために、誰によって使われたのかは分からないままです。
Application Inference Profilesは、Amazon Bedrockにおける基盤モデル呼び出しに紐づくコストを追跡・配賦・管理するための強力な仕組みです。AWSが生成AIサービススタックの一部として提供するこのプロファイルにより、部門・チーム・アプリケーション単位でのコスト配賦やリソース利用のモニタリングをきめ細かく制御できます。
そもそもApplication Inference Profilesとは?
Application Inference Profilesは、基盤モデルのAPI呼び出しに付与する識別子のようなものだと考えてください。プロファイルを作成する際には、特定リージョンの基盤モデルを1つ指定するか、クロスリージョン(システム定義)の推論プロファイルを指定します。設定さえ済ませれば、そのプロファイル経由のモデル呼び出しはすべてログに記録され、対応するタグが付与されるため、詳細な追跡とコスト配賦が可能になります。
これらのプロファイルはルーティング機構として働き、AIリクエストとその発生源——特定のチーム・アプリケーション・顧客など——を結びつけ続けます。
流れを変える3つのユースケース(担当者の心の平穏を守ります)
1. マルチテナントのコスト配賦:誰が何を使っているのか?
生成AI機能を備えたSaaSプロダクトを開発しているなら、こう考えたことがあるはずです。「顧客ごとにAI利用コストはいくらかかっているのか?」
Application Inference Profilesを使えば、顧客やテナントごとに専用プロファイルを作成できます。AIが利用されるたびに、その使用状況は対応するプロファイルに紐づけて記録されます。これにより、次のことが可能になります。
- 顧客ごとの基盤モデル利用コストを正確に把握
- 別の料金プランを検討すべきヘビーユーザーを特定
- 不正利用やバグの兆候となる異常を検知
- 実際の利用パターンに基づく、より精度の高い料金モデルを構築
2. チーム単位のコスト追跡:もめごとなしで責任を明確に
最大のメリットは、AWS Cost Allocation Tagsを使ってモデル呼び出しコストを事業部門・チーム・プロジェクトごとに配賦できる点です。これにより、正確なチャージバックの仕組みと、AI利用に対する部門ごとの説明責任が実現します。
マーケティング、プロダクト、カスタマーサービスの各チームが同じAmazon Novaモデルを使っている状況を想像してみてください。適切な追跡がなければ、どのチームが請求のどの部分を占めているのかは永遠に分かりません。Application Inference Profilesを使えば、次のことが可能になります。
- チームや部門ごとに別々のプロファイルを作成
- 利用パターンを監視し、消費の多い時期を特定
- チーム単位のコスト管理やクォータを設定
- 適切なコストセンターへの公正なチャージバックを実現
3. 環境単位の追跡:開発環境から本番環境まで
生成AI workloadsの管理で特に厄介なのが、開発フェーズごとにコストがどう変わるかを把握することです。開発者はテストで請求を膨らませていないか?本番環境は最適化されているか?Application Inference Profilesは次のように役立ちます。
- 開発・ステージング・本番のコストを切り分け
- テスト段階での想定外のコスト急増を特定
- 開発時の実験で予算を吹き飛ばさないよう抑制
- 本番スケール時に向けた精度の高いコスト予測を作成
Application Inference Profileを作成する
Application Inference Profileの作成は、APIまたはAWS SDKからのみ行えます。指定すべき主な項目は次の3つです。
- 推論プロファイル名
- プロファイルで使用するモデル
- プロファイルに関連付けるタグ
以下は推論プロファイルを作成する例です。
import boto3
client = boto3.client("bedrock")
response = client.create_inference_profile( inferenceProfileName='Customer A Inference Nova Lite', description='Inference profile for all workloads for customer A', modelSource={ 'copyFrom': 'arn:aws:bedrock:us-west-2:058264544288:inference-profile/us.amazon.nova-lite-v1:0' }, tags=[\ {\ 'key': 'customer',\ 'value': 'customer a'\ },\ {\ 'key': 'environment',\ 'value': 'dev'\ },\ ])Cloud Intelligence™で変わる生成AIのFinOps
Cloud Intelligence™の真価が発揮されるのは、生の追跡データを実用的なインサイトへと変える場面です。
DoiTは、AWS Cost Allocation Tagsをはじめ複数カテゴリのAWSタグを分析プラットフォームに取り込みます。これらをApplication Inference Profilesに正しく適用すれば、生成AIのコスト管理に欠かせない武器となります。
Cloud Intelligence™でできることは、次のとおりです。
- 多角的なコスト分解を作成:生成AI支出をチーム別・顧客別・環境別など複数の軸で同時に可視化できます。
- 傾向と異常を検知:Cloud Intelligence™でAWSタグを活用すれば、プロジェクト・チーム・環境などビジネスに直結する任意の軸でコストをきめ細かく可視化できます。利用パターンの把握はもちろん、非効率や問題の兆候となる異常な動きの検知にも役立ちます。
- 将来コストを高い精度で予測:DoiTを通じてAWSタグベースのコスト追跡を適切に導入した組織では、コスト予測精度が最大20%向上し、全体の予算効率も約15%改善することが見込まれます。
- クロスアカウントの可視性:DoiTの大きな強みのひとつは、AWS Organization Tagsを追加設定なしに請求データへシームレスに取り込める点です。アプリケーションを複数アカウントに分散配置するというAWSのベストプラクティスに伴う悩みを、これ一つで解消できます。
Your cloud bill shouldn't be a mystery
Optimization, automation, expertise. In one platform.
生成AIコスト管理におけるDoiTの強み
Cloud Intelligence™は、Amazon Bedrockを活用する組織に独自の価値をもたらします。
シンプルな分析インターフェース
Cloud Intelligence™内では、レポートの作成・編集時に以下の複数セクションからAWSタグにアクセスできます。
- Labelsセクション:Google CloudのラベルやAzureのタグと並んで、AWS Cost Allocation Tagsを参照できます
- System Labelsセクション:DoiTおよびAWSが体系的に生成するラベルを含みます
- AWS Organization tagsセクション:クロスアカウント追跡用の組織タグ専用セクションです
基本のその先へ:発展的なユースケース
Application Inference ProfilesとCloud Intelligence™を組み合わせれば、さらに高度な使い方も可能になります。
機能単位のコスト分析
特定のプロダクト機能に対応したプロファイルを作成すれば、各AI機能の運用コストを正確に算出できます。機能の優先順位付けや料金戦略を考えるうえで欠かせない情報です。
A/Bテストのコスト効率を比較
異なる基盤モデルやプロンプト戦略でA/Bテストを実施していますか?テストパターンごとに別々の推論プロファイルを作成すれば、パフォーマンスだけでなくコスト効率も比較できます。
プロジェクト単位の予算管理
プロジェクトベースで動く組織では、推論プロファイルを個別の取り組みに割り当てることで、プロジェクトごとのAI支出を正確に追跡できます。
はじめ方:シンプルな導入ステップ
この強力な組み合わせは、思いのほか簡単に導入できます。
- Amazon Bedrock APIでプロファイルを作成:Amazon Bedrockのコントロールプレーンエンドポイントに対して
CreateInferenceProfileリクエストを実行します。 - 必須項目は最小限:プロファイル名と、モデルソース(基盤モデルまたはクロスリージョン推論プロファイル)を指定するだけです。
- AWS Cost Allocation Tagsを追加:コスト追跡に適した軸でプロファイルにタグを付け、コスト配賦タグ設定で有効化されていることを確認します。
- モデル呼び出しをプロファイル経由にルーティング:モデルを直接呼び出すのではなく、プロファイルのARNを使うようアプリケーションコードを更新します。
- Cloud Intelligence™と連携:DoiTのプラットフォームを使い、生のコストデータを直感的なインターフェースで実用的なインサイトへと変えましょう。
まとめ:複雑化するAI時代に求められるコストの透明性
AI workloadsの規模と重要性が高まり続けるなか、Application Inference ProfilesとCloud Intelligence™の組み合わせは、財務統制を維持するうえで欠かせない存在になりつつあります。生成AI投資を手探りで進めるのではなく、この組み合わせがもたらす可視性とコントロールを使えば、確かな根拠に基づく意思決定、支出の最適化、そしてAI施策の財務的な持続可能性の確保が実現します。
うれしいのは、このソリューションが今日のAmazon Bedrockの既存基盤モデルでそのまま機能することです。今後のアップデートを待つ必要も、既存アーキテクチャを大幅に作り変える必要もありません。AWS請求書に潜む生成AIコストモンスターを手なずけるための、現実的かつ即効性のある一手です。
次に基盤モデルを呼び出す前に、自問してみてください——「この料金を誰が負担しているのか、正確に答えられますか?」Application Inference ProfilesとCloud Intelligence™があれば、ようやく自信を持って答えられるようになります。
DoiTでのコスト配賦タグについて詳しくは、こちらをご覧ください: https://help.doit.com/docs/amazon-web-services/supported-aws-cost-allocation-tags
生成AIコストの管理についてのご相談はhttps://www.doit.comまでお問い合わせください。
