Day: August 6, 2025

重要なクラウド・インフラストラクチャの問題に対処しているときは、一刻を争います。迅速かつ正確なサポートが必要です。しかし、急いでいないときでも、貴重な時間を長いフォームの記入に費やすのは避けたいものです。 課題：AIによるサポートをより迅速かつインタラクティブに DoiTでは、FinOpsやクラウドに関する問い合わせをサポートするAvaを用意しています。しかし、時には人間の専門家とじっくり話し合いたいこともあるでしょう。このような場合、当社のCase IQシステムが、お客様がケースを開設する際に正しい技術的詳細を提供するのを支援し、当社のカスタマー・リライアビリティ・エンジニア（CRE）が問題を迅速に解決するために必要なすべてを確保します。 このアイデアは2024年夏のハッカソンから生まれ、OpenAIのAPIをベースに構築されました。しかし、私たちは現状を打破し、より良いものを作ろうと決めました。顧客への推薦のレイテンシーに焦点を当て、システムをよりキビキビしたインタラクティブなものにしました。 実験：レイテンシー、コスト、パフォーマンスについて5つのモデルをテスト これを解決するために、私たちは現在のモデル（OpenAIのGPT-4o）を4つの代替案と比較する2週間の包括的な実験を計画しました： GPT-4.1ミニ(OpenAIの新しい高速モデル) ラマ 3.1 8B(Groqの専用ハードウェアを使用した小型の超高速モデル） ラマ3.3 70B(Groqでより大きく、より高性能なモデル) ラマ4 スカウト 17B (メタの最新モデルのプレビューモデル。） 主な目的は、GPT-4oのベースラインよりもレイテンシーの低いモデルを見つけることだった。それを達成するためには、レスポンスの質を（少し）落とすことが予想され、コスト削減は良い副次的な効果だと考えている。 これらのモデルを、エンゲージメント作成時にCase IQが行う5つのタスクでテストしました： プラットフォームの検出：リクエストがどのプラットフォームに関するものか 製品の識別具体的にどのクラウドサービスに支援が必要か？ 重大性の評価：この問題の緊急度は？ 資産の特定：どのプロジェクトまたは勘定が影響を受けるか？ 技術的な詳細の抽出エンジニアが必要とする具体的な情報とは？