Container Resource MetricsでKubernetes HPAをきめ細かく制御

• バージョン1.27以降のKubernetesクラスター
• KubernetesクラスターにMetrics Serverがデプロイされていること
• 作業端末にKubectlがインストールされていること

• 以下のマニフェストでサンプルとなるマルチコンテナDeploymentをデプロイします。cpu-stressorはKubernetes Pod上でCPU負荷をシミュレートするためのメインコンテナです。cpu-stressorツールの詳細はGitHubのリポジトリを参照してください。log-genertorは同じPod内に配置したサンプルのセカンダリコンテナです。

cat <<EOF | kubectl apply -f -
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: crm-scaling-demo
  labels:
    app: crm-scaling-demo
spec:
  selector:
    matchLabels:
      app: crm-scaling-demo
  template:
    metadata:
      labels:
        app: crm-scaling-demo
    spec:
      containers:
        - name: cpu-stressor
          image: narmidm/k8s-pod-cpu-stressor:1.0.0
          args:
            - "-cpu=0.5"
            - "-duration=3600s"
          resources:
            limits:
              cpu: "200m"
            requests:
              cpu: "100m"
        - name: log-generator
          image: busybox:1.28
          args: [/bin/sh, -c,\
                'i=0; while true; do echo "$i: $(date)"; i=$((i+1)); sleep 1; done']
          resources:
            requests:
              cpu: "100m"
EOF

サンプルのPodと、Pod内の全コンテナのリソース使用状況

• Podのメトリクスではなく、cpu-stressorコンテナのCPU使用率を基準にスケーリングするHorizontailPodAutoscalerリソースを作成します。

cat <<EOF | kubectl apply -f -
---
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: crm-scaling-demo
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: crm-scaling-demo
  minReplicas: 1
  maxReplicas: 10
  metrics:
  - type: ContainerResource #new-metrics-source
    containerResource:
      name: cpu
      container: cpu-stressor #container-name
      target:
        type: Utilization
        averageUtilization: 50
EOF

cpu-stressorコンテナのメトリクスに基づくHPA設定例

この例では、HPAコントローラは、全Podのcpu-stressorコンテナにおけるCPU平均使用率が50%になるように対象をスケールさせます。

• cpu-stressorコンテナがCPU負荷をかけ始めるのを待つと、HPAがcpu-stressorコンテナのCPU使用率に基づいてPod数を再計算する様子が確認できます。

cpu-stressorコンテナのメトリクスに基づくHPAスケーリングの例

container resource metricsを用いたHPAスケーリングのデモ

スクリーンショットとデモ動画から、マルチコンテナPod構成においてcpu-stressorコンテナを基準としたHPAスケーリングが想定どおりに動作していることがわかります🚀。