「Tools」カテゴリーアーカイブ

ArgoCDによるBlueGreenデプロイを試す

MicroK8sにArgoCDをインストールするでArgoCDをインストールしたので機能を試しています。その一貫として、今日はBlueGreenデプロイを試したいと思います。

  • Argo Rolloutsをインストールする
  • Rolloutを作成する
    • BlueGreenデプロイ用のRolloutを作成する
    • Serviceを作成する
  • デプロイする
    • v1をデプロイする
    • v2をデプロイする
    • BlueGreenデプロイをする

Argo Rolloutsをインストールする


BlueGreenデプロイをするにはRolloutというリソースが必要になるので、以下のURLを参考にそのArgo Rolloutsをインストールします。

https://argoproj.github.io/argo-rollouts/features/kubectl-plugin/

今回は以下のコマンドでArgo Rolloutをインストールしました。

ubuntu@microk8s-vm:~$ microk8s.kubectl create namespace argo-rollouts
namespace/argo-rollouts created
ubuntu@microk8s-vm:~$ microk8s.kubectl apply -n argo-rollouts -f https://raw.githubusercontent.com/argoproj/argo-rollouts/stable/manifests/install.yaml
customresourcedefinition.apiextensions.k8s.io/analysisruns.argoproj.io created
customresourcedefinition.apiextensions.k8s.io/analysistemplates.argoproj.io created
customresourcedefinition.apiextensions.k8s.io/experiments.argoproj.io created
customresourcedefinition.apiextensions.k8s.io/rollouts.argoproj.io created
serviceaccount/argo-rollouts created
role.rbac.authorization.k8s.io/argo-rollouts-role created
clusterrole.rbac.authorization.k8s.io/argo-rollouts-aggregate-to-admin created
clusterrole.rbac.authorization.k8s.io/argo-rollouts-aggregate-to-edit created
clusterrole.rbac.authorization.k8s.io/argo-rollouts-aggregate-to-view created
clusterrole.rbac.authorization.k8s.io/argo-rollouts-clusterrole created
rolebinding.rbac.authorization.k8s.io/argo-rollouts-role-binding created
clusterrolebinding.rbac.authorization.k8s.io/argo-rollouts-clusterrolebinding created
service/argo-rollouts-metrics created
deployment.apps/argo-rollouts created
ubuntu@microk8s-vm:~$ 
ubuntu@microk8s-vm:~$ microk8s.kubectl get pods -n argo-rollouts
NAME                             READY   STATUS    RESTARTS   AGE
argo-rollouts-7c5dbbd46d-4sf6s   1/1     Running   0          43s

Rolloutを作成する


以下の記事を参考に、BlueGreenデプロイ用のRolloutを作成します。

https://argoproj.github.io/argo-rollouts/features/bluegreen/

BlueGreenデプロイ用のRolloutを作成する


BlueGreenデプロイ用のRolloutを作成します。IstioのSubsetでバージョン毎に流量制御を行うで作成したhelloaアプリケーションのv1/v2を利用します。

以下のyamlを使って、Service名active-svc/preview-svcに対してBlueGreenデプロイを行うhelloa-bluegreenを作成します。初回はhelloa:v1がactive-svcによって割り振られ、v2をデプロイするとhelloa:v2がpreview-svcによって割り振られます。autoPromotionEnabled: falseにしているので、手動で昇格するとhelloa:v2がactive-svcによって割り振られるようになります。

apiVersion: argoproj.io/v1alpha1
kind: Rollout
metadata:
  name: helloa-bluegreen
spec:
  replicas: 2
  revisionHistoryLimit: 2
  selector:
    matchLabels:
      app: helloa
  template:
    metadata:
      labels:
        app: helloa
    spec:
      containers:
      - name: helloa
        image: localhost:32147/helloa:v1
        imagePullPolicy: Always
        ports:
        - containerPort: 8080
  strategy:
    blueGreen: 
      activeService: active-svc
      previewService: preview-svc
      autoPromotionEnabled: false

strategy内のオプションについては、以下をご参照ください。

https://argoproj.github.io/argo-rollouts/features/bluegreen/

Serviceを作成する


helloa-bluegreenで指定したactive-svc/preview-svcを作成します。

NodePortでポート32000がactive-svc、同じくNodePortでポート32001がpreview-svcとするyamlを使います。

kind: Service
apiVersion: v1
metadata:
  name: active-svc
spec:
  selector:
    app: helloa
  type: NodePort
  ports:
  - protocol: TCP
    port: 8080
    targetPort: 8080
    nodePort: 32000
---
kind: Service
apiVersion: v1
metadata:
  name: preview-svc
spec:
  selector:
    app: helloa
  type: NodePort
  ports:
  - protocol: TCP
    port: 8080
    targetPort: 8080
    nodePort: 32001

作成すると以下の結果になります。

ubuntu@microk8s-vm:~$ microk8s.kubectl create -f service.yaml 
service/active-svc created
service/preview-svc created
ubuntu@microk8s-vm:~$ microk8s.kubectl get svc
NAME               TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
active-svc         NodePort    10.152.183.171   <none>        8080:32000/TCP   12s
preview-svc        NodePort    10.152.183.159   <none>        8080:32001/TCP   12s

デプロイする


v1をデプロイする


以下のコマンドでRolloutを作成し、v1をデプロイします。

ubuntu@microk8s-vm:~$ microk8s.kubectl create -f rollout.yaml 
rollout.argoproj.io/helloa-bluegreen created

デプロイが完了すると、二つあるレプリカセットのうち片方だけにPodが作成されます。

ubuntu@microk8s-vm:~$ microk8s.kubectl get pods
NAME                                READY   STATUS    RESTARTS   AGE
helloa-bluegreen-5d86bb8b54-hs7tb   1/1     Running   0          26s
helloa-bluegreen-5d86bb8b54-pbnqx   1/1     Running   0          26s
ubuntu@microk8s-vm:~/argocd/bluegreen$ microk8s.kubectl get rs
NAME                          DESIRED   CURRENT   READY   AGE
helloa-bluegreen-5d86bb8b54   2         2         2       11s
helloa-bluegreen-6d7dc44886   0         0         0       58s

確認すると以下の結果になります。192.168.64.2はmultipass-vmのIPアドレスです。

$ curl http://192.168.64.2:32000
Hello A

v2をデプロイする


以下のコマンドを使ってhelloa-bluegreenのimageタグをv2にしてデプロイします。

ubuntu@microk8s-vm:~$ microk8s.kubectl patch rollout helloa-bluegreen --type merge -p '{"spec": {"template": {"spec": {"containers": [{"name":"helloa","image":"localhost:32147/helloa:v2"}]}}}}'
rollout.argoproj.io/helloa-bluegreen patched

以下のようにPodが作成されていることがわかります。Deploymentのローリングアップデートと異なる点は、v1とv2が同時に稼働していて、任意のタイミングで切り替えることができる点です。これによって、本番適用前に手動でテストを行うことができます。

ubuntu@microk8s-vm:~$ microk8s.kubectl get pods 
NAME                                READY   STATUS    RESTARTS   AGE
helloa-bluegreen-5695f95f6b-nkcw4   1/1     Running   0          12s
helloa-bluegreen-5695f95f6b-p8jw2   1/1     Running   0          12s
helloa-bluegreen-5d86bb8b54-hs7tb   1/1     Running   0          18m
helloa-bluegreen-5d86bb8b54-pbnqx   1/1     Running   0          18m
ubuntu@microk8s-vm:~$ microk8s.kubectl get rs
NAME                          DESIRED   CURRENT   READY   AGE
helloa-bluegreen-5695f95f6b   2         2         2       28s
helloa-bluegreen-5d86bb8b54   2         2         2       18m
helloa-bluegreen-6d7dc44886   0         0         0       19m

httpリクエストを行うと以下の結果になります。

$ curl http://192.168.64.2:32000
Hello A
$ curl http://192.168.64.2:32001
Hello A v2

BlueGreenデプロイをする


以下のコマンドを使うことで、preview-svcに配下のv2をactive-svc配下に昇格することができます。

ubuntu@microk8s-vm:~$ microk8s.kubectl argo rollouts resume helloa-bluegreen

実行したところ、以下のエラーが出ました。

Error: unknown command "argo" for "kubectl"
Run 'kubectl --help' for usage.

当たり前ですが、kubectl pluginを入れなければならないようでした。以下のURLを参考にインストールします。

https://argoproj.github.io/argo-rollouts/features/kubectl-plugin/

再度実行すると、以下のエラーが出てしまいました。

ubuntu@microk8s-vm:~$ microk8s.kubectl argo rollouts resume helloa-bluegreen
exec format error

結果解消することができなかったので、仕方なく手動でautoPromotionEnabledをtrueにして昇格を行いました。

ubuntu@microk8s-vm:~$ microk8s.kubectl patch rollout helloa-bluegreen --type merge -p '{"spec": {"strategy": {"blueGreen": {"autoPromotionEnabled": true}}}}'

昇格が完了すると、v1が消えていました。

ubuntu@microk8s-vm:~$ microk8s.kubectl get pods
NAME                                READY   STATUS    RESTARTS   AGE
helloa-bluegreen-5695f95f6b-nkcw4   1/1     Running   0          48m
helloa-bluegreen-5695f95f6b-p8jw2   1/1     Running   0          48m
ubuntu@microk8s-vm:~$ microk8s.kubectl get rs
NAME                          DESIRED   CURRENT   READY   AGE
helloa-bluegreen-5695f95f6b   2         2         2       81m
helloa-bluegreen-5d86bb8b54   0         0         0       99m
helloa-bluegreen-6d7dc44886   0         0         0       100m

以下のコマンドでサービスが切り替わっていることも確認できました。

$ curl http://192.168.64.2:32000
Hello A v2

以上です。

ArgoCDのCLIを使ってみる

MicroK8sにArgoCDをインストールするでArgoCDをインストールしましたが、これまでGUIだけ使っていたので、以下のURLを参考にCLIで操作してみます。

https://argoproj.github.io/argo-cd/getting_started/

  • ArgoCD CLIをMacOSにインストールする
  • CLIでログインする
  • コマンドを実行する

ArgoCD CLIをMacOSにインストールする


以下のコマンドでArgoCD CLIをインストールします。

brew tap argoproj/tap
brew install argoproj/tap/argocd

CLIでログインする


argued loginコマンドを利用してCLIでログインします。

ログイン先のURLは、ArgoCDの公開Serviceを指定します。今回は、MicroK8sにArgoCDをインストールするで公開argocd-server ServiceをNodePortに設定したので、[MicroK8sのURL]:[argocd-server Serviceの公開Port]を指定します。パスワードは、argocd-serverのPod名になります。

公式サイトでは、ServiceタイプをLoadBalancerに変更したポートフォワードに設定しています。

$ argocd login 192.168.64.2:30001
WARNING: server certificate had error: x509: cannot validate certificate for 192.168.64.2 because it doesn't contain any IP SANs. Proceed insecurely (y/n)? y
Username: admin
Password: 
'admin' logged in successfully
Context '192.168.64.2:30001' updated

コマンドを実行する


操作を確認します。

まずは登録したApplicationを以下のコマンドで確認してみます。

$ argocd app get test
Name:               test
Project:            default
Server:             https://kubernetes.default.svc
Namespace:          default
URL:                https://192.168.64.2:30001/applications/test
Repo:               https://github.com/username/argocd
Target:             master
Path:               test
SyncWindow:         Sync Allowed
Sync Policy:        Automated
Sync Status:        Synced to master (ab089cb)
Health Status:      Healthy

GROUP  KIND        NAMESPACE  NAME  STATUS  HEALTH   HOOK  MESSAGE
       Service     default    test  Synced  Healthy        service/test unchanged
apps   Deployment  default    test  Synced  Healthy        deployment.apps/test configured

ArgoCDのApplicationをCLIで作成します。以下のコマンドは、自身のargocd GitHubレポジトリにおけるtestフォルダ内マニフェストファイルから、MicroK8s上のdefault namespaceにデプロイします。

$ argocd app create cli-test --repo https://github.com/username/argocd --path test --dest-namespace default --dest-server https://kubernetes.default.svc
application 'cli-test' created
$ argocd app get cli-test
Name:               cli-test
Project:            default
Server:             https://kubernetes.default.svc
Namespace:          default
URL:                https://192.168.64.2:30001/applications/cli-test
Repo:               https://github.com/username/argocd.git
Target:             
Path:               test
SyncWindow:         Sync Allowed
Sync Policy:        <none>
Sync Status:        OutOfSync from  (ab089cb)
Health Status:      Healthy

CONDITION              MESSAGE                                                   LAST TRANSITION
SharedResourceWarning  Deployment/test is part of a different application: test  2020-06-17 22:53:41 +0900 JST
SharedResourceWarning  Service/test is part of a different application: test     2020-06-17 22:53:43 +0900 JST


GROUP  KIND        NAMESPACE  NAME  STATUS     HEALTH   HOOK  MESSAGE
       Service     default    test  OutOfSync  Healthy        
apps   Deployment  default    test  OutOfSync  Healthy        

GUIで見ても作成されていることがわかります。

手動でGitHubと同期する場合は$ argocd app sync [Application名]を実行します。上記で作成したApplicationの同期を行う場合は、以下のコマンドを実行します。

$ argocd app sync cli-test
TIMESTAMP                  GROUP        KIND   NAMESPACE                  NAME    STATUS    HEALTH        HOOK  MESSAGE
2020-06-17T23:12:24+09:00            Service     default                  test  OutOfSync  Missing              
2020-06-17T23:12:24+09:00   apps  Deployment     default                  test  OutOfSync  Missing              
2020-06-17T23:12:25+09:00            Service     default                  test    Synced  Healthy              
2020-06-17T23:12:25+09:00            Service     default                  test    Synced   Healthy              service/test created
2020-06-17T23:12:25+09:00   apps  Deployment     default                  test  OutOfSync  Missing              deployment.apps/test created
2020-06-17T23:12:25+09:00   apps  Deployment     default                  test    Synced  Progressing              deployment.apps/test created

Name:               cli-test
Project:            default
Server:             https://kubernetes.default.svc
Namespace:          default
URL:                https://192.168.64.2:30001/applications/cli-test
Repo:               https://github.com/username/argocd
Target:             
Path:               test
SyncWindow:         Sync Allowed
Sync Policy:        <none>
Sync Status:        Synced to  (ab089cb)
Health Status:      Healthy

Operation:          Sync
Sync Revision:      ab089cb2e0c000d50cc90451811afc0aa2205ff4
Phase:              Succeeded
Start:              2020-06-17 23:12:24 +0900 JST
Finished:           2020-06-17 23:12:25 +0900 JST
Duration:           1s
Message:            successfully synced (all tasks run)

GROUP  KIND        NAMESPACE  NAME  STATUS  HEALTH   HOOK  MESSAGE
       Service     default    test  Synced  Healthy        service/test created
apps   Deployment  default    test  Synced  Healthy        deployment.apps/test created

syncコマンド実行後、マニフェストファイルからコンテナアプリケーションがデプロイされていることがわかります。

$ microk8s kubectl get pods
NAME                    READY   STATUS    RESTARTS   AGE
registry                1/1     Running   5          5d
test-579889db56-plzgx   1/1     Running   0          6s

今日は以上です。CLIが利用できるので、より一層幅が広がりそうです。

GitHubで承認されたyamlからArgoCDで自動デプロイする

ArgoCDの初歩 GitHub上のyamlからアプリケーションをデプロイするでArgoCDの機能が試せたので、GitHub上で承認されたyamlをKubernetes上のマニフェストに自動反映してみます。

今回は実際の運用を考えて、登場人物をArgoCD担当者、アプリ開発者、アプリ責任者に分けてみました。ArgoCD担当者はCI/CDチームを想定していて、開発者とは別に開発環境を整えるチームを想定しています。アプリ開発者とアプリ責任者は同じチームで、開発者は変更を加えたら責任者に承認を取得する必要があります。

  • ArgoCD Applicationを作成する(ArgoCD担当者)
  • yamlを編集する(アプリ開発者)
    • ブランチを作成する
    • yamlを編集してpushする
    • プルリクエストを作成する
  • プルリクエストを承認する(アプリ責任者)
  • デプロイを確認する

ArgoCD Applicationを作成する(ArgoCD担当者)


開発者がyamlを編集する前に、対象レポジトリのブランチに変更があれば自動でKubernetes上のマニフェストに反映する設定を行います。以下の記事で作成した、test Applicationの「SYNC POLICY」を「Automation」に設定します。

ArgoCDの初歩 GitHub上のyamlからアプリケーションをデプロイする

test Applicationを選択し、「APP DETAILS」から「ENABLE AUTO SAVE」をクリックします。

yamlを編集する(アプリ開発者)


開発者がyamlを変更し、プルリクエストを作成します。

yamlファイルは、ArgoCDの初歩 GitHub上のyamlからアプリケーションをデプロイするで作成したtest-deployment.yamlを対象とし、HELLO_ENVという環境変数をdeploymentに追加します。

ブランチを作成する


以下のコマンドでdev-branchブランチを作成し、そのブランチに切り替えます。

$ git branch
* master
$ git checkout -b dev-branch
Switched to a new branch 'dev-branch'
$ git branch
* dev-branch
  master
$ git push origin dev-branch

yamlを編集してpushする


以下のようにtest-deployment.yamlを編集し、環境変数HELLO_ENV="Hello Env"を追加します。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: test
  labels:
    app: test
spec:
  replicas: 1
  selector:
    matchLabels:
      app: test
  template:
    metadata:
      labels:
        app: test
    spec:
      containers:
      - name: test 
        image: localhost:32147/helloa:latest
        ports:
        - containerPort: 8080
        env:
        - name: HELLO_ENV
          value: "Hello Env v2"

ちなみに、変更前は当然ながらHELLO_ENVが存在しないので、以下のようになります。

ubuntu@microk8s-vm:~$ microk8s.kubectl exec -it test-6d7d668d8c-xbzfq -- env  |  grep HELLO_ENV

ubuntu@microk8s-vm:~$

以下のコマンドで、dev-branchに変更ファイルを登録します。

$ git add -A
$ git commit -m "add HELLO_ENV env to deployment"
$ git push --set-upstream origin dev-branch

プルリクエストを作成する


以下のコマンドで、dev-branchで行った変更をmasterにも反映するプルリクエストを作成します。今回は自分で作成して自分で承認することになりますが、本来であれば承認できるユーザーを予め設定します。

$ git pull-request

プルリクエストを承認する(アプリ責任者)


アプリ開発者が作成したプルリクエストをアプリ責任者が確認し、承認します。

アプリ責任者がGitにログインすると、以下のように承認待ちのプルリクエストが確認できます。

プルリクエストを開き、中身を確認後、「Merge pull request」→「Confirm merge」をクリックします。

以上で承認処理が完了です。本番運用で導入するなら、Slackやメールを使って、承認者にプルリクエストが通知される仕組みを導入すべきだと思います。

デプロイを確認する


自動でデプロイされることを確認します。

プルリクエストの承認が完了し、少し待っていると、Podのローリングアップデートが行われました。

ubuntu@microk8s-vm:~$ microk8s.kubectl get pods
NAME                    READY   STATUS        RESTARTS   AGE
registry                1/1     Running       4          3d22h
test-64df8695f6-96qhf   1/1     Running       0          13s
test-6d7d668d8c-xbzfq   0/1     Terminating   1          24h

以下のコマンドを実行すると、正しく環境変数が登録されていることがわかります。

ubuntu@microk8s-vm:~$ microk8s.kubectl exec -it test-64df8695f6-96qhf -- env  |  grep HELLO_ENV
HELLO_ENV=Hello Env
ubuntu@microk8s-vm:~$

ArgoCDから見ても、同期が完了してyamlが反映されたことがわかります。

yamlファイルを反映するコマンドを実行しなくても、反映されることがわかりました。GitOpsの片鱗を見た気がします。今回やった内容は実運用でも大分使えると思います。

以上です!

ArgoCDの初歩 GitHub上のyamlからアプリケーションをデプロイする

以下の記事でArgoCDをMicroK8sにインストールしました。今日はArgoCDの初歩とういことで、GitHubのyamlからアプリケーションをデプロイしてみたいと思います。

MicroK8sにArgoCDをインストールする

  • yamlを作成する
    • Deployment用yamlを作成する
    • Service用yamlを作成する
    • yamlをGitHubに登録する
  • ArgoCDの設定を行う
    • GitHubレポジトリをArgoCDに登録する
    • ArgoCD Applicationを作成する
  • ArgoCDとGitHubを同期する

yamlを作成する


ArgoCDが同期するyamlファイルを作成します。

今回用意するのは、アプリケーションデプロイ用のDeploymentと公開用のServiceです。

Deployment用yamlを作成する


アプリケーションをデプロイ・管理するためのyamlを作成します。

以下は、MicroK8sでアプリケーションを動かすでMicroK8s上のdocker registryに登録したhelloaイメージをレプリカ数1でデプロイするDeploymentです。helloaイメージは、httpリクエストを受け付けると”Hello A”を表示するgolangベースのコンテナアプリケーションイメージです。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: test
  labels:
    app: test
spec:
  replicas: 1
  selector:
    matchLabels:
      app: test
  template:
    metadata:
      labels:
        app: test
    spec:
      containers:
      - name: test 
        image: localhost:32147/helloa:latest
        ports:
        - containerPort: 8080

Service用yamlを作成する


アプリケーションを公開するためのyamlを作成します。

以下は、test DeploymentのPodをポート32000をNodePortで公開するServiceのyamlです。

apiVersion: v1
kind: Service
metadata:
  name: test
  labels:
    app: test
    service: test
spec:
  ports:
  - port: 8080
    nodePort: 32000
    name: http
  selector:
    app: test
  type: NodePort

yamlをGitHubに登録する


上記で作成したyamlをargocdリポジトリのtestディレクトリに登録します。

$ tree argocd/
argocd/
├── README.md
└── test
    ├── test-deployment.yaml
    └── test-service.yaml
$ git add -A
$ git commit -m "First commit for ArgoCD test"
$ git push

ArgoCDの設定を行う


GitHubレポジトリをArgoCDに登録する


以下の記事で紹介したレポジトリ登録手順を参考に、上記で作成したargocdレポジトリをArgoCDに登録します。認証情報の設定を行うもので、次のApplication作成の時にレポジトリを選択できます。

MicroK8sにArgoCDをインストールする

ArgoCD Applicationを作成する


GitHubと同期してMicroK8s上にアプリケーションをデプロイするApplicationを作成します。

ログイン後、Applicationが未作成だと以下の画面になるので「CREATE APPLICATION」をクリックします。

必要な項目を入力します。それぞれの項目は以下の通りのです。

  • Application Name・・・ArgoCD内のApplication名。Application単位でGitHubと同期を行いデプロイされる。
  • Project・・・ArgoCD内のProject名。ApplicationをProject単位で管理できる。
  • SYNC POLICY・・・同期方法の設定。「Manual」か「Automation」が設定できる。
  • SYNC OPTIONS・・・デプロイする時にマニフェストの中身を検証する。
  • Repository URL・・・GitレポジトリのURL。ArgoCDに登録したURLが利用できる。
  • Revision・・・Gitのブランチ。
  • Path・・・レポジトリ内のパス。
  • Cluster・・・デプロイ先のクラスター。登録したクラスターをデプロイ先に選択できる。デフォルトでは、ArgoCDがインストールされたクラスターが選択できる。
  • Namespace・・・デプロイ先のnamespace。デプロイ先クラスターのnamespaceを選択できる
  • TOOL・・・同期するマニフェストファイルの形式を選択できる。以下の場合は「Directory」を選択していて、YAML/JSON/Jsonnetの形式で同期する。詳細はこちら
  • DIRECTORY RECURSE・・・ディレクトリ内の全階層におけるマニフェストファイルを全て同期する。
  • TOP-LEVEL ARGUMENTS・・・Jsonnetで扱われる、構成情報全体を関数として提供するもの。
  • EXTERNAL VARIABLES・・・Jsonnetで扱われる、コンフィグまたはファイルのどこからでもアクセスできる外部変数。

以上の項目を入力して、「Create」ボタンをクリックすると、以下のようにApplicationが作成されます。

ArgoCDとGitHubを同期する


上記で作成したApplicationの「Sync」ボタンをクリックし、「SYNCHRONIZE」ボタンをクリックすると同期が始まります。

同期に成功すると、以下のようにグリーンカラーになり、「Healthy」ステータスになります。

MicroK8s上で確認すると、以下のようにDeploymentとServiceが作成されていることがわかります。

ubuntu@microk8s-vm:~$ microk8s.kubectl get deployment test
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
test   1/1     1            1           31s
ubuntu@microk8s-vm:~$ microk8s.kubectl get svc test
NAME   TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
test   NodePort   10.152.183.49   <none>        8080:32000/TCP   37s
ubuntu@microk8s-vm:~$ curl localhost:32000
Hello A

 

以上です!応用していくとかなり使えそうなツールですね。

引用


Argoのアイコン

https://github.com/cncf/artwork/blob/master/projects/argo/icon/color/argo-icon-color.png

GitHubのアイコン

https://github.com/logos

MicroK8sにArgoCDをインストールする

ArgoCDについて勉強したいと思っていたので、まずは使える環境を用意したいと思います。

  • ArgoCDとは
  • Kubernetes環境を用意する
  • ArgoCDをインストールする
  • GitHubレポジトリを登録する

ArgoCDとは


ArgoCDの定義は、公式サイトで以下の記述があります。

Argo CDは、Kubernetes用の宣言型GitOps継続的デリバリーツールです。
引用元:ArgoCD公式サイト

GitOpsという言葉は、Cloud Native Computing Foundationのカンファレンスで紹介された開発手法です。コマンドラインツールを用いず、Gitにpushした変更をKubernetesのリソースに反映することで、開発の自動化、オペミスの削減、プルリクエストの承認によるガバナンス強化などのメリットをもたらします。

ArgoCDは、GitOpsを実現するのに必要な機能を提供するツールで、以下の内容を補います。

アプリケーションの定義、構成、および環境は、宣言的でバージョン管理されている必要があります。アプリケーションのデプロイメントとライフサイクル管理は、自動化され、監査可能で、理解しやすいものでなければなりません。
引用元:ArgoCD公式サイト

Kubernetes環境を用意する


Kubernetes環境にはMicroK8s for MacOSを利用します。

MicroK8sの公式サイトは以下のURLです。

https://microk8s.io

MicroK8sはのインストールは以下の記事でインストール済みです。

MicroK8sをMacOSにインストールしてみる

ArgoCDをインストールする


公式サイトを参考に、ArgoCDをMicroK8s上にインストールします。

ArgoCD用のnamespaceを作成します。

ubuntu@microk8s-vm:~$ microk8s.kubectl create namespace argocd
namespace/argocd created

以下のコマンドで、ArgoCDに必要なリソースを作成します。

ubuntu@microk8s-vm:~$ microk8s.kubectl apply -n argocd -f https://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/install.yaml
customresourcedefinition.apiextensions.k8s.io/applications.argoproj.io created
customresourcedefinition.apiextensions.k8s.io/appprojects.argoproj.io created
serviceaccount/argocd-application-controller created
serviceaccount/argocd-dex-server created
serviceaccount/argocd-server created
role.rbac.authorization.k8s.io/argocd-application-controller created
role.rbac.authorization.k8s.io/argocd-dex-server created
role.rbac.authorization.k8s.io/argocd-server created
clusterrole.rbac.authorization.k8s.io/argocd-application-controller created
clusterrole.rbac.authorization.k8s.io/argocd-server created
rolebinding.rbac.authorization.k8s.io/argocd-application-controller created
rolebinding.rbac.authorization.k8s.io/argocd-dex-server created
rolebinding.rbac.authorization.k8s.io/argocd-server created
clusterrolebinding.rbac.authorization.k8s.io/argocd-application-controller created
clusterrolebinding.rbac.authorization.k8s.io/argocd-server created
configmap/argocd-cm created
configmap/argocd-rbac-cm created
configmap/argocd-ssh-known-hosts-cm created
configmap/argocd-tls-certs-cm created
secret/argocd-secret created
service/argocd-dex-server created
service/argocd-metrics created
service/argocd-redis created
service/argocd-repo-server created
service/argocd-server-metrics created
service/argocd-server created
deployment.apps/argocd-application-controller created
deployment.apps/argocd-dex-server created
deployment.apps/argocd-redis created
deployment.apps/argocd-repo-server created
deployment.apps/argocd-server created

Podが全てRunningになっていることが確認できれば、インストール完了です。

ubuntu@microk8s-vm:~$ microk8s.kubectl get pods -n argocd -w
NAME                                             READY   STATUS    RESTARTS   AGE
argocd-application-controller-5cfb8d686c-fzkzk   1/1     Running   0          5m15s
argocd-dex-server-5cf8dd69f5-qc4j2               1/1     Running   0          5m14s
argocd-redis-6d7f9df848-cmmg5                    1/1     Running   0          5m14s
argocd-repo-server-56b75988dc-9vkk8              1/1     Running   0          5m14s
argocd-server-6766455855-w6tx8                   1/1     Running   0          5m14s

Argoにアクセスする必要があるので、ServiceのタイプをClusterIPからNodePortに変更します。以下のコマンドでエディタを開き、spec.typeをNodePortに編集して保存します。

ubuntu@microk8s-vm:~$ microk8s.kubectl get svc argocd-server -n argocd 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
argocd-server           ClusterIP   10.152.183.4     <none>        80/TCP,443/TCP               24m
ubuntu@microk8s-vm:~$ microk8s.kubectl edit svc argocd-server -n argocd
service/argocd-server edited
ubuntu@microk8s-vm:~$ microk8s.kubectl get svc argocd-server -n argocd 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
argocd-server           NodePort    10.152.183.4     <none>        80:31946/TCP,443:30001/TCP   29m

上記の場合、https://[multipass-vmのIP]:30001でアクセスすると以下の画面になります。初期ユーザーID/パスワードは、admin/[ArgoCDのpod名]でした。

GitHubレポジトリを登録する


試しに一つArgoCDにGitHubを登録してみます。

ログイン後、「設定」タブから「Repositories」をクリックします。

「CONNECT REPO USING HTTP」をクリックします。

「Type」をgitにして、「Repository URL」「Username(optional)」「Password(optional)」を入力し、「CONNECT」をクリックします。

同期が完了すると以下のように登録されます。

以上です。今日はインストールだけにして、明日以降また色々と試してみたいと思います。

Istio使ってURLパス単位でリクエスト処理を分けてみる

Istioを使ってURLパス単位で、コンテナアプリケーションを割り振ってみます。

  • コンテナアプリケーションを作成する
    • ソースコードを作成する
    • helloaコンテナイメージを作成する
    • hellobコンテナイメージを作成する
  • コンテナアプリケーションを実行する
  • Istioの設定をする
    • Gatewayを作成する
    • VirtualServiceを作成する
  • 設定を確認する

コンテナアプリケーションを作成する


Istioの割り振り先コンテナアプリケーションを作成します。

今回作成するのは、httpリクエストをポート8080で受け付けると以下の振る舞いを行うアプリケーションです。

    • / ・・・”Hello A” or “Hello B”を表示する
    • /hello ・・・”Hello A” or “Hello B”を表示する

ソースコードを作成する


コンテナアプリケーションで使うソースコードをgolangで作成します。

main.goを以下に示します。マックスハンドラを使って、URL毎に使うhtmlファイルを分けています。

package main

import (
    "log"
    "net/http"
    "html/template"
    "fmt"
)

func main() {
    //index関数をルートディレクトリに指定
    http.HandleFunc("/", index)
    //hello関数をルートディレクトリに指定
    http.HandleFunc("/hello", hello)
    //サーバー起動
    if err := http.ListenAndServe(":8080", nil); err != nil {
        log.Fatal("ListenAndServe:", nil)
    }
}

func index(writer http.ResponseWriter, r *http.Request) {
  generateHTML(writer, "index")
}

func hello(writer http.ResponseWriter, r *http.Request) {
  generateHTML(writer, "hello")
}

func generateHTML(writer http.ResponseWriter, filenames ...string) {
    var files []string
    for _, file := range filenames {
        files = append(files, fmt.Sprintf("templates/%s.html", file))
    }

    templates := template.Must(template.ParseFiles(files...))
  templates.Execute(writer, nil)
}

main.goを実行するコンテナをビルドするためのDockerfileを以下に示します。

FROM golang:latest

# コンテナ作業ディレクトリの変更
WORKDIR /go/src/web
# ホストOSの ./src の中身を作業ディレクトリにコピー
COPY ./src .
RUN go build -o web
# ウェブアプリケーション実行コマンドの実行
CMD ["./web"]

ディレクトリ構造は以下の通りです。index.htmlとhello.htmlはhelloa, hellobアプリケーション毎に作成します。

$ tree .
.
├── Dockerfile
└── src
    ├── main.go
    └── templates
        ├── hello.html
        └── index.html

helloaコンテナイメージを作成する


httpリクエストを受け付けると”Hello A”を表示するhelloaコンテナイメージを作成します。

以下のコマンドを使って、”Hello A”を表示するindex.htmlとhello.htmlを作成します。

$ echo "Hello A" > index.html
$ echo "Hello A" > hello.html

以下のコマンドでコンテナイメージをビルドして、docker registryに登録します。このdocker registryはMicroK8s上にコンテナとして動いています。docker registryの起動方法は、MicroK8sでアプリケーションを動かすを参考にしてください。

$ docker build -t helloa:latest .
$ docker tag helloa 192.168.64.2:32147/helloa
$ docker push 192.168.64.2:32147/helloa

hellobコンテナイメージを作成する


httpリクエストを受け付けると”Hello B”を表示するhelloaコンテナイメージを作成します。

以下のコマンドを使って、”Hello B”を表示するindex.htmlとhello.htmlを作成します。

$ echo "Hello B" > templates/index.html 
$ echo "Hello B" > templates/hello.html

以下のコマンドでコンテナイメージをビルドして、docker registryに登録します。

$ docker build -t hellob:latest .
$ docker tag hellob 192.168.64.2:32147/hellob
$ docker push 192.168.64.2:32147/hellob

コンテナアプリケーションを実行する


作成したコンテナイメージからコンテナアプリケーションを実行します。

以下のコマンドを使って、Injection済みのnamespaceにhelloaとhellobを実行し、サービスを公開します。Injectionの方法は、Microk8sでIstioによるABテストを試してみる(1/2)を参照してください。

ubuntu@microk8s-vm:~$ microk8s.kubectl run helloa --image=localhost:32147/helloa:latest --port=8080 -n istio-app
pod/helloa created
ubuntu@microk8s-vm:~$ microk8s.kubectl run hellob --image=localhost:32147/hellob:latest --port=8080 -n istio-app
pod/hellob created
ubuntu@microk8s-vm:~$ microk8s.kubectl expose pod helloa --port=8080 -n istio-app
service/helloa exposed
ubuntu@microk8s-vm:~$ microk8s.kubectl expose pod hellob --port=8080 -n istio-app
service/hellob exposed

Istioの設定をする


Gatewayを作成する


全てのホスト名をポート80で受け付けるIstioのGatewayを作成します。

yamlファイルを以下に示します。

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: hello-gateway
spec:
  selector:
    istio: ingressgateway # use Istio default gateway implementation
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - "*"

以下のコマンドでgatewayリソースを作成します。

ubuntu@microk8s-vm:~$ microk8s.kubectl apply -f gateway.yaml -n istio-app

VirtualServiceを作成する


/helloのリクエストはhellobに、それ以外はhelloaに割り振るVirtualServiceを作成します。

VirtualService全体のyamlファイルを以下に示します。match.uri.prefixを使うことでURL毎に割り振り先を変更できます。

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: hello-switch-url-route
spec:
  hosts:
  - "*"
  gateways:
  - hello-gateway
  http:
  - match:
    - uri:
        prefix: /hello
    route:
    - destination:
        host: hellob
        port:
          number: 8080
  - route:
    - destination:
        host: helloa
        port:
          number: 8080

設定を確認する


以下のcurlコマンドを利用して確認すると、正しくルーティングされていることがわかります。192.168.64.2:31380はIstio Ingressgatewayの公開Serviceで、[multipass-vmのIP]:[NodePort]です。IngressgatewayをNodePortにする方法は、MicroK8sでIstioによるABテストを試してみる(2/2)を参照してください。

$ curl -s http://192.168.64.2:31380/
Hello A
$ curl -s http://192.168.64.2:31380/hello
Hello B

 

以上です。ページなどモジュール単位で分けるようなシステムには使えそうですね!

IstioのSubsetでバージョン毎に流量制御を行う

以下の記事でIstioによる流量制御を行いました。しかし、本来ABテストというのはバージョン毎に流量制御を行うことが多いので、Subsetを使って異なるバージョンのコンテナアプリケーションに対して行います。

MicroK8sでistioによるABテストを試してみる(1/2)
MicroK8sでistioによるABテストを試してみる(2/2)

  • コンテナイメージを用意する
    • v1コンテナイメージの作成
    • v2コンテナイメージの作成
  • コンテナアプリケーションをデプロイする
    • v1 Deploymentを作成する
    • v2 Deploymentを作成する
    • Serviceを作成する
  • Istioの設定を行う
    • VirtualServiceを作成する
    • DestinationRuleを作成する
  • 設定を確認する

コンテナイメージを用意する


以下の記事で作成したhelloaを使ってコンテナイメージを作成します。

MicroK8sでistioによるABテストを試してみる(1/2)

v1コンテナイメージの作成


以下のコマンドで、v1タグのhelloaイメージを作成し、レジストリに登録します。

$ docker build -t helloa:v1 helloA/
$ docker tag helloa:v1 192.168.64.2:32147/helloa:v1
$ docker push 192.168.64.2:32147/helloa:v1

v2コンテナイメージの作成


httpリクエストを受け付けたら”Hello A v2″を表示されるように、以下のコマンドでhtmlファイルを編集します。

$ echo "Hello A v2" > helloA/src/templates/index.html 

以下のコマンドで、v2タグのhelloaをイメージを作成してレジストリに登録します。

$ docker build -t helloa:v2 helloA/
$ docker tag helloa:v2 192.168.64.2:32147/helloa:v2
$ docker push 192.168.64.2:32147/helloa:v2

コンテナアプリケーションをデプロイする


v1 Deploymentを作成する


以下のファイルを使って$ microk8s.kubectl create -f [ファイル名]を実行し、helloa-v1 Deploymentを作成します。hello-v1は、タグv1のhelloaから実行されるPodを管理します。

重要なのは、version: v1 ラベルが付与されていることです。このラベルをSubsetとして使い、流量制御を行うことになります。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: helloa-v1
  labels:
    app: helloa
    version: v1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: helloa
      version: v1
  template:
    metadata:
      labels:
        app: helloa
        version: v1
    spec:
      containers:
      - name: helloa 
        image: localhost:32147/helloa:v1 
        ports:
        - containerPort: 8080

v2 Deploymentを作成する


同じように、以下のファイルを使って$ microk8s.kubectl create -f [ファイル名]を実行し、helloa-v2 Deploymentを作成します。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: helloa-v2
  labels:
    app: helloa
    version: v2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: helloa
      version: v2
  template:
    metadata:
      labels:
        app: helloa
        version: v2
    spec:
      containers:
      - name: helloa 
        image: localhost:32147/helloa:v2 
        ports:
        - containerPort: 8080

Serviceを作成する


以下のファイルを使って$ microk8s.kubectl create -f [ファイル名]を実行し、helloa-v1/v2 DeploymentのPodをエンドポイントとするServiceを作成します。

apiVersion: v1
kind: Service
metadata:
  name: helloa
  labels:
    app: helloa
    service: helloa
spec:
  ports:
  - port: 8080
    name: http
  selector:
    app: helloa

Istioの設定を行う


Istioの設定を行い、流量制御をします。Ingressgatewayについては、以下の記事で作成したものがあるのを前提に行います。

MicroK8sでistioによるABテストを試してみる(1/2)

VirtualServiceを作成する


バージョン毎に流量制御を行うVirtualServiceを作成します。

Subset v2に25%、Subset v1に75%の通信を割り振るhello-ab-route VirtualServiceを作成します。

以下のファイルを使って$ microk8s.kubectl create -f [ファイル名]を実行します。

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: hello-ab-route
spec:
  hosts:
  - hello.example.com
  gateways:
  - hello-gateway
  http:
  - route:
    - destination:
        host: helloa
        subset: v2
        port: 
          number: 8080
      weight: 25
    - destination:
        host: helloa
        subset: v1
        port: 
          number: 8080
      weight: 75

DestinationRuleを作成する


Subsetを使う場合に必要となるDestinationRuleを作成します。

以下はhelloaのSubsetをversionラベルで区別しています。この定義によってラベルによる通信制御が行えます。

以下のファイルを使って$ microk8s.kubectl create -f [ファイル名]を実行します。

apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: helloa-destination-rule
spec:
  host: helloa
subsets: - name: v1 labels: version: v1 - name: v2 labels: version: v2

設定を確認する


以下のコマンドで、helloaに対して10回httpリクエストを行って設定を確認します。

$ for i in {0..9};do curl -s -HHost:hello.example.com "http://192.168.64.2:31380"; done

しかし、以下のエラーが出てしまいました。

upstream connect error or disconnect/reset before headers. reset reason: connection termination

mutual TLSを有効にしている場合は、DestinationRuleにおけるtlsのモードをISTIO_MUTUALにする必要があるそうです。従って、DestinationRuleのyamlを以下に編集し、$ microk8s.kubectl apply -f [ファイル名]を実行する必要がありました。

apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: helloa-destination-role
spec:
  host: helloa
  trafficPolicy:
    tls:
      mode: ISTIO_MUTUAL
  subsets:
  - name: v1
    labels:
      version: v1
  - name: v2
    labels:
      version: v2

改めて実行したところ、うまく流量制御が行えていました。

[walker:~/Desktop/hello]$ for i in {0..9};do curl -s -HHost:hello.example.com "http://192.168.64.2:31380"; done
Hello A
Hello A
Hello A
Hello A
Hello A v2
Hello A
Hello A
Hello A v2
Hello A
Hello A v2

せっかくなのでKialiで見てみたところ、実際にリクエストがきた通信をパーセント表示しているので定義した値と多少異なりますが、近い値が出ています。

以上です!

Jeagerって何?

Jeagerの概要を調査したので、記事を描いてみました。

  • 分散トレーシング
    • 分散トレーシングとは
    • SpanとTraceの関係
    • Propagation
  •  Jeager
    • Jeagerとは 
    • Jeagerを操作してみる 

分散トレーシング


分散トレーシングとは


分散トレーシングとは、マイクロサービスのような分散されたシステムにおいて、障害の検知や原因特定を迅速化するために考えられた、サービス間通信の監視を行う概念です。

SpanとTraceの関係


分散トレーシングの基本概念であるSpanとTraceの関係について以下に示します。

  • Span・・・サービス単位の処理
  • Trace・・・任意のリクエストにおけるSpanの集合体

Propagation


分散トレーシングでは、Span同士でメタデータを伝播(Propagation)させています。以下のように、HttpヘッダーにSpanのメタデータを埋め込み、Spanの関係を把握しています。

参照元)https://github.com/openzipkin/b3-propagation#overall-process

Jeager


Jeagerとは


分散トレーシングを体現したツールは、Zipkin、Hawkularなど様々あります。Jeagerはその中の一つで、Uber社がGo言語で開発した分散トレーシングシステムです。

CNCFにホストされたのがきっかけで、分散トレーシングシステムの代表例でもあります。IstioをOperatorでインストールする場合は、Jeagerも一緒にインストールすることができ、Operatorによって構成されます。

アーキテクチャは以下の通りです。jeager-clientが取得したログをjeager-agentを経由してjeager-collectorが受け取り、DBにログを保管します。ユーザーはGUIを通して、このDBを参照することができます。

参照元)https://www.jaegertracing.io/docs/1.8/architecture/

Jeagerを操作してみる 


以下の記事で、MicroK8sにIstioをインストールした時に、一緒にインストールされていたJeagerを使って簡単に確認したいと思います。

MicroK8sでistioによるABテストを試してみる(1/2)
MicroK8sでistioによるABテストを試してみる(2/2)

アクセスするとこんな画面でした。キャラクターが可愛い件について。

適当に検索してみると、トレースログ毎に発生日時とレスポンスタイムのグラフに表示されていました。また、それぞれのトレースログの詳細が確認できますし、トレースログ同士を比較する機能までついていました。

トレースログをクリックすると、上で説明したようなTraceとSpanが確認できました。

Httpリクエストヘッダーも確認することができました。

右上の「Trace Timeline」を「Trace Graph」に変更すると、以下のように依存関係が確認できました。

以上です。本当に概要だけですが、参考になれば幸いです。

MicroK8sでKialiを使ってみる

以下の記事でMicroK8sにIstioを使ってABテストを実施しました。Kialiを使って発生した通信をGUIで確認してみましたので投稿します。

MicroK8sでistioによるABテストを試してみる(1/2)
MicroK8sでistioによるABテストを試してみる(2/2)

  • Kialiにログインする
    • Kiali Serviceの設定を変更する
    • Kialiのログインユーザーとパスワードを確認する
    • Kialiにログインする
  • KialiでGraphを確認する
    • 正常な状態でGraphを確認する
    • helloaを通信不可な状態にして確認する

Kialiにログインする


MicroK8sでIstioをデプロイすると、Kialiも一緒にデプロイされます。ここではそのKialiにログインします。

Kiali Serviceの設定を変更する


KialiはGUIで表示されるので、ローカルPCからブラウザでアクセスする必要があります。従って、KialiのServiceを公開する必要があります。(通常$ microk8s istioctl dashboard kialiでブラウザが開くはずなのですが、私はエラーで開ませんでした。)

以下のコマンドでKialiのServiceのタイプをNodePortにします。spec.typeをClusterIPからNodePortにするだけで変更できます。

ubuntu@microk8s-vm:~$ microk8s.kubectl get svc -n istio-system
NAME                     TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)     AGE
kiali                    ClusterIP   10.152.183.201   <none>        20001/TCP       2d1h
ubuntu@microk8s-vm:~$ microk8s.kubectl edit svc kiali -n istio-system
service/kiali edited
ubuntu@microk8s-vm:~$ microk8s.kubectl get svc kiali -n istio-system
NAME    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)           AGE
kiali   NodePort   10.152.183.201   <none>        20001:31793/TCP   2d1h

Kialiのログインユーザーとパスワードを確認する


Kialiの初期ユーザーと初期パスワードがわからなかったので、以下のコマンドで確認しました。結果、admin/adminでした。

$ microk8s kubectl get secret kiali -n istio-system -o json | jq -r '.data.username' | base64 --decode
$ microk8s kubectl get secret kiali -n istio-system -o json | jq -r '.data.passphrase' | base64 --decode

Kialiにログインする


http://[multipass-vmのIPアドレス]:[NodePortの公開ポート]/kiali/にアクセスすると、以下の画面が表示されるので、admin/adminを入力して「Log in」ボタンをクリックします。

KialiでGraphを確認する


正常な状態でGraphを確認する


左の「Graph」タブをクリックし、まずは正常な状態でGraphを確認します。

以下のように、ServiceとPodがバラバラな状態になっていました。

以下のコマンドで100回httpリクエストを行うと、正しく通信経路が表示されました。

$ for i in {0..99}; do curl -s -HHost:hello.example.com "http://192.168.64.2:31380"; done

左上のプルダウンメニューより、「No edge labels」を「Requests percentage」に変更すると、以下のように流動制御を行う割合が表示されました。

左上のプルダウンメニューより、「Requests percentage」を「Response time」に変更すると、以下のように通信経路ごとのレスポンスタイムが表示されました。

helloaを通信不可な状態にして確認する


コンテナが異常だった場合の表示も見てみたいと思います。

以下のコマンドでhelloa Podを削除します。

ubuntu@microk8s-vm:~$ microk8s.kubectl delete pod helloa -n istio-app

以下のyamlファイルから$ microk8s.kubectl create -f [ファイル名]でPodを作成します。readinessProbeを定義していて、/tmp/healthyが存在しない間は閉局します。

apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: helloa
  name: helloa
spec:
  containers:
  - image: localhost:32147/helloa
    name: helloa
    ports:
    - containerPort: 8080
    resources: {}
    readinessProbe:
      exec:
        command:
        - cat
        - /tmp/healthy
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

閉局するといってもPodは存在しますので、envoyコンテナが起動していて、helloaコンテナが起動していない状態になります。

ubuntu@microk8s-vm:~$ microk8s.kubectl get pods -n istio-app
NAME     READY   STATUS    RESTARTS   AGE
helloa   1/2     Running   0          47m
hellob   2/2     Running   0          83m

この状態で再度以下のコマンドを実行します。

$ for i in {0..99}; do curl -s -HHost:hello.example.com "http://192.168.64.2:31380"; done

100回は大分時間かかるので、途中でキャンセルしても大丈夫です。完了後にGUIを確認すると以下の画面になりました。helloaコンテナへのhttpリクエストが失敗した割合が分かりやすく表示されていました。右側には失敗したステータスコードも確認できるようになっていました。

以上です。2つ程度では価値が伝わりにくいですが、マイクロサービスなどコンテナの数が膨大になればなるほど貴重になるツールなので、皆様も是非お試しあれ。

MicroK8sでIstioによるABテストを試してみる(2/2)

本記事は以下の続きです。Istioを使って流量制御を行います。

MicroK8sでistioによるABテストを試してみる(1/2)

  • アプリケーションのServiceを作成する
  • Istioの設定をする
    • Istio Ingressgatewayの設定を変更する
    • Gatewayを作成する
    • Virtual Serviceを作成する
  • 設定を確認する

アプリケーションのServiceを作成する


MicroK8sでistioによるABテストを試してみる(1/2)で作成したアプリケーションに、helloa, hellobで名前解決できるServiceを付与します。

ubuntu@microk8s-vm:~$ microk8s.kubectl expose pod helloa --name=helloa --port=8080 -n istio-app
service/helloa exposed
ubuntu@microk8s-vm:~$ microk8s.kubectl expose pod hellob --name=hellob --port=8080 -n istio-app
service/hellob exposed
ubuntu@microk8s-vm:~$ microk8s.kubectl get svc -n istio-app
NAME     TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
helloa   ClusterIP   10.152.183.63    <none>        8080/TCP         7m23s
hellob   ClusterIP   10.152.183.36    <none>        8080/TCP         7m11s

Istioの設定をする


Istio Ingressgatewayの設定を変更する


Istio Ingressgatewayの設定を変更します。

Istio IngressgatewayはIstioで構成されたアプリケーションの入り口となるServiceです。istio-system namespaceで稼働していて、Service TypeがLoadBalancerです。IngressIPを設定できる場合はLoadBalancerIPとして設定すれば問題ありませんが、MicroK8sはデフォルトでは使えないのでNodePortに変更しておきます。

この設定は、Istioのドキュメントにも記載があります。

以下のコマンドでspec.typeをLoadBalancerからNodePortに変更します。

ubuntu@microk8s-vm:~$ microk8s.kubectl edit svc istio-ingressgateway -n istio-system

Gatewayを作成する


IstioでGatewayを作成します。

Gatewayは、サービスメッシュのエッジで動作するロードバランサーで、http/tcp接続を受信します。Istioで構成されたアプリケーションを外部に公開するには、Ingressgatewayに加えてGatewayが必要になります。

https://istio.io/docs/reference/config/networking/gateway/

ホスト名”hello.example.comyaml”に対して、httpプロトコルを受け付けるhello-gatewayのyamlを以下に示します。このyamlをoc create -f [ファイル名]で作成します。

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: hello-gateway
spec:
  selector:
    istio: ingressgateway # use Istio default gateway implementation
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - "hello.example.com"

Virtual Serviceを作成する


IstioでVirtual Serviceを作成します。

Virtual Serviceはトラフィックルーティングを制御して、Istioで構成されたアプリケーションの振る舞いを変えられます。

https://istio.io/docs/reference/config/networking/virtual-service/

hello.example.comへのhttpリクエストに対して、helloa Serviceに25%、hellob Serviceに75%のトラフィックをルーティングするhello-ab-route Virtual Serviceのyamlを以下に示します。こちらもoc create -f [ファイル名]で作成します。

spec.http.route.destination.hostでServiceを指定し、weightでルーティングするトラフィックの割合を定義しています。

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: hello-ab-route
spec:
  hosts:
  - hello.example.com
  gateways:
  - hello-gateway
  http:
  - route:
    - destination:
        host: helloa
        port: 
          number: 8080
      weight: 25
    - destination:
        host: hellob
        port: 
          number: 8080
      weight: 75

設定を確認する


最後に設定した流動制御を確認します。

設定したホスト名hello.exapmle.comに対して、Istio Ingressgatewayを経由するcurlコマンドを10回実行してみます。補足すると、Gatewayとして指定している192.168.64.2:31380は、[multipass-vmのIPアドレス]:[NodePortで80番を公開しているポート]です。

$ for i in {0..9}; do curl -s -HHost:hello.example.com "http://192.168.64.2:31380"; done
Hello B
Hello A
Hello B
Hello A
Hello B
Hello B
Hello B
Hello A
Hello B
Hello B

これは綺麗に7:3ぐらいの割合で出力されていますが、何度も繰り返すと、10:0の時もありました。但し、Hello AがHello Bの回数を越すということはなかったので、正しくルーティングされていることが伺えました。

以上です!全体を通して考えると、MicroK8s特有の部分はインストールのところだけでしたね。Istioの勉強をしてみたいと思っていたので、いい機会になりました。