AutoScaling [Part 01]

01. EKS (Elastic Kubernetes Service) 설치

💁‍♂️ EKS 소개

Kubernetes Control plane을 구성할 필요 없이 AWS에서 Kubernetes를 제공하는 관리형 서비스.

장점은 아래와 같습니다.

• 리팩토링이 필요없다.

EKS환경에서 구동되는 Application은 표준 쿠버네티스 환경에서 그대로 구동 가능하며,

반대로 On-premise 환경에 있던 구성을 EKS 환경으로 손쉽게 적용 가능함.

• opensource 커뮤니티에 적극적으로 기여한다.

eksctl, autoscaler, CNI 개발 등.

 

EKS Architecture

Control plane은 AWS가 관리하여 눈으로 확인이 불가능하며, 사용자의 관리영역은 오직 worker node.

 

반대로, Kubernetes와 EKS의 차이점은?

• Kubernetes 사용시 Control plane 관리 부담이 크다 (CNI 구성, HA구성 등..)
• Managed node Group이 없다 (EKS에서 제공하는 서비스)
• version update 부담 등.

하지만, 관리형 서비스가 꼭 정답만은 아니다.

• 커스터마이징 여지가 사라지므로 Platform에 필요한 요구사항이 있을 경우 오히려 불편하다.
  • ex: ETCD에 들어가는 정보를 별도로 구축해서 암호화를 해야하는 경우 등..
• 보안, 워크로드 요구사항에 맞춰서 구축이 필요하므로 Managed Service가 정답은 아니다.

 

간단한 실습에 필요한 정도로만 EKS를 알아보기로 하고, 자세한건 나중에 Deep 하게 다뤄보도록 하자.

 

---

1-1. EKS 설치 전 사전 준비물

■ awscli 설치

apt-get update
apt-get install -y unzip
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install
aws --version
aws configure

$aws configure
  AWS Access Key ID [None]: 보안에 준수하여 작성하지 않도록 하겠습니다.
  AWS Secret Access Key [None]: 위 내용과 같습니다.
  Default region name [None]: ap-northeast-2
  Default output format [None]: json

--- 적용 확인 ---
aws configure list
aws sts get-caller-identity

{
    "UserId": "339712771495",
    "Account": "339712771495",
    "Arn": "arn:aws:iam::339712771495:root"
}

 

■ eksctl 설치

참고 문서 : https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/eksctl.html

Amazon EKS를 사용하도록 설정 - Amazon EKS

# ubuntu Linux EC2 에 eksctl 설치

curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmp
sudo mv /tmp/eksctl /usr/local/bin
eksctl version
0.171.0

 

■ kubectl 설치

참고 문서 : https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/install-kubectl.html

# ubuntu Linux EC2 에 k8s 관리툴인 kubectl 설치

curl -o kubectl https://amazon-eks.s3.us-west-2.amazonaws.com/1.21.2/2021-07-05/bin/linux/amd64/kubectl
chmod +x ./kubectl
mkdir -p $HOME/bin && cp ./kubectl $HOME/bin/kubectl && export PATH=$PATH:$HOME/bin
echo 'export PATH=$PATH:$HOME/bin' >> ~/.bashrc

-- 버전 확인 --
kubectl version --short --client 

-- 자동 명령 스크립트 --
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >>~/.bashrc

 

1-2. EKS install

console에서 수동으로 설치가 가능하지만, 관리를 용이하게 yaml 파일로 작성하여 설치

vi cluster.yaml

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: prd-eks-cluster
  region: ap-northeast-2
vpc:
  id: 'vpc-02172b18928eebff8'     
  subnets:
    private:
      ap-northeast-2a:
        id: 'subnet-09fd28d637e11b029'
      ap-northeast-2c:
        id: 'subnet-0ee462c61cd9b9395'

managedNodeGroups:
  - name: prd-eks-dataplane1
    labels: { role: workers }
    instanceType: t2.medium
    desiredCapacity: 1
    privateNetworking: true
    subnets:
      - subnet-09fd28d637e11b029
  - name: prd-eks-dataplane2
    labels: { role: workers }
    instanceType: t2.medium
    desiredCapacity: 1
    privateNetworking: true
    subnets:
      - subnet-0ee462c61cd9b9395
    iam:
      withAddonPolicies:
        imageBuilder: true
iam:
  withOIDC: true

 

본인 VPC 환경에 맞추어 vpc-id, subnet-id 항목은 수정이 필요합니다.

 

• 설치완료 후 node 생성 확인

kubectl get nodes

 

실습이 끝나신 후 EKS 삭제 명령은 아래와 같습니다.

eksctl delete cluster -f cluster.yaml --disable-nodegroup-eviction

 

---

02. HPA(Horizon Pod Autoscaler)

Pod에 대한 Client Connection이 많아지거나 적어지면 리소스 정보를 확인하여 Pod를 증가시키거나 축소시키는 기술

• Scal in/out 을 통해 파드 수를 늘리거나 줄이는 방법
• Metric에 따라 (CPU 사용률) 파드 수를 자동으로 조절한다.
• 파드 수를 늘림으로써 처리량을 높일 수 있지만 리소스 사용량이 증가하여 비용 효율성이 떨어질 수 있다.

스케줄링 시간

kube-controller-manager에서 설정할 수 있다. 즉, master node에 접근하여 변경할 수 있는데

우리는 AWS에서 EKS를 동작시키기 때문에 master node는 AWS에서 관리하므로, 변경이 불가능 하니 참고!

apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.18.0
apiServer:
  extraArgs:
    horizontal-pod-autoscaler-sync-period: "15s"
    horizontal-pod-autoscaler-downscale-stabilization: "5m"

 

sync-period : HPA가 Pod의 CPU사용률을 Check 하는 주기(시간)을 나타내며, Default값으로 15초.

downscale-stabilization : Pod를 줄일 때 특정 대기 시간을 나타내며, Default 값으로 5분이다.

 

 

💁‍♂️ 시작전 구성요소

• eksctl, kubectl
• worker node 2개 이상인 cluster
• Metrics Server가 배포된 cluster
• kubernetes version : 1.23 이상.

 

■ Metrics Server install

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

위 config로 install 후 아래와 같이 확인

kubectl get deployment metrics-server -n kube-system
NAME             READY   UP-TO-DATE   AVAILABLE   AGE
metrics-server   1/1     1            1           31s

 

---

2-1. 테스트용 Pod & Service 배포

■ apache 배포

apiVersion: apps/v1
kind: Deployment
metadata:
  name: php-apache
spec:
  selector:
    matchLabels:
      run: php-apache
  template:
    metadata:
      labels:
        run: php-apache
    spec:
      containers:
      - name: php-apache
        image: registry.k8s.io/hpa-example
        ports:
        - containerPort: 80
        resources:
          limits:
            cpu: 500m
          requests:
            cpu: 200m
---
apiVersion: v1
kind: Service
metadata:
  name: php-apache
  labels:
    run: php-apache
spec:
  ports:
  - port: 80
  selector:
    run: php-apache

 

해당 yaml 파일을 배포하기 위해 아래 명령줄을 입력하자.

kubectl apply -f https://k8s.io/examples/application/php-apache.yaml

 

HPA 동작 방식

평균적으로 제어 장치의 모든 Pod의 평균 CPU 사용률을 50%로 유지하기 위해 배포를 업데이트 하여

복제본 수를 늘리거나 줄이게 된다. 그 후, ReplicaSet를 업데이트 한다.

• 위 example yaml의 resources를 참고해보면 각 Pods는 최소 200밀리 코어를 요청하므로, 평균 CPU 사용량이 100밀리 코임을 의미한다.

 

■ HPA 생성

생성 하기에 앞서, apache pod, service 확인

kubectl get deployments.apps php-apache  
NAME         READY   UP-TO-DATE   AVAILABLE   AGE
php-apache   1/1     1            1           8m17s

kubectl get svc php-apache 
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE
php-apache   ClusterIP   172.20.120.152   <none>        80/TCP    8m30s

 

■ 복제본을 1 - 5개를 유지하는 HPA 생성 및 확인

kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=5

kubectl get hpa php-apache
NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache   0%/50%    1         5         1          35s

 

2-2. HPA에 부하 증가 테스트

부하를 줌으로써 어떻게 AutoScaling이 동작하는지 확인해보자.

 

1. Client 역할을 할 Pod 생성

• Pod내의 Container는 무한 루프로 동작하며 php-apache 서비스에 쿼리를 보냄.

kubectl run -i --tty load-generator --rm --image=busybox:1.28 --restart=Never -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"

• Client Connection이 증가하면서 부하를 얼마나 주는지 모니터링해보자.

kubectl get hpa php-apache --watch

위 화면을 보시다 싶이 CPU 로드가 높아지는 것 확인 가능하다. 아래 화면은 무한 루프 쿼리 명령을 실행한 것이다.

 

2. Pod 복제 수 확인

• CPU 사용률을 참고하여 Pod 복제본 수를 늘려 ReplicaSet에 업데이트

deployment가 1개 -> 5개로 늘어난 것을 확인 가능.

 

 

요번 포스팅에서는 Pod에 대한 AutoScaling 동작에 대하여 알아보았고,

다음 포스팅에서는 Node에 대한 AutoScaling 동작에 대해 알아보겠습니다!