북극 펭귄

서론

쿠버네티스 클러스터에 존재하는 Pod 서비스를 외부로 노출시키기 위한 가장 원시적인 방법은 NodePort를 이용하는 것입니다. 하지만 NodePort는 인스턴스의 IP가 변경되면 해당 서비스에도 이를 반영해야합니다. 따라서 Cloud 벤더에서는 LoadBalancer나 Ingress 타입을 통해 서비스를 노출할 수 있도록 지원합니다.

이번 포스팅에서는 온 프레미스 환경에서 LoadBalancer 타입을 지원하기 위한 MetalLB를 설치하는 방법을 다루고자 합니다.

문제 상황

1. nginx Deployment를 하나 생성합니다. (kubectl create deploy nginx --image=nginx)

2. 생성한 Deployment를 LoadBalancer 타입으로 서비스를 노출시킵니다.

( kubectl expose deploy nginx --port 80 --type LoadBalancer)

3.  서비스의 상태를 모니터링합니다. (watch kubectl get svc)

아무리 기다려도 해당 Service 오브젝트의 External-IP는 Pending 상태입니다. 이는 LoadBalancer가 존재하지 않기 때문입니다.

4.  Service와 Deployment 오브젝트를 제거합니다.

 - kubectl delete svc nginx

 - kubectl delete depoly nginx

Metal LB 설치

MetalLB 공식 홈페이지 설치 가이드대로 차근차근 설치하겠습니다.

1. MetalLB를 위한 네임스페이스를 생성합니다.

(kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.9.3/manifests/namespace.yaml)

2. MetalLB Components를 생성합니다.

(kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.9.3/manifests/metallb.yaml)

3. Secret을 생성합니다.

(kubectl create secret generic -n metallb-system memberlist --from-literal=secretkey="$(openssl rand -base64 128)")

4. 라우팅 처리를 위한 ConfigMap을 생성합니다.

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      - 192.168.72.102-192.168.72.103

5. 기존과 마찬가지로 nginx를 Deploy한 다음 LoadBalancer 타입으로 노출시킨 결과 이전과는 다르게 nginx Service 오브젝트의 External IP가 할당된 것을 확인할 수 있습니다.

서론

이전 포스팅을 통해 VirtualBox에서 쿠버네티스 클러스터를 구축하는 방법을 살펴봤습니다. 이번 포스팅에서는 클러스터내 Pod 끼리 디스크를 공유해야하는 경우 사용되는 Persistent Volume 유형 중 NFS를 구성하는 방법에 대해서 살펴보겠습니다.

쿠버네티스 Persistent Volume 지원 항목

• GCEPersistentDisk
• AWSElasticBlockStore
• AzureFile
• AzureDisk
• CSI
• FC (파이버 채널)
• FlexVolume
• Flocker
• NFS
• iSCSI
• RBD (Ceph Block Device)
• CephFS
• Cinder (OpenStack 블록 스토리지)
• Glusterfs
• VsphereVolume
• Quobyte Volumes
• HostPath (단일 노드 테스트 전용 – 로컬 스토리지는 어떤 방식으로도 지원되지 않으며 다중-노드 클러스터에서 작동하지 않음)
• Portworx Volumes
• ScaleIO Volumes
• StorageOS

1. NFS 서버 설치

NFS 구축을 위해서는 서버를 먼저 설치해야합니다. 보통 별도 서버를 띄운다음에 구축하는 것이 보편적이지만 편의상 Work1 노드에 NFS 서버를 구축하겠습니다.

1.  Work1 노드에서 root 계정으로 접속합니다.

2.  update를 수행합니다.

3.  NFS 서버를 위한 패키지 프로그램을 설치합니다.

4.  공유 폴더를 새로 만듭니다. (mkdir /home/share/nfs -p)

5. 폴더 권한을 부여합니다. (chmod 777 /home/share/nfs)

6. exports 파일을 엽니다. (vi /etc/exports)

7. 공유폴더의 허용 host 및 권한을 설정합니다.

( /home/share/nfs       192.168.72.101(rw,sync,no_subtree_check) 192.168.72.102(rw,sync,no_subtree_check) 192.168.72.103(rw,sync,no_subtree_check) )

8. nfs-server를 재기동합니다.(service nfs-server restart)

9. nfs-server 상태를 확인합니다.(systemctl status nfs-server.service)

10. mount 목록을 확인하여 정상 반영되었는지 체크합니다. (showmount -e 127.0.0.1)

11.  공유 폴더를 /mnt로 마운트 시킵니다. (mount -t nfs 192.168.72.102:/home/share/nfs /mnt)

12. 정상적으로 마운트되었는지 확인하기 위해 공유 폴더에 테스트 파일을 만듭니다.

(echo test >> /home/share/nfs/test.txt)

13.  마운트 위치에있는 파일을 읽어 정상 동작 여부를 확인합니다. (cat /mnt/test.txt)

14. 임시 파일을 삭제합니다. (rm /mnt/test.txt)

15. Master 노드의 root 계정으로 접속합니다.

16. update를 수행합니다. (apt update)

17. NFS 관련 패키지 프로그램을 설치합니다.(apt install nfs-common nfs-kernel-server portmap)

18. Work2 노드에서 root 계정으로 접속합니다.

19. update를 수행합니다.

20. NFS 관련 패키지 프로그램을 설치합니다.(apt install nfs-common nfs-kernel-server portmap)

2. Persistent Volume 테스트

쿠버네티스 공식 홈페이지에 있는 예제를 활용하여 NFS를 활용한 공유디스크 설정 테스트를 진행합니다.

1. PersistentVolume 테스트를 위한 yaml 파일을 생성합니다.

2.  아래 내용을 복사 & 붙여넣기 합니다.

apiVersion: v1
kind: PersistentVolume
metadata:
  name: my-pv
spec:
  capacity:
    storage: 10Mi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  nfs:
    path: /home/share/nfs
    server: 192.168.72.102

3. PersistentVolume을 생성합니다. (kubectl create -f pv.yaml)

4. PersistentVolume 상태를 확인합니다.

위와같이 Status가 Available이면 정상입니다.

5. 초기화를 위해 PersistentVolume을 삭제합니다. (kubectl delete -f pv.yaml)

마치며

Stateful 애플리케이션을 사용하기 위해서는 Volume 설정이 필요합니다. NFS는 Persistent Volume을 지원하는 한 종류로서 공유 디스크 할당이 가능합니다.

다음 포스팅에서는 LoadBalancer를 위한 MetalLB 설치과정을 다루겠습니다.

서론

이전 포스팅에서 Ubuntu 설치 및 클러스터 구성을 위한 환경 설정을 진행했습니다. 이번 포스팅에서는 본격적으로 Docker 및 쿠버네티스를 설치하는 과정을 다루겠습니다.

1. Docker 설치

1. root 계정으로 접속합니다. (sudo -i)

2. Docker를 설치합니다. (apt install docker.io)

3. Docker 상태를 확인합니다. (docker ps)

4. nginx 이미지를 실행해서 정상적으로 동작하는지 확인해봅니다.

(docker run -d -p 80:80 --rm --name nginx nginx)

5.  Safari를 실행하여 nginx 도커 이미지가 정상적으로 기동되었는지 확인합니다.

6. 생성한 Docker 컨테이너를 정리합니다. (docker stop nginx)

7. nginx 이미지를 삭제합니다. (docker rmi nginx)

2. 쿠버네티스 설치

쿠버네티스 공식 홈페이지에서 제공하는 방법으로 설치를 진행합니다. 

설치에 앞서 공식홈페이지에서 요구하는 요구사항을 살펴봅시다.

• 2 GB or more of RAM per machine (any less will leave little room for your apps)
• 2 CPUs or more
• Full network connectivity between all machines in the cluster (public or private network is fine)
• Unique hostname, MAC address, and product_uuid for every node. See here for more details.
• Certain ports are open on your machines. See here for more details.
• Swap disabled. You MUST disable swap in order for the kubelet to work properly

여기서 마지막 줄을 보면, Swap을 비활성화 해야됩니다. 그 이유는 Swap 기능은 본래 가용된 메모리보다 더 큰 메모리 할당을 가능하도록 하기 위함인데, 쿠버네티스 철학은 주어진 인스턴스의 자원을 100% 가깝게 사용하는 것이 목표이기 때문에 부합되지 않습니다. 따라서 성능을 제대로 사용하기 위해서 Swap 기능을 비활성화 해야합니다.

1. Swap 중지하기 (swapoff -a)

2. 재부팅되면 초기화 되므로 완전하게 중지시킵니다. (sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab)

3. 공식 홈페이지에 있는 Kubeadm 설치 명령어를 복사합니다.

명령어

sudo apt-get update && sudo apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

4.  명령어 실행을 위하여 shell 파일을 만듭니다. (vi kubeadm-install.sh)

5. 공식 홈페이지에서 복사한 명령어를 붙여넣기 합니다.

위 명령어를 통해서 kubeadm kubelect kubectl이 설치됩니다.

6. Shell 파일을 실행합니다. (sh kubeadm-install.sh)

7. kubeadm이 정상적으로 설치되었는지 확인합니다. (kubeadm version)

8. 마스터 노드를 중지합니다. (halt)

3. 클러스터 구축

1. 쿠버네티스 VM 복사 전에 스냅샷을 찍습니다.( 나중에 문제생길 시 롤백 용도)

2. Worker 노드 복사를 위해 Master VM 선택 후 마우스 오른쪽 클릭 > 복제 버튼을 클릭합니다.

3.  복제할 가상머신의 이름과 저장 경로를 설정합니다.

4. MAC 주소 정책에서 모든 네트워크 어댑터의 새 MAC 주소 생성 버튼을 클릭합니다. 이후 다음 버튼을 클릭합니다.

5. 완전한 복제를 선택후 다음 버튼을 클릭합니다.

6. 복제 버튼을 클릭합니다.

7. 1~6 번과정을 동일하게 반복하여 Work2 가상 머신을 생성합니다.

8. work1 가상 머신을 기동 후 터미널을 엽니다.

9. root로 접속합니다. (sudo -i)

10. hostname을 변경합니다. (hostnamectl set-hostname node01)

11.  고정 IP 설정을 위해 설정 파일 위치로 이동합니다.

12.  설정 파일을 오픈합니다.

13. node01의 IP를 변경합니다. (AS-IS 192.168.72.101, TO-BE : 192.168.72.102)

14. reboot을 수행합니다. (reboot)

15. reboot 이후 hostname이 변경되었음을 확인합니다.

16. work1 가상머신과 동일한 작업을 위해 work2 머신을 기동합니다.

17.  터미널을 엽니다.

18. root로 접속합니다. (sudo -i)

19. hostname을 변경합니다. (hostnamectl set-hostname node02)

20. 고정 IP 설정을 위해 설정 파일 위치로 이동합니다.

21. 설정 파일을 오픈합니다.

22. node02의 IP를 변경합니다. (AS-IS 192.168.72.101, TO-BE : 192.168.72.103)

23. 재부팅을 수행합니다.

24. reboot 이후 hostname이 변경되었음을 확인합니다.

25. Master 가상 머신을 기동합니다.

26. Ping을 수행하여 정상적으로 수행되는지 확인합니다.

(※ Master 뿐만 아니라 Work1, Work2 가상 머신에서도 Ping을 수행하여 패킷이 정상 수신되는지 확인합니다.)

27. Master 노드에서 root 계정으로 접속합니다.

(※ 반드시 Master에서만 수행해야합니다.)

28. kubeadm init 명령어를 수행합니다.

(※ 해당 명령어를 통해 kube-apiserver, scheduler 등이 설치됩니다.)

29. 정상적으로 설치되었으면 아래와 같은 화면이 표시됩니다.

위 화면에서 두가지 작업이 추가됩니다.

먼저 mkdir 부터 시작하는 영역은 kubectl을 통해 Kube API Server와 통신하기 위한 클라이언트 설정입니다.

아래 kubeadm join에 해당하는 영역은 Worker 노드에서 Master 노드 클러스터에 합류하기 위한 명령어입니다.

30. 아래 영역을 드래그하여 복사합니다. 이후 터미널 상단에 위치한 새탭 버튼을 클릭합니다.

31.  새탭에서 복사한 명령어를 수행합니다.

(※ root가 아닌 admin 계정으로 kubectl을 수행할 것이므로 계정이 올바른지 확인합니다.)

32. 이전 탭에서 클러스터 조인 명령어를 복사합니다.

33. Work1 노드, Work2 노드에서 root 계정으로 접속합니다.

34. Work1 노드에서 복사한 명령어를 실행합니다.

35. 아래와 같은 메시지가 나오면 정상적으로 등록된 것입니다.

36. Work2 노드에서도 동일한 명령어를 수행하여 클러스터 Join을 수행합니다.

37. Work2 노드에서 Join이 정상적으로 등록되었는지 확인합니다.

38. Master 노드 kadmin 계정에서 cluster가 정상적으로 구축되었는지 확인합니다. (kubectl get nodes)

위와 같이 3개 노드와 메시지가 표시된다면 정상입니다.

다만 STATUS가 NotReady 상태인 이유는 Pod Network가 구성되지 않았기 때문입니다.

4. Overlay Network 설치

쿠버네티스 공식 홈페이지에 있는 CNI 중 Weave net을 설치하겠습니다.

1. 위 공식 문서 링크를 클릭하여 Weave Net 탭을 선택하여 명령어를 복사합니다.

2. Master 노드에서 해당 명령어를 실행시킵니다.

(kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')")

3. node 상태를 살펴보면 STATUS가 Ready로 변경된 것을 확인할 수 있습니다. (kubectl get nodes)

4. 쿠버네티스 클러스터가 정상적으로 설치되었는지 확인하기 위해 nginx Deployment를 실행해봅니다.

(kubectl create deploy nginx-deploy --image=nginx)

5. Pod 상태를 확인하여 STATUS Running으로 되어있으면 정상적으로 동작하는 것입니다.

(kubectl get pods -o wide)

6.  실행시킨 Deployment를 종료시킵니다.

(kubectl delete deploy nginx-deploy)

마치며

지금까지 VirtualBox에서 쿠버네티스 클러스터를 구축하는 방법에 대해서 살펴봤습니다. 다음 포스팅에서는 공유 디스크 환경을 구성하는 NFS를 설정하여 PersistentVolume을 구성할 수 있도록 환경을 구성하는 방법을 살펴보겠습니다.

서론

이전 포스팅을 통해 Ubuntu 이미지 다운로드 및 VirtualBox 기본 환경 설정을 구성하였습니다. 이번 포스팅에서는 K8S 클러스터 설치를 위한 기본 구성을 진행하겠습니다.

1. Ubuntu 설치

1. VM 기동을 위해 머신 선택 후 시작 버튼을 누릅니다.

2. 언어 설정 이후에 Ubuntu 설치 버튼을 클릭합니다.

3. 별다른 설정없이 계속하기 버튼을 클릭합니다.

4. 계속하기 버튼을 선택합니다.

5. 지금 설치 버튼을 클릭합니다.

6. 계속 하기 버튼을 누릅니다.

7. 지역 선택 후 계속 하기 버튼을 클릭합니다.

8. 컴퓨터 정보 입력 후 계속하기 버튼을 클릭합니다.

9. 설치가 완료될 때 까지 기다립니다.

10. 설치가 완료되면 지금 다시 시작 버튼을 누릅니다.

11. 아래와 같은 화면이 출력된다면, Enter키를 누르면 서버가 재시작됩니다.

Ubuntu 환경 설정

1. VM 재시작 이후 로그인합니다.

2. 건너뛰기 버튼을 클릭합니다.

3. 다음 버튼을 클릭합니다.

4. 완료 버튼을 눌러 최초 시작 환경 구성을 종료합니다.

5. 소프트웨어 업데이터 창이 뜬다면 지금 설치를 눌러 업데이트를 진행합니다.

6. 환경 구성을 위해 목록창을 열고 터미널을 입력하여 터미널 창을 띄웁니다.

7. root 계정으로 작업하기 위해 sudo -i 명령어를 입력합니다.

8. root 계정의 비밀번호를 변경합니다. (passwd)

9. update를 진행합니다. (apt update)

10.  openssh-server를 설치합니다. (apt install openssh-server)

11. ifconfig 명령어를 보기 위해 net-tools를 설치합니다. (apt install net-tools)

12. 학습 목적이므로 모든 방화벽을 해제합니다. (ufw disable)

13. 방화벽 상태를 확인합니다. (ufw status verbose)

14. Vim을 설치합니다. (apt-get install vim)

15. 편의 기능인 클립보드 및 공유폴더 기능을 사용하기 위해 장치 > 게스트 확장 CD 이미지 삽입 버튼을 클릭합니다.

16. 실행 버튼을 클릭합니다.

17.  인증 필요시 비밀번호 입력 후 인증 버튼을 클릭합니다.

18. 클립보드 공유를 위해 장치 > 클립보드 공유 > 양방향 버튼을 클릭합니다.

19. 지금부터 네트워크 설정을 하겠습니다. 먼저 hosts 파일을 열어 master 노드와 worker 노드의 IP 목록을 입력한 다음 저장합니다.

20. hostname을 변경합니다. (hostnamectl set-hostname master)

21. ip 목록을 확인합니다. (ifconfig)

위 그림에서 enp0s3에 등록된 ip는 Bridge Adaptor로 등록된 IP이며, PC에서 SSH를 통해 접속 가능합니다. 

확인을 위해 개인 PC에서 Putty를 통해 해당 IP로 접속시도하면 정상적으로 커넥션이 맺어지는 것을 확인할 수 있습니다.

22. Host Only Ethernet 설정을 위해 설정 파일이 있는 폴더로 이동합니다. (cd /etc/netplan/)

23. 설정 파일을 열어 고정 IP 설정을 진행합니다.

24. 고정 IP 설정을 적용합니다. (netplan apply)

25. IP 설정이 정상적으로 되었는지 확인합니다. (hostname -I)

26. hostname 변경 적용을 위해 reboot을 진행합니다.(reboot)

27. reboot 이후에 hostname이 변경되었음을 확인합니다.

마치며

Docker 및 쿠버네티스 설치를 위한 기초 설정 작업을 마쳤습니다. 다음 포스팅에서는 Docker & Kubernetes 설치 과정을 다루어보겠습니다.

서론

쿠버네티스를 처음 공부할 때 난해한 부분이 클러스터 설치라고 생각합니다. 물론 GCP, AWS와 같은 클라우드에서 제공하는 쿠버네티스 클러스터를 활용하거나 Katakoda와 같은 웹사이트를 통해 접할 수도 있지만, 직접 VM으로 클러스터를 구축하는 경험도 중요하다고 생각합니다.

향후 몇개의 포스팅을 통해 VirtualBox를 통해 3개(1 Master, 2 Worker)의 K8S 클러스터를 구축방법을 다루어보고자 합니다. 쿠버네티스는 Kubeadm을 활용하여 설치할 계획이며, 학습 목적이므로 Ansible이나 기타 자동화 툴 도입이나 상세 설정 없이 설치하는 과정을 설명합니다.

PC 환경은 램 16GB 이상을 권장드리며, 공유기가 있다는 전제하에 네트워크 구성은 Bridge Adaptor를 통해 구성하오니 내용 참고 바랍니다.

(※ 공유기가 없는 환경이라면 NAT 네트워크를 구성하여 진행 가능합니다.)

앞으로 다룰 내용

1. VirtualBox Ubuntu 설치

2. Docker 설치

3. 쿠버네티스 클러스터 구성

4. NFS 구성

5. metallb 설치

6. ingress-nginx 설치

이번 포스팅은 첫 번째로 VirtualBox를 사용하여 이미지 설치를 위한 기초 설정을 다루겠습니다.

1. VirtualBox 설치

VirtualBox 공식 홈페이지에 접속하여 프로그램을 다운로드 후 설치를 진행합니다.

설치시 특별한 설정 없이 다음버튼을 눌러 진행하면 되므로 설치 과정은 생략하겠습니다.

2. Ubuntu 이미지 다운로드

1. Ubuntu 공식 홈페이지에 접속하여 Desktop 다운로드 버튼을 누릅니다.

2. 이미지를 다운로드 받습니다. 만약 이미지 다운로드가 되지 않는다면, Download Now 링크를 클릭합니다.

3. VirtualBox 설정

1. VirtualBox를 실행시킵니다.

2. 상단의 머신 > 새로 만들기 버튼을 선택합니다.

3. 이미지의 이름을 지정합니다. 

4. VM 이미지 설치 위치를 저장하기 위해 머신폴더 > 기타를 선택합니다.

5. 설치 위치를 선택한 다음 폴더 선택 버튼을 누릅니다.

6. 종류와 버전을 선택한 다음 다음 버튼을 누릅니다.

7. 컴퓨터 사양을 고려하여 메모리를 할당(2GB 이상) 후 다음버튼을 누릅니다.

8. 가상디스크를 만들기 위해 만들기 버튼을 클릭합니다.

9. 기본 설정을 유지한채 다음 버튼을 클릭합니다.

10. 동적 할당을 선택 후 다음 버튼을 클릭합니다.

11.  PC 사양을 고려하여 이미지 할당 크기를 지정한 다음 저장 위치를 지정합니다. 완료 후 만들기 버튼을 클릭합니다.

12. Network 및 기타 설정을 위해 생성된 머신 선택 > 마우스 오른쪽 클릭 > 설정 버튼을 누릅니다.

13. CPU 설정을 위해 시스템 > 프로세서 탭에서 CPU 개수를 2개로 설정합니다.

14. Ubuntu 이미지를 설정하기 위해서 저장소 > 비어 있음 > 디스크 버튼 > Choose a disk file... 버튼을 클릭합니다.

15. 다운로드 받은 Ubuntu 이미지를 선택한 다음 열기 버튼을 누릅니다.

16. Ubuntu 이미지로 설정된 것을 확인합니다.

17. 네트워크 > 어댑터1에서 이름을 어댑터 브리지로 선택합니다.

18. Host 네트워크 설정을 위해 어댑터 2 > 네트워크 어댑터 사용하기 클릭 > 호스트 전용 어댑터를 선택합니다.

확인 버튼을 눌러 종료합니다.

마치며

Ubuntu 설치를 위한 기본적인 설정은 마무리 되었습니다.

다음 포스팅에서는 Ubuntu 설치 및 기본적인 환경 구성을 진행하겠습니다.