[쿠버네티스 실전] 쿠버네티스 실습 환경을 구성하는 코드

1. Vagrant 가 호출한 코드

출처 : 그림으로시작하는쿠버(조훈)

 

이전 시간에 Vagrant를 통해서 쿠버네티스를 자동화 구축을 했다.

이번 시간에는 Vagrant up으로 실행되는 코드들을 살펴 볼 예정이다.

 

 

2. 호출된 코드 구조

출처 : 그림으로시작하는쿠버(조훈)

 

• Controlplane_node.sh
  • 쿠버네티스 컨트롤 플레인 노드를 구성하는 스크립트이다.
    
    • kubeadm init
    • API Server / Controller Manager / Scheduler 초기화
    • kubectl 사용 설정
    • Pod Network 설치 준비
  • 예전 표현으로는 "마스터 노드 설정 스크립트"라고 볼 수 있다.
• k8s_env_build.sh
  
  • 쿠버네티스 설치 전에 공통 환경을 세팅하는 스크립트이다.
    
    • hostname 설정
    • hosts 파일 수정
    • swap 비활성화
    • 브리지 네트워크 관련 커널 옵션 설정
    • 방화벽 / SELinux 조정
    • 필요한 기본 도구 설치
  • 즉, 쿠버네티스가 정상 동작할 수 있게 OS 환경을 먼저 정리하는 역할이다.
• k8s_pkg_cfg.sh
  • 쿠버네티스 관련 패키지 설치와 설정을 담당하는 스크립트이다.
    • containerd / Docker 같은 컨테이너 런타임 설치
    • kublet, kubeadm, kubectl 설치
    • 저장소 (repo) 등록
    • 서비스 enalbe / start
    • cgroup driver 같은 런타임 설정
  • 쉽게 말하면 쿠버네티스를 실제로 깔아주는 단계이다.
• worker_node.sh
  
  • 쿠버네티스 워커 노드 구성 스크립트이다.
    
    • 컨트롤플레인에서 생성한 kubeadm join 명령 실행
    • 워커 노드를 클러스터에 가입
    • 필요한 런타임 / 에이전트 설정을 한다.
• Vagrantfile
  • Vagrant 환경의 메인 설정 파일이다. 이 파일이 사실상 전체 가상머신 구성을 총괄한다.
    • VM 개수
    • 각 VM 이름
    • CPU / Memory
    • 네트워크 IP
    • 박스(Box) 이미지
    • provisioning 시 어떤 .sh 파일을 실행할지를 정의
  • 즉, 여기서는 control plane 1대 + worker node n대를 자동으로 만들게 해주는 핵심 파일이다.

 

3.  코드 내용 파헤쳐 보기

Vagrantfile

1. Vagrantfile - 줄번호: 1 - 10

 

• vi: set ft=ruby : 이 파일이 Ruby 문법 파일이라는 걸 알려주는 설정이다. Vagrantfile은 내부적으로 Ruby DSL 이라서 문법 하이라팅용임
• N=3 : 워커 노드 개수 
  • (1..N).each do | i |
• k8v_V : 설치할 쿠버네티스 버전이다. kubeadm / kubelet / kubectl 설치할 때 사용됨
  
  • 1.35.0 : 쿠버네티스 버전
  • -1.1 : 패키지 릴리즈 버전 (apt repo 기준)
• ctrd_V : containerd 버전이다. (쿠버네티스에서 사용하는 컨테이너 런타임)
  
  • 2.2.1 : containerd 버전
  • ubuntu.22.04~jammy : Ubuntu Jammy용 패키지

 

2. Vagrantfile - 줄번호: 12 - 35

 

전체 시작 및 컨트롤 플레인 VM 정의

• Vagrant.configure("2") do |config| : Vagrant 설정 시작이고 DSL(Domain Specific Language) 버전이 "2" 라는 의미
• config.vm.define "cp-k8s-#{k8s_V[0..5]}" do |cfg| : 쿠버네티스 버전 기반으로 VM 이름 자동 생성. 나중에 여러 환경 돌릴 때 구분 편함
  • |cfg| : 이 VM에 대한 설정을 넣는 공간

OS 이미지

• cfg.vm.box = "sysnet4admin/Ubuntu-k8s" : 사용할 VM 이미지

VirtualBox 리소스 설정

• cfg.vm.provider "virtualbox" do |vb| : VirtualBox로 실행할 때 설정
• vb.name = "cp-k8s-#{k8s_V[0..5]}(github_SysNet4Admin)" : VirtualBox GUI에서 보이는 이름
• vb.cpus = 2
  vb.memory = 2048 : 리소스 제한 -> CPU: 2코어, RAM: 약 2GB
• vb.customize ["modifyvm", :id, "--groups", "/k8s-U#{k8s_V[0..5]}-ctrd-#{ctrd_V[0..2]}(github_SysNet4Admin)"] : 쿠버네티스 버전 + containerd 버전 기준으로 VM 그룹화. 이는 여러 클러스터 돌릴 때 관리 편함 (실무에서 유용)
• cfg.vm.host_name ="cp-k8s" : VM 내부 hostname
• cfg.vm.network "private_network", ip:"192.168.1.10" : 클러스터 내부 통신용 IP. 여기서는 control plane 노드 ip 이다.
• cfg.vm.network "forwarded_port", guest: 22, host: 60010, auto_correct: true, id: "ssh" : 내 PC에서 VM SSH 연결한다는 의미로 VM 22 번 포트를 Host 60010으로 연결
  • ex) ssh vagrant@localhost -p 60010
• cfg.vm.synced_folder "../data", "/vagrant", disabled: true : 기본 공유 폴더 비활성화. 성능 문제, 권한 문제 등 쿠버네티스 실습에서는 불필요하고 실무에서도 종종 끈다.

Provision (VM 생성 후 자동으로 실행되는 스크립트)

• cfg.vm.provision "shell", path: "k8s_env_build.sh", args: [ N, k8s_V[0..3] ] : swap off, 커널 설정, 네트워크 설정을 주로 하고, args에서는 N은 워커 갯수, k8s 버전 등 OS 환경을 셋팅한다.
• cfg.vm.provision "shell", path: "k8s_pkg_cfg.sh", args: [ k8s_V, ctrd_V, "CP"] : kubeadm / kubelet 설치, containerd 설치, CP -> 컨트롤 플레인용 설정
  • 여기까지 하면 쿠버네티스 설치 준비 완료 상태
• # cfg.vm.provision "shell", path: "controlplane_node.sh" : 컨트롤 플레인 초기화 스크립트이다. 현재 주석이 되어 있는데 뒤에 직접 실습하면서 실행할 예정이다.
• cfg.vm.provision "shell", inline: "git clone https://github.com/... /root/_Lecture_k8s_learning.kit.git" : 실습 코드 다운로드 -> 이거는 원래 로컬에 이미 있는데 cp 안에도 생성하기 위해 추가로 clone 함

 

3. Vagrantfile - 줄번호: 41 - 60

• (1..N).each do |i| : 1부터 N까지 반복하면서 VM 생성
• config.vm.define "w#{i}-k8s-#{k8s_V[0..5]}" do |cfg| : 워커 노드 VM 정의
• cfg.vm.box = "sysnet4admin/Ubuntu-k8s" : OS 이미지
• vb.cpus = 1
  vb.memory = 1024 : 워커 노드는 여러 개 띄우기 때문에 리소스 절약을 위해 cp보다 작음
• cfg.vm.host_name = "w#{i}-k8s" : hostname
• cfg.vm.network "private_network", ip: "192.168.1.10#{i}" : IP 주소 설정
• host: "6010#{i}" : SSH 포트 설정
• k8s_env_build.sh : CP 랑 동일
• k8s_pkg_cfg.sh ... "W" : W는 worker 설정
• # cfg.vm.provision "shell", path: "worker_nodes.sh" : kubeadm join 실행해서 컨트롤 플레인에 붙는 거지만 직접 실습을 위해 주석

 

k8s_env_build.sh

1. k8s_env_build.sh - 줄 번호 1 - 18 (쿠버네티스 설치 준비 단계)

 

• #!/usr/bin/env bash : bash로 실행하라는 의믜 (스크립트 시작 선언)
• export DEBIAN_FORNTEND=noninteractive : apt 설치할 때 사용자 입력 요구 x (yes/no 없이 자동 진행)
• swapoff -a : 현재 시스템에서 swap 메모리 즉스 off
• sed -i.bak -r 's/(.+swap.+)/#\1/' /etc/fstab : 재부팅해도 swap 한 켜지게 주석 처리 진행
• curl -fsSL https://pkgs.k8s.io/core:/stable:/v$2/deb/Release.key \
  | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
  • 쿠버네티스 패키지 저장소의 GPG 키 다운로드 + 등록
  • apt는 패키지 설치할 때 신뢰 가능한 저장소인지 검증하기 때문에 필요
• echo \
  "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] \
  https://pkgs.k8s.io/core:/stable:/v$2/deb/ /" \
  | sudo tee /etc/apt/sources.list.d/kubernetes.list
  • apt가 사용할 쿠버네티스 저장소 등록
• 이 스크립트는 apt 자동 모드 설정 -> swap 완전 제거 (k8s 필수 조건) -> k8s repo GPG 키 등록 -> k8s apt 저장소 등록 
  • 즉, 쿠버네티스 설치 준비 단계

 

2. k8s_env_build.sh - 줄 번호 20-39 (containerd 설치)

 

• # add docker-ce repo with containerd
  curl -fsSL \
   https://download.docker.com/linux/ubuntu/gpg \
   -o /etc/apt/keyrings/docker.asc
  • containerd는 Docker ecosystem에서 제공
  • Docker 공식 repo의 GPG 키 다운로드
• echo \
  "deb [arch=$(dpkg --print-architecture) \
  signed-by=/etc/apt/keyrings/docker.asc] \
  https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" \
  | tee /etc/apt/sources.list.d/docker.list > /dev/null
  • Docker apt 저장소 등록
• # packets traversing the bridge are processed by iptables for filtering
  echo 1 > /proc/sys/net/ipv4/ip_forward
  • IP forwarding 활성화 (컨테이너 -> 외부 통신 가능하게)
• # enable br_filter for iptables
  modprobe br_netfilter
  • 브릿지 네트워크 트래픽을 iptables가 처리하도록 설정 (이게 없으면 pod간 통신, service routing 등 깨질 수 있음)
• echo "127.0.0.1 localhost" > /etc/hosts : 기본 localhost 설정
• echo "192.168.1.10 cp-k8s" >> /etc/hosts : control-plane 노드 정의
• for (( i=1; i<=$1; i++ )); do
    echo "192.168.1.10$i wk$i-k8s" >> /etc/hosts
  done 
  • worker 노드들을 자동 생성

 

k8s_pkg_cfg.sh

1. k8s_pkg-cfg.sh - 줄 번호 1 - 19 (패키지 설치 + 역할별(NFS) 분기 + k8s  버전 고정 설치)

• apt-get update : apt가 참조하는 패키지 목록 최신화 (k8s repo, docker repo 인식하기 위함)
• if [ $3 = 'CP' ]; then
    apt-get install nfs-server nfs-common -y
  elif [ $3 = 'W' ]; then
    apt-get install nfs-common -y
  fi
  • NFS -> Network File System 설치 (노드 역할별 분기)
  • NFS : 저장소 
  • nfs-server : NFS 서버 역할 (공유해주는 쪽)
  • nfs-common : NFS 클라이언트 기능
• apt-get install -y kubelet=$1 kubectl=$1 kubeadm=$1 containerd.io=$2
  • kubernetes + containerd 설치

 

 

2. k8s_pkg-cfg.sh - 줄 번호 21 - 33 (containerd 기본 설정 + cgroup)

• containerd config default > /etc/containerd/config.toml
  • containerd 기본 설정 파일 생성 -> containerd의 모든 설정이 들어가는 핵심 파일
  • 기본적으로도 동작하지만, 설정 등을 변경하기 위해 따로 빼놓을 수 있음
• sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
  • kubelet 은 기본적으로 systemd cgroup을 사용
  • 근데 containerd 기본값은 SystemdCgroup = false 임 -> kubelet과 containerd 충돌 발생
  • kubelet과 containerd의 cgroup driver를 맞추는 작업
• cat <<EOF > /etc/crictl.yaml
  runtime-endpoint: unix:///run/containerd/containerd.sock
  image-endpoint: unix:///run/containerd/containerd.sock
  EOF
  • crictl(kubectl)의 하위 레벨 디버깅 도구 설정 (런타임 연결). containerd 소켓 직접 지정
  • 즉, crictl이 어디 runtime 붙을지 알려주는 설정
• systemctl restart containerd ; systemctl enable containerd
  • containerd 재시작, 부팅 시 자동 실행
• systemctl enable --now kubelet
  • kubelet 서비스 활성화 + 즉시 실행

 

controlplane_node.sh

1. controlplane_node.sh - 줄 번호 1 - 23

• kubeadm init \
   --token 123456.1234567890123456 --token-ttl 0 \
   --pod-network-cidr=172.16.0.0/16 \
   --apiserver-advertise-address=192.168.1.10 \
   --cri-socket=unix:///run/containerd/containerd.sock
  • 쿠버네티스 클러스터 생성 + 네트워크 + runtime 연결
• mkdir -p $HOME/.kube
  cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  chown $(id -u):$(id -g) $HOME/.kube/config
  • kubectl 이 API 서버에 접근 가능하게 설정
• CNI_ADDR="https://raw.githubusercontent.com/.../k8s/CNI"
  kubectl apply -f $CNI_ADDR/172.16_net_calico_v3.26.0.yaml
  • Pod 네트워크 생성 (pod <-> pod 통신 = CNI 담당)
• kubectl completion bash > /etc/bash_completion.d/kubectl
  • kubectl 명령어 자동완성 지원
• alias k='kubectl'
  alias ka='kubectl apply -f'
  complete -F __start_kubectl k
  • alias 설정 (편의성)

 

2. controlplane_node.sh - 줄 번호 25 - 44

• cat <<EOF > /usr/local/bin/rerepo-k8s-starter.kit
  #!/usr/bin/env bash
  rm -rf $HOME/_Lecture_k8s_starter_kit
  git clone https://github.com/sysnet4admin/_Lecture_k8s_starter_kit.git $HOME/_Lecture_k8s_starter_kit
  find $HOME/_Lecture_k8s_starter_kit -regex ".*\.\(sh\)" -exec chmod 700 {} \;
  EOF
  chmod 700 /usr/local/bin/rerepo-k8s-starter.kit
  
  • 언제든지 다시 실행 가능한 "리셋 스크립트" 생성
  • 실습하다 보면 파일이 꼬이거나 오류 등이 발생 -> rerepo-k8s-starter.kit 사용으로 초기 상태 복구 가능
• git clone https://github.com/yujicai/update-kube-cert.git /tmp/update-kube-cert
  chmod 755 /tmp/update-kube-cert/update-kubeadm-cert.sh
  /tmp/update-kube-cert/update-kubeadm-cert.sh all --cri containerd
  rm -rf /tmp/update-kube-cert
  echo "Wait 30 seconds for restarting the Control-Plane Node..." ; sleep 30
  • 쿠버네트스는 TLS 인증서 기반
  • kubeadm init -> 인증서 유효기간 제한 있음
  • 인증서가 만료 되면 API 서버 접근 불가, 클러스터 죽음
  • 이 스크립트는 kubeadm cert 갱신 자동화

 

worker_node.sh

1. worker_node.sh - 줄 번호 1 - 5

• kubeadm join \
   --token 123456.1234567890123456 \
   --discovery-token-unsafe-skip-ca-verification \
   192.168.1.10:6443
  • worker 노드를 control plane에 등록 (join)

---

전체 요약

1. k8s_env_build.sh

역할 : 쿠버네티스 설치 가능한 상태로 OS 튜닝

1. swap OFF
2. /etc/fstab 수정
3. k8s repo 등록
4. docker repo 등록 (containerd용)
5. 네트워크 설정 (ip_forward, br_netfilter)

 

2. k8s_pkg_cfg.sh

역할 : 쿠버네티스 실행 엔진 설치

1. apt update
2. kubelet / kubeadm / kubectl 설치 (버전 고정)
3. containerd 설치
4. containerd config 생성
5. SystemCgroup=true 설정
6. crictl 설정
7. 서비스 실행 (containerd, kubelet)

 

3. controlplane_node.sh

역할 : 클러스터의 뇌(Control Plane) 생성

1. kubeadm init
2. kubectl config 설정 
3. CNI (Calico) 설치
4. kubectl 자동 완성 + alias
5. 실습 코드 clone
6. 인증서 갱신

 

4. worker_nodes.sh

역할 : 실제 workload 돌리는 노드 추가 (워커 노드 클러스터 참여)

1. kubeadm join 실행
2. control plane에 등록
3. kubelet 연결