yu3papa 님의 블로그

kind 로 구성한 kubernetes 에서 vLLM을 이용하여 LLM 서빙 실습을 진행하였습니다.하지만 결국 구성에 실패하였고 실패한 이유는 마지막에 기술하겠습니다.1. 실습 환경OS : ubuntu desktop 24.04인텔 CPU, 16G RAMNvidia Tesla P40 GPU, vRAM 24Gdocker 설치 완료NVIDIA Container Toolkit 설치 완료yu3papa@p40:~$ hostnamectl Static hostname: p40 Icon name: computer-desktop Chassis: desktop 🖥️ Machine ID: bafe33c24e6e4363b01917d32c70d7a3 Boot ID: ac..

https://poloclub.github.io/transformer-explainer/ Transformer Explainer: LLM Transformer Model Visually ExplainedAn interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.poloclub.github.io트랜스포머 동작방식을 시각적으로 이해하기 쉽게 제공해주는 "Transformer Explainer" 를 단계적으로 진행하면 트랜스포머 아키텍처를 AI(제미나이) 도움을 받아 학습해 보겠습니다. 1. Transformer Explainer 사이트 개요조지아 공과대학교(Geor..

쳇봇 테스트

RKE2https://docs.rke2.io/ Introduction | RKE2RKE2 is Rancher's enterprise-ready next-generation Kubernetes distribution. It has also been known as RKE Government.docs.rke2.ioRKE2 는 공식 문서상에 아래와 같이 정의하고 있습니다.RKE2 is Rancher's enterprise-ready next-generation Kubernetes distribution. It has also been known as RKE Government.위 정의에서 Goverment란 용어가 핵심이라고 생각합니다. 미국 연방정부 부분의 보안 및 규정 을 만족하는 K8S 배포판입니다.특..

이번 블로그에서는 인터넷이 제한되는 폐쇄망 환경에서 kubespray를 이용하여 쿠버네티스 클러스트를 구성하는 실습을 진행합니다. 실습 환경 구성Vargant를 이용하여 Rocky Linux 10 운영체제가 설치된 3대의 VM을 생성합니다.Vagrant 관련 파일더보기Vagrantfile# Base Image https://portal.cloud.hashicorp.com/vagrant/discover/bento/rockylinux-10.0BOX_IMAGE = "bento/rockylinux-10.0" # "bento/rockylinux-9"BOX_VERSION = "202510.26.0"N = 2 # max number of NodeVagrant.configure("2") do |config|# Nod..

이번 블로그에서는 kubespray 를 이용하여 HA 방식의 k8s 클러스터를 아래와 같이 구성합니다.실습환경 구성vagranat 를 이용하여 Rocky Linux 10 버전의 6대의 가상머신을 아래와 같이 준비합니다.Vagrantfile더보기Vagrantfile# Base Image https://portal.cloud.hashicorp.com/vagrant/discover/bento/rockylinux-10.0BOX_IMAGE = "bento/rockylinux-10.0" # "bento/rockylinux-9"BOX_VERSION = "202510.26.0"N = 5 # max number of NodeVagrant.configure("2") do |config|# Nodes (1..M)...

GitHub 공식 레포지토리(https://github.com/kubernetes-sigs/kubespray) 에서 kubespray 를 아래와 같이 요약하고 있습니다.Deploy a Production Ready Kubernetes Cluster 그래서 kubespray 는 "kubespray는 Ansible 기반으로 쿠버네티스(Kubernetes) 클러스터를 자동으로 설치·업그레이드·관리하기 위한 오픈소스 배포 도구" 로 요약할 수 있습니다.내부적으로는 Ansible playbook 으로 구성되어 있고 이번 블로그에서는 playbook 을 분석해 보겠습니다. 특히 폐쇄망(Air-Gap) 환경에서 K8S 클러스터 설치에 kubespray를 이용하면 효과적입니다. kubespray 를 이용하여 K8S 클..

이번 블로그에서는 kubeadm 을 이용하여 아래와 같은 K8S 클러스터 구성을 진행합니다.kubeadm 의 공식정의(https://github.com/kubernetes/kubeadm)는 아래와 같습니다.Kubeadm is a tool built to provide best-practice "fast paths" for creating Kubernetes clusters. It performs the actions necessary to get a minimum viable, secure cluster up and running in a user-friendly way. Kubeadm's scope is limited to the local node filesystem and the Kubernetes..

폐쇄망에서 K8S 클러스터 구성을 자동화하는 도구로 KubeSpray 를 이용합니다.KubeSpray 는 Ansible Playbook의 Role 을 이용하기 때문에 Ansible 에 대한 이해가 선행이 되어야 합니다. 이번 블로그에서는 아래와 같은 가상머신 4대를 Vagrant 로 구성하고, Ansible 실습을 통해 이해해보려고 합니다. NodeOS Kernel vCPU Memory Disk NIC2 IP 관리자 계정 (기본) 일반 계정serverUbuntu 24.046.8.021.5GB30GB10.10.1.10root / qwe123vagrant / qwe123tnode1상동상동21.5GB30GB10.10.1.11root / qwe123vagrant / qwe123tnode2상동상동21.5GB30..

Kubernetes 클러스터 환경을 kubeadm, kubespray , 와 같은 도구를 이용하지 않고 3개의 VM에 아래와 같은 클러스터를 직접 구성하는것이 목적입니다.kubeadm 도구는 이 블로그에서 하는 작업을 자동화해주는 역할을 합니다. 그리고 kubespray는 kubeadm을 또 한번 자동화해주는 도구일뿐입니다. 그래서 이블로그를 통해서 K8S 클러스터를 구성하는 세부적인 내용을 이해하고 향후 운영환경에서 발생하는 여러가지 문제에 대한 트러블슈팅 능력함양에 있습니다.여기서 실제 클러스터 환경과의 차이점은 K8S 시스템 POD들이 손설치에서는 리눅스 service 로 실행된다는 점입니다.kube-apiserver.servicekube-controller-manager.servicekube-sc..