yu3papa 님의 블로그

(LLMSO 3주차) [KodeKloud] vLLM을 사용하여 LLM 추론서버 운영

이번 블로그에서는 [KodeKloud] 에서 제공하는 실습 환경을 이용하여 vLLM을 서빙하는 실습을 진행합니다. 1. kodekloud 에 가입/로그인 하시고 2. https://uklabs.kodekloud.com/learn/courses/youtube-labs-vllm 로 접속 3. "Enroll for free" 클릭 (우상단 파란 버튼) 4. "Start Lab" 클릭 하고 실습 진행 이 실습에서는 vLLM 을 이용하여 실제 운영 가능한 추론 서버로 만드는 방법을 배우게 됩니다. 대부분의 튜토리얼은 vLLM에 대한 고수준 설명을 제공하지만, 이 실습에서는 Hugging Face와 vLLM을 함께 사용하여 동일한 모델을 실행하고 속도를 비교함으로써 직접적인 차이를 확인할 수 있습니다. 당신은 In..

kind 로 구성한 kubernetes 에서 vLLM을 이용하여 LLM 서빙 실습을 진행하였습니다.하지만 결국 구성에 실패하였고 실패한 이유는 마지막에 기술하겠습니다.1. 실습 환경OS : ubuntu desktop 24.04인텔 CPU, 16G RAMNvidia Tesla P40 GPU, vRAM 24Gdocker 설치 완료NVIDIA Container Toolkit 설치 완료yu3papa@p40:~$ hostnamectl Static hostname: p40 Icon name: computer-desktop Chassis: desktop 🖥️ Machine ID: bafe33c24e6e4363b01917d32c70d7a3 Boot ID: ac..

https://poloclub.github.io/transformer-explainer/ Transformer Explainer: LLM Transformer Model Visually ExplainedAn interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.poloclub.github.io트랜스포머 동작방식을 시각적으로 이해하기 쉽게 제공해주는 "Transformer Explainer" 를 단계적으로 진행하면 트랜스포머 아키텍처를 AI(제미나이) 도움을 받아 학습해 보겠습니다. 1. Transformer Explainer 사이트 개요조지아 공과대학교(Geor..