Hello, SOOON_ZERO!

카카오클라우드 서비스 중 AI 서비스로 Kubeflow를 확인할 수 있다.쿠버네티스와 머신러닝, 둘 다 익숙하지 않다면 Kubeflow(큐브플로우)라는 이름 자체가 낯설 수 있다.카카오클라우드 환경에서의 Kubeflow 개념부터 활용까지 알아보자 1. Kubeflow란 무엇인가?Kubeflow는 쿠버네티스(Kubernetes) 환경에서 머신러닝 파이프라인을 손쉽게 구축/관리할 수 있는 플랫폼이다.핵심 목표: 머신러닝을 쿠버네티으 위에서 쉽게 돌리기 주요 특징Jupyter Notebook, 데이터/모델/아티팩트 관리, 파이프라인 자동화 등 머신러닝 실무에 필요한 모든 워크플로우 제공빠른 테스트 -> 실전 운영까지 "일과노딘 환경, 자동화" 보장 2. 카카오클라우드에서 Kubeflow를 쓰는 이유클릭 몇 번..

PVC(Persistent Volume Claim)와 CSI Provisioner의 관계PVC와 CSI Provisioner는 쿠버네티스 저장소 시스템에서 서로 필수적으로 연결되어 작동한다.https://sooonzero.tistory.com/234 [K8S] PVC란 무엇일까?1. PVC란 대체 뭘끼?PVC(Persistent Volume Claim)는 쿠버네티스에게 필요한 저장공간 요청서이다.- PV(Persistent Volume): 실제로 데이터를 저장하는 진짜 하드디스크 SSD 같은 저장소- PVC(Persistent Volume Claim): 내sooonzero.tistory.com 1. CSI Provisioner란?CSI(Container Storage Interface) Provision..

1. PVC란 대체 뭘끼?PVC(Persistent Volume Claim)는 쿠버네티스에게 필요한 저장공간 요청서이다.- PV(Persistent Volume): 실제로 데이터를 저장하는 진짜 하드디스크 SSD 같은 저장소- PVC(Persistent Volume Claim): 내가 원하는 용량이 필요하다고 쿠버네티스에게 제출하는 신청서 비유를 하자면쿠버네티스 클러스터 = 공장PV = 여러 종류의 창고(내부, 외부, 대형, 소형 등)PVC = 내 앱이 쓸 10GB짜리 창고 하나만 주세요 라고 신청서-> PVC를 쓰면, 내 앱이 저장소에 어떻게 연결되는지 신경 쓸 필요가 없다. 쿠버네티스가 알아서 맞는 창고(PV)에 연결해 주기 때문이다. 2. 왜 PVC가 필요할까?서비스가 죽고 다시 만들어져도 데이터는..

로드 밸런서(Load Balancer)의 로그 데이터를 기반으로 시간대별 트래픽을 예측하는 머신러닝 모델을 개발하는 시나리오를 진행해보자이 과정을 통해 데이터 전처리, 시각화, 피처 엔지니어링 및 여러 ML 모델 학습과 성능 평가를 단계적으로 알아볼 수 있다. 1. 선행작업Kubeflow 환경이 사전에 구성되어 있어야 한다. 사전 준비 사항을 참고하여 CPU 기반 노드 풀 환경 및 PVC 볼륨이 생성되어 있는지 확인이 필요하다. kubeflow 생성 및 추가 기초적인 작업 과정은 이전 포스팅 참고https://sooonzero.tistory.com/231 [AI Service] Kubeflow를 이용한 Jupyter Notebook 환경 구성카카오클라우드 Kubeflow를 활용해서 Juptyer Note..

카카오클라우드 Kubeflow를 활용해서 Juptyer Notebook 환경을 만들어보자 1. 선행작업Kubeflow 환경을 구축하기 위해 쿠버네티스 클러스터와 File Storage를 생성하고 설정해야한다. 1.1 쿠버네티스 클러스터 생성이 클러스터는 Kubeflow의 다양한 컴포넌트들이 배포될 기반이다. 카카오클라우드 콘솔 > Container Pack > Kubernetes Engine 메뉴에서 [클러스터 생성]을 클릭 클러스터 설정항목내용클러스터 이름k8s-zero-tutorialkubernetes 버전1.30클러스터 네트워크 설정생성된 VPC와 서브넷 항목에서 외부 통신이 가능한 IP 대역의 네트워크 선택 생성 후 Provisioning 상태에서 Provisioned가 될 때 까지 대기노드 풀 ..

쿠버네티스(Kubernetes)는 컨테이너 오케스트레이션을 위한 대표적인 오픈소스 플랫폼이다.클러스터 구조는 크게 마스터노드(Control Plane)와 워커노드(Worker Node)로 나뉜다.마스터노드(Control Plane)클러스터 전체를 제어하고 관리하는 중추적인 역할을 담당한다.워커노드에 파드(Pod)를 할당하고, 클러스터 상태를 모니터링하며, 리소스 스케줄링과 장애 복구 등 전체적인 오케스트레이션을 수행한다. 주요 구성요소kube-apiserver: 모든 명령과 통신의 중심. REST API를 통해 클러스터를 제어한다.etcd: 클러스터의 모든 설정과 상태 정보를 저장하는 분산형 Key-Value 저장소.kube-scheduler: 파드를 어떤 워커노드에 배치할지 결정한다.kube-contr..

[AIVLE_AI] 가상화 클라우드 1일차 1. 가상화 및 클라우드 개요 기존 환경의 문제점들 대부분 IT 에너지는 Infrastructure 유지와 Application 유지에 사용된다. 원인 극도의 복잡성 빈약한 인프라에 의존 결과 70% 이상의 IT 예산이 현상유 sooonzero.tistory.com 4. 쿠버네티스 개요 및 주요 아키텍쳐 컨테이너 OS 가상화 기술 프로세스 격리 리눅스 커널 공유(리눅스의 핵심적인 부분=커널) GuestOS의 유무 App1 App2 App3 App4 App1 App2 App3 App4 Guest OS Guest OS Guest OS Guest OS Container Engine (ex. Docker) Hypervisor OS Infrastructure Infras..