hongveloper

이 글에서는 kubernetes상에서 Ray Cluster를 구축해서 사용해보는 과정을 적어보려고 한다. Ray Cluster를 사용하려는 이유는 다음과 같다.현재 진행하는 프로젝트에서는 실시간으로 쌓이는 대규모 데이터를 분석하고 이것을 활용하기 위함이다.더 자세하게는 보다 효율적으로, 빠르게 데이터를 불러오고 분석하기 위해서 사용을 결정했다. Ray 말고 다른 분산 처리, 학습을 지원하는 다양한 도구들이 존재하지만 Ray를 선택하게 된 이유는 Kubernetes에서 다른 도구들보다 유연하고, 쉽게 사용 가능할 것 같아서이다. 필자와 같은 경우는 대규모 데이터를 효율적으로 처리하기 위해 Apache Spark를 사용해 데이터를 분석, 처리 할것이다.그렇기 때문에 RayDP를 Ray Cluster에 적용시..

Kubernetes에서 root에서 클러스터를 구성하고 일반 user로 돌아와 명령어를 사용하고 싶을것이다.Unable to connect to the server: tls: failed to verify certificate: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes")그럼 이런 에러를 만나게 될것이다. 필자의 경우에는 다음과 같은 방식으로 해결했다. user로 돌아와서 다음 명령어를 실행한다.mkdir -p $HOME/.kubesudo cp -i ..

쿠버네티스를 설치하고 클러스터를 구성하기 위해 kubeadm init 커멘드를 사용했는데 다음과 같은 에러 메세지가 나왔다.Found multiple CRI endpoints on the host. Please define which one do you wish to use by setting the 'criSocket' field in the kubeadm configuration file: unix:///var/run/containerd/containerd.sock, unix:///var/run/crio/crio.sockTo see the stack trace of this error execute with --v=5 or higher 해당 오류는 cri socket이 두개이상 감지 되었을 때 나타나..

쿠버네티스 클러스터를 새로 구성하기 위해 CRI-O를 설치하는 도중Hit:1 https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64 InReleaseHit:3 https://download.docker.com/linux/ubuntu jammy InRelease Hit:2 https://prod-cdn.packages.k8s.io/repositories/isv:/kubernetes:/core:/stable:/v1.30/deb InRelease Hit:4 ht..