반응형

분류 전체보기 136

[Kafka] Producer: kafka broker로 메시지 보내기(sync, async)

Producer 카프카에서 메시지를 생산해서 카프카 토픽으로 보내는 역할을 하는 애플리케이션, 서버 등을 모두 Producer라고 부릅니다. 프로듀서의 주요 기능은 각각의 메시지를 토픽 파티션에 매핑하고 파티션의 리더에 요청을 보내는 것입니다. 만약 전송하는 메시지에 키 값을 지정하게 된다면 원하는 파티션으로 전송되게 됩니다. 하지만 키 값을 지정하지 않는다면, 파티션은 Round-Robin 방식으로 각 파티션에 메시지를 균등하게 분배합니다. Kafka / Zookeeper Install 이번 포스팅에서는 특별히 docker-compose를 이용해 간단하게 카프카 브로커를 띄운 다음 프로듀서에서 브로커로 메시지를 전송해보도록 하겠습니다. 꼭 docker를 이용해서 kafka와 zookeeper를 설치할 ..

Big Data/Kafka 2020.07.23

[Network] gRPC: MSA에서 서비스 간 저용량 고성능으로 통신하기

최근 MSA(Micro Servie Architecture)가 다양한 서비스에 적용됨에 따라 각각의 마이크로 서비스들이 통신하는 네트워크 비용이 자연스레 상승하게 되었습니다. 그런데 시스템들 간 모듈들이 언어가 다양하다 보니 데이터를 주고받는 게 쉽지 않았고, REST API로 개발하여 통신을 주고받으려고 하니, 각 모듈별로 서버를 띄우는 것도 부담스러운 환경이 되었습니다. 이에 따라 좀 더 가볍고 빠르며, 언어에 종속적이지 않게 메세지를 주고받을 수 있는 방법을 고민하던 중 나온 것이 바로 gRPC입니다. gRPC란 google에서 만든 RPC라는 뜻으로 프로세스간 통신을 위한 기법 중 하나입니다. 특징적으로는 다른 서버에 있는 함수를 호출할 때 마치 같은 서버에 있는 함수를 호출하듯 간편하게 호출할 ..

[Kubernetes] Helm: template package managing tool

Helm이란? 지금까지 쿠버네티스의 대략적인 내용들에 대해서 살펴보았습니다. 하지만 쿠버네티스를 사용하다 보면 결국 수많은 템플릿을 관리하게 됩니다. 이러한 템플릿 파일들을 한 번에 관리하기 위해 사용하는 것이 쿠버네티스 패키지 매니저 헬름(helm)입니다. (docker container가 많아져서 쿠버네티스를 쿠버네티스 템플릿이 많아져서 결국 헬름까지...^^) 헬름을 이용하면 npm이나 도커 허브처럼 쿠버네티스 패키지 배포를 손쉽게 할 수 있습니다. 헬름은 차트와 차트 압축 팔일(tgz)를 만들 수 있고, 차트들이 저장되는 차트 저장소와 연결해 쿠버네티스 클러스터에 차트를 설치하거나 삭제할 수 있습니다. 여기서 용어에 대해 잠시 짚고 넘어가도록 하겠습니다. chat : k8s에서 실행할 애플리케이션..

DevOps/Kubernetes 2020.07.22

[Kubernetes] ConfigMap / Secret: config 정보를 container 외부에서 가져오기

ConfigMap이란? 일반적으로 컨테이너를 사용할 때 Dev용 컨테이너와 Product용 컨테이너는 같아야 합니다. 그래야만 개발과 서비스 사이의 환경적인 차이에서 오는 문제점을 방지할 수 있습니다. 하지만, 개발을 하다 보면 dev용과 product는 서로 다른 설정이 필요한 경우가 있습니다. 예를 들면 개발용 컨테이너는 Test용 데이터베이스를 사용합니다. 개발 또는 테스트를 하는 중에 문제가 생겨 실 서비스에서 사용하는 데이터베이스에 문제를 일으킬 수 있기 때문입니다. 이와 같이 서비스마다 다른 설정이 필요할 때 사용하는 것이 바로 컨피그맵(ConfigMap)입니다. 컨피그맵은 컨테이너에 필요한 환경 설정을 컨테이너와 분리해서 제공하는 방식으로 하나의 컨테이너로 개발용, 스테이지용, 서비스용과 같..

DevOps/Kubernetes 2020.07.22

[Kubernetes] Volume: k8s에서 데이터를 Disk에 영구 저장하기

앞선 controller 포스팅의 stateful controller를 다루며 잠시 볼륨에 대해서 짚고 넘어갔었습니다. 잠깐 다시 한번 언급하고 넘어가자면, 쿠버네티스는 기본적으로 상태가 없는 stateless 앱 컨테이너를 사용합니다. 상태가 없다는 것은 컨테이너를 종료하고 새로 실행시켰을 때 컨테어너만의 종속적인 특별한 상태가 없기 때문에 자유롭게 다른 노드로 옮길 수 있다는 것을 뜻합니다. 하지만 그 특성상 현재까지 저장된 데이터 역시 같이 손실된다는 특성이 있는데, 몇몇 서비스는 문제가 생기더라도 데이터를 보존해야 하는 경우가 있습니다. 대표적으로 데이터 파일을 저장하는 젠킨스나 데이터베이스가 있습니다. 볼륨은 쿠버네티스 Pod에 종속되는 디스크입니다. 컨테이너 단위가 아니라 Pod 단위이기 때문..

DevOps/Kubernetes 2020.07.20

[Javascript] Arrow Function에서의 this / arguments 바인딩 형태

Arrow Function에서의 this 바인딩 일반적으로 Javascript에서의 this는 가장 가까이 있는 객체를 바인딩하게 됩니다. 하지만 화살표 함수에서는 조금 다르게 작동하는데 화살표 함수에서는 일반 함수와 다르게 this와 arguments가 바인딩되지 않습니다. 이와 같이 화살표 함수에서는 this 바인딩이 되지 않는 이유는 일반 함수에서는 this 바인딩으로 인한 버그가 발생할 수 있기 때문입니다. 일반적으로 일반 함수에서는 this를 사용하면 호출 시점에 사용된 객체로 바인딩되게 됩니다. 따라서 객체에 바인딩된 일반 함수를 다른 변수에 할당해서 호출하게 되면 버그가 발생하게 됩니다. 아래의 예시를 살펴보겠습니다. const obj = { count: 1, increase: functio..

[Kubernetes] Rolling Update (Deployment): 무중단 배포

무중단 배포란? 이전에 컨트롤러 포스팅에서 Deployment Controller를 이용한 배포에 관해 잠시 설명을 했었습니다. 이번 포스팅에서는 쿠버네티스의 다양한 배포 방식과 그리고 무중단 배포에 관해서 다뤄보도록 하겠습니다. 먼저 무중단 배포가 무엇인지부터 알아보겠습니다. 무중단 배포란 서버를 실제로 서비스할 때 서비스적인 장애와 배포에 있어서 부담감을 최소화하고, 서비스가 중단되지 않도록 배포하는 기술입니다. 예를 들어, 동시 접속자 수가 만명 이상인 A라는 성공적인 e-commerce회사가 있다고 해보겠습니다. A라는 회사에는 동시에 접속해서 물건을 상품을 구매 및 등록하는 유저가 많기 때문에 지속적으로 장애 없이 서비스를 유지해야 할 필요성이 있습니다. 만약 중간에 1분이라도 장애가 서비스가 ..

DevOps/Kubernetes 2020.07.17

[Kubernetes] Service / Ingress: L4 L7 Load Balancer

Service란? 이전 포스팅에서 파드는 컨트롤러에 의해서 관리되고 만약 노드 중 하나에 장애가 발생하면 해당 노드에 있는 파드들을 다른 노드에 옮김으로써 동적으로 파드들을 관리한다고 이야기했습니다. 때문에 파드는 클러스터 안에서 옮겨 다니게 되는데, 이 과정에서 노드를 옮기면서 파드 안의 IP가 변경되게 됩니다. 이와 같이 동적으로 변하는 파드의 IP를 특정하기 위해서 사용하는 방법이 쿠버네티스 서비스(Service)입니다. 서비스는 위치를 바꿔가는 노드의 정보를 유연하게 쫓기위해 라벨(label)과 라벨 셀렉터(labal selector)를 사용하며, yaml 템플릿을 정의할 때 어떤 파드를 같은 서비스로 묶을지 정하게 됩니다. (metadata영역에 label을 정의할 수 있고, 라벨 셀렉터에 매핑..

DevOps/Kubernetes 2020.07.16

[Kubernetes] 쿠버네티스 컨트롤러: Pod를 동적으로 관리

컨트롤러는 파드의 설정과 배포를 조금 더 편리하게 관리하기 위해 사용하는 개념입니다. 컨트롤러를 이용하면 일일이 파드를 하나씩 실행시키지 않아도 되며, 컨트롤러에 지정된 숫자만큼 항상 파드를 유지하기 때문에, 장애로 인해 일부 파드가 비정상적으로 종료되더라도 다른 노드에 새롭게 파드를 추가한다는 것과 같이 동적으로 파드들을 관리할 수 있습니다. 컨트롤러 종류에는 Replication Controller(RC), Replica Set, DaemonSet, Job, StatefulSet, Deployment들이 있습니다. Replication Controller(RC) 레플리케이션 컨트롤러는 쿠버네티스 프로젝트의 초기부터 있었던 가장 기본적인 컨트롤러입니다. 지정한 숫자만큼의 파드가 항상 클러스터 안에서 실..

DevOps/Kubernetes 2020.07.13

[Kubernetes] Pod #2: 쿠버네티스 셀프 힐링 및 자원 할당

컨테이너 진단 쿠버네티스는 장애가 생기는 컨테이너가 있는지, 또 있다면 재시작을 하기 위해서 등 컨테이너가 실행된 후에도 주기적으로 kubelet을 이용해 컨테이너를 진단합니다. 이때 필요한 프로브가 두 가지가 있습니다. livenessProbe : 컨테이너가 실행됐는지 확인합니다. 만약 이 진단에 실패하면 kubelet는 컨테이너를 종료시키고 재시작 정책에 따라 컨테이너를 재시작합니다. spec: selector: matchLabels: app: sisko ... template: ... spec: containers: - name: sisko image: imagePullPolicy: Always ... livenessProbe: httpGet: path: /v1/relations/datahub_ho..

DevOps/Kubernetes 2020.07.13
반응형