🟢

General

1. Message Queue

가. 기본 개념

3) Redis Server Error

Reference

1. Message Queue

가. 기본 개념

1) 개념

•

정의: 비동기 통신 시스템으로 서로 다른 응용프로그램 간 데이터 송수신을 비동기 방식으로 처리함 

•

특징

→ 비동기 통신의 특성에 따라 도착지의 응용프로그램이 메시지를 처리할 상황이 아닐 경우, 임시 데이터 저장소에 메시지를 보관함

→ 데이터 임시 저장소의 경우, 일반적으로 메모리 기반 방식과 파일 기반 방식이 존재함

2) 동작 흐름

•

Producer가 분산 비동기 처리할 작업(tasks) 생성

→ Producer: Message Writer

•

Broker가 각각의 작업(task)에 대해 consumer에게 분산 전달

→ Broker: Message Broker

•

Consumer가 전달 받은 작업을 처리

→ Consumer: Message Reader

•

Result Backend가 처리된 작업을 저장

image from https://tests4geeks.com/blog/python-celery-rabbitmq-tutorial/

나. 주요 컴포넌트

1) Broker

•

Broker: Message Broker

•

생성된 task에 대해 task queue로 관리함

•

task를 적절한 경로에 따라 Consumer 내 worker에게 전달

•

ex) RabbitMQ, Redis 등이 있음 

2) Consumer

•

Consumer: Message Reader

•

하나 이상의 worker로 구성되어 있음

3) Result Backend

•

처리된 작업을 저장하기 위해 관련 설정 필요

→ 처리된 작업을 저장하는 것은 기본 세팅이 아님

2. RabbitMQ

가. 개념 정리

1) 기본 용어

•

Queue: 버퍼의 일종으로 Broker의 메시지 저장소

•

Exchange: 메시지를 특정 큐로 전달해주는 중개자

→ Exchange는 Virtual Host별로 정의됨

→ bindings, routing keys, header attributes를 기반으로 메시지 중개함

•

Routing Key: Message 주소

→ Exchange에서 Routing Key를 읽어서 어떤 Queue로 메시지를 보낼지를 결정할 때 사용함

•

Virtual Host: 복수의 virtual host를 둠으로써 하나의 RabbitMQ Instance에서 virtual host별로 Queue와 Exchange에 대한 접근권한을 다르게 설정할 수 있다

•

binding: 특정 queue와 exchange의 연결 설정

•

Acknowledgements(or Ack): consumer가 메시지를 잘 받았다는 표시로 Broker에게 보내는 답장

•

AMQP(Advanced Message Queuing Protocol): 시스템 간 메시지 송수신에 대한 open standard protocol

→ Broker Vendor나 플랫폼에 종속되지 않고 사용할 수 있다는 것이 특징

•

Delivery Tag: 예제가 필요함

The Delivery tag uniquely identifies the delivery on a channel. If the delivery tag is set to 1, multiple messages can be acknowledged with a single method. If set to zero, the delivery tag refers to a single message.
Plain Text
복사

2) Exchange Types

•

Direct Exchange: 메시지 내 routing key와 일치하는 binding key를 가지고 있는 queue로 메시지 라우팅

•

Default Exchange: 일종의 Direct Exchange로 메시지 내 routing key와 일치하는 이름을 가지고 있는 queue로 메시지 라우팅

→ 기본적으로 제공되는 exchange를 이용하고, exchange의 이름은 빈 문자열로 정의되어 있다

•

Topic Exchange: 메시지의 routing key와 Queue의 routing pattern의 매칭여부를 토대로 해당되는 queue로 메시지 라우팅

→ 메시지의 routing key는 마침표로 구분되는 words list의 형태

→ 큐의 routing pattern도 마침표로 구분되지만 *, #의 특수문를 활용하여 복수의 routing key를 매칭할 수 있도록 구성됨

→ : 해당 구간의 모든 단어 포함

ex) 메시지가 이러한 형식(회사.본부.직책 )을 따를 경우, ogq.*.leader의 패턴이 지정된 큐는 ogq의 모든 본부의 리더들에 대한 메시지를 받아서 처리함

→ #: 이후 모든 구간에 해당

ex) 메시지가 이러한 형식(회사.본부.직책 )을 따를 경우, ogq.#의 패턴이 지정된 큐는 ogq의 모든 본부의 모든 구성원에 대한 메시지를 받아서 처리함

•

Fanout Exchange: 바인딩되어 있는 모든 큐로 메시지 라우팅

→ routing key나 pattern과는 관계 없이 바인딩된 모든 큐로로 메시지를 라우팅한다

•

Headers Exchange: 메시지 내 헤더 속성 값을 기반으로 메시지 라우팅

→ routing key 대신 header attributes 기반으로 매칭되는 큐로 메시지를 라우팅한다

나. 기본 설정

1) 시작 / 종료

•

RabbitMQ 설치

→ brew install rabbitmq

•

환경변수 설정

→ 쉘 확인: echo $SHELL

→ (zsh의 경우) 환경변수 설정: vim ~/.zshrc

→ .zshrc 내부에 다음과 같이 추가: PATH=$PATH:/usr/local/sbin

•

RabbitMQ Server 시작

→ rabbitmq-server

•

RabbitMQ Server 프로세스 종료

→ 서버를 프로세스가 안죽었을 경우, 관련 프로세스 강제 종료

sudo lsof -i :25672
sudo kill -2 <PID>
Shell
복사

2) 설정

RabbitMQ URL 구성: amqp://user:password@host:5672/virtual_host

•

사용자 이름과 비밀번호 생성

→ rabbitmqctl add_user maxwell passwordOfmaxwell123

→ 사용자 이름: maxwell

→ 사용자 비밀번호: passwordOfmaxwell123

•

가상 호스트 생성

→ rabbitmqctl add_vhost maxwell_vhost

→ 가상 호스트 이름: maxwell_vhost

•

사용자 태그 생성

→ rabbitmqctl set_user_tags maxwell maxwell_tag

→ 사용자 이름: maxwell

→ 태그 이름: maxwell_tag

•

가상 호스트에 대한 사용자 권한 생성

→ rabbitmqctl set_permissions -p maxwell_vhost maxwell ".*" ".*" ".*"

→ first ".*": 모든 entity에 대한 설정 권한

→ second ".*": 모든 entity에 대한 쓰기 권한

→ third ".*": 모든 entity에 대한 읽기 권한

→ 세부 내용 참조

•

등록된 사용자 목록 확인

→ rabbitmqctl list_users

→ 다음과 같이 확인 가능

3) Docker 기반 초기 설정

•

단순 설치 및 실행 명령: docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 --restart=unless-stopped rabbitmq:management

→ management의 default admin 정보

→ default username: guest

→ default password: guest

•

가상 호스트 및 사용자 등록 실행 명령

→ docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 --restart=unless-stopped -e RABBITMQ_DEFAULT_USER=cg_user -e RABBITMQ_DEFAULT_PASS=password -e RABBITMQ_DEFAULT_VHOST=cg_vhost rabbitmq:management

→ docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 --restart=unless-stopped -e RABBITMQ_DEFAULT_USER=ogq -e RABBITMQ_DEFAULT_PASS=magicogqworld -e RABBITMQ_DEFAULT_VHOST=backgrounds rabbitmq:management

•

또는 docker Image 접속해서 직접 실행

→ docker exec -it <docker image> /bin/bash

3. Redis

가. 기본 설정

1) 시작 / 종료

•

redis 설치

→ brew install redis

•

redis 실행

→ redis-server

•

redis 서버 정상 설치 확인

→ redis server 실행한 상태에서 아래 명령을 다른 터미널에서 입력

→ redis-cli ping

→ 응답으로 ‘PONG’을 받으면 정상 설치

•

redis 서버 정지

→ redis-cli shutdown

•

celery[redis] 설치 필요

→ 미설치 시 Cellery가 Redis를 찾지못하고 NonType 반환 이슈 발생

→ pip install celery[redis]

2) 설정

•

broker url 수정

→ 예시 코드

3) Redis Server Error

•

현상

•

해결방법

→ ps -ef |grep redis

→ kill -9 <PID>

Reference

•

rabbitmq with docker, https://hub.docker.com/_/rabbitmq

•

Redis Server Error, https://velog.io/@sunaaank/Redis-server-error

•

RabbitMQ server 종료, https://stackoverflow.com/questions/63263177/cant-start-rabbitmq-server-after-installation

•

기본개념 참고, https://www.cloudamqp.com/blog/what-is-message-queuing.html

•

RabbitMQ 용어 정리, https://www.cloudamqp.com/blog/rabbitmq-and-amqp-concepts-dictionary-a-z.html

•

Exchange, Routing Keys & Bindings, https://www.cloudamqp.com/blog/part4-rabbitmq-for-beginners-exchanges-routing-keys-bindings.html