Kafka
2. 실습용 카프카 브로커 설치
1. 자바 다운로드 2. 카프카 패키지 다운로드 wget https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz 3. 패키지 압축 풀기 tar xvf kafka_2.12-2.5.0.tgz 4. 카프카 브로커 힙 메모리 설정 카프카 패키지의 힙 메모리는 브로커가 1G, 주키퍼가 512MB로 기본 설정되어 있습니다. 그런데 AWS EC2 프리티어의 경우 메모리가 1G로 카프카를 실행하면 메모리가 부족하여 에러와 함께 실행되지 않게 됩니다. 이 때문에 힙 머모리 사이즈를 미리 환경 변수로 사이즈를 조절해야 합니다. cd kafka_2.12-2.5.0/ export KAFKA_HEAP_OPTS="-Xmx400m -Xms400m" 위와 같이 터미널에서 ..
1. Kafka 간단 정리
위 그림처럼 애플리케이션 끼리 연결하는 파이프라인 개수가 많아지면서 복잡도가 올라가고 코드 및 버전 관리 등의 이슈가 발생하게 됩니다. 시간이 지나면서 파편화된 데이터 파이프 라인은 서비스를 운영하는데 치명적일 것이기 때문에 이를 개선하기 위해서 등장하게 됩니다. 쉽게 말해서 아래 그림처럼 만들려고 탄생한게 카프카죠. 카프카의 용도 메세지 처리 사용자의 웹 사이트 활동 추적 파이프라인 애플리케이션의 통계 집계 시간순으로 발생하는 이벤트를 저장해 필요한 곳으로 보냄 카프카의 동작 방식과 원리 기본적으로 메시징 서버로 동작 메세징 시스템 Producer, publisher : 데이터 단위를 보내는 부분 Consumer, subscriber : 토픽이라는 메시지 저장소에 저장된 데이터를 가져가는 부분 중앙에 ..
Kafka 공부 시작
네이버, 카카오 등 대기업에서 Kafka를 많이 쓴다고 해서 무슨 툴이지 라는 생각으로 검색을 해보다가 좀더 명확하게 알고싶다는 생각으로 kafka 책을 하나 구매하게 되었습니다. 취업 준비 중이고 클린코드 책도 아직 읽고 있어서 느리지만 책을 읽으면서 정리해 갈려고합니다 .ㅎ