Data Engineering4 카프카 옵션 리밸런싱 장치가 두가지: 허트비트(간격), 폴(폴링 간격) 오프셋 커밋을 행하는 장치도 두가지: 폴(폴링 간격), 수동커밋/자동커밋 2021. 8. 13. 카프카 기초 재파악 펍섭메세지모델에서 컨슈머들이 같은 메세지를 가져가는 것은 카프카에선 다른 컨슈머그룹을 만들면 토픽의 파티션들도 별도의 오프셋을 추가로 다루게 되어 그냥 가능하다 큐잉모델의 컨슈머들이 다른 메세지를 가져갈 수만 있으므로 인해서 처리속도 증가하는 것을 카프카에선 토픽안에 파티션을 두개이상 사용하는 것으로 고안해내었다. 같은 컨슈머 그룹안에서 컨슈머들이 같은 토픽의 다른 파티션을 보는 경우 큐잉모델의 경우처럼 속도를 낼 수가 있다 다만 큐잉모델이든 카프카의 파티션개념이든 순서가 상관없는 병렬처리로 진행되게 된다 브로커가 여러개 인것은 브로커가 장애로 다운될 경우 죽은 브로커가 살아있을때의 오프셋을 항상 기억하고 있는 역할을 하던 다른 브로커(standby)가 active하게 나서는 HA기능을 위한것이다. 프로.. 2021. 6. 3. Kafka를 왜 사용하는가?, Kafka가 RabbitMQ와 다른점 http://utk-unm.blogspot.com/2016/10/apache-kafka.html Apache Kafka (아파치 카프카)란? Apache Kafka란? 아파치 카프카는 2011년에 링크드인(LinkedIn)이라는 회사에서 자사의 웹사이트 이벤트 체크를 하기 위한 목적으로 만들어진 사내 프로젝트로 시작했다가 2014년에 아파치를 통해 오픈 소스화된 프로젝트로 현재 빅데... utk-unm.blogspot.com 2019. 11. 15. 드디어 Kafka 공부한다. https://heowc.tistory.com/35 메세지 큐잉 기능으로 RabbitMQ(SpringAMQP)를 사용해본 적이 있다. Kafka도 메세지 큐잉 기능을 가지고 있는 것으로 알고 있는데 차이 점이 무엇인지도 함께 공부해나가자. 2019. 11. 14. 이전 1 다음
