https://www.youtube.com/watch?v=YACC1t_oSlA

배달 도메인에서 배달/라이더 이벤트를 다루면서 경험한 스트림 처리 과정에 대해 이야기합니다. 스트림 처리를 위한 구조 설계부터, Kafka Streams를 실제 적용하기까지의 전반적인 과정을 소개합니다. 특히 운영 과정에서 마주한 이슈들과 그에 따른 전략 및 해결 과정 등을 중점적으로 공유합니다. 배치 처리의 한계로 스트림 처리 도입을 고려하고 계신 애플리케이션 개발자에게 이번 세션을 바칩니다.

추천 대상

스트림 처리 도입을 고민 중인 비즈니스 애플리케이션 개발자

스트림 처리 도입 배경

‘지역별 배달/라이더 현황’ 집계 방법

Untitled

배민 팀에서 기존에는 배치 처리로 하고 있었다.

이벤트가 들어오면 그 이벤트를 별도의 db에 저장했고, 배치 스케쥴이 돌면서 db로부터 데이터를 조회해온다. 이 데이터를 적절히 가공해서 우리가 원하는 결과를 얻어내고, 이 결과를 별도의 db에 다시 저장하는 형태였다.

5년 전에는 옳았던 배치 처리, 하지만 지금은?

일 수백만 건 주문 건수, 데이터의 양이 늘었다.
요구사항 증가로 인해 점점 복잡해지는 처리 로직
주문 수 편차로 인해 예측이 어려운 처리시간
배치 주기에 따라 자꾸 한발 느린 이상 탐지

대량 데이터를 주기적으로 처리하는 것이 아닌, 실시간으로 처리해보기로 결정하였다.