스트림 파이프라인 아틀리에
이벤트 스트림 처리 분석을 처음부터 끝까지 한 줄의 파이프라인으로 연결하는 8주 코호트입니다.
학습 성과
- 이벤트 타임과 프로세싱 타임을 구분해 설계 문서에 적을 수 있습니다.
- 소스·변환·싱크를 모듈로 나누고 실패 지점을 명시합니다.
- 윈도우 선택 이유를 비개발 동료에게 설명할 수 있습니다.
- 워터마크와 허용 지연을 SLA 언어로 합의합니다.
- 간단한 관측 대시보드와 회고 문단을 남깁니다.
- 재처리 시나리오의 한계를 솔직히 문서화합니다.
모듈
1
흐름 지도 그리기
도메인 이벤트를 카드로 정리하고, 중복·누락이 생기는 지점을 표시합니다.
2
파이프라인 골격
토픽 경계와 스키마 버전 규칙을 정한 뒤, 최소 변환을 연결합니다.
3
윈도우 실험실
동일 데이터에 텀블링·슬라이딩·세션을 적용해 집계 차이를 기록합니다.
4
지연과 워터마크
늦은 이벤트를 의도적으로 넣고, 허용 지연 표를 팀과 맞춰 봅니다.
5
관측과 회고
메트릭 한 장과 장애 핸드오프 문장을 작성해 코호트를 마칩니다.
자주 묻는 질문
기본적인 스크립트 작성(변수, 조건, 로그 출력)이 가능하면 충분합니다. 특정 프레임워크 숙련도는 요구하지 않습니다.
가이드와 샘플 구성 파일을 드립니다. 클라우드 크레딧이나 상용 클러스터는 포함되지 않으며, 개인 노트북 또는 팀 샌드박스를 사용합니다.
대규모 멀티 리전 장애 복구, 벤더별 상용 UI 인증, 또는 프로덕션 성능 튜닝 컨설팅은 다루지 않습니다. 설계 감각과 관측 습관을 만드는 데 초점을 둡니다.
수강 메모
모듈 4의 워터마크 표가 팀에 바로 들어갔어요. 라이브 중 질문이 몰리면 답이 조금 늦게 오는 편이라, 채팅에 미리 적어 두는 게 좋았습니다.
★★★★★파이프라인 골격 모듈의 스키마 버전 규칙이 가장 오래 남습니다.