스프링 배치(Spring Batch) 간단한 정리

📌

업무를 진행하며 배치 프로세스에 대해 실무에서 처음으로 접하게 되었습니다. 기본적 개념이지만, 간략하게 정리한 바를 공유합니다.

스프링 배치

• 배치란? 데이터를 원하는 대로 가공해서 처리하는 자동화된 프로세스

• 배치는 일반적으로 읽기->처리->쓰기의 3단계로 이루어진다.

• 배치(batch) = 일괄 처리 = 큰 데이터를 한번에 처리하고 결과를 저장

• 배치 서비스는 다음의 특징이 존재함
  • 대용량 데이터 : 배치 어플리케이션은 대량의 데이터를 가져오거나, 전달하거나, 계산 등을 처리할 수 있어야 함
  • 자동화 : 사용자의 개입 없이 실행되어야 함
  • 견고성, 신뢰성, 성능 ... 링크

---

JOB

• job은 배치 처리 과정을 하나의 단위로 만들어 표현한 것

• 최상단 계층에 존재함

• 하나의 Job안에는 여러 Step(단계)가 있음

• 즉, 여러 Step을 포함하는 컨테이너

• Job 객체를 생성하는 빌더는 여러개가 있으나, 여기선 JobBuilderFactory를 사용함

@Bean(name = JOB_ID)
public Job nameJob(
        @Qualifier(JOB_ID + ".step1") Step step1
){
    return jobBuilderFactory.get(JOB_ID)
            .start(step1)
            .build();
}

JobBuilderFactory를 통해 Job 생성을 한 뒤, Step을 주입받는다.

Step

@Bean(name = JOB_ID)
public Step nameStep1(){
    return stepBuilderFactory.get(JOB_ID + ".step1")
        .allowStartIfComplete(true)
        .tasklet(실행하려는SQL메소드)
        .build();
}

• stepBuilderFactory를 통해 스텝을 생성함

• 배치에서 상태를 보여주는 단위로, 스텝은 잡을 구성하는 독립된 작업 단위임

• 스텝에는 Tasklet, Chunk 기반으로 두가지가 존재함

Tasklet

• 스텝이 중지될 때까지 execute를 계속 반복해서 수행함

• 초기화, 저장 프로시저 실행, 알림 전송과 같은 잡에서 일반적으로 사용됨

• Job은 여러개의 Step으로 구성되고, Step은 Tasklet(기능)으로 구성됨

• 배치 작업 하나 = Job

@Bean(name = JOB_ID + ".NaverTotalEpEqlInfTasklet")
public Tasklet naverTotalEpEqlInfTasklet(){
    return new NaverTotalEpEqlInfTasklet();
}

Chunk

• 아이템 기반 처리에 사용된다.

참고

• https://cheese10yun.github.io/spring-batch-basic/

• https://juneyr.dev/2019-07-24/spring-batch-tasklet

• https://joont92.github.io/spring/Spring-Batch/

생각 정리

• 배치란 한 마디로, 특정 주기로 자동으로 실행되는 프로그램 입니다!

• 언제 사용 될까요?
  • 회원 탈퇴 시, 특정 데이터(주문 내역 등)를 삭제해야 한다고 가정합시다. 만약 A 회원에게 1만건의 주문이 존재한다면 이를 처리하는데 시간이 오래 걸리겠지요. 그리고 이와 같은 회원 100명이 모두 합심하여, 유저들의 접속이 활발한 저녁 7시에 탈퇴를 하게 된다면? 서버에 부하가 발생하여 서비스에 영향을 주게 되겠지요.
  • 이런 상황에선 탈퇴한 유저에겐 탈퇴에 대한 상태값 혹은 탈퇴 일시만 지정을 해주어 모든 로직에서 제외처리를 시켜버리고. 실제로 데이터를 삭제하는 것은 유저들의 접속량이 적은 새벽 시간대를 활용하여 일괄적으로 처리해버린다면, 서비스적으로 더욱 안정적으로 될 것 입니다.
  • 즉, 유저의 유입이 적은 새벽 2시(특정 시간)에 탈퇴 유저의 주문내역 삭제(특정 행동)를 매일(특정 주기별로) 실행해라. 와 같이 지정하는 것을 배치라고 보시면 됩니다.

  실제로 유저 탈퇴시 곧바로 데이터들이 삭제됩니다 😅

• 추가적으로 배치는 실무에서 많은 것들 편하게 해줍니다.
  • 실시간으로 특정 데이터를 처리했을 때, 해당 처리 결과에 대한 보장이 제대로 이루어지지 않는다면? → 배치로 실패한 결과들에 대해서 재실행을 실시하여 커버를 할 수 있습니다.
  • 배치는 실패 로그를 쌓을 수 있으므로, 결과에 대한 확인이 가능해집니다.

💬

담당 업무상 배치 프로세스를 많이 다루진 않지만, 조금 더 공수가 큰 개발을 하게 되면 배치를 직접 짜볼 기회도 있을 것 같습니다. 재밌을 것 같아요 😁