[Kafka] 토픽의 특정 오프셋 이전 로그 삭제

 

my-topic 이란 토픽에 파티션이 3개인데 오프셋 1000 이전 로그를 삭제하고 싶을 경우,

우선 아래처럼 삭제하고자 하는 정보를 입력하고 파일로 저장한 뒤,

{
    "partitions": [
        { "topic": "my-topic", "partition": 0, "offset": 1000 },
        { "topic": "my-topic", "partition": 1, "offset": 1000 },
        { "topic": "my-topic", "partition": 2, "offset": 1000 }
    ]
}

 

 

아래 명령어를 실행하면,

bin/kafka-delete-records.sh --bootstrap-server localhost:9092 --offset-json-file delete-records.json

 

 

이런 결과가 출력되며 오프셋 1000 이전의 로그는 다 삭제되고 시작 오프셋이 1000 으로 세팅됨.

Executing records delete operation
Records delete operation completed:
partition: my-topic-0     low_watermark: 1000
partition: my-topic-1     low_watermark: 1000
partition: my-topic-2     low_watermark: 1000