안녕하세요 성장형 개발자입니다.
회사 내 환경이 AWS로 바뀌어서 여러가지의 시행착오들을 겪고 있습니다 ㅎㅎ
힘들긴 하지만 충분히 재미가 있어서 하루하루 힘듦과 재미가 공존되고 있습니다.
각설하고 시작하겠습니다
상황
데이터를 수집하는 과정에서
SQS(Simple Queue Service) 에서 문제가 있는 데이터는 DLQ(Dead Letter Queue)에 쌓고 있습니다.
여러 에러 중 invalid split data size 가 발생하였는데, 해당 부분 확인 방법에 대해서 알려드리겠습니다.
번역을 하면 잘못된 분할 데이터 크기입니다.
원천에서 보내주는 데이터를 카프카로 받아옵니다.
예를 들어서 우리쪽의 테이블 컬럼이 51개입니다.
원천에서 보내주는 데이터의 값의 갯수가 52개를 보내주어서 에러가 발생한 상황입니다.
이런 경우는 운영 입장으로 말씀드리면
해당 카프카 메시지를 확인하여 간헐적이라면 원천에 문의하거나 많은 경우라면 조율을 하여 수정하는 방식으로 해결하면 됩니다.
물론 개발 과정에서는 즉시 수정하시면 되겠죠? ㅎㅎㅎ
"에러는 발생할 수 있지만, 정확한 원인을 파악하여 해결하면 된다"
