AWS

상황회사에서 테이블 신규 요청이 오면 엑셀로 요청이 온다.그런데 요청 온 엑셀은 가지각색이라 우리의 엑셀 형태에 맞춰서 다시 작성한 뒤 파이썬으로 Hql 파일을 생성한다.평상 시에 잘 사용하던 스크립트였는데, 오늘 실패가 되어 확인해보니 처음 마주했던 에러였다.line 1:8: mismatched input 'external'. expecting: 'or', 'schema', 'table', 'view’원인 파악우리가 생성하는 테이블은 Glue에서 생성하고 location은 S3로 되어있다.그래서 external을 사용한다.external 키워드를 뺄 문제가 아니다.그러면 무엇이 문제일까?사용자에게 받은 엑셀에서 컬럼명, 컬럼 타입, 컬럼설명은 그대로 붙혀넣었기 때문에 이 3가지를 중점으로 먼저 체크했다..

안녕하세요 성장형 개발자입니다. 회사 내 환경이 AWS로 바뀌어서 여러가지의 시행착오들을 겪고 있습니다 ㅎㅎ 힘들긴 하지만 충분히 재미가 있어서 하루하루 힘듦과 재미가 공존되고 있습니다. 각설하고 시작하겠습니다 상황 데이터를 수집하는 과정에서 SQS(Simple Queue Service) 에서 문제가 있는 데이터는 DLQ(Dead Letter Queue)에 쌓고 있습니다. 여러 에러 중 invalid split data size 가 발생하였는데, 해당 부분 확인 방법에 대해서 알려드리겠습니다. 번역을 하면 잘못된 분할 데이터 크기입니다. 원천에서 보내주는 데이터를 카프카로 받아옵니다. 예를 들어서 우리쪽의 테이블 컬럼이 51개입니다. 원천에서 보내주는 데이터의 값의 갯수가 52개를 보내주어서 에러가 발생..