Parquet는 아파치 하둡 에코 시스템에서 사용하는 칼럼 기반의 데이터 저장 형식입니다. 여러 인코딩과 압축을 지원함으로써 다양한 프로젝트에서 인기리에 사용 중입니다. Parquet을 효과적으로 사용하는 데에는 많은 요소들을 살펴봐야 하지만, 이 번 글에서는 파일 구조와 관련된 설정값을 같이 보면서 Parquet을 보다 심층적으로 이해하는 시간을 가져보도록 하겠습니다. Parquet의 파일 구조 Parquet은 Header, Blocks, Footer. 이 세 형식을 가집니다. Header와 Footer는 Meta 정보이며, 각 1개씩만 존재합니다. Blocks는 List 형식이며 여기에 실제 N 개의 데이터가 저장됩니다. 이를 정리해 보면 아래와 같습니다. Header(Metadata) : Parqu..
