영구의 블로그

1. 폴더구조 hive-docker/ ├── Dockerfile ├── docker-compose.yml ├── conf/ │ ├── core-site.xml │ └── hive-site.xml ├── jars/ │ ├── hadoop-aws-3.1.3.jar │ ├── aws-java-sdk-bundle-1.11.1024.jar │ └── postgresql-42.6.0.jar2. Dockerfile FROM apache/hive:3.1.3 USER root COPY jars/*.jar /opt/hive/auxlib/ RUN chmod +r /opt/hive/auxlib/*.jar USER hive ..

ubuntu : 22.04.5 LTSorccle : 19cflink : 1.18.1flink cdc : flink-sql-connector-oracle-cdc-3.1.0.jardocker : 28.0.4hadop : s3minio : 2025-04-22T22-12-26z. iceberg1. 구성 요소별 개념 요약 MinIO: Amazon S3와 호환되는 오브젝트 스토리지. Iceberg의 데이터와 메타데이터를 저장 Hadoop S3A: s3a:// URI를 통해 MinIO에 접근할 수 있게 해주는 Hadoop의 파일 시스템 구현 Apache Iceberg: 데이터를 테이블처럼 관리할 수 있게 ..

Hadoop-S3 (S3A) 정리1. 정의 **Hadoop-S3(S3A)**는 Hadoop이 Amazon S3 또는 MinIO 같은 S3 호환 오브젝트 스토리지에 접근할 수 있게 해주는 파일 시스템 커넥터2. 주요 구성 요소hadoop-aws.jar Hadoop이 S3A를 인식하도록 하는 커넥터aws-java-sdk-bundle.jar AWS S3 API를 사용하기 위한 Java SDKcore-site.xml S3A 설정을 명시하는 Hadoop 설정 파일 (endpoint, 키 등)3. 작동 방식 - 내부적으로 s3a:// 스킴을 사용해 오브젝트 스토리지(S3/MinIO)에 접근 - HDFS처럼 다룰 수 있도록 추상화 ..