영구의 블로그

1. 폴더구조 hive-docker/ ├── Dockerfile ├── docker-compose.yml ├── conf/ │ ├── core-site.xml │ └── hive-site.xml ├── jars/ │ ├── hadoop-aws-3.1.3.jar │ ├── aws-java-sdk-bundle-1.11.1024.jar │ └── postgresql-42.6.0.jar2. Dockerfile FROM apache/hive:3.1.3 USER root COPY jars/*.jar /opt/hive/auxlib/ RUN chmod +r /opt/hive/auxlib/*.jar USER hive ..

ubuntu : 22.04.5 LTSorccle : 19cflink : 1.18.1flink cdc : flink-sql-connector-oracle-cdc-3.1.0.jardocker : 28.0.4hadop : s3minio : 2025-04-22T22-12-26z. iceberg1. 구성 요소별 개념 요약 MinIO: Amazon S3와 호환되는 오브젝트 스토리지. Iceberg의 데이터와 메타데이터를 저장 Hadoop S3A: s3a:// URI를 통해 MinIO에 접근할 수 있게 해주는 Hadoop의 파일 시스템 구현 Apache Iceberg: 데이터를 테이블처럼 관리할 수 있게 ..

Hadoop-S3 (S3A) 정리1. 정의 **Hadoop-S3(S3A)**는 Hadoop이 Amazon S3 또는 MinIO 같은 S3 호환 오브젝트 스토리지에 접근할 수 있게 해주는 파일 시스템 커넥터2. 주요 구성 요소hadoop-aws.jar Hadoop이 S3A를 인식하도록 하는 커넥터aws-java-sdk-bundle.jar AWS S3 API를 사용하기 위한 Java SDKcore-site.xml S3A 설정을 명시하는 Hadoop 설정 파일 (endpoint, 키 등)3. 작동 방식 - 내부적으로 s3a:// 스킴을 사용해 오브젝트 스토리지(S3/MinIO)에 접근 - HDFS처럼 다룰 수 있도록 추상화 ..

1. 관계 요약항목 MinIO Hadoop HDFS목적 고성능 오브젝트 스토리지 (S3 호환) 분산 파일 시스템주요 인터페이스 S3 API (REST 기반) Hadoop API (FileSystem API)연동 가능성 Hadoop에서 S3A 커넥터 통해 MinIO를 Hadoop 외부 S3 MinIO 사용 가능 스토리지처럼 연결- MinIO는 Hadoop 클러스터에서..

$ nano clean-kafka.sh아래내용 입력====================#!/bin/bashecho "[1] Kafka Helm 릴리스 삭제"helm list -A | grep kafka | while read -r line; do RELEASE=$(echo "$line" | awk '{print $1}') NAMESPACE=$(echo "$line" | awk '{print $2}') if [ -n "$RELEASE" ] && [ -n "$NAMESPACE" ]; then echo "Uninstalling $RELEASE in namespace $NAMESPACE..." helm uninstall "$RELEASE" -n "$NAMESPACE" fidoneecho "[2..

1. 네임스페이스 생성 (선택) $ sudo kubectl create namespace kafka2. Helm 저장소 등록 및 최신화 $ helm repo add bitnami https://charts.bitnami.com/bitnami $ helm repo update3. 명시적 KRaft Cluster ID 포함해서 설치 #$ helm uninstall my-kafka -n kafka #$ kubectl delete pvc -n kafka --all $ export KAFKA_CLUSTER_ID=$(uuidgen)echo "Using Kafka Cluster ID: $KAFKA_CLUSTER_ID" $ helm install my-kafka bitnami/ka..

sudo kubectl delete kafka --all -Asudo kubectl delete kafka --all -n kafkasudo kubectl delete deployment,strimzipod,service,role,rolebinding,clusterrole,clusterrolebinding,serviceaccount -l app.kubernetes.io/part-of=strimzi -Asudo kubectl delete crdsudo kafkas.kafka.strimzi.iosudo kubectl delete crd kafkatopics.kafka.strimzi.iosudo kubectl delete crd kafkaconnects.kafka.strimzi.iosudo kubectl de..

1. 네임스페이스 만들기 $ sudo kubectl create namespace kafka2. Strimzi Operator 설치 $sudo kubectl apply -f https://strimzi.io/install/latest?namespace=kafka -n kafka 확인 $ sudo kubectl get pods -n kafka → strimzi-cluster-operator-xxxxx 가 Running이면 정상3. Kafka 클러스터 생성 (ephemeral 저장소)$sudo chown $USER:$USER /etc/rancher/k3s/k3s.yamlclean-kafka.yaml$ cat apiVersion: kafka.strimzi.io/v1beta2kind:..

1. Helm 설치$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash설치 확인$ helm version2. Bitnami Helm 저장소 등록$ helm repo add bitnami https://charts.bitnami.com/bitnami4 helm repo update3. Kafka 설치간단한 싱글 브로커 Kafka + Zookeeper 구성:$ helm install kafka bitnami/kafka \ --set replicaCount=1 \ --set zookeeper.enabled=true \ --set kraft.enabled=false4. 설치 확인$ kubectl get pods5...

1. VirtualBox 다운로드https://www.virtualbox.org/wiki/Downloads Downloads – Oracle VirtualBoxThis VirtualBox Extension Pack Personal Use and Educational License governs your access to and use of the VirtualBox Extension Pack. It does not apply to the VirtualBox base package and/or its source code, which are licensed under version 3 of the GNU Genewww.virtualbox.org→ 상단 “VirtualBox x.x.x platform..