목표spark 및 iceberg 사용 경험을 위해 pyspark로 HadoopCatalog를 사용하는 MinIO에 iceberg 테이블을 만들고, 샘플 데이터를 삽입 후 쿼리해서 결과를 얻어보려고 한다. 사전 설치1. 접근 가능한 Spark Cluster(pyspark)2. UV(파이썬 패키지 및 프로젝트 매니저)3. Spark에 설치된 pyspark와 같은 버전의 python4. MinIO(또는 S3)테스트 준비프로젝트 생성uv로 프로젝트를 생성한다uv init spark_test 샘플데이터 준비테이블에 넣기 위한 데이터를 준비한다faker 라이브러리로 데이터 생성하는 스크립트 생성하기 위해 라이브러리 설치한다. 샘플이기에 pyproject에 추가하지 않는다uv pip install Faker tqdm..

Airflow 3Airflow3이 2025년 4월 22일에 출시되었다.(https://airflow.apache.org/blog/airflow-three-point-oh-is-here/) Apache Airflow® 3 is Generally Available!We're proud to announce that Apache Airflow 3.0.0 has been released.airflow.apache.org Airflow2가 나온 2020년 12월 17일 이후로 거의 약 4년 8개월만에 메이저 버전이 올라갔다. 현재 3.0.3(2025-07-14)까지 존재한다.기존엔 모든 컴포넌트가 airflow metadata database에 직접 접근모든 컴포넌트가 같은 네트워크에 있다고 가정하고 설계(tas..