얼렁뚱땅

Airflow 설치하는 방법에 대해서 알아보자!Airflow는 아직 Window 버전에서 공식 설치를 지원하지 않기 때문에 - Linux 환경에서 Docker로 설치하는 방법에 대해 작성하려고 한다. (혹은 AWS나 GCP-Cloud Composer 같은 클라우드 환경에서 지원하는 서비스를 활용할 수 있지만 나는 로컬에서 설치하는 방법에 대해 적어보고자 한다.)크게 WSL 설치 -> Docker 설치 -> Airflow 설치의 3단계로 이루어져 있다.1. WSL 설치1-1. WSL이란?Windows Subsystem for LinuxWindows에서 리눅스 실행환경을 지원하는 Windows의 확장 기능Windows에서 바로 리눅스 명령을 실행할 수 있음WSL 있기 전엔 가상머신(VM)을 많이 사용했음간단..

회사에서 데이터 파이프라인을 만들면서 데이터 엔지니어링 쪽에 관심이 생겼다. 뭔가 내가 만든 파이프라인을 볼 때마다 뭔가 관리가 제대로 안 되는 듯한 느낌을 받았는데... (물론 나 혼자의 의견으로만 만든 것은 아님) 회사에 DE쪽을 아는 사람이 거의 없는 것 같기 때문에 이 참에 공부하면 좋을 것 같아 차근차근 작성해보고자 한다. 👀1. Airflow란?Airflow는 airbnb 엔지니어링 팀에서 개발한 워크플로 오픈소스 플랫폼이다.Python 기반으로 복잡한 데이터 파이프라인(추출, 가공, 저장 등)을 자동화하고 스케줄링하는 데 사용된다.Airflow 에서 Data Pipeline = DAG2. 주요 개념Workflow의존성으로 연결된 작업들의 집합ETL 같은 경우는 Extraction -> Tr..