Airflow 에서 외부 라이브러리 충돌 없이 사용하기 위한 방법이 없을까요 ?

Question

안녕하세요. 최근에 airflow 를 처음 접하고 혼자서 장난치고 있습니다. 그러던 중 궁금한 점이 한가지 생겼습니다. 간단한 App을 Firebase, lambda 를 통해 만들었습니다. 그리고 컨텐츠생산을 위해서 여러 데이터를 가공하기 위해서 airflow를 도입하게 됐습니다. (서비스는 크지 않습니다... 그냥 .. 혼자 ㅎㅎ;;;)다시 돌아와서 airflow - dag 구성을 git repo로 사용했습니다. 이제 질문드립니다. dag 파일의 import 부분입니다. import datetime import pendulum import os import firebase_admin # 에러가 나는 모듈 import requests from airflow.decorators import dag, task from collections import defaultdict from firebase_admin import firestore, credentials from airflow.models.variable import Variabledag를 git에 push한 후 webserver 에 접근했을 때 아래와 같은 에러가 노출됩니다.ModuleNotFoundError: No module named firebase... 에러를 보고 다시 생각을 해보니 종속성을 다운로드 하는 과정이 없었습니다. (ex. pip install -r requirements.txt) 문제를 해결하기 위해서 아래와 같은 아이디어들을 생각했습니다.1 아이디어. dag의 first task를 bash operator 통해서 종속성을 구성하는 것 입니다. -> 우선 테스트를 위해서 worker container에서 install 했지만 &#x1f6a8;버전 충돌 생겼습니다. 원인: airflow worker container(3.8.x) <-> local venv(3.11.x) 환경 python, pip 버전이 상이했습니다. ✔bash operator를 통해서 최초 가상환경을 구성하려 했지만 &#x1f6a8;airflow worker 종속성들을 정확하게 모르는 상태에서 version 을 올려 가상환경을 구성하는건 이전 서비스의 문제가 생길 수 있지 않을까 라는 생각을 했습니다. 2 아이디어✔task에서 pod operator를 사용하여 dag(container)를 독립적으로 구성하는건 어떨까 ? python 환경을 완전히 독립시킬 수 있다고 생각합니다.&#x1f602;하지만 이런 것들이 걱정됨 pod 의 log 관리가 애매합니다. (pod 를 남기로 로그 추적이 되지만 schduling 되어 작업할 dag 여서 관리면에서 애매합니다.)docker image repo 비용 -> 처음에는 부담없고 , slim 하게 구성한다고 하더라도 일단 돈이 나가긴해서 ... (물론 public 도 생각했지만 내용중에서 보안관련해서 부담이 있었습니다.)3 아이디어 airflow worker python version을 기준으로 freezing 하여 작업한다. 이런 생각들을 했지만 제일 좋은 생각이 무엇이지 알고싶습니다. 바쁘시겠지만 아이디어, 평가, 조언, 충고 등 다양한 말씀해주시면 감사드리겠습니다. 더해서 귀찮으시면 댓글을 자세히 안달아주셔도 됩니다. 관련된 글만 던져주시면 제가 알아서 흡수해보겠습니다. 글 읽어주셔서 감사합니다. &#x1f60a;

Airflow 에서 외부 라이브러리 충돌 없이 사용하기 위한 방법이 없을까요 ?

0개의 답변

#airflow 목록