OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
airflow
전체
최신순
질문하기
답변
0
Kky20
·
거의 2년
254
0
답변 0
airflow에서 dag가 인식이 안되네요
ec2 2대로 celery executor로 구성했는데 웹서버에서 dag파일이 안뜨네요 redis 고가용성 테스트는 다 해봤고 worker들도 flower에서 정상적으로 보이는것 확인했는데 dag만 인식이 안됩니다.. postgres 내부db에도 dag가 인식이 안되네요.. 웹서버 컨테이너로 접속해서 airflow dag list로 하면 dag는 정상적으로 조회가 됩니다 스케줄러에서 뭔가 신규/수정 dag를 정확하게 인식을 못하는것같은데 이유가 뭘까요
답변
0
성북구김일성
·
2년 이상
228
0
답변 0
Airflow 에서 외부 라이브러리 충돌 없이 사용하기 위한 방법이 없을까요 ?
안녕하세요. 최근에 airflow 를 처음 접하고 혼자서 장난치고 있습니다. 그러던 중 궁금한 점이 한가지 생겼습니다. 간단한 App을 Firebase, lambda 를 통해 만들었습니다. 그리고 컨텐츠생산을 위해서 여러 데이터를 가공하기 위해서 airflow를 도입하게 됐습니다. (서비스는 크지 않습니다... 그냥 .. 혼자 ㅎㅎ;;;) 다시 돌아와서 airflow - dag 구성을 git repo로 사용했습니다. 이제 질문드립니다.
해결
1
sooooo
·
거의 3년
342
0
해결 1
Airflow의 테스크안에 request.get()이 실행되지 않는 오류 질문
환경 : PC : M1 airflow == 2.6.3 requests == 2.31.0 airflow의 PythonOperator로 정의한 Task안에서 request.get()을 요청하면 응답이 없는? 실행이 안되는? 현상이 일어납니다. import logging import requests def task(): logging.infog("요청 전") requests.get(url)
답변
0
sooooo
·
거의 3년
595
0
답변 0
Airflow selenium (크롤링 질문)
안녕하세요. 혼자 airflow로 크롤링 코드를 관리해보려고 하다가 생긴 문제입니다. Airflow의 하나의 task로 PythonOperator를 사용하고 있습니다. 해당 파이썬 코드안에는 selenium을 사용한 코드가 작성되어 있습니다. driver = webdriver.Chrome() while True: .... 크롤링 코드 if 페이지가 더이상 존재하지 않는다면: driver.quit() break 크롤링된
답변
0
Juno_0
·
3년 이상
386
1
답변 0
에어플로우airflow 유니코드 에러 unicodeerror!!!
UnicodeEncodeError: 'charmap' codec can't encode characters in position 56-58: character maps to <undefined>에어플로우에서 한글 변수를 mysqloperator를 통해 DB에 insert하는 과정에서 위와 같은 에러가 발생하네요..(영어는 문제 없었습니다.)
답변
1
helpme2
·
3년 이상
251
0
답변 1
airflow_to mysql 유니코드 에러
한글 단어를 mysql에 저장하는 과정에서 "UnicodeEncodeError" 가 발생합니다encode('utf-8') ,decode('utf-8') 같은 방법도 시도해 보았는데 해결되지 않아 질문드립니다 ..ㅠㅠ
해결
1
helpme2
·
3년 이상
552
0
해결 1
airflow DAG SQL 문법!!!!!!
name = 'jonggun'sql_insert_data = "insert into sql_test_ST(NAME) values (name);" with DAG(dag_id='test_sql', schedule_interval='@daily',
답변
0
helpme2
·
3년 이상
354
0
답변 0
airflow, bs4, selenium
airflow에서 웹크롤링으로 시간대별 뉴스기사 정보를 가져오려고 합니다.근데 파이썬에서는 bs4, selenium 다 인식하고 동작도 하는데 에어플로우 UI에서 ModuleNotFoundError: No module named 'selenium'이런 에러가 발생합니다. bs4도 똑같구요.따로 설치해야 할 것이 있나요? 아니면 원래 airflow에서는 사용 불가한가요??
답변
0
kyounghunJang
·
거의 4년
529
0
답변 0
airflow pymysql 연결 문제
현재 docker에서 airflow와 mysql 사용중에 있습니다. airflow에서 MySql
해결
2
missy
·
약 4년
394
0
해결 2
Ubuntu Airflow vscode
처음으로 리눅스 ubuntu, airflow 학습을 시작했습니다.Ubunto $
Search Bar
