Airflow2 Airflow Design Patterns 댁을 작성하면서 반성하면서 생각한 주제에어플로 센서와 DAG 작성에 관한 이야기이하 DAG는 에어플로 DAG를 칭함Deferrable Operator기존의 오퍼레이터는, 실행되면 CPU와 리소스를 끝날 때까지 점유.👉🏿 Polling을 하는 등 대기하는 작업에는 쥐약...👉🏿 Deferrable Operator는 작업이 바로 끝나지 않더라도, Triggerer 프로세스로 제어권 넘기고, 리소스 반환.👉🏿 특정 이벤트가 발생하거나 polling 결과가 변화했을 때 컨티뉴.👉🏿 HttpSensor, S3KeySensor, SQLSensor 요런거.👉🏿 비동기 방식으로 리소스 사용을 최적화.👉🏿 커스텀 트리거를 만들어서, 커스텀 오퍼레이터에서 사용하면 커스텀 센서를 만들 수 잇다. exe.. 2025. 3. 25. 위상 정렬과 DAG 에어플로💨는 태스크 의존성을 어떻게 인식할까?🎄 위상 정렬(Topological Sorting)?Directed Graph에서 의존 관계를 유지하면서 순서를 정하는 방법. 위상 정렬이 가능하려면 사이클이 없어야 함❌. 즉, DAG(Directed Acyclic Graph)여야 함.👽 Ex? 요런 태스크가 잇다구 가정하자 Inorder 인 Khan's Algorithm이란게 있나보다😮... 적용해보면,from collections import deque# n = 노드 갯수, edges = (노드, 자식)으로 구성된 리스트def topological_sort(n, edges): # 이웃 리스트, in order 리스트 adj = {i: [] for i in range(n).. 2025. 3. 12. 이전 1 다음
