26.01.14 68일차 [airflow 특강 | 취업 특강]

오늘은 airflow 특강과 취업 특강이 있었다.

 

airflow 특강은 지금 우리가 듣고 있는 수업에서 기초부분을 다시 다지는 역할과 

 

새로운 기능 몇가지를 추가로 배울 수 있었다.

 

오늘은 새로운 기술 기반으로 복습하려 한다.

---

TaskFlow

기존에 우리는 명시적 의존성을 표현하는 >> 방식의 표기를 주로 사용하였는데

 

실무에서는 taskflow라는 방식과 >> 방식을 혼용하여 사용한다고 한다.

 

이 방식의 장점은 xcom으로 담아야 할 내용들을 이미 담은 상태로 움직이게 해줘서 

 

코드가 훨씬 간편해진다고 한다.

 

실행 순서와 데이터 흐름을 동시에 표현하며 주로 이 방법을 권장한다.

 

하지만 실제로 taskflow만 사용하는것은 아니고 >> 방식도 함께 사용한다, 그 이유는 >> 방식에만 있는 오퍼레이터도 있으며

 

동시에 취향차이라고 한다.

 

 

BranchPythonOperator

 

브랜치파이썬 오퍼레이터는 조건에따라 실행 경로를 나눠주는 브랜치의 기능을 하는 오퍼레이터로

 

원래는 한개의 업무라도 실패하면 바로 멈추는게 맞지만

 

브랜치 오퍼레이터는 예를들어 a b 두 가지 브랜치를 정해두고 그에 맞게 움직이게 도와주는 시스템이라고 한다.

 

Shortcircuitoperator

 

숏컷 오퍼레이터는 브랜치와는 반대로 전체를 중단하는데 사용된다.

 

조건이 false일 경우 모든 업무를 스킵하고 전체를 중단한다.

 

파이프라인을 조기에 멈추는데에 사용된다.

 

코드를 예로 들면 시간의 분 부분이 짝수라면 트루로 작동하여 업무가 실행되고,

 

홀수라면  false로 업무가 종료된다.

 

불필요한 작업을 하지 않고 즉시 워크플로우를 종료한다.

 

그리고 쿠버네티스팟 오퍼레이터는 설명만으로 넘어갔는데 추후 수업에서 kubernetespodoperator 수업이 있으면 그때 기술하겠다.

 

---

취업특강

 

 

취업특강의 주된 내용은 현재 ai가 대두되고있는 현 시대에서 mcp 와 a2a등의 ai 에이전트 기술에 대한 설명이 있었고

 

보안, 데이터 흐름 등의 다양한 분야에서 실제로 사람들이 요구하는 기술과 ai 트렌드 등의 수업이 있었다.

 

그리고 데이터 분야 직무에 대한 설명과 현 시대에서 필요로 하는 능력치, 기술 스택 설명등이 있었는데

 

데이터엔지니어가 최근 수요가 많아지고 아주 전망이 좋다는 내용도 있었다.

 

내가 흥미로웠고 질문하게 된 부분은 현재 내가 원하는 기획적인, 문과적인 설계 관련된 기술을 기르는 법과

 

현재 ai mcp , rag 기술등이 실무에서 얼마나 사용되고, 얼마나 도입되고있는지 등이

 

실무자에게 아주 궁금했다. 그리고 질문하게 되었는데 수업이 4시까진데 내가 질문해서 수업이 좀 시간을 지나서 끝나서 하나도 안 미안했다 궁금한건 물어봐야지 그게 맞는거다 

 

그리고 아주 좋은 인사이트를 얻을 수 있었다, 내가 원하는 기획적 능력과 현재mcp rag 기술등을 도입해서 다양한 방향으로 뻗어나갈 수 있는 방향성과 생각을 들을 수 있었다,

 

별개의 질문이었지만 이전에 했던 질문을 함께 엮어서 생각하고 대답해주시는 모습에서 아주 감사했고 좋은 시간이었다.

 

나머지는 내 필살기가 될 수 있으니 말 안할거다.

 

아주 좋은 특강이었다. 

 

t아카데미가 특강, 세미나 부분에 있어서는 퀄리티가 아주 만족스러운 것같다. 수업이 별로라는말은 절대 아니다 수업도 아주 훌륭하다고 생각한다.

 

우리 수업해주신 강사님이 2기도 맡아서 하신다는데 프로젝트 할때도 놀러가야지