Datadesigner 님의 블로그

  • 홈
  • 태그
  • 방명록

airflow 1

26.01.19 71일차 [Airflow | ELK_Elasticsearch, AWS OpenSearch | Kafka_실시간 스트리밍 데이터 대용량 처리 , 개요, 구성, 실습]

오늘은 airflow에서 elasticsearch 의 개념과 opensearch의 개요, 수업과 opensearch를 이용한 대시보드 구성 방법을 실습하고 이후 kafka의 이론과 첫 기초단계 실습을 진행하였다. Elasticsearch, AWS OpenSearch 이해ElasticsearchApache Lucene에 구축되어 배포된 검색(원하는 정보를 검색해) 및 분석(데이터 분석) 엔진방대한 양의 데이터를 신속하게(거의 실시간)저장, 검색, 분석을 수행할 수 있음데이터 발생하는 곳 → 전달(지연이 있을 수 있음) → Elasticsearch장점고가용성 : 분산 구조(노드, Replica 샤드)를 통해 서비스 중단 없이 이용 가능데이터를 여러곳에 분산 저장 → 그 한곳이 장애 발생해도 금방 복구, 카..

ASAC-SK플래닛 T아카데미 데이터 엔지니어 2026.01.19
이전
1
다음
더보기
프로필사진

Datadesigner 님의 블로그

sk플래닛 T아카데미 AI활용 데이터 엔지니어 과정 1기 수강생입니다. 이전에 공간디자인을 전공하고 관련 회사에 있었으며, 디자이너의 시선으로 컴퓨터 사이언스를 새롭게 바라보려 합니다.

  • 분류 전체보기 (72)
    • ASAC-SK플래닛 T아카데미 데이터 엔지니어 (70)
    • ISSUE (2)

Tag

비전공자개발자, 개발, 코딩, AI시대개발자, 디자이너, IT취업트렌드, 부트캠프, 데이터 엔지니어, 동료학습, aiagent, 실무형인재, 개발자취업현실, SK플래닛, 데이터엔지니어, T아카데미, 데이터, 리눅스, AI, 개발자, 인프라배포,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/03   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바