하는 일/데이터엔지니어링

[Medium 아티클] 나중에 참고하기 좋을듯 - Doker, Airflow, Spark, Kafka, Cassandra

yeznable 2025. 1. 8. 10:19
728x90

일단 지금은 무료로 읽을 수 있는데 나중에는 어떨지 모르겠다.

소스랑 상세한 설명이 다 있어서 참고하기 좋을듯 하다.

 

Doker, Airflow, Spark, Kafka, Cassandra를 모두 활용한 실시간 데이터 파이프라인 구축 예시다.

아티클에서 구현하는 구조

 

 

End-to-End Realtime Streaming Data Engineering Project using Python, Docker, Airflow, Spark, Kafka…

In the world of data engineering, real-time data pipelines are crucial for processing and analyzing streaming data. In this article, we’ll…

medium.com

 

 

728x90