목록2025/05 (12)

yeznable

[ ClickHouse ] DELETE 또는 UPDATE를 위한 테이블 엔진 정리

클릭하우스 데이터베이스에서 가장 일반적인 MergeTree 엔진을 활용한 테이블은 DELETE 또는 UPDATE가 어렵다.그렇다면 DELETE 또는 UPDATE가 꼭 필요한 상황에는 어떻게 해야할까 궁금했고 ReplacingMergeTree와 CollapsingMergeTree 엔진에 대해 알게 되었다. 이번에 알게된 테이블엔진에 따른 동작의 차이를 다음 세가지 엔진에 대해 비교하며 정리한다.MergeTree ReplacingMergeTree CollapsingMergeTreeMergeTreeMergeTree 는 INSERT와 SELECT에 최적화된 테이블 엔진으로 DELETE와 UPDATE 동작을 하기에는 좋지 않다고 한다.이를 실제로 실습하면서 알아보기 위해 다음 쿼리로 실습용 테이블을 만든다...
하는 일/데이터엔지니어링 2025. 5. 30. 16:12
[ 프로젝트 세팅 ] Superset + ClickHouse (Windows)

윈도우 환경에서 Superset에 ClickHouse를 연결한 실습 내용을 나중에 찾아보기 좋게 남겨둔다.ClickHouse 세팅은 이전에 했던 실습 내용을 가지고 진행했다. [ 맛보기 ] ClickHouse - OLAP 특화 데이터베이스최근의 프로젝트 트렌드와 과정을 보여주는 다음 링크에서 ClickHouse라는 데이터베이스에 대해 알게 되었다. Open Source Database - Popularity Trends | OSS InsightThe following dynamic charts show the popularity trends ofyeznable-blog.tistory.com위의 실습 결과에서 docker-compose.yml 파일을 네트워크 설정을 위해 나중에 수정해줘야 한다. Super..
하는 일/데이터엔지니어링 2025. 5. 29. 16:59
[ 프로젝트 세팅 ] ClickHouse + dbt (Windows, uv)

ClickHouse + dbt 프로젝트 세팅 방법을 남겨둔다.이 세팅은 다음 링크의 내용을 따라 ClickHouse가 Windows 운영환경의 WSL에서 실행되고 있다는 것을 전제로 이어서 진행된다. [ 맛보기 ] ClickHouse - OLAP 특화 데이터베이스최근의 프로젝트 트렌드와 과정을 보여주는 다음 링크에서 ClickHouse라는 데이터베이스에 대해 알게 되었다. Open Source Database - Popularity Trends | OSS InsightThe following dynamic charts show the popularity trends ofyeznable-blog.tistory.com 위 링크의 내용을 따라서 ClickHouse를 잘 설정했다면 다음 조건들을 만족할 것이다...
하는 일/데이터엔지니어링 2025. 5. 28. 17:00
[ 맛보기 ] ClickHouse - OLAP 특화 데이터베이스

최근의 프로젝트 트렌드와 과정을 보여주는 다음 링크에서 ClickHouse라는 데이터베이스에 대해 알게 되었다. Open Source Database - Popularity Trends | OSS InsightThe following dynamic charts show the popularity trends of GitHub repositories in this collection. You can display the popularity of repositories based on the number of stars, pull requests, pull request creators, and issues.ossinsight.io 2025년 5월 기준으로 깃헙에서 elastricsearch 다음으로 많은 ..
하는 일/데이터엔지니어링 2025. 5. 27. 17:56
[ 맛보기 ] 현대적인 워크플로우 오케스트레이션 Kestra

2015년에 출시했던 Airflow보다 현대적인 워크플로우 오케스트레이션이라는 Kestra 프로젝트를 실습하며 사용법을 익히는 내용을 기록해둔다.ChatGPT에게 둘을 비교해달라고 하면 다음과 같이 답해준다.Airflow VS Kestra🧭 큰 그림 먼저항목AirflowKestra출시 시기2015 (Apache)2022 (신생, 빠르게 성장 중)설계 철학코드 기반 워크플로우선언형 + YAML 기반 워크플로우사용 방식Python DAG 작성YAML 또는 API로 플로우 정의목적전통적 ETL/데이터 파이프라인클라우드/스트리밍/파일/서버리스까지 포괄 ⚙️ 주요 경쟁력 차이1. 🔧 구성 및 유지보수 난이도항목AirflowKestra설치복잡 (DB, Scheduler, Worker 등 필요)간단 (단일 프로세..
하는 일/데이터엔지니어링 2025. 5. 21. 12:25
[ 프로젝트 ] ChatGPT랑 LOG CREATER 만들어보기 (2)

GitHub - yejoonlee/GAME_LOG_CREATERContribute to yejoonlee/GAME_LOG_CREATER development by creating an account on GitHub.github.com 지난번 이후로 더 발전시켜서 어느정도 맘에 드는 모양의 로그 크리에이터를 만들었다.위의 링크는 바로 다운받아서 사용할 수 있게 안내해둔 깃헙 저장소.아래 링크는 만드는 과정이다. ChatGPT - 게임 로그 시뮬레이터 만들기Shared via ChatGPTchatgpt.com
하는 일/프로젝트 2025. 5. 19. 14:36
[ 맛보기 ] Windows + WSL2 + Docker + Prometheus + Grafana

필요할 때 Prometheus와 Grafana를 활용할 수 있게 간단하게나마 테스트 구현해본 경험을 남겨둔다.Windows 환경에서 Docker Desktop은 요즘 회사에서 쓰기엔 유료로 정책이 바뀌었고 너무 손쉬운 버튼 클릭에 문제가 생겼던 적이 있어서 WSL2와 Docker CLI를 활용했다.WSL2 확인전에 도커 데스크탑을 사용했던적이 있어서 확인해보면 남아있다.이번에는 사용하지 않고 Docker CLI를 쓸거기 때문에 Stopped 상태여도 상관 없다.# wsl 확인wsl --list --verbose# 출력 결과# NAME STATE VERSION# * Ubuntu-20.04 Running 2# docke..
하는 일/데이터엔지니어링 2025. 5. 14. 16:41
[ Airflow ] Linux + Airflow 로그 삭제

Airflow를 운영한지 꽤 됐는데 따로 크론 작업으로 로그 삭제 스케줄을 설정 해두지는 않았다.(Airflow에서 제공하는 로그 제한 기능은 내가 사용하는 버전에는 없다고 한다.) 로그가 얼마나 생겼고 얼마나 용량을 차지하는지 확인해봤다.# airflow 경로로 이동cd ~/airflow# 현재 경로에 있는 디렉토리들의 용량 확인du -sh * 무려 123GB나 차지하고 있었던 logs 폴더30일 간의 로그만 남기고 전부 날렸다.# 30일 이전에 생성된 파일들 삭제find /root/airflow/logs -type f -mtime +30 -delete 남은 로그파일의 용량은 8.8GB로 많이 줄어들었다.
하는 일/데이터엔지니어링 2025. 5. 13. 17:57
이전 Prev 1 2 Next 다음