Somaz의 IT 공부 일지

Overview클러스터 내 상태를 시각화하고 알림까지 자동화할 수 있는 Grafana는 DevOps 환경에서 빠질 수 없는 필수 툴이다.특히 Kubernetes 환경에서는 Helm을 활용해 빠르게 배포하고 유지관리할 수 있어 실무에서 매우 유용하게 사용된다. 이 글에서는 Helm Chart를 활용한 Grafana 설치 과정을 DNS 설정부터 Dashboard 커스터마이징까지 단계별로 정리해보겠다. 📅 관련 글2024.03.05 - [Monitoring] - Fluent Bit (With Loki)2024.09.12 - [Monitoring] - Prometheus와 Thanos란?2024.09.12 - [Monitoring] - Prometheus 와 Thanos 설치 및 구성2024.09.1..

OverviewGrafana는 시계열 데이터(Time-series data)를 시각화하고 모니터링할 수 있게 해주는 오픈소스 대시보드 도구이다.Prometheus, Loki, InfluxDB, Elasticsearch, MySQL 등 다양한 데이터 소스를 연결해 실시간 데이터를 직관적으로 분석할 수 있으며, 대시보드 형태로 통합 관리가 가능해 DevOps, 인프라 운영, 애플리케이션 모니터링 등에서 널리 활용된다. 📅 관련 글2024.03.05 - [Monitoring] - Fluent Bit (With Loki)2024.09.12 - [Monitoring] - Prometheus와 Thanos란?2024.09.12 - [Monitoring] - Prometheus 와 Thanos 설치 및 구성..

Overview이번 글에서는 로그 수집 및 시각화 시스템인 ELK Stack (Elasticsearch, Logstash, Kibana, Filebeat)을 Kubernetes 환경에서 직접 구축하는 방법을 정리해보았다. 기본적인 ELK 스택의 아키텍처와 각 컴포넌트의 역할, 그리고 실제 운영 환경에서 구성한 Helm 기반 배포 방식과 커스텀 파서 적용 방법까지 상세히 다루며, 실무에서 필요한 구조적인 로그 파싱과 동적 인덱스 설정, 메트릭 처리 및 로그 필터링 방법도 함께 설명하였다. 또한 Filebeat와 Logstash 설정 시 JSON 처리, 로그 필드 가공, 조건 분기 등의 활용 예제를 포함하여 Kibana에서 쉽게 분석 가능한 구조로 만드는 방법도 공유하였다. 마지막으로 운영 시 주의할 점과 ..

OverviewLoki는 Grafana가 개발한 경량 로그 수집 및 분석 시스템으로, Prometheus의 메트릭 수집 방식과 유사하게 설계된 로그 수집 도구이다.Kubernetes 환경에서 로그 파이프라인을 구축할 때 Loki는 높은 확장성과 효율성을 제공하며, Promtail은 이 로그를 Loki에 전달하는 에이전트 역할을 한다. 본 글에서는 기존 Loki-Stack 대신 최신 Loki Helm Chart(2024.10월 기준)를 사용하여 단일 바이너리(SingleBinary) 모드로 Loki를 설치하고,별도의 Helm Chart를 통해 Promtail까지 구성하는 방법을 정리하였다. 또한 Grafana 최신 버전과의 호환성을 고려하여 `values.yaml` 을 직접 커스터마이징하고, 실제 Loki..

Overview클라우드 네이티브 환경에서 로그 수집과 관리는 필수적인 요소이다. 하지만 로그는 방대하고 비정형적이며, 기존의 로그 수집 시스템은 스토리지 비용이 많이 들거나, 확장성이 떨어지는 경우가 많다. Loki는 이러한 문제를 해결하기 위해 Grafana Labs에서 만든 분산 로그 집계 시스템으로, Prometheus와 유사한 철학을 기반으로 메타데이터 중심의 로그 색인 구조를 채택하고 있다. 복잡한 파싱이나 필터링 없이 라벨(Label) 기반 로그 수집이 가능하며, Grafana와의 자연스러운 통합 덕분에 메트릭-로그 연계 분석을 쉽게 구현할 수 있다는 점에서 DevOps, SRE 팀의 로그 분석 경험을 획기적으로 개선해주는 도구로 주목받고 있다. 📅 관련 글2024.03.05 - [..

Overview지난번 포스팅에서 Prometheus와 Thanos에 대해서 알아보았다. 이번에는 Prometheus와 Thanos 설치 및 구성에 대해서 알아본다. 모든 설치는 Helm으로 진행된다.그리고 PV와 PVC를 설정해야 하기때문에 Storage 구성을 위한 Provionser 설정은 되어 있어야 한다.그리고 Object Storage(AWS S3, GCP GCS, Minio, Ceph..etc) 준비도 필요하다. Objcet Storage 구성방법https://thanos.io/v0.8/thanos/storage.md/​ Local Storage Dynamic Provisoninghttps://github.com/rancher/local-path-provisioner/tree/master NF..

OverviewPrometheus와 Thanos에 대해서 알아본다. 📅 관련 글2024.03.05 - [Monitoring] - Fluent Bit (With Loki)2024.09.12 - [Monitoring] - Prometheus와 Thanos란?2024.09.12 - [Monitoring] - Prometheus 와 Thanos 설치 및 구성2024.09.12 - [Monitoring] - Loki란?2024.09.13 - [Monitoring] - Loki와 Promtail 설치2025.01.13 - [Monitoring] - ELK Stack 구축해보기 Prometheus와 Thanos란? PrometheusPrometheus는 오픈 소스 모니터링 시스템으로, 주로 시간에 따라..

OverviewFluent Bit는 클라우드 네이티브 환경에서 로그 수집 및 전달을 위해 설계된 경량화된 로그 파이프라인 도구다.  Kubernetes, Docker 등 컨테이너 기반 시스템에서 손쉽게 사이드카로 통합되어 로그를 수집하고, 변환하고, 다양한 백엔드(예: Loki, Elasticsearch, Kafka 등)로 전송할 수 있다. 이 글에서는 Fluent Bit의 기본 개념부터 주요 구성 요소(SERVICE, INPUT, FILTER, OUTPUT, PARSER), 로그 포맷 정의 방식, 그리고 실제 Sidecar 구성 방식(yaml/helm) 예제를 중심으로 설명한다. 실습 기반 접근을 통해 Fluent Bit을 실환경에 빠르게 적용할 수 있도록 구성되어 있다.   📅 관련 글2024.03..