Somaz의 IT 공부 일지

ELK에서 EFK로 마이그레이션: Kubernetes 환경에서의 로그 파이프라인 전환

OverviewELK Stack(Elasticsearch + Logstash + Kibana)은 오랫동안 로그 관리의 업계 표준이었다. 하지만 Kubernetes 환경에서 Logstash의 무거운 JVM 기반 리소스 사용량과 Filebeat의 제한된 유연성은 운영 부담으로 작용했다. 이번 포스팅에서는 Logstash를 Fluentd로, Filebeat를 Fluent Bit로 교체하여 EFK Stack으로 마이그레이션한 과정을 정리한다. 아키텍처 설계, Fluentd 필터 파이프라인, Pino/Winston 로그 정규화, 그리고 마이그레이션 과정에서의 교훈까지 실무 중심으로 다룬다. 왜 ELK에서 EFK로 마이그레이션했는가?항목ELK (변경 전EFK (변경 후)로그 수집기Filebeat (Go, ..

IT 엔지니어의 지식, 기술 정보 공유 오픈카톡방 공유

https://open.kakao.com/o/ggXqFYMi IT 정보/기술/뉴스를 나누고 성장하는 엔지니어들#AWS #IT #클라우드 #네트워크 #엔지니어 #시스템 #전산직 #시스코 #아리스타네트웍스 #정보보안open.kakao.com취준생 주니어분들 오셔서 정보 받아가세요!!

OverviewAWS 멀티 계정 환경에서 가장 큰 운영 과제는 "수많은 계정에 사람들이 어떻게 안전하고 편리하게 접근하는가"이다. 계정이 늘어날수록 각 계정마다 IAM User를 생성하는 방식은 보안과 관리 측면에서 한계가 명확하다. AWS IAM Identity Center(구 AWS SSO)는 이를 해결하는 중앙 집중형 로그인 서비스이다. 본 포스팅에서는 핵심 개념부터 실무 환경 구축까지 상세히 다룬다. 1. 왜 IAM Identity Center인가? (vs IAM User)계정이 3개 이상이라면 IAM Identity Center 도입은 선택이 아닌 필수다.항목IAM User 방식IAM Identity Center 방식인증 방식계정별 IAM User + 장기 자격 증명(Access Key..

Overview기업의 규모가 커지고 클라우드 도입이 가속화됨에 따라, 단일 AWS 계정(Single Account)만으로 수많은 워크로드를 관리하는 것은 보안, 비용 분석, 리소스 격리 측면에서 한계가 명확하다. AWS는 이를 해결하기 위해 멀티 계정 전략(Multi-Account Strategy)을 권장하며, 그 중심에는 모든 계정의 기초 공사 역할을 하는 Landing Zone이라는 핵심 개념이 있다. 과거에는 'AWS Landing Zone'이라는 수동 설치형 솔루션을 직접 구축해야 했으나, 현재는 이를 자동화한 매니지드 서비스인 AWS Control Tower가 표준으로 자리 잡았다. 이번 포스팅에서는 두 방식의 차이점부터 실무에서 필수적인 거버넌스 전략, 그리고 실제 Hands-On까지 심도 있..

OverviewEKS 환경에서 무중단 배포를 구축하는 과정에서 겪은 트러블슈팅 경험을 공유하고자 한다.이전 포스팅에서 일반 Deployment 배포를 안전하게 유지하는 4가지 설정(preStop, Pod Readiness Gate, RollingUpdate, PDB)을 다루었다. 이번에는 그 바로 윗단계 레이어인 Argo Rollouts 배포 전략에 대한 이야기다. 운영 중인 Fastify 기반의 Stateless HTTP API 서비스가 배포될 때마다, 원인 모를 ALB 503 에러가 순간적으로 발생했다. 재미있는 점은 컨테이너 애플리케이션 자체는 아주 건강했고 에러 로그가 전혀 없었다는 것이다. 범인은 애플리케이션이 아닌 로드 밸런서(ALB)에 있었다. 왜 이런 일이 발생했는지, 그리고 이를 해결하기..

OverviewEKS에서 Fargate와 EC2 노드 그룹을 비교하던 초기에는 클러스터에 컴퓨팅 자원을 추가하는 경로가 사실상 두 가지뿐이었다. 이후 Karpenter가 등장하며 노드 프로비저닝 패러다임이 바뀌었지만, 이를 운영하려면 Terraform(인프라)과 Helm(인클러스터 리소스)이라는 두 개의 레이어를 지속적으로 관리해야 했다. 그리고 네 번째 선택지로 EKS Auto Mode가 추가되었다. 흔히 Auto Mode를 두고 "AWS가 컴퓨팅을 알아서 관리해 주는 기능" 이라고 소개하지만, 이는 기술적인 실체를 설명하기에는 다소 추상적인 표현이다. Auto Mode의 구조를 기술적으로 정의하면 다음과 같다.EKS Auto Mode는 AWS가 운영 책임을 위임받은 Karpenter다. 완전히 ..

OverviewHomebrew를 통해 bash를 사용하는 macOS 환경에서, bash 버전이 5.2에서 5.3.9로 업데이트된 후 터미널을 열 때마다 `setlocale: LC_CTYPE: cannot change locale (): Bad file descriptor` 경고가 반복 출력되는 문제가 발생할 수 있다. 이 글에서는 해당 에러의 원인을 분석하고, `~/.bash_profile` 설정만으로는 왜 해결되지 않는지 설명한다. 그리고 macOS의 `launchctl` 과 `LaunchAgent` 를 활용하여 bash 프로세스가 시작되기 전에 로케일 환경변수를 주입하는 방법으로 문제를 해결한다. 환경ItemValueOSmacOS 14.6.1 (Sonoma)ArchApple Silicon (a..

OverviewAWS에서 이벤트 기반 아키텍처를 설계할 때 가장 자주 등장하는 서비스가 SNS, SQS, EventBridge다. 세 서비스 모두 "메시지를 전달한다"는 공통점이 있지만, 설계 목적과 사용 방식이 다르다.이 글에서는 각 서비스의 개념과 특징을 정리하고, 어떤 상황에서 어떤 조합을 선택해야 하는지 실전 기준으로 비교한다. SNS (Simple Notification Service)SNS는 Pub/Sub 메시징 서비스다. 하나의 메시지를 여러 구독자에게 동시에 전달하는 것이 핵심이다. 동작 방식Publisher → SNS Topic → Subscriber 1 (SQS) → Subscriber 2 (Lambda) ..

Overview멀티 Git 플랫폼 환경에서 리포지토리 동기화는 흔한 과제다. 특히 CodeCommit을 소스로 사용하면서 사내 GitLab이나 GitHub으로 미러링해야 하는 경우, 각 플랫폼마다 이벤트 수신 방식이 달라 통합된 솔루션이 필요하다. 이 글에서는 Go로 작성한 Git 리포지토리 미러링 도구 git-bridge를 소개한다. AWS EventBridge + SQS를 활용한 CodeCommit 이벤트 수신, GitLab/GitHub 웹훅 수신, 그리고 Terraform으로 인프라를 프로비저닝하는 전체 구축 과정을 다룬다.주요 특징: 멀티 프로바이더(CodeCommit, GitLab, GitHub), 양방향 미러링, DLQ 기반 재시도, Slack 알림, Kubernetes 네이티브 배포 http..

Overview본 글은 분산 추적(Distributed Tracing) 시리즈의 마지막 제3편이다. 이론과 개념을 다루었던 제1편과 AWS EKS 환경에서 실제 인프라(S3 기반 Tempo, OTel Collector 게이트웨이, GitOps 자동 계측)를 구축했던 제2편에 이어, 이번 편에서는 시스템이 본격적으로 가동된 이후의 운영 및 튜닝(Day-2) 단계를 집중적으로 다룬다. 인프라 셋업이 완료되었으므로 이제 아키텍처를 다시 구축하는 이야기는 하지 않는다. 대신, 수집된 데이터를 바탕으로 실전 APM 대시보드를 입체적으로 읽는 방법, 메트릭의 이상 지표(Spike)에서실제 결함 트레이스로 단 한 번의 클릭만으로 점프하는 이그젬플러(Exemplars) 활용법, 그리고 서비스 오픈 및 트래픽 유입 시점..