Somaz의 IT 공부 일지

EFK Stack에서 ECK Operator로 마이그레이션하기 (Elastic Stack 9.0)

OverviewElastic 공식 Helm Chart(8.5.1)로 운영하던 ELK Stack은 2년 넘게 업데이트가 없었고, TLS 인증서·계정 암호·StatefulSet 업그레이드를 수동으로 관리해야 하는 구조였다. Elastic은 이미 ECK(Elastic Cloud on Kubernetes) 기반 CRD 관리 방식으로 주류를 옮긴 상태다. 이번 포스팅에서는 기존 ELK Stack(Helm Chart 8.5.1)을 ECK Operator 기반으로 마이그레이션하고, Elastic Stack 9.0.0으로 Major 업그레이드한 전체 과정을 정리한다. 마이그레이션 전략 수립, Phase별 실행 과정, 주요 의사결정과 트러블슈팅까지 실무 중심으로 다룬다. 2026년 04월 15일 기준으로 작성된 글이..

Overviewrclone에서 Google Drive 리모트를 구성할 때 `client_id` 와 `client_secret` 을 비워 두면 rclone 프로젝트에 내장된 공유 OAuth 클라이언트로 인증한다. 기존에는 자체 클라이언트 생성을 성능 최적화용 권장 사항으로 안내했으나, 이 정책이 변경되었다. 사내 rclone 컨테이너 이미지를 v1.75.1로 업데이트하자 백업 작업 로그에 지원 중단 경고가 출력되었다.NOTICE: gitlab-backup: This remote uses rclone's shared Google Drive client_id, which is being retiredand will stop working during 2026. Create your own client_id ..

OverviewELK 스택(Elasticsearch, Logstash, Kibana)은 오랫동안 로그 수집과 관리의 사실상 표준(De facto standard)으로 자리해 왔다. 그러나 Kubernetes 환경에서 JVM 기반 Logstash의 무거운 리소스 소모는 물론, 노드마다 데몬셋으로 배포되는 Filebeat의 메모리 풋프린트(Footprint) 역시 클러스터 운영에 적잖은 부담이 되었다. 이에 Logstash는 Fluentd로, Filebeat는 경량화된 C 기반의 Fluent Bit로 교체하며 리소스 효율적인 EFK 스택으로 전환했다. 본 글에서는 아키텍처 설계를 시작으로 Fluentd 필터 파이프라인 최적화, Pino·Winston 로그 정규화, 그리고 마이그레이션 과정에서 겪은 트러블슈..

https://open.kakao.com/o/ggXqFYMi IT 정보/기술/뉴스를 나누고 성장하는 엔지니어들#AWS #IT #클라우드 #네트워크 #엔지니어 #시스템 #전산직 #시스코 #아리스타네트웍스 #정보보안open.kakao.com취준생 주니어분들 오셔서 정보 받아가세요!!

OverviewAWS 멀티 계정 환경에서 가장 큰 운영 과제는 "수많은 계정에 사람들이 어떻게 안전하고 편리하게 접근하는가"이다. 계정이 늘어날수록 각 계정마다 IAM User를 생성하는 방식은 보안과 관리 측면에서 한계가 명확하다. AWS IAM Identity Center(구 AWS SSO)는 이를 해결하는 중앙 집중형 로그인 서비스이다. 본 포스팅에서는 핵심 개념부터 실무 환경 구축까지 상세히 다룬다. 1. 왜 IAM Identity Center인가? (vs IAM User)계정이 3개 이상이라면 IAM Identity Center 도입은 선택이 아닌 필수다.항목IAM User 방식IAM Identity Center 방식인증 방식계정별 IAM User + 장기 자격 증명(Access Key..

Overview기업의 규모가 커지고 클라우드 도입이 가속화됨에 따라, 단일 AWS 계정(Single Account)만으로 수많은 워크로드를 관리하는 것은 보안, 비용 분석, 리소스 격리 측면에서 한계가 명확하다. AWS는 이를 해결하기 위해 멀티 계정 전략(Multi-Account Strategy)을 권장하며, 그 중심에는 모든 계정의 기초 공사 역할을 하는 Landing Zone이라는 핵심 개념이 있다. 과거에는 'AWS Landing Zone'이라는 수동 설치형 솔루션을 직접 구축해야 했으나, 현재는 이를 자동화한 매니지드 서비스인 AWS Control Tower가 표준으로 자리 잡았다. 이번 포스팅에서는 두 방식의 차이점부터 실무에서 필수적인 거버넌스 전략, 그리고 실제 Hands-On까지 심도 있..

OverviewEKS 환경에서 무중단 배포를 구축하는 과정에서 겪은 트러블슈팅 경험을 공유하고자 한다.이전 포스팅에서 일반 Deployment 배포를 안전하게 유지하는 4가지 설정(preStop, Pod Readiness Gate, RollingUpdate, PDB)을 다루었다. 이번에는 그 바로 윗단계 레이어인 Argo Rollouts 배포 전략에 대한 이야기다. 운영 중인 Fastify 기반 Stateless HTTP API 서비스가 배포될 때마다 일시적인 ALB 503 에러가 발생했다. 애플리케이션 컨테이너는 정상 동작 상태를 유지했고 에러 로그도 기록되지 않았다. 에러는 애플리케이션 내부가 아닌 로드 밸런서(ALB) 수준에서 발생했다. 장애 원인을 분석하고, steps를 지정하지 않는 카나리(Ca..

OverviewEKS에서 Fargate와 EC2 노드 그룹을 비교하던 초기에는 클러스터에 컴퓨팅 자원을 추가하는 경로가 사실상 두 가지뿐이었다. 이후 Karpenter가 등장하며 노드 프로비저닝 패러다임이 바뀌었지만, 이를 운영하려면 Terraform(인프라)과 Helm(인클러스터 리소스)이라는 두 개의 레이어를 지속적으로 관리해야 했다. 네 번째 선택지로 EKS Auto Mode가 추가되었다. Auto Mode는 노드 수명 주기와 인클러스터 인프라 컴포넌트를 AWS 관리형 컨트롤 플레인으로 통합한 컴퓨팅 옵션이다. Auto Mode의 구조를 기술적으로 정의하면 다음과 같다.EKS Auto Mode는 AWS가 운영 책임을 위임받은 Karpenter다. 완전히 새로운 스케줄러가 도입된 것도 아니고,..

OverviewHomebrew를 통해 bash를 사용하는 macOS 환경에서, bash 버전이 5.2에서 5.3.9로 업데이트된 후 터미널을 열 때마다 `setlocale: LC_CTYPE: cannot change locale (): Bad file descriptor` 경고가 반복 출력되는 문제가 발생할 수 있다. 이 글에서는 해당 에러의 원인을 분석하고, `~/.bash_profile` 설정만으로는 왜 해결되지 않는지 설명한다. 그리고 macOS의 `launchctl` 과 `LaunchAgent` 를 활용하여 bash 프로세스가 시작되기 전에 로케일 환경변수를 주입하는 방법으로 문제를 해결한다. 환경ItemValueOSmacOS 14.6.1 (Sonoma)ArchApple Silicon (a..

OverviewAWS에서 이벤트 기반 아키텍처를 설계할 때 가장 자주 등장하는 서비스가 SNS, SQS, EventBridge다. 세 서비스 모두 "메시지를 전달한다"는 공통점이 있지만, 설계 목적과 사용 방식이 다르다.이 글에서는 각 서비스의 개념과 특징을 정리하고, 어떤 상황에서 어떤 조합을 선택해야 하는지 실전 기준으로 비교한다. SNS (Simple Notification Service)SNS는 Pub/Sub 메시징 서비스다. 하나의 메시지를 여러 구독자에게 동시에 전달하는 것이 핵심이다. 동작 방식Publisher → SNS Topic → Subscriber 1 (SQS) → Subscriber 2 (Lambda) ..