Somaz의 IT 공부 일지

GitLab Source Backup & Restore with rclone + Google Drive

OverviewGitLab 소스를 Google Drive 공유 드라이브에 자동 백업하고, 필요 시 리스토어하는 방법을 정리한다. `git clone --mirror` 를 사용하여 모든 브랜치, 태그, 커밋 히스토리를 포함한 완전한 백업을 생성하고, `rclone` 을 통해 Google Drive에 업로드한다. 리스토어 시에는 `git push --mirror` 로 원본과 동일한 상태를 복원할 수 있다.[Backup Flow]GitLab CI Pipeline (push / manual trigger) → git clone --mirror (all branches + tags + history) → tar compress → rclone copy → Google Drive (Shared Drive)[R..

OverviewGoogle Cloud에서 컨테이너 기반 애플리케이션을 운영할 때 선택할 수 있는 주요 플랫폼은 GKE Standard, GKE Autopilot, 그리고 Cloud Run이다. 각각은 서로 다른 운영 복잡도와 비용 구조를 가지고 있으며, 워크로드의 특성에 따라 최적의 선택이 달라진다. GKE Standard는 전통적인 Kubernetes 클러스터로 최대한의 제어권을 제공하지만 운영 부담이 크다. GKE Autopilot은 Google이 노드 관리를 대신해주는 서버리스 Kubernetes 솔루션이며, Cloud Run은 완전 관리형 서버리스 컨테이너 플랫폼이다. 이 글에서는 각 플랫폼의 특징과 적합한 사용 사례를 분석하여 최적의 컨테이너 전략 수립을 도와주겠다. 플랫폼 비교 개요..

OverviewKubernetes 클러스터를 운영하다 보면 Git에 정의된 manifest와 실제 클러스터 상태가 달라지는 현상, 이른바 Cluster Drift가 발생한다. 누군가 `kubectl edit` 으로 replicas를 수동 변경하거나, `kubectl scale` 로 급하게 스케일링했을 때, Git 소스와 클러스터 상태 사이에 괴리가 생긴다. 기존 `kubectl diff` 로도 비교가 가능하지만, YAML 파일만 지원하고, Helm/Kustomize를 직접 다룰 수 없으며, 출력이 raw unified diff라 가독성이 떨어진다. 이 글에서는 이런 문제를 해결하기 위해 직접 만든 두 가지 도구를 소개한다.kube-diff — Go로 작성한 CLI 도구. Plain YAML, Helm..

OverviewGitLab CI/CD 파이프라인이 복잡해질수록 YAML 설정 파일에서 중복된 코드와 복잡한 구성이 늘어난다. 이는 유지보수를 어렵게 만들고 실수 가능성을 높입니다. GitLab은 이러한 문제를 해결하기 위해 YAML 재사용 기능들을 제공한다. 이번 글에서는 GitLab CI/CD YAML 파일을 최적화하는 세 가지 핵심 방법을 살펴보겠다. GitLab CI/CD에서 제공하는 YAML 최적화 도구들은 크게 세 가지로 나눌 수 있다.YAML 앵커(Anchors): 전통적인 YAML 문법을 활용한 재사용extends 키워드: GitLab에서 권장하는 구성 상속 방식!reference 태그: 선택적 참조를 통한 유연한 재사용 각각의 특징과 사용법을 자세히 알아보겠다. 1. YAML 앵..

Overview현대 애플리케이션의 데이터 요구사항은 그 어느 때보다 복잡하고 다양하다. Google Cloud Platform(GCP)은 이러한 다양한 요구사항을 충족하기 위해 관계형, NoSQL, 분석형 데이터베이스 서비스를 포괄적으로 제공한다. 각 데이터베이스는 고유한 강점과 적용 시나리오를 가지고 있어, 올바른 선택이 애플리케이션의 성능과 비용 효율성을 크게 좌우한다. Cloud SQL은 전통적인 관계형 데이터베이스의 완전 관리형 서비스로, MySQL, PostgreSQL, SQL Server를 지원하며 기존 애플리케이션의 클라우드 마이그레이션에 최적화되어 있다. Cloud Spanner는 Google이 개발한 혁신적인 글로벌 분산 관계형 데이터베이스로, ACID 트랜잭션과 수평적 확장성을 동시에 ..

Overview클라우드 네트워킹에서 다양한 리소스 간의 안전하고 효율적인 연결은 현대 IT 인프라의 핵심이다. Google Cloud Platform(GCP)은 온프레미스 환경, 다른 클라우드 제공업체, 그리고 GCP 내부 리소스 간의 연결을 위한 다양한 네트워킹 옵션을 제공한다. VPC Peering은 같은 조직 내 또는 서로 다른 조직의 VPC 간 프라이빗 연결을 제공하며, Cloud Interconnect는 온프레미스 네트워크와 GCP 간의 전용 연결을 통해 높은 대역폭과 낮은 지연시간을 보장한다. Cloud VPN은 인터넷을 통한 암호화된 터널을 제공하여 비용 효율적인 하이브리드 연결을 가능하게 한다. 최근 GCP의 네트워킹 서비스는 더욱 정교해졌다. Shared VPC를 통한 중앙집중식 네트워크..

OverviewRedis는 오랫동안 인메모리 데이터 스토어의 대명사였다. 캐싱, 세션 관리, 메시지 큐 등 다양한 워크로드에서 독보적인 성능을 보여주며 사실상 업계 표준으로 자리잡았다. 그러나 2024년 3월, Redis Inc.가 기존의 BSD 3-Clause 라이선스를 버리고 소스 어베일러블(Source-Available) 라이선스로 전환하면서 상황이 크게 달라졌다.이에 대한 응답으로 Linux Foundation의 주도 하에 AWS, Google Cloud, Oracle 등 주요 클라우드 벤더들의 지원을 받아 Valkey 프로젝트가 탄생했다. Valkey는 Redis 7.2.4(마지막 오픈소스 버전)를 포크하여 시작된 프로젝트로, BSD 3-Clause 라이선스를 유지하며 진정한 오픈소스 인메모리..

Overview현대의 웹 애플리케이션에서 글로벌 사용자에게 빠르고 안정적인 콘텐츠 전송은 필수적인 요소가 되었다. AWS는 이러한 요구사항을 충족하기 위해 CloudFront와 Global Accelerator라는 두 가지 주요 서비스를 제공한다. 두 서비스 모두 글로벌 네트워크를 활용하여 성능을 개선하지만, 각각 다른 목적과 장점을 가지고 있다. CloudFront는 전통적인 CDN(Content Delivery Network) 서비스로, 정적 및 동적 콘텐츠를 전 세계 엣지 로케이션에 캐싱하여 사용자에게 더 가까운 위치에서 콘텐츠를 제공한다. 반면 Global Accelerator는 네트워크 계층에서 작동하여 AWS의 글로벌 네트워크 인프라를 통해 트래픽을 최적화된 경로로 라우팅한다. 이 글에서는..

OverviewAmazon EKS에서 제공하는 두 가지 컴퓨팅 옵션의 기술적 차이점, 비용 구조, 운영 고려사항을 종합적으로 비교 분석한다. 컨테이너 오케스트레이션 영역에서 Amazon EKS는 기업들이 Kubernetes 클러스터를 관리하는 방식을 혁신적으로 변화시켰다. 특히 워커 노드를 운영하는 방식에서 두 가지 근본적으로 다른 접근법을 제시하며, 각각이 현대 클라우드 네이티브 아키텍처의 서로 다른 요구사항을 해결한다. Fargate는 서버리스 컨테이너 플랫폼으로서, 인프라 관리의 복잡성을 완전히 추상화한다. 개발자와 DevOps 엔지니어들이 애플리케이션 로직에만 집중할 수 있도록 하며, AWS가 모든 인프라 레이어를 투명하게 관리한다. 이는 특히 스타트업이나 개발 팀이 제한적인 운영 리소스로 복잡한..

Overview최근 AI 기술의 발전으로 ChatGPT, Claude 같은 상용 LLM 서비스가 대중화되었지만, 보안이 중요한 기업 환경에서는 민감한 데이터를 외부 API로 전송하기 어려운 경우가 많다. 이러한 상황에서 온프레미스 환경에 자체 LLM을 구축하면 데이터 보안을 유지하면서도 AI의 이점을 활용할 수 있다. 이번 글에서는 NVIDIA GPU가 장착된 물리 서버에 Ollama를 설치하고, Open WebUI를 통해 웹 인터페이스를 제공하는 사내 LLM 시스템을 구축하는 전체 과정을 다룬다. NFS를 활용한 스토리지 관리와 Docker Compose를 이용한 컨테이너 오케스트레이션까지 포함하여 실무에 바로 적용 가능한 완전한 솔루션을 제시한다. 시스템 구성 및 사전 요구사항 하드웨어 환경..