Somaz의 IT 공부 일지

NoSQL 데이터 모델링 방법

Overview다양한 유형의 비정형 데이터와 대규모 트래픽을 효율적으로 처리하기 위해 전통적인 RDBMS를 넘어 NoSQL이 널리 사용되고 있다. 이번 글에서는 대표적인 NoSQL 유형인 문서형(MongoDB), 키-값형(Redis), 컬럼형(Cassandra), 그래프형(Neo4j)의 데이터 모델링 방식을 살펴본다. 각 기술은 데이터 구조와 처리 방식에 따라 설계 방법이 다르므로, 상황에 맞는 모델링 전략이 중요하다.      📅 관련 글2022.09.26 - [Open Source Software] - Redis(Remote Dictionary Server)란?2023.04.21 - [Database] - DB 스키마란?(Schema)2023.05.17 - [Database] - MongoDB란?2..

리눅스에서 물리 서버 하드웨어 상태 모니터링 가이드

Overview물리 서버를 운영하다 보면 CPU 온도나 팬 속도, 전압, 전력 소모, 쓰로틀링(성능 저하) 상태 등 다양한 하드웨어 지표를 모니터링해야 할 필요가 있다. 이 글에서는 Ubuntu 기반 리눅스 서버에서 하드웨어 센서 정보를 확인하고 실시간으로 관리할 수 있는 다양한 명령어와 도구를 소개한다. 특히, Supermicro, Dell, HP 같은 서버에서도 적용 가능한 `ipmitool, lm-sensors, powerstat, nvme-cli` 등을 다룬다. 1. lm-sensors를 이용한 CPU 온도 확인sudo apt install lm-sensors -ysudo sensors-detectYES를 반복적으로 입력하여 가능한 모든 센서를 탐지한다.`coretemp` (I..

Overview오늘은 OpenStack Zun에 대해 알아보겠다. Zun은 OpenStack 환경에서 컨테이너를 직접 실행하고 관리하는 서비스이다.Magnum과 달리 Kubernetes 같은 오케스트레이션 플랫폼 없이, OpenStack 네이티브 API와 CLI를 통해 컨테이너 단독 실행 및 관리를 지원하는 CaaS(Container as a Service) 서비스다.​      📅 관련 글2022.05.11 - [Openstack] - Openstack이란?2022.07.29 - [Openstack] - Openstack Nova란?2022.08.08 - [Openstack] - Openstack Neutron이란? (network)2022.08.08 - [Openstack] - Openstack 배..

OverviewETL (Extract, Transform, Load) 파이프라인은 대량의 데이터를 추출(Extract), 변환(Transform), 저장(Load)하는 과정으로, 데이터 분석, 머신러닝, 비즈니스 인사이트를 위한 필수적인 데이터 엔지니어링 프로세스다. 이 글에서는 Hadoop 기반의 ETL 파이프라인 구성 요소와 각 단계별 주요 기술 스택을 설명해보겠다.      📅 관련 글2024.02.02 - [IaC/CI CD Tool] - Argo Workflow란?2024.05.20 - [Data Enginnering] - Airflow란? (개념 및 설치)2025.03.28 - [Data Enginnering] - 대량 데이터 처리와 데이터 아키텍처 설계(OLAP & OLTP)        ..

Overview오늘은 OpenStack Kuryr에 대해 알아보겠다. Kuryr는 OpenStack 환경에서 컨테이너 네트워크를 Neutron과 직접 연결해주는 서비스다.Kubernetes나 Docker 같은 컨테이너 환경에서 네트워크를 설정할 때, OpenStack 네이티브 네트워크 기능을 그대로 활용할 수 있게 도와준다. Kuryr 덕분에 컨테이너 네트워크와 OpenStack 네트워크가 이중 관리되는 문제를 방지하고, 일관된 네트워크 정책(Security Group, Subnet, Router 등)을 유지할 수 있다​   📅 관련 글2022.05.11 - [Openstack] - Openstack이란?2022.07.29 - [Openstack] - Openstack Nova란?2022.08.08 -..

Overview이번 포스팅에서는 Harbor SSO 구성 방법에 대해서 알아본다.OIDC Auth Mode를 사용할 것이고, Azure AD, Gitlab 구성에 대해서 각각 알아본다.        Azrue AD App 구성 Azure Portal에서 App Registration 생성 Azure Portal → Azure Active Directory → App registrations → New registration 앱 이름 입력 (예: "Harbor SSO") Supported account types: "Accounts in this organizational directory only" Redirect URI: - Platform: Web - URL: ht..

Overview오늘은 데이터 파이프라인 및 워크플로 오케스트레이션 도구인 Apache Airflow에 대해 알아본다.Airflow는 데이터 엔지니어링, DevOps, MLOps 등 다양한 분야에서 복잡한 태스크 간의 의존성 관리와 자동화된 실행을 돕는 강력한 도구이다. Airbnb에서 시작되어 현재는 Apache Software Foundation에서 관리되고 있으며, 다양한 Operator 및 확장성을 통해 다양한 클라우드 및 온프레미스 환경에서 유연하게 사용 가능하다.  이번 글에서는 Airflow의 핵심 개념과 구성 요소, 그리고 Kubernetes 기반 오케스트레이션 도구인 Argo Workflow와의 비교를 통해 어떤 환경에 적합한지 이해해보자. 또한 Airflow를 Docker와 Kuberne..

OverviewKubernetes는 기본적으로 Ingress 리소스를 통해 L7(HTTP/HTTPS) 트래픽을 처리하지만, 이 방식은 Layer 4(L4) 수준의 트래픽 제어나 멀티 프로토콜, 복잡한 인증 처리 등에서 한계를 가진다.  이를 해결하기 위해 등장한 Kubernetes Gateway API는 L4~L7까지 유연하게 다룰 수 있는 새로운 네트워크 모델이다. Ingress를 단순히 확장한 것이 아닌, 현대 클라우드 네트워크를 위한 진화된 표준이며, 서비스 메시, API Gateway, 로드밸런서 등을 하나의 공통 구조로 통합 관리할 수 있게 해준다.      📅 관련 글2022.08.08 - [Container Orchestration/Kubernetes] - Kubernetes Ingress..

Overview지난 포스팅에서는 GCP OAuth를 기반으로 ArgoCD의 SSO(Single Sign-On)를 구성해보았다면,이번 글에서는 GitLab OAuth를 통해 ArgoCD SSO를 구성하는 방법을 정리해본다. ArgoCD는 Dex라는 인증 프록시를 통해 다양한 OAuth2 제공자(Google, GitHub, GitLab 등)와 연동이 가능하다.기업이나 개인이 GitLab을 자체 호스팅하거나 GitLab.com을 사용하는 경우,GitLab 계정을 기반으로 ArgoCD에 로그인/인증/권한 제어까지 통합 관리할 수 있어 SSO 설정은 매우 유용하다.  이번 실습에서는 다음을 다룬다.GitLab OAuth 애플리케이션 생성GitLab에서 SSO를 위한 OAuth 설정ArgoCD의 dex.config..

Overview오늘은 OpenStack Magnum에 대해 알아보겠다.OpenStack Magnum은 OpenStack 환경에서 Kubernetes, Docker Swarm, Apache Mesos와 같은 컨테이너 오케스트레이션 서비스를 제공하는 컴포넌트이다.Magnum을 이용하면 OpenStack의 자원(Nova, Neutron, Cinder 등)을 활용해 컨테이너 클러스터를 생성하고, 관리할 수 있다.    📅 관련 글2022.05.11 - [Openstack] - Openstack이란?2022.07.29 - [Openstack] - Openstack Nova란?2022.08.08 - [Openstack] - Openstack Neutron이란? (network)2022.08.08 - [Openst..