Somaz의 IT 공부 일지

Data ETL Pipeline 구성 요소 및 설명

OverviewETL (Extract, Transform, Load) 파이프라인은 대량의 데이터를 추출(Extract), 변환(Transform), 저장(Load)하는 과정으로, 데이터 분석, 머신러닝, 비즈니스 인사이트를 위한 필수적인 데이터 엔지니어링 프로세스다. 이 글에서는 Hadoop 기반의 ETL 파이프라인 구성 요소와 각 단계별 주요 기술 스택을 설명해보겠다.      📅 관련 글2024.02.02 - [IaC/CI CD Tool] - Argo Workflow란?2024.05.20 - [Data Enginnering] - Airflow란? (개념 및 설치)2025.03.28 - [Data Enginnering] - 대량 데이터 처리와 데이터 아키텍처 설계(OLAP & OLTP)        ..

Overview오늘은 OpenStack Kuryr에 대해 알아보겠다. Kuryr는 OpenStack 환경에서 컨테이너 네트워크를 Neutron과 직접 연결해주는 서비스다.Kubernetes나 Docker 같은 컨테이너 환경에서 네트워크를 설정할 때, OpenStack 네이티브 네트워크 기능을 그대로 활용할 수 있게 도와준다. Kuryr 덕분에 컨테이너 네트워크와 OpenStack 네트워크가 이중 관리되는 문제를 방지하고, 일관된 네트워크 정책(Security Group, Subnet, Router 등)을 유지할 수 있다​   📅 관련 글2022.05.11 - [Openstack] - Openstack이란?2022.07.29 - [Openstack] - Openstack Nova란?2022.08.08 -..

Overview이번 포스팅에서는 Harbor SSO 구성 방법에 대해서 알아본다.OIDC Auth Mode를 사용할 것이고, Azure AD, Gitlab 구성에 대해서 각각 알아본다.        Azrue AD App 구성 Azure Portal에서 App Registration 생성 Azure Portal → Azure Active Directory → App registrations → New registration 앱 이름 입력 (예: "Harbor SSO") Supported account types: "Accounts in this organizational directory only" Redirect URI: - Platform: Web - URL: ht..

Overview오늘은 데이터 파이프라인 및 워크플로 오케스트레이션 도구인 Apache Airflow에 대해 알아본다.Airflow는 데이터 엔지니어링, DevOps, MLOps 등 다양한 분야에서 복잡한 태스크 간의 의존성 관리와 자동화된 실행을 돕는 강력한 도구이다. Airbnb에서 시작되어 현재는 Apache Software Foundation에서 관리되고 있으며, 다양한 Operator 및 확장성을 통해 다양한 클라우드 및 온프레미스 환경에서 유연하게 사용 가능하다.  이번 글에서는 Airflow의 핵심 개념과 구성 요소, 그리고 Kubernetes 기반 오케스트레이션 도구인 Argo Workflow와의 비교를 통해 어떤 환경에 적합한지 이해해보자. 또한 Airflow를 Docker와 Kuberne..

OverviewKubernetes는 기본적으로 Ingress 리소스를 통해 L7(HTTP/HTTPS) 트래픽을 처리하지만, 이 방식은 Layer 4(L4) 수준의 트래픽 제어나 멀티 프로토콜, 복잡한 인증 처리 등에서 한계를 가진다.  이를 해결하기 위해 등장한 Kubernetes Gateway API는 L4~L7까지 유연하게 다룰 수 있는 새로운 네트워크 모델이다. Ingress를 단순히 확장한 것이 아닌, 현대 클라우드 네트워크를 위한 진화된 표준이며, 서비스 메시, API Gateway, 로드밸런서 등을 하나의 공통 구조로 통합 관리할 수 있게 해준다.      📅 관련 글2022.08.08 - [Container Orchestration/Kubernetes] - Kubernetes Ingress..

Overview지난 포스팅에서는 GCP OAuth를 기반으로 ArgoCD의 SSO(Single Sign-On)를 구성해보았다면,이번 글에서는 GitLab OAuth를 통해 ArgoCD SSO를 구성하는 방법을 정리해본다. ArgoCD는 Dex라는 인증 프록시를 통해 다양한 OAuth2 제공자(Google, GitHub, GitLab 등)와 연동이 가능하다.기업이나 개인이 GitLab을 자체 호스팅하거나 GitLab.com을 사용하는 경우,GitLab 계정을 기반으로 ArgoCD에 로그인/인증/권한 제어까지 통합 관리할 수 있어 SSO 설정은 매우 유용하다.  이번 실습에서는 다음을 다룬다.GitLab OAuth 애플리케이션 생성GitLab에서 SSO를 위한 OAuth 설정ArgoCD의 dex.config..

Overview오늘은 OpenStack Magnum에 대해 알아보겠다.OpenStack Magnum은 OpenStack 환경에서 Kubernetes, Docker Swarm, Apache Mesos와 같은 컨테이너 오케스트레이션 서비스를 제공하는 컴포넌트이다.Magnum을 이용하면 OpenStack의 자원(Nova, Neutron, Cinder 등)을 활용해 컨테이너 클러스터를 생성하고, 관리할 수 있다.    📅 관련 글2022.05.11 - [Openstack] - Openstack이란?2022.07.29 - [Openstack] - Openstack Nova란?2022.08.08 - [Openstack] - Openstack Neutron이란? (network)2022.08.08 - [Openst..

OverviewKubernetes에 간단하게 static-file-server 생성하는 방법에 대해서 알아본다.         Static File Server 설치static-file-server Github  해당 Github 주소에 들어가서 내용을 읽어보면 Configuration에 Environment Variables, YAML Configuration File,그리고 Deployment 부분에 Without Docker, With Docker 방법이 작성되어 있다. Docker Image가 존재한다면, Kubernetes Pod로 실행하는 것은 크게 어렵지 않다.    Helm Value 작성template은 필수 입니다. template 작성이 어려우시다면 아래의 글을 확인하면 된다.2025..

Overview데이터베이스에서 인덱스(Index)는 데이터를 빠르게 조회할 수 있도록 돕는 핵심 요소다.대규모 데이터베이스에서 인덱스는 성능을 좌우할 정도로 중요하며, 어떤 인덱스를 어떻게 설계하느냐에 따라 쿼리 효율이 크게 달라진다. 이 글에서는 데이터베이스 인덱스의 구조별 특징을 비교하고, 실제 환경에서 성능을 최적화할 수 있는 인덱스 튜닝 전략을 알아본다.그리고 효율적인 인덱스 설계 방법과 인덱스 힌트(Index Hint), 그리고 쿼리 성능 분석을 위한 실행계획(Explain) 사용법에 대해 정리해본다. 데이터가 커지고 사용자가 많아질수록 데이터 접근 속도가 전체 애플리케이션 성능에 영향을 미친다.그만큼 인덱스는 빠른 데이터 검색과 성능 최적화에 필수적인 요소다.          인덱스(Index..

Overview이번시간에는 블로그이기 때문에 내 블로그 소스들을 Public으로 오픈하고 싶지 않을 경우 Prviate → Public Repo로 빌드 배포되는 파이프라인을 작성하는 방법에 대해서 알아본다.   📅 관련 글2025.01.24 - [Blog Setting] - Github 사용해서 블로그 만들기 - 1 (With jekyll)2025.01.24 - [Blog Setting] - Github 사용해서 블로그 만들기 - 2 (With discus, formspree, mermaid)      Prviate → Public Repo 빌드/ 배포 파이프라인 만들기  1. Public Repo 소스 코드를  Prviate Repo로 이동Private Repo 생성Public Repo 소스 코드 ..