Somaz의 IT 공부 일지

Overview Google Cloud Platform(GCP) GPU 서버 셋팅 방법에 대해서 알아보려고 한다. 사용할 GPU는 NVIDIA A100 이다. 아래의 Github에 예제 소스코드가 있다. https://github.com/somaz94/terraform-infra-gcp/tree/main/project/somaz-ai-project GCP GPU 서버 셋팅 방법 먼저 Compute Engine 생성에 대한 설명은 아래의 링크를 참고하길 바란다. 2023.10.08 - [GCP] - 공유 VPC를 사용하여 GKE 클러스터 생성시 IAM 설정 공유 VPC를 사용하여 GKE 클러스터 생성시 IAM 설정 Overview 서로 다른 프로젝트에서 공유 VPC를 사용하는 2개의 Google Kuber..

Overview Terraform 으로 Google Cloud Storage 생성 후 Cloud CDN 생성하는 방법에 대해서 알아본다. Google Cloud Storage 생성 후 Cloud CDN 1. Zone 생성 resource "google_dns_managed_zone" "somaz.link_zone" { name = "somaz.link" dns_name = "somaz.link." } dns_name에 마지막에 `.`을 꼭 붙여줘야 한다. 2. hosting.kr과 유사한 도메인을 관리 및 구매할 수 있게 해주는 사이트에서 네임서버를 위에 만든 zone과 동일하게 변경 아래의 사이트에서 도메인 전파를 확인하면 편하다. https://www.whatsmydns.net/#NS/ 3. 소유권 ..

Overview Google Cloud Platform(GCP)를 활용한 데이터 자동화 방법에 대해서 공부해보려고 한다. 데이터 자동화 Daily 업무는 `오늘 날짜 기준으로 어제의 데이터`를 가져와서 구글시트에 입력한다. 따라서 Daily 업무의 모든 함수는 `이번달을 기준으로 지난달 마지막날 데이터 ~ 오늘까지의 데이터`를 조회한다. Monthly 업무는 `이번달 기준으로 지난달의 데이터`를 가져와서 구글시트에 입력한다. 따라서 Monthly 업무의 모든 함수는 `이번달을 기준으로 지난달 데이터`를 조회한다. GCP 서비스들을 사용하여 데이터 업무를 자동화한다. BigQuery Dataflow Cloud Functions Cloud Scheduler Cloud Storage Artifact Regis..

Overview 서로 다른 프로젝트에서 공유 VPC를 사용하는 2개의 Google Kubernetes Engine(GKE) 클러스터를 만드는 방법에 대해서 알아보려고 한다. 공유 VPC란(Share VPC)? 공유 VPC는 여러 프로젝트에 리소스를 공통 VPC 네트워크에 연결할 수 있게 함으로써 해당 네트워크의 내부 IP를 사용하여 서로 안전하고 효율적으로 통신할 수 있다. 프로젝트(환경)별로 리소스를 분리하여 구성할 수 있다. 따라서 환경별로 리소스를 분리하여 관리할 수 있고 비용 관리 측면에도 용이하다. 공유 VPC를 사용하면 호스트 프로젝트를 지정한 후 하나 이상의 다른 서비스 프로젝트를 연결할 수 있다. 서브넷, 경로 방화벽과 같은 네트워크 리소스를 호스트 프로젝트에서만 제어하면 되기 때문에 네트..

Overview 지난번에는 BigQuery와 Data WareHouse에 대해서 알아보았다. 2023.05.21 - [GCP] - GCP BigQuery란? & Data Warehouse GCP BigQuery란? & Data Warehouse Overview 오늘은 BigQuery에 대해서 공부해보려고 한다. BigQuery란? Big Query는 Google에서 완전히 관리하는 서버리스 엔터프라이즈 데이터 웨어하우스 서비스이다. 그렇다면 왜 BigQuery를 사용해야 할까? B somaz.tistory.com BigQuery와 DataFlow를 활용한 Data ETL 과정에 대해서 설명해보려고 한다. 아래와 같은 WorkFlow를 가지고 있다. mongodb → bigquery → google she..

Overview 오늘은 BigQuery에 대해서 공부해보려고 한다. BigQuery란? Big Query는 Google에서 완전히 관리하는 서버리스 엔터프라이즈 데이터 웨어하우스 서비스이다. 그렇다면 왜 BigQuery를 사용해야 할까? Big Query에는 SQL 쿼리를 쉽게 실행할 수 있는 쿼리 엔진이 내장되어 있다. Big Query는 조직이 대량의 데이터를 분석하여 의미 있는 인사이트를 찾는 데 도움이 된다. Data Warehouse는 무엇일까? Data Warehouse란 Data(정보) + Warehouse(창고)가 결한한 의미로 줄여서 DW로도 불린다. 데이터 분석, 보고 및 의사 결정을 포함하여 비즈니스 인텔리전스(BI) 활동을 지원하는 대규모 중앙 집중식 데이터 리포지토리이다. 데이터는..

Overview 오늘은 GCP와 AWS의 리소스별 비교를 해보려고 한다. GCP ↔ AWS 리소스 비교 Network Compute Containers Serverless Storage Database Security & Identity 1. Network 멀티리전 - 리전 - 존으로 구분한다. 멀티리전 구성이 가장 안정적이다. 리전 목록 도쿄(asia-northeast1) / 오사카(asia-northeast2) 서울(asia-northeast3) 1-1. Virtual Private Cloud(VPC 네트워크) = AWS VPC GCP VPC는 특정 리전에 제한되지 않는다. 1개의 VPC에 한국, 일본 서브넷으로 구성이 가능하다. 커스텀 모드 VPC를 사용하면, 원하는 IP 블록을 수동 생성할 수 있..

Overview 오늘은 GCP IAM에 대해서 공부해보려고 한다. GCP IAM이란? Google Identity and Access Management는 클라우드 관리자에게 특정 리소스에 대해 특정 작업을 수행할 수 있는 사람을 결정할 수 있는 권한을 부여하는 웹 서비스이다. 간단히 말해 IAM을 사용하면 Who(누가)(users, groups, and service accounts)가 Which Resource(어떤 리소스)에 대해 What Role(어떤 역할) (Access)을 갖는지 결정한다. GCP IAM의 주요 구성요소와 개념 구성원(Members) 구성원은 GCP 리소스에 대한 액세스 권한을 부여받을 수 있는 항목이다. IAM의 모든 액세스 및 권한은 구성원 에게 부여된다 . Google I..

Overview오늘은 gcloud 명령어를 사용해 gmail 계정 2개를 등록해보려고 한다. 아직 계정이 없거나 gcloud init을 한번도 하지 않았다면 아래의 게시물을 참조하기 바란다.2023.04.06 - [GCP] - GCP란? - 서비스 계정 & Project 생성 / SDK(gcloud) 설치 GCP란? - 서비스 계정 & Project 생성 / SDK(gcloud) 설치Overview 오늘은 GCP에 대해서 공부해보려고 한다. 오늘 실습할 내용은 아래와 같다. 무료 체험판 아이디 생성 Project 생성 서비스 계정 생성 서비스 계정 키 생성 SDK(gcloud) GCP란? GCP는 Google에서 제공somaz.tistory.com 오늘은 실습할 내용은 아래와 같다.gcloud confi..

Overview 오늘은 GCP에 대해서 공부해보려고 한다. 오늘 실습할 내용은 아래와 같다. 무료 체험판 아이디 생성 Project 생성 서비스 계정 생성 서비스 계정 키 생성 SDK(gcloud) GCP란? GCP는 Google에서 제공하는 클라우드 컴퓨팅 서비스 제품군인 Google Cloud Platform의 약자이다. 기업과 개발자가 애플리케이션을 구축, 배포 및 관리하고 Google 인프라에서 데이터를 저장 및 처리할 수 있도록 다양한 도구와 리소스를 제공한다. GCP 서비스에는 컴퓨팅, 스토리지, 데이터베이스, 네트워킹, 머신러닝, 빅데이터 분석 등이 포함된다. 이를 통해 사용자는 필요에 따라 인프라를 확장하고 사용한 리소스에 대해서만 비용을 지불하며 보안 및 안정성에 대한 Google의 전문..