디에스 DevOps Lab

 성시경 먹을텐데 맛집 정리

 개요 GCP 콘솔에서 디스크 추가 이후에, OS 들어와서 파티셔닝하고, 마운트 하고, 사이즈를 늘려 봅니다.  참고로 GCP 콘솔에서 머신이 실행 중에 디스크 사이즈 변경은 가능 합니다. 이제 추가된 디스크의 용량을 확장 합니다. 13 G -> 23 G  lsblk   디스크 장치 볼륨 증가 확인 parted /dev/sdb > resizepart > 1 > Yes > 100% > quit  디스크 장치볼륨 확장 partprobe /dev/sdb   디스크 장치 볼륨 재부팅 없이 적용활성화 resize2fs /dev/sdb1   디스크 볼륨값 적용 df -h 디스크 확인

 개요 리소스 생성 되는 로그를 카운팅하고, 알림을 받을 수 있도록 구성하기 쿼리 예시 🔸 Compute Engine VM 생성 확인 resource.type="gce_instance" protoPayload.methodName="v1.compute.instances.insert" 🔸 Cloud Storage 버킷 생성 확인 resource.type="gcs_bucket" protoPayload.methodName="storage.buckets.create" 🔸 IAM 사용자 생성 또는 서비스 계정 생성 protoPayload.methodName="google.iam.admin.v1.CreateServiceAccount" 🔸 Cloud SQL 인스턴스 생성 resource.type="cloudsql_database" protoPayload.methodName="cloudsql.instances.insert" 🔸 Pub/Sub 주제 생성 resource.type="pubsub_topic" protoPayload.methodName="google.pubsub.v1.Publisher.CreateTopic" ✅ 3. 공통 쿼리 필터로 생성 확인하기 protoPayload.methodName:("create" OR "insert") 위 쿼리는 모든 서비스에서 생성 관련 이벤트를 포괄적으로 탐색 할 수 있어 유용합니다. 단, 너무 많은 결과가 나올 수 있으므로 시간 필터(오른쪽 상단) 또는 리소스 타입 을 추가로 지정하는 것이 좋습니다. ✅ 4. 로그에서 확인 가능한 정보 로그 항목을 클릭하면 다음을 확인할 수 있습니다: authenticationInfo.principalEmail → 누가 생성했는지 resourceName 또는 resource.lab...

🌟 활동 요약 및 정리 🔧 1. GCP 환경 운영 및 자동화 (TA 역할) 주요 역할 : 구글 클라우드 기반 인프라 운영 및 보안, 모니터링, 자동화 업무 수행 도구 : GCP Console, IAM, Logging, Monitoring, Terraform, Bash, Python 등 ⚙️ 2. AI + 자동화 툴 활용 프로젝트 (Make.com, GPT 등) 🔄 데이터 자동화 파이프라인 구축 웹페이지 자동 스크래핑 → 키워드 추출 → GPT로 정리 → JSON 변환 → Google Drive 저장 활용 툴: Make.com, Python, GPT API, Google Drive API 🔍 유튜브 자막 분석 및 정리 (Claude + Puppeteer) 유튜브 자막 크롤링 → 질문/답변 요약 → 인기 영상 키워드 정리 → Notion 저장 활용 툴: Claude, Puppeteer, Notion API, Suou, Firecrawl 📰 뉴스 요약 시스템 실시간 뉴스 요약 후 Slack 알림 및 Notion 자동 정리 활용 툴: Firecrawl, Claude, Slack API, Notion API 🎨 3. AI 기반 콘텐츠 제작 🎶 동요 제작 Cocomelon 채널 : 1곡당 1분 40초~2분, 총 18곡 제작 활용 툴: ChatGPT, Suno AI, CapCut, Riffusion, ImagineArt, Sora 📱 쇼츠 영상 제작 Chris 채널 : 고대 지구 시리즈, CCM 배경 영상 Liot 채널 : 국가별 슈퍼히어로 시리즈 (6개 이상) 영상 툴: ImagineArt, LeonardoAI, Capcut, Gemini Veo2, Heygen 🧠 4. AI 개발 및 실험 💹 자동 트레이딩 시스템 개발 Binance API 기반 비트코인 매매 봇 구현 (Python) 기술 지표: RSI, MACD, Volatility, AI 기반 뉴스 감성 분석 ...

  ✅ GCP 서비스 계정으로 BigQuery 테이블 생성 권한 확인하기 개요: GCP에서 특정 서비스 계정이 BigQuery에 테이블을 생성할 수 있는지 검증하려면, 해당 계정의 권한을 테스트하는 것이 좋습니다. 이 문서에서는 서비스 계정을 통해 실제로 테이블을 생성해보며 권한이 올바르게 부여되었는지 확인하는 방법을 안내합니다. 🔐 1. 서비스 계정 키 발급 및 인증 설정 # 현재 gcloud에 인증된 계정 목록 확인 gcloud auth list # 서비스 계정으로 인증 gcloud auth activate-service-account [SERVICE_ACCOUNT_EMAIL] \   --key-file=[PATH_TO_KEY_FILE] \   --project=my-project-1 # 기본 계정을 서비스 계정으로 설정 gcloud config set account [SERVICE_ACCOUNT_EMAIL] SERVICE_ACCOUNT_EMAIL : 사용할 서비스 계정 이메일 PATH_TO_KEY_FILE : JSON 형식의 키 파일 경로 📂 2. BigQuery 데이터셋 및 테이블 목록 확인 # 프로젝트 내 데이터셋 목록 조회 bq ls --project_id=my-project-1 # 특정 데이터셋의 테이블 목록 조회 bq ls --dataset_id=dataset_01_dl_ad_tmp --project_id=my-project-1 🧪 3. 테이블 생성 테스트 # 샘플 테이블 생성 bq mk --table \   --schema user_id:INTEGER,user_name:STRING,signup_date:DATE,is_active:BOOLEAN \   my-project-1:dataset_01_dl_ad_tmp.test_table 스키마를 통해 간단한 사용자 정보를 저장하는 테이블을 생성합니다. 🗑️ 4. 리소스 정리 # 테스트 테이블 삭제 bq rm -t my-project-1:dataset...

 개요 나의 메모를 넣고, 결과를 확인 합니다.  나의 메모 최근 프로젝트 및 활동 정리 1. 코인 자동매매 프로그램 개발 (Python + Binance API) Binance API를 이용해 비트코인 선물 거래 봇 개발 초기 투자금: 약 $350 / 약 $100 손실 후 운영 중단 기능: 실시간 가격 수집 RSI, MACD 등의 기술 지표 적용 자동 매수/매도 로직 구현 성과: 실제 거래 적용 및 리스크 관리 경험 습득 2. 부동산 정보 수집 웹앱 개발 (Python + Web Scraping + Flask) 네이버 부동산 특정 매물 정보 자동 수집기 제작 수집된 데이터를 웹 UI를 통해 시각화 기술 스택: Python (BeautifulSoup, requests) Flask로 웹 인터페이스 구현 용도: 특정 지역이나 조건에 따른 매물 추적용 3. 어린이 동요 콘텐츠 제작 및 유튜브 업로드 자동차, 도마뱀 등을 주제로 한 동요 10곡 제작 내용: 가사 기획, 리듬 구성, AI 작곡 도구 활용 (예: Suno, Mubert 등) 영상 제작 및 자막 삽입 업로드 채널: 유튜브 (채널명 알려주시면 링크 정리해드릴 수 있어요) 타겟: 유아 및 어린이 대상 교육·엔터테인먼트 콘텐츠 4. YouTube Shorts 콘텐츠 제작 총 5개 쇼츠 업로드: 국가별 히어로 디자인 (아이언맨, 원더우먼 등) 고대 지구 환경 (노아의 홍수 전 지구 모습 등) 주제 선정, 이미지 프롬프트 기획, AI 이미지 생성 및 영상 편집까지 직접 진행 위에서 작성한 나의 활동을 Notebook LM 에 붙여넣었습니다. 다양한 소스를 업로드할 수 있으며, 저는 위의 텍스트를 붙여 넣었습니다. PDF, txt, Markdown, 오디오(예: mp3) 결과는 1. 마인드맵도 그려주고 2. 전문가 2분이 나의 활동에 대한 이력을 ...

머신 이미지로 백업 및 복원하기 머신 이미지 기능을 활용해 백업과 복원을 수행한 후, 이 방식의 특징과 다른 기능들과의 차이점을 비교합니다.. 1. 머신 이미지 생성 VM 인스턴스 상세 화면에서 [머신 이미지 만들기] 버튼을 클릭합니다. 2. 구성 선택 및 생성 머신 이미지에 포함할 디스크 등의 구성 항목을 선택 한 뒤, **[만들기]**를 클릭합니다. 3. 생성 상태 확인 머신 이미지가 생성되며, 진행 상태를 확인 할 수 있습니다. 4. 생성 완료 수 분 후, 머신 이미지가 정상적으로 생성된 것 을 확인할 수 있습니다. 5. 머신 이미지로부터 복원 햄버거 아이콘을 클릭 하면 [머신 만들기] 옵션이 보입니다. 클릭합니다. 6. 머신 유형 선택 생성할 머신의 유형을 자유롭게 변경 할 수 있습니다. 7. 새 머신 생성 완료 선택한 머신 이미지로부터 새로운 가상 머신 인스턴스가 생성 됩니다. 마치며 머신 이미지 기능은 일종의 복제본(스냅샷)을 기반으로 한 복원 기능 이기 때문에, 복원 후 일부 설정은 수동으로 조정해야 할 수 있습니다. 예를 들어, 외부 IP, 태그, 권한 설정 등은 자동으로 복원되지 않을 수 있습니다.

 개요 외부와 연동 시 고정된 공인IP를 사용하도록 구성 합니다. 1. 고정된 공인IP 만들기 2. 2번째 고정된 공인 IP 만들기 3. 생성 확인 4. Cloud NAT 생성 예시 5. 앞서서 생성한 공인 아이피를 설정 해 줍니다. 6. 고급 구성 기본값으로 진행 하였습니다. - 만들기 7. 생성 된 것을 확인 할 수 있습니다. - 완료

 개요 : VM 의 스냅샷 백업과의 차이점을 알아보고, 사용가능여부를 체크해 봅니다. 1. 백업 및 DR 으로 이동 하고, 개요 화면 2. 최초 한번은 API를 활성해 주어야 합니다. 3. Backup Vault 만들기 - 리전을 선택  예시 us-central1 (아이오와) 4. 최소 보관 예시 - 7일 5. 액서스 권한 정의 예시 : 현재 조직에 대한 엑세스 제한 (기본값) -> 만들기 6. 생성 중이고 1 ~ 2분 이내에 생성 완료가 됩니다. 7. 생성 완료되었습니다. 8. 백업 계획을 생성 합니다. 그리고 백업 규칙 예시로 매주 수요일 UTC 12:00 에 진행하고, 7일을 보관 합니다. 9. 백업 계획이 정상적으로 생성된 것을 합니다. 이제는 백업이 생성 되는지, 생성되고 나서 복원하는 시나리오가 있을 것 같니다. 백업 생성 확인 후에 계속 내용을 추가 할 예정 입니다. 10. 백업 예약 11. 백업 계획 선택 - 8 번 앞서서 만들었습니다. 12. 내용을 확인하고 예약 합니다. 13. 일정으로 백업이 동작할 것입니다. 지금은 수동을 백업을 합니다. - 주문형 백업만들기  13. 만들기 14. Latest job status 와 최근에 성공한 백업으로 진행상태 나, 성공여부를 확이 할 수 있습니다. 15. 복원기능을 사용하여 복원을 수행 합니다. 16. 이 화면에서 권한추가를 위해서 IAM 및 관리자로 이동 합니다.  17. 다음과 같이 필요한 권한을 설정 합니다.   18. 백업의 복원할 시점을 선택 합니다. 19. 머신 구성의 사양이 변경이 가능 합니다. 선택하고 만들기 할 수 있습니다. 20. 백업한 시점의 새로운 머신이 생성하는 것이 복원하는 것 이었네요. 다음과 같이 생성된 가상머신을 확인할 수 있습니다.   마치며, 백업 Vault 의 복원은 엄밀히 말하면 같은 상태 데이터 복제본을 생성하는 것이네요. 기존 머신 내리고 IP ...등 수동으로 맞추는 작업이 추가로 필...