📋 공부 내용

GCS (Google Cloud Storage)

버킷 생성

Scraping using requests

• 1년간의 데이터를 받아오는 함수 코드

1. Setting Session

   1 2 3 4 5 6 7 8 9 10 11 12 13 14

   import requests s = requests.Session() headers = { ... "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36", "X-Requested-With": "XMLHttpRequest", ... } payload = { "account": {myaccount}, "password": {mypassword}, }

2. Login with Session

   1 2	# session에 post로 login res = s.post("https://kdx.kr/auth/autoLogin", headers=headers, data=payload)

3. Download file with login authentication

   1 2	# session에 get으로 파일 url 포함해서 request 보내고 데이터 받아옴 response = s.get(file_url, stream=True)

4. Set download path to GCS bucket# Directly Download file to GCS

   1 2 3 4 5 6 7 8 9 10

   # import google cloud library from google.cloud import storage # setting with bucket name storage_client = storage.Client() bucket_name = {mybucket} # 여기에 실제 버킷 이름을 입력하세요 bucket = storage_client.bucket(bucket_name) blob = bucket.blob(f"{filename}.csv") blob.upload_from_string(response.content)

Google Cloud 인증 정보

• IAM 및 관리자 > 서비스 계정 > 서비스 계정 만들기

  

  

  • 액세스 권한 설정 (GCS에 객체를 생성할 수 있는 권한으로 설정)

  

• 키 생성 및 로컬에 저장

  

  

• ~/.zshrc

  1	export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-file.json"

Snowflake

Connect with GCS

write SQL Code

GCS Integration

• snowflake’s GCS account object 생성됨

Make custom IAM Role

• can read bucket, and CRUD objects in the bucket
• connect snowflake’s account with this custom Role

Bulk Update with COPY Command

• 파일을 전부 테이블로 복사하는 방식
• 파일의 일부 컬럼만 골라서 복사하는 방식을 사용할 수 있다.

남아있는 무료 요금 확인하는 법

Superset ( preset.io )

Connect with Snowflake

Security > Network policy

👀 CHECK

(어렵거나 새롭게 알게 된 것 등 다시 확인할 것들)

❗ 느낀 점