AWS

계정 생성

IAM에서 생성한다.

개요

IAM, S3, VPC - ELB, EC2, RDS, Bridge, Auto Scaling, CloudFront, Route 53, CloudWatch
(예제를 통해 쉽게 따라하는 아마존 웹 서비스, 2017)

  • IAM에서 User는 Group으로 관리, Role은 OTP기반으로 동작하는 권한이다. 이미 설정된 Managed Policy를 권장하며 AWS에서 미리 정의했다.
  • Subnet은 외부 접근이 허용된 Public과 차단된 Private이 있다.
  • Elastic IP로 고정 IP를 받을 수 있다. Bastion Host는 gateway의 역할을 한다.
  • MySQL compatible한 Amazon Aurora DB를 권장한다.
  • ELB는 DNS만 제공. IP가 자주 변경된다. https도 지원한다.

(서비스 운영이 쉬워지는 AWS 인프라 구축 가이드, 2019)와 비슷한 내용

Azure V100

V100 4ea x 3yrs = 171,651,472 KRW
1 hour = 1,632 KRW

서비스

RedShift

Amazon Redshift is an Internet hosting service and data warehouse product. serverless가 아니라서 instance를 구동해야 하는데, creating이 너무 오래 걸린다. BigQuery는 serverless.

RDS

Amazon RDS, in its ability to handle analytic workloads on big data data sets stored by a column-oriented DBMS principle. column-oriented DBMS principle은 Apache Arrow에도 Columnar In-Memory 방식으로 적용되어 있다.

Apache Arrow vs. Parquet: 둘 다 동일한 Columnar Data를 저장하며, in-memory 방식과 on-disk 방식이라는 차이점이 있다. BigQuery도 Columnar 방식

S3

데이터를 쉽게 보관하고 access 할 수 있으나 분석 기능은 제대로 활용이 어렵다. 한글 JSON은 parsing하지 못했다.

Athena

S3에 올린 파일이 128MB 이내일 경우 직접 Select from을 할 수 있으나 그 이상은 Athena에서 처리한다. 그러나 한글 JSON을 제대로 parsing하지 못했다.

스크립트

AWS에서 Amazon Linux 2를 발급 받으면 최소 설치해야 하는 목록

기타

AWS의 CloudFormation 확인 필요

Last Modified: 2020/12/04 20:54:50


Cloud Run  ·  Python  ·  Serverless AI  ·  NLP 실험  ·  2021 Book Reports  ·  2020 Book Reports  ·  Windows 10  ·  비지니스 책  ·  통계학 응용  ·  Links  ·  Recommender System  ·  통계학 책  ·  통계학  ·  미래학 책  ·  자기계발 책  ·  머신러닝  ·  수학 책  ·  GCP  ·  건강 책  ·  Terraform  ·  클라우드 책  ·  BigQuery  ·  수학  ·  컴퓨터시스템구조  ·  JetBrains  ·  인공지능 책  ·  Kubernetes  ·  AWS  ·  2017 Book Reports  ·  2018 Book Reports  ·  2019 Book Reports  ·  Template  ·  Project Management  ·  인공지능  ·  Cryptography  ·  이산수학  ·  PyData  ·  Flask  ·  Docker  ·  비지니스  ·  강화학습  ·  머신러닝 책  ·  Markov Decision Process  ·  Santander Product Recommendation  ·  Java  ·  Android Development  ·  Zsh  ·  Software Deployment  ·  GCS  ·  XGBoost  ·  Deno  ·  GPU Data Science  ·  Front-End  ·  Activation, Cost Functions  ·  알고리즘  ·  자료구조  ·  사회심리학  ·  Information Retrieval  ·  OOP  ·  데이터 사이언스  ·  진화생물학  ·  LifeHacks  ·  C++  ·  Decision Tree  ·  NLP  ·  Hadoop, Spark  ·  데이터 마이닝  ·  CNN, RNN  ·  운영체제  ·  머신러닝 분류기  ·  거리  ·  Support Vector Machine  ·  OAuth 2.0  ·  Naive Bayes  ·  컴파일러  ·  딥러닝  ·  Word Embedding  ·  영어  ·  Go  ·  Scikit Learn  ·  MySQL  ·  Keras
is a collection of Papers I have written.
© 2000 - Sang-Kil Park Except where otherwise noted, content on this site is licensed under a CC BY 4.0.
This site design was brought from Distill.