[AWS] Databases2

Feedback

1. Athena

Athena는 S3에 있는 데이터를 분석하기 위한 Serverless query service이다. SQL를 사용하며, 데이터가 스캔된 만큼 비용이 청구된다 (TB당 5달러). 그리고 이러한 비용을 줄이기 위해 압축시키거나, columnar data를 이용한다.

---

2. RDS Deployments

RDS Multi-AZ의 주요 목적은 고가용성(high availability)이다. 사전에 Failover DB를  설정해서, main DB에 문제가 생기면 이용할 수 있게 한다. RDS Read Replicas의 주요 목적은 스케일성이다. 이는 읽기 워크로드를 확장해서 더 많은 어플리케이션이 RDS로부터 많은 데이터를 읽을수 있게 한다. 마지막으로, Multi-Region의 주요 목적은 재해 복구 및 로컬 성능이다. 여러 복제본을 다양한 region에 두기 때문에, main에 문제가 생겨도 복구가 가능하다. 또한, 사용자는 가까운 region에 있는 DB로부터 데이터를 읽어들이기 때문에 지연시간이 짧다.

---

3. OLTP에 적합한 SQL 기능이있는 관리형 서비스는 RDS 이다.

---

4. DocumentDB

DocumentDB는 오로라 MongoDB 버젼이라고 보면 된다. 동일하게 10GB부터 64TB까지 자동적으로 확장되며 3개의 AZ에 복제본을 두고 이용된다.

 

---

Amazon EMR

EMR은 Elastic MapReduce의 약어이며, Hadoop cluster를 만들어 방대한 양의 데이터를 분석하고 처리하는데 이용한다. 이를 이용하면 클러스터에 작동하는 여러 서버를 통해, 데이터를 함께 분석하는것이 가능하다.  EMR은 데이터 처리, 머신 러닝, 웹 인덱싱, 그리고 빅데이터 등에 사용된다.

---

Amazon Athena

Athena는 S3에 저장된 객체에 대한 분석을 수행하도록 도와준다. 이때, 따로 load할 필요없이 바로 분석이 진행된다 (Serverless). Athena의 비용은 데이터가 scan된 만큼 청구되며, 비용은 TB당 5달러이다. 이 비용을 절감하기위해서 압축된 형태의 데이터를 사용하기도 한다. 

---

Amazon QucikSight

AWS에서 BI(Business Intelligence)를 위한 도구이다. DB에 대시보드를 만들어서, 데이터를 시각적으로 생성해 insight를 제공하는 것을 목적으로 한다. 이 도구는 세션별로 가격을 책정하기 때문에, 서버 provisioning이 필요없다. 시각화 구축, 임시분석등에 이용되며 RDS, Aurora, Athena, REdshift, S3와 함께 사용된다.

 

---

Amazon Neptune

Neptune은 완전 관리형 그래프 DB이다. 이는 고도로 연결된 Data set을 다루는 어플리케이션에 유리하다. graph dataset의 예시로는 social network가 된다. 사용자의 친구들, 게시글에 달린 댓글들, 댓글에 달린 반응들, 그리고 공유한 게시물들은 모두 graph로 표현될 수 있다. 그 외에도, 위키피디아, 사기 탐지, 그리고 추천엔진 등에 사용될 수 있다.

 

---

Amazon QLDB

QLDB는 Quantum Ledger Database를 의미하며, Ledger는 금융거래를 기록한 장부라는 의미이다. 이 DB는 시간이 지남에 따라 발생한 어플리케이션 데이터의 모든 변경내역을 탐색하는것이 가능하다. 변경사항이 생기면 암호화 해시연산을 진행하기 때문에, 작성하고 나면 삭제나 수정이 불가하다. 더불어, 삭제된 사항이 없음을 인증하는 암호 설정이 가능하다. 이 DB를 이용하면 금융 거래에서 사라진 내역이 없다는 것을 확인할 수 있다.

 

이 DB는 Managed Blockchain과 유사하지만, 큰 차이점은 QLDB는 탈중앙화 개념이 없다는 것이다. QLDB는 Amazon이 관리하는 중앙 데이터 베이스에 접근할 수 있으면 저널 작성이 가능하다.

 

---

Amazon Managed Blockchain

Blockcain은 신뢰할수있는 중앙 기관이없어도 다자간의 거래가 가능하다. AWS 관리형 블록체인은 두가지 블록체인, Fabric과 Ethereum과 호환이 가능하다.

 

---

AWS Glue

Glud는 ETL(extract, transform, load) 서비스이다. 데이터셋에 대한 분석을 수행할 때, 그 형식이 올바르지 않거나 원하는 형식이 아닐때 ETL을 진행하며 이때 Glue를 이용한다. Fully serverless service이며, 사용자는 데이터 변환만 신경쓰고, 나머지는 Glue에게 맡기는 형태이다. Glue에서 모든 변환이 가능하며, 이를 어떤 장소에든지 load하는 것이 가능하다.

 

Glue Data Catalog라는 개념이 존재하는데, 이에는 모든 항목에 대한 참조가 존재한다. 이는 데이터 셋을 검색하며, 이에 적합한 스키마 구축에 쓰일 수 있다.

 

---

DMS - Database Migration Service

DMS는 데이터 베이스간 데이터 마이그레이션을 도와주는 서비스이다. DMS 소프트웨어를 실행하는 EC2 instance를 실행한 뒤, Source DB로부터 데이터를 추출하고, 그리고 DMS가 데이터를 다른 위치에 있는 target DB로 입력한다.

 

DMS는 AWS로 데이터를 빠르게 이주시키며, 자가회복성이 있다는 장점과, 이주하는 동안에도 DB를 사용할 수 있따는 장점이 있다. 또한, DMS는 Homogeneious migration과 Heterogeneous migration 모두 지원한다.