728x90 AWS22 [AWS] Glue vs DataPipeline vs DMS vs Kinesis AWS Glue 서버가 없는 Apache Spark 환경에서 실행되는 fully-managed ETL 서비스를 제공한다. 컴퓨팅 리소스 구성 및 관리에 대한 걱정 없이 ETL 작업에 집중할 수 있다. 데이터 우선 접근 방식이고, 비즈니스 인사이트를 도출할 수 있도록 데이터를 변환하기 위한 데이터 속성 및 조작에 초점을 맞춘다. 아테나 및 스펙트럼을 통한 쿼리 뿐만 아니라 ETL 을 통해 메타데이터를 만들 수 있게끔 하는 통합 데이터 카탈로그를 제공한다. Scala 혹은 Python 기반이다. 스케일아웃 실행 환경을 제공한다. Infers, evolves, 그리고 모니터링을 통해 작업 생성 및 유지관리 프로세스를 간소화한다. AWS Data Pipeline 관리형 오케스트레이션 서비스를 제공한다. 즉, 데.. 2021. 12. 8. [Kinesis] AWS Kinesis 서비스 차이점 Amazon Kinesis Data Streams: 전송 데이터 처리를 위한 파이프라인 동작을 수행한다. 외부 소스 또는 AWS 서비스가 메시지를 생성하고 데이터 스트림에 넣으면, 다른 서비스에서 해당 메시지를 수신한다. 즉, 큐와 비슷하며 데이터를 저장하지 않는다. 실시간으로 처리해야 하는 무제한 데이터가 들어오는 시스템이나 서비스에서 주로 사용된다. Amazon Kinesis Firehose Delivery Streams: 저장 데이터를 미리 정의된 대상으로 전달하는 것이 주요 목적이라는 점에서 Data Streams 과 약간 다르다. S3 및 Redshift 와 같은 스토리지 서비스로 데이터를 전송할 때 사용된다. Amazon Kinesis Data Analytics: 분석 표준 SQL 질의를 사용.. 2021. 12. 7. [AWS] 어떤 컨테이너 서비스를 이용해야 하나요? AWS 에서는 다양한 컨테이너 기반의 개발 방법을 제공하고 있다. AWS 에서 컨테이너를 운영하는 기본적인 방법은 EC2 를 이용하여 가상 서버를 직접 띄우고, 거기에 Docker 컨테이너를 배포하는 방식일 것이다. 하지만 이는 개인의 간단한 테스트나 학습에는 도움되지만, 프로덕션 서비스를 운영하기 위해서는 좀더 관리하기 쉬운 컨테이너 솔루션이 필요하다. 1. 규모에 따른 컨테이너 관리 서비스 작은 규모의 다양한 컨테이너는 하나의 컨테이너 호스트에 모두 넣어 관리하거나 여러 컨테이너를 실행하여 관리할 수 있다. 개인 테스트나 간단한 웹사이트, 그리고 단일화된 컨테이너라면 아래 솔루션을 사용할 수 있다. 규모가 커짐에 따라 추가 컨테이너를 실행하기 위해 더 많은 컴퓨팅 노드가 필요하게 되겠지만, 일정 규모.. 2021. 7. 30. [CloudWatch] CloudWatch 경보 설정하기 - 3 1. AWS EC2 인스턴스에 CloudWatch Agent 설치하기 2. Slack에 알람 보내는 AWS SNS & AWS Lambda 함수 생성하기 3. AWS CloudeWatch 설정하기 AWS CloudeWatch 설정하기 1. AWS Console 로그인 후 CloudWatch 에 들어간다. 2. [경보] 탭 클릭 > [경보 생성] 버튼을 클릭한다. 3. [지표 선택] 버튼을 클릭한다. 4. [CWAgent] 카드를 클릭한다. 5. [InstanceId, device, fstype, path] 가 포함되어 있는 카드를 클릭한다. 6. 해당하는 인스턴스를 선택하고 [지표 선택] 버튼을 클릭한다. 7. 임계값을 설정한다. 8. [CloudWatch] CloudWatch 경보 설정하기 - 2 에서 .. 2021. 6. 21. [CloudWatch] CloudWatch 경보 설정하기 - 2 1. AWS EC2 인스턴스에 CloudWatch Agent 설치하기 2. Slack에 알람 보내는 AWS SNS & AWS Lambda 함수 생성하기 3. AWS CloudeWatch 설정하기 AWS SNS 생성하기 1. AWS Console 로그인 후 Simple Notification Service 에 들어간다. 2. [주제 생성] 버튼을 클릭한다. 3. 유형은 [표준] 을 선택한다. AWS Lambda 함수 생성하기 1. Lambda 함수 생성하기 ▷ index.js const axios = require('axios') exports.handler = async (event) => { console.log(JSON.stringify(event)) const SLACK_ENDPOINT = `${S.. 2021. 6. 17. [CloudWatch] CloudWatch 경보 설정하기 - 1 AWS EC2 인스턴스 디스크 용량 부족으로 인하여 서비스 정지 상태가 발생했었다. 일차적으로는 docker 컨테이너 로그 logrotate 설정을 해줬고([Docker] Docker 컨테이너 로그 관리) 더 나아가 디스크 용량이 부족할 경우 SLACK 으로 알람을 보내게끔 설정을 해주려고 한다. 순서는 아래와 같이 진행하려고 한다. 1. AWS EC2 인스턴스에 CloudWatch Agent 설치하기 2. Slack에 알람 보내는 AWS SNS & AWS Lambda 함수 생성하기 3. AWS CloudeWatch 설정하기 AWS EC2 인스턴스에 CloudWatch Agent 설치하기 1. CloudWatch Agent 설치하기 $ cd /tmp $ wget https://s3.amazonaws.co.. 2021. 6. 17. 이전 1 2 3 4 다음 728x90 반응형
