AWS에서는 클라우드 환경의 복잡성 때문에 전통적인 온프레미스 환경과는 다른 접근 방식의 모니터링이 필요하다. AWS 리소스는 동적으로 생성되고 삭제되며, 다양한 서비스들이 서로 연결되어 있어 통합적인 모니터링 전략이 중요하다. 모니터링 AWS의 모니터링 생태계는 다음과 같이 이루어져있다. 모니터링/알림 서비스CloudWatch Alarm: 지표 기반의 알림 시스템Amazon SNS: 알림 전달 서비스가동 상태 검사(대시보드)AWS CloudWatch 대시보드: AWS 리소스와 애플리케이션의 모니터링 데이터를 시각적으로 표현한 대시보드모니터링 대상CloudWatch Logs: 로그 데이터 저장CloudWatch Metrics: 수치 데이터 저장또한 각 AWS 리소스나 애플리케이션 뿐만 아니라 AWS가 관..

모니터링이란?시스템이나 서비나 애플리케이션을 통한 네트워크 장비, 데이터베이스 등의 다양한 컴포넌트가 정상적으로 작동하고 문제없이 가동될 수 있는지 확인하는 과정을 의미한다.시스템 운영에서 관리자나 운영 담당자는 문제가 발생하지 않도록 매일 각종 컴포넌트에서 정보를 수집하여 상태를 파악해야 한다.시스템 부하 상황에 따라 설정을 변경하거나 예상되는 장비 교체 및 스케일 조정에 미리 대비하는 것이다. 모니터링의 목적시스템 다운이나 장애 발생 가능성을 미리 감지할 수 있어야 한다.문제 발생 시 관리자나 운영 담당자의 빠른 대응이 이루어져야 한다.각종 시스템 구성요소에서 정보를 수집하여 문제 상황을 신속히 파악하고 예방하는 것이 모니터링의 핵심이다. 모니터링 과정시스템 모니터링은 모니터링 도구, 지표 모니터링,..

Amazon Athena Athena는 표준 SQL을 사용해서 S3 버킷에 저장된 데이터 원본에 직접 쿼리를 실행할 수 있는 서버리스(Serverless) 서비스다.다음과 같은 특징이 존재한다.서버리스(Serverless) 서비스기 때문에 클러스터 운영이나 인프라 관리 필요 없다.S3 기반으로, Athena는 데이터를 자체 저장하지 않고, S3에 저장된 원본 데이터를 그대로 조회CSV, TSV, JSON, Parquet, ORC, Avro 등과 같은 다양한 포맷을 지원한다.스캔한 데이터 양을 기준으로 요금이 책정되기에 비교적 요금이 저렴하다. (압축 포맷 활용 시 비용 절감 효과 큼)참고로, S3에 저장할 수 있는 데이터 형식은 다음과 같다. 구조화 데이터: 테이블 형태 (예: CSV, RDB에서 추출한..

Amazon KinesisAmazon Kinesis는 대규모 스트리밍 데이터를 실시간으로 수집, 처리, 저장하는 서비스다.스트리밍 데이터는 한마디로 지속적으로 생성되는 데이터를 의미한다. (ex. 주식 거래, 센서 데이터, 로그 등).실시간 분석, 애플리케이션 등 활용 범위가 넓다. 스트리밍 데이터에서 주목할 점스트리밍 데이터를 다룰 때에는 다음과 같이 주목해야 할 점이 세 가지 존재한다.데이터 순서: 주식 거래처럼 순서가 중요한 경우, 순서가 어긋나면 혼란이 생기므로 데이터의 순서가 중요하다.데이터 처리 능력: 대량 데이터를 빠르게 처리해야 하므로 고성능 서버가 필요하다.확장성(Scalability): 데이터 급증 시 서버가 유연하게 확장 가능해야한다. Amazon Kinesis의 특성데이터에 iter..

Amazon CloudWatchCloudWatch는 EC2를 비롯한 AWS 리소스와 애플리케이션을 모니터링하고, 성능과 리소스 사용 최적화를 위한 로그, 지표, 이벤트 데이터를 제공하는 서비스다. 사용자는 이 데이터를 수집·보존·분석하여 이상 탐지와 원인 분석을 수행한다. CloudWatch의 주요 기능은 다음과 같다.명칭기능 소개이용 예CloudWatch MetricsAWS 리소스 지표(metrics)를 수집·관리한다EC2의 CPU 사용률 수집, RDS의 스토리지 남은 용량 수집CloudWatch LogsAWS 리소스 로그를 수집·관리한다. 통합 CloudWatch 에이전트를 사용한다EC2의 OS 로그 수집, RDS의 오류 로그 수집CloudWatch Logs 구독 필터Logs에 출력된 로그를 실시간..