[AWS] Amazon Kinesis

Amazon Kinesis

스트리밍 데이터를 다룰 때에는 다음과 같이 주목해야 할 점이 세 가지 존재한다.

데이터에 iterator(시퀀스 번호)를 붙여서 순서를 관리하고, 높은 확장성을 제공한다. 데이터 처리에 필요한 서버는 AWS가 관리하여, 사용자는 관리 부담이 감소하게 된다. 대표적인 서비스는 다음과 같다.

서비스	설명	주요 활용 예시
Amazon Kinesis Data Streams	스트리밍 데이터를 실시간으로 캡처, 처리, 저장 가능	실시간 로그 수집, IoT 센서 데이터 수집, 주식 거래 데이터 처리
Amazon Kinesis Data Firehose	스트리밍 데이터를 S3 같은 데이터 스토어, Datadog, Splunk 같은 서드파티 분석 도구로 전송 가능	로그 데이터를 S3에 저장 후 Athena 분석, 보안 이벤트 데이터를 SIEM(Datadog, Splunk)으로 전송
Amazon Kinesis Data Analytics	- 스트리밍 데이터에 SQL 쿼리 실행하여 실시간 분석 가능 - 데이터 소스는 Kinesis Data Streams 또는 Firehose 중 선택 가능 - 실행 결과는 Data Streams, Firehose, S3 등으로 출력 가능	실시간 IoT 데이터 평균값 계산, 실시간 이상 탐지 (ex. 네트워크 보안 이벤트)
Amazon Kinesis Video Streams	AWS SDK(개발 킷)를 사용해 카메라, 스마트폰, 드론, 센서 등 영상 촬영 장비에서 스트리밍 데이터를 캡처, 처리, 저장 가능	감시 카메라 영상 실시간 스트리밍, 드론 촬영 영상 분석, 영상 기반 AI 모델 입력

Firehose는 데이터를 대상(S3, Splunk 등)에 전송하는 일종의 급수관이다. Kinesis Data Firehose는 데이터 전송을 위해 전송 스트림(Delivery Stream)을 따로 생성해야 한다.

Kinesis Data Firehose의 구성요소는 다음과 같다.

소스(Source): Kinesis Data Streams, Amazon MSK, Direct PUT, Fluentd, CloudWatch Logs 등.
대상(Destination): S3, Redshift, Elasticsearch, Splunk 등.
IAM 역할: 권한 제어.
Lambda 변환 옵션: 데이터 형식 변환, 암호화가 가능하다.

Kinesis Data Firehose의 요금은 수집한 데이터양(월 단위 GB)에 따라 과금된다.

(1) Vended Logs 소스

(2) Direct PUT 소스