[아이티데일리] 아마존웹서비스(AWS)는 인프라 구성, 확장 또는 관리 작업 없이 대규모의 데이터를 분석할 수 있는 서비스 제품군용 서버리스 옵션 3가지를 17일 발표했다.

먼저 서버리스 옵션이 적용되는 AWS 서비스는 ‘아마존 레드시프트(Amazon Redshift)’와 ‘아마존 아파치 카프카 관리형 스트리밍(Amazon MSK)’, ‘아마존 EMR(Amazon EMR)’ 등 3가지다.

라울 파탁(Rahul Pathak) AWS 분석 담당 부사장은 “워크로드의 모든 측면을 세밀하게 제어하고 싶은 고객이 있는 반면 분석 인프라 관리에서 추측 작업을 제거하여 조직이 더 민첩하게 이동하고 분석 사용을 확장할 수 있기를 기대하는 고객들도 있다”면서, “이에 AWS는 3가지 인기 있는 분석 서비스에 대한 서버리스 버전을 제공함으로써 기업 고객이 분석 인프라 관리의 복잡성을 줄일 수 있도록 돕고자 한다”고 설명했다.

먼저 ‘아마존 레드시프트’용 서버리스 옵션은 데이터 웨어하우스(DW)를 구축하는데 적합하다. 수만 기업 고객이 매일 ‘아마존 레드시프트’로 2엑사바이트가 넘는 데이터를 집합적으로 처리하고 있다. ‘아마존 레드시프트’는 다른 엔터프라이즈 클라우드 DW 대비 최대 3배 저렴한 가격 대비 성능과 최대 10배 높은 쿼리 성능을 제공한다.

고객은 이를 통해 클러스터를 설정, 관리 또는 확장할 필요 없이 데이터에서 더 쉽게 인사이트를 도출할 수 있다. 현재 자체 ‘아마존 레드시프트’ 클러스터를 관리하는 고객은 애플리케이션 변경 없이도 콘솔이나 애플리케이션 프로그래밍 인터페이스(API)를 사용해 새로운 서버리스 옵션으로 쉽게 이동할 수 있다.

다음으로 ‘아마존 MSK’ 서버리스 옵션이다. 이는 데이터 스트리밍에 적합한 기능이다. 오늘날 점점 더 많은 기업들이 IoT 디바이스, 웹 사이트 클릭스트림, 데이터베이스 로그, 동적 데이터가 지속적으로 생성되는 기타 여러 소스에서 실시간 데이터 스트림을 캡처 및 분석하기 위해 아파치 카프카를 채택하고 있다. 고객은 클러스터를 자동으로 구축, 관리, 확장하는 ‘아마존 MSK’ 서버리스를 활용하면 용량 계획이나 예측할 수 없는 워크로드를 효율적으로 관리할 수 있다.

‘아마존 MSK’ 서버리스를 시작하려면 콘솔에서 클러스터를 생성하고 안전한 비공개 ‘아마존 카프카 엔드포인트’를 설정한 다음 신규 또는 기존 ‘아마존 카프카 클라이언트’를 이용해 데이터를 스트리밍하면 된다.

실제로 라이엇 게임즈는 ‘아마존 MSK’를 활용해 데이터 스트리밍에 효율을 높였다. 라이엇 게임즈는 전 세계에서 가장 많이 플레이되는 PC 게임 중 하나인 리그 오브 레전드(LoL)의 제작사이자 퍼블리셔다.

웨슬리 커(Wesley Kerr) 라이엇 게임즈 수석 데이터 과학자는 “자사는 AWS의 ‘아마존 MSK’를 활용해 하루에 약 20테라바이트의 데이터를 수집하고 있기 때문에 데이터 생성 후 쿼리 시간을 줄이는 것이 중요하다. 이제는 ‘아마존 MSK’를 통해 자체적으로 ‘아파치 카프카’를 실행하지 않고도 데이터를 생태계로 스트리밍할 수 있는 메커니즘을 확보하게 됐다”며, “‘아마존 MSK’ 서버리스를 사용하면 별도 확장 없이도 수요 변화에 대처할 수 있으므로 운영을 더욱 간소화할 수 있다. 그 결과 우리 개발자들은 아마존 카프카 확장에 대한 부담을 줄이고 전 세계에서 최고의 게임 경험을 제공하는 데 더 집중할 수 있게 됐다”말했다.

또 다른 옵션으로는 빅데이터 분석을 위한 ‘아마존 EMR’ 서버리스 옵션이다. 수만 명의 고객이 ‘아마존 EMR’로 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 기계 학습 애플리케이션을 위해 ‘아파치 스파크’, ‘하이브’, ‘프레스토’와 같은 오픈소스 프레임워크를 실행한다. 고객이 실행을 위한 프레임워크를 지정하기만 하면 ‘아마존 EMR’ 서버리스는 워크로드 요구 사항 변화에 따라 컴퓨팅 및 메모리 리소스를 프로비저닝, 관리, 확장한다.

또한 기업 고객은 단순히 오픈소스 프레임워크를 선택하고 ‘아마존 EMR API’, ‘AWS 커맨드 라인 인터페이스(AWS CLI)’ 또는 ‘AWS 매니지먼트 콘솔’로 작업을 제출함으로써 ‘아마존 EMR’ 서버리스를 시작할 수 있다.