AWS re:Invent 2020 - Keynote with Andy Jassy Summary-(2)

🤷‍♀️ About This Article

해당 아티클은 작년 2020년 12월, 2021년의 경영전략과 2020년의 회고를 풀었던 앤디제시의 키노트를 리뷰합니다. 전 편이 궁금하신 분은 아래 링크를 참고해 주세요.

https://it-ist.tistory.com/231

AWS re:Invent 2020 - Keynote with Andy Jassy Summary-(1)

제품 소개를 하며 고객 인사이트나 의견, 현재 고객들이 당면하는 IT 리소스 관리 및 개발에서의 에로사항들을 먼저 소개하고 그를 해결하는 Problem-Solution 형식으로 제품을 소개한다는 것. Amazon의 제 1 리더십 원칙인 Customer obsession이 강하게 녹아져 있는 스피치입니다. 앤디 제시의 제품 발표가 하나씩 끝날때마다 청중의 박수는 AWS의 새 제품

 

✔ Summary (Cont.)

2) Reinventing Data Stores

io2 Block Express

• Problem: SAN 스토리지를 클라우드 환경에서 사용하고 싶음
• Solution: io2 Block Express, SAN 스토리지를 클라우드 상에서 사용 가능(업계 최초제품), SAN 스토리지를 비용이나 관리 등에 들어가는 별도의 고민없이 간편하게 이용 가능, 기존 제품 대비 4배 이상의 IOPS(256,000, 4,000MB/s) 지원

Amazon Aurora

• Problem: 온프레미스 데이터베이스를 구축, 운영하고 패치 및 fault tolerance 등을 관리하려면 수많은 인력을 고용해야하는 워크로드 발생, AWS가 관계형 데이터베이스 서비스를 출시했으나 오늘날에도 대부분의 관계형 데이터베이스는 오라클 및 MS SQL 과 같은 incumbent relational databases를 온프레미스 환경에서 운영하고 있고 고가의 운영 비용 발생

여기서 마이크로소프트가 MS SQL 서버를 MS 클라우드 환경에서만 이용할 수 있게 설정해놓은 것을 "기업에게 유리하고 고객에게 유리하지 않은 행태"라고 자사의 고객중심적 제품개발 방식과 비교하는데 사실 개인적으로 공적인 자리에서 적나라한 비교를 해서 깜짝 놀람 ㅎㅎ

AWS는 타사 대비 다른 방식으로 long-term 에서 고객과 관계를 설정하고자 하며 고객이 더 낮은 비용으로 효율적으로 제품을 사용하게끔 돕는 회사라는 것을 강조.

• Solution: 관계형 데이터베이스 서비스 Amazon Aurora, MySQL과 PostgreSQL과 상호호환 가능함, 타사제품 대비 10분의 1 정도 가격으로 이용 가능, 아스트로제네카, 버라이즌, 에어비엔비, 어도비, 삼성, 훌루, 레딧, 소니, 젠데스크, 포켓몬고 등이 아마존 오로라를 사용함
• Amazon Aurora Serverless: 아마존 오로라를 Auto-scaling configuration 지원, 데이터베이스 인스턴스를 관리할 필요 없으며 5-50초 이내로 스케일 요청 처리
• Amazon Aurora Serverless v2: 피크 상태에서 아마존 오로라를 운영하는 것 대비 해당 제품 도입시 90% 비용 절감

Babelfish for Amazon Aurora Postgres

• Problem: 최근 몇년 동안 350,000 여개의 데이터 배이스가 AWS로 마이그레이션함, 이 과정에서 AWS의 database migration service를 이용하는데 과거 타사 제품의 오래된 영구 DB에 종속된 코드를 처리하는데 고객들의 어려움 발생
• Solution T-SQL과 MS Postgres 스키마를 이해하는 바벨피시를 이용해서 사용하던 코드를 거의 수정 없이 Amazon Aurora로 이전가능함.
• Babelfish for PotgreSQL (오픈소스) : 아파치 2.0 라이센스 이용, 기존 영구 SQL 서버로부터 오픈소스로 이전하는데 유용하게 사용됨

AWS Glue Elastic Views

• Problem: THE RIGHT TOOL FOR THE RIGHT JOB관계형 데이터베이스가 항상 답인것만은 아님, 용도에 따라 다른 데이터 베이스(DynamicDB, Redshift 등)가 필요할 때가 있음.이러한 여러 DB 간 Data movement가 쉽지 않음
• 여러 층위의 데이터가 쌓이는 회사의 경우 관계형 데이터베이스는 너무 복잡하고, 비싸고, 적절한 퍼포먼스를 내지 못함.

• Solution: AWS Glue Elastic views, 여러 데이터 저장소에서 데이터 관리, 데이터를 합치고 복제하는 것이 자유로워짐

SQL 명령어를 입력하여 버추얼 테이블을 만들고 타겟 데이터 스토어로 복제

개인적으로 이 키노트에서 제일 파보고 싶고 잘될것 같다고 생각한 제품!

이전 회사에서 데이터 레이크 및 데이터 파이프라인 구축할때 각 고객사의 온프렘 DB 에 따라 굉장히 구성이 제한되곤 했었기 때문이다.

이 제품이 있으면 데이터 레이크 구성에 있어서 엄청 유연하게 옵션을 선택할 수 있을듯

3) Reinventing Machine Learning

• Amazon SageMaker는 텐서플로우에만 집중하는 타사와 달리 TensorFlow, Pytouch, MXNET 모든 프레임워크에 최적화되어 있음
• SageMaker Studio는 노트북, 디버거, 오토파일럿 등 머신러닝 개발 환경 일체의 기능을 지원함

Amazon SageMaker Data Wrangler

• Problem: 데이터 전처리(데이터 준비)가 너무 어려움, 서로 다른 포맷의 중구난방 데이터를 처리(Featuer engineering)하는데 많은 시간이 들어감
• Solution(SageMaker Data Wrangler): 데이터 전처리를 빠르게 할 수 있음, 인풋 데이터를 자동으로 인식하여 모델 훈련에 적합하도록 적절한 변형 또는 변형 추천

Amazon SageMaker Feature Store

• A New Repository for data used for ML predictions and inference
• 데이터 저장, 업데이트, ML 피처를 공유하는데 최적화
• SageMaker Studio에서 접근 가능
• 초저지연으로 실시간 추론 및 예측 작업이 가능함

Amazon SageMaker Pipleline

• ML 작업에 특화된 CI/CD 서비스(Continuous integration and continuous delivery)
• end-to-end ML workflow, 모든 작업 과정을 트래킹하고 오딧을 돌리기때문에 troubleshooting이 쉬워짐

Amazon DevOps Guru

• ML을 사용해 향후 고객에게 영향을 미칠만한 운영상의 이슈를 예측하고 식별함
• SMS, Slack, Cloudwatch 등으로 알림을 줌
• 더 많은 인풋을 넣을수록 예측 결과는 정교화됨

Amazon Quicksight Q

• 서버리스 BI Amazon Quicksight를 자연어 명령으로 사용할 수 있음
• 검색란에 자연어로 비즈니스 문제에 관한 명령을 입력하면 관련된 인사이트가 몇초 내로 도출 가능 (예: X와 Y 제품의 매출을 12개월 내 지표로 비교해줘)
• 딥러닝, 자연어처리, 스키마 이해, semantic parsing of SQL code generation을 사용
• 사용자는 ML에 대한 지식이 없어도 됨 (ML 자체를 위한 제품이 아닌 고객의 비즈니스 문제를 해결하기 위한 제품)Reinventing Data Stores
  • Problem: SAN 스토리지를 클라우드 환경에서 사용하고 싶음
  • Solution: io2 Block Express, SAN 스토리지를 클라우드 상에서 사용 가능(업계 최초제품), SAN 스토리지를 비용이나 관리 등에 들어가는 별도의 고민없이 간편하게 이용 가능, 기존 제품 대비 4배 이상의 IOPS(256,000, 4,000MB/s) 지원