인공지능과 머신러닝 구현, 스토리지(Storage)를 잊지마세요

인공지능(AI, Artificial Intelligence)와 머신러닝(ML, Machine Learning)은 최근 기술 업계에서 가장 많은 관심을 받는 분야입니다. 두 기술은 모든 업계가 문제를 해결하는 접근 방식을 완전히 바꿔놓았는데요. 헬스케어, 교통, 소셜미디어까지 AI와 ML의 영향력은 점점 뻗어나가고 있으며 주요 기술 행사들에서 인공지능과 머신러닝을 빼놓을 수 없게 되었습니다. 과장이 아니라, 말 그대로 AI과 ML이 모든 것을 바꾸고 있기 때문이죠.

Server racks in a server center. (Photothek via Getty Images)

 

업계 대부분은 AI와 ML을 어떻게 훈련시키고, 어떤 결과를 얻을 것이냐에 집중하고 있습니다. 하지만 더욱 중요한 사실은 최고의 AI와 ML 솔루션들은 컴퓨팅 파워, 메모리, 스토리지라는 적절한 인프라스트럭쳐의 조합을 가지고 있다는 것입니다.

 

데이터 병렬 컴퓨팅 워크로드는 병렬 스토리지가 필요하다

AMD나 NVIDIA같은 회사의 GPU 위에서 돌아가는 딥러닝 뉴럴 네트워크와, 그 네트워크를 훈련시키는 빅데이터 세트가 AI와 ML의 성공적인 확산을 가능하게 합니다. GPU 서버들로 서로 다른 뉴럴네트워크를 시뮬레이션해보면서, 전문가들은 심각한 문제를 맞닥뜨리게 되었습니다. GPU 의 가동속도는 빨라지고, 데이터 세트들은 커지고 풍부해졌습니다.  GPU 내에서 돌아가는 광대한 병렬 뉴럴 네트워크들을 뒷받침하고 있던 전통 스토리지의 한계가 온 것입니다.

전통 스토리지는 오래되었고, 순차(serial) 방식이고, 이러한 뉴럴넷 컴퓨팅 워크로드를 계속해서 뒷받침 할 수 없는 상태가 되었습니다. 기존의 머신러닝 트레이닝은 CPU에서 이루어졌습니다. 현재의 GPU보다 10배 이상 느린 방식이었죠. 머신러닝과 딥러닝, AI를 위한 컴퓨팅 성능은 GPU를 사용하게 되면서 전통 스토리지의 속도를 따라잡기 어려워 졌습니다.

 

시장이 검증한 병렬 스토리지의 필요성

자율주행 차량 소프트웨어 회사인 Zenuity, UC 버틀리, 세계적인 소셜미디어 회사는 자사의 ML 워크로드를 해결하기 위해 NVIDIA의 GPU 기반 시스템즈 DGX-1 과 Pure Storage 사의 대량 병렬 데이터 처리가 가능한 FlashBlade 를 도입했습니다. AI와 ML을 성공적으로 구현하기 위한 기반이 필요했기 때문이죠.

NVIDIA는 인공지능과 머신러닝 종사자 커뮤니티에서 "게임체인저" 로서 높은 선호도와 로열티를 확보하고 있습니다. NVIDIA의 GPU 기술과 SDK 로 AI와 ML을 실제로 적용할 수 있었기 때문이죠. Pure storage는 NVIDIA의 솔루션과 함께 자사 제품을 효과적으로 시장에 도입할 수 있었습니다. 

 

Outro

최적화된 AI와 ML 워크플로우는 컴퓨팅 파워, 메모리, 그리고 스토리지의 적절한 조합을 필요로 합니다. 이 조합이 없다면, 전체적인 머신러닝 트레이닝과 인공지능의 활용 프로세스가 느려질 수 밖에 없습니다. 이제까지 업계는 머신러닝을 어떻게 최적화할지, 또는 CPU와 GPU중 어떤 서버를 사용할지 고민했지만, 이제부터는 스토리지도 함께 고민해야 할 시점입니다.

 

*번역 원문 아티클 >> https://www.forbes.com/sites/patrickmoorhead/2018/01/27/dont-forget-about-storage-when-planning-for-ai-and-ml/#4b3c17395ccd

 

*<해외  IT 미디어 번역> 코너에서는 Techcrunch, WSJ, MIT Technology review 등 유수 해외 매체의  기술 관련 아티클을 영문에서 한글로 번역하는 동시에 이해를 돕기위해 에디팅(부연 자료 또는 설명 추가, 패러프라이징, 일부 생략  등) 한 콘텐츠를 업로드합니다. 오역의 여지가 있다고 생각되시는 부분이 있거나 함께 더 의논하시고 싶은 부분이 있으시면 주저없이  댓글로 남겨주세요 :) ! 번역 대상이 되는 영문 아티클 원문의 저작권은 전적으로 원래 매체에 귀속되며 2차 저작물인 번역 및  에디팅한 해당 콘텐츠의 저작권은 제 브런치 <해외 IT 미디어 번역> 매거진에 귀속됩니다.