안녕하세요, 에디터 푸린입니다!
2024년이 벌써 2달이 지나가는 시점에 조금 늦었지만 가트너에서 매해 발표하는 그 해에 주목해야 할 Top 10 기술 중 보안 관련된 기술을 소개드리고자 합니다.
Top 10 중에는 2가지가 있고, 그 중 먼저 소개되는 개념이 AI TRiSM이기에 오늘 아티클은 가트너가 소개하는 AI TRiSM에 대해 원문번역을 준비해보았습니다.
2023년은 AI의 해라고 해도 과언이 아닐 정도였습니다. 하지만 빠르게 기술이 발전하는 만큼 악한 의도를 갖고 그런 기술들을 악용하는 이들도 분명히 있는데요.
저는 본업이 보안쪽이다보니 직업병인지 모르겠지만 이러한 기술의 발전이 때때로 두렵기도 하고 어떻게 대응해야 할까 싶어 우려할 때도 많습니다.
가트너도 분명 그러한 트렌드를 읽어내고 AI 관련 보안을 하나의 테마로 잡지 않았을까 싶네요.
원문을 번역기 돌리지 않고 자체적으로 번역하였기에 오역이나 조금 더 나은 문구가 있다면 언제든지 알려주세요!
ChatGPT가 어지간한 번역은 다 해주는 세상이라지만, 그래도 IT 그중에서도 보안 쪽은 아직 약하니 제가 먹고 살만한가 봅니다ㅎㅎ
원문: https://www.gartner.com/en/articles/what-it-takes-to-make-ai-safe-and-effective
Al 모델에서의 신뢰, 위험 그리고 보안에 대한 의심
• Al 모델과 애플리케이션들은 타고나기를 믿을만하거나 신뢰할 수 있다거나 정당하거나 안전한 것은 아니다.
• Al TRiSM은 선제적으로 위험을 식별하고 완화시키고자 하는 솔루션의 세트라고 볼 수 있다.
By Lori Perri | 4-minute read | September 5, 2023
Big Picture
AI모델에 AI TRiSM을 전제해야 하는 6가지 이유
생성형 AI는 인공지능 파일럿들에 대한 광범위한 관심을 불러일으켰지만, 조직은 종종 AI 모델이나 애플리케이션들이 이미 운영계에 있거나 사용되기 전까지 그 위험성에 대해 고려하지 못하고는 한다. 종합적인 AI 신뢰(Trust), 위험(Risk), 보안 관리(Security Management) (TRiSM) 프로그램이 반드시 필요한 정부 요구사항을 통합하고, AI 시스템들이 선제적으로 그들(요구사항)을 준용하고, (AI가) 공정하며 믿을 수 있고 데이터 프라이버시를 잘 지키는지 보장하는데 도움을 줄 수 있 다.
만약 당신이 AI TRiSM이 정말 필요한 지에 대해 아직 의구심이 든다면, 아래 6가지 위협 요인들을 고려해보라 - 대부분은 단순히 AI 모델 내부에서 무슨 일이 일어나는지 모르고 사용하는 유저들로부터 기인한다.
1. 대부분의 사람들은 AI가 무엇인지, 그리고 AI 모델의 관리자, 사용자, 그리고 소비자들에게 어떤 영향을 주는지 설명할 수 없다.
• AI의 용어 설명만을 설명하려고 하지말라; 아래와 같이 잘 표현할 수 있어야 한다.
• 명확하게 모델이 어떻게 기능하는지, 특정 청중에게 그 상세한 내용 및 사유에 대한 설명하기
• 모델의 강점과 약점
• 예상되는 행위
• 어떠한 잠재적 편견/혹은 그런 성향
• 만약 당신이 정보를 갖고 있다면 학습에 사용되는 데이터셋과 그 데이터를 선정하는 방식을 가시화하라. 이것이 잠재적인 편중요인을 찾는데 도움이 될 수 있을 것이다.
2. 어느 누구든 ChatGPT나 다른 생성형 AI 툴에 접근 가능하다.
• 생성형A는 잠재적으로 기업들이 경쟁하고 업무를 하는 방식을 바꿀 수 있지만 동시에 기 존의 동제항목에서 소개되지 않은 새로운 위험들을 발생시킬 수도 있다.
• 특히, 호스팅되고 클라우드 환경의 생성형 AI 애플리케이션들과 연관된 위험은 심각하고 빠른 속도로 진화하고 있다.
참고: Learn More: Our Experts Answer the Top Generative Al Questions for Your Enterprise
3. 서드파티 AI 툴들이 데이터 기밀성에 대한 위험을 제기하다.
• 당신의 조직이 서드파티 제공자의 AI 모델과 툴을 연동함에 따라, 당신은 그 AI 모델들을 학습시키기 위해 사용된 거대한 데이터셋을 흡수하게 된다.
• 조직 내 사용자가 다른 조직의 AI 모델 내에 있는 기밀 데이터에 접속하게 될 수도 있을 것이며, 이는 잠재적으로 당신의 조직에 대한 규제적, 상업적, 그리고 평판 관련 결과에 영향을 끼칠 수 있다
“2026년에는 Al 투명성, 신뢰, 그리고 보안을 운영화하는 회사/단체의 AI모델이 도입이나 비즈니스 목표, 그리고 사용자들의 수용 측면 에서 50%의 성장을 이룩할 것이다.”
출처: 가트너
4. AI 모델과 앱들은 지속적인 모니터링이 필요하다.
• AI가 규제를 준수하고 공정하고 윤리적으로 유지될 수 있도록 AI모델 운영에는 특별화된 위험 관리 프로세스가 반드시 통합되어야 한다.(ModelOps)
• 관련해서 구매할 수 있는 툴이 많이 없기 때문에, AI 파이프라인을 위해서 커스텀 솔루션을 개발해야 할 필요가 있을 수도 있다.
• 지속적으로 통제가 적용되어야 한다
- 예를 들어, 모델과 애플리케이션 개발부터 테스팅 과 적용, 그리고 운영 과정을 모두 관통하는 부분에 모두 적용이 되어야 한다.
5. AI에 대한 적대적 공격을 탐지하고 제지하는데 새로운 방식이 필요하다.
• AI에 대한 악의적인 공격 (자체적으로 생산되었든 서드 파티 모델에 임베딩되어있든 모두)은 조직에 다양한 피해와 손해를 입힐 수 있다.
- 예를 들면, 재정적, 평판 관련 혹은 지적재산권 관련이나 개인정보나 특허 같은 데이터 자산 등에 말이다.
• Al 워크플로우의 풍부함을 테스팅 및 검증 그리고 개선할 때 이미 다른 타입의 앱들에 적용되는 것을 넘어 더 특별한 통제방식이나 실제 예시들을 추가해야 한다.
6. 규제들이 곧 규정 준수 항목들을 정리할 것이다.
• EU의 AI Act와 북미, 중국, 그리고 인도와 같은 다른 규제적 프레임워크가 이미 AI 애플리케이션의 위험을 관리하기 위한 규정을 만드는 중이다.
• 프라이버시 보호와 관계된 이미 우리가 준비하는 규제를 넘어서 이러한 (추가되는) 통제 들을 준수할 수 있도록 준비하라.
사실 어떻게보면 가트너가 제시하는 말들은 굉장히 기본적이고 이미 웬만한 대기업들에서는 실행하고 있거나 실행하기 위해 노력중일 것입니다. 다만, 기술의 발전이 워낙 빠른만큼 우리가 무조건 그 발전 속도를 따라잡으면서 허덕대기보다는 기본에 충실하여 어떠한 이슈가 생기더라도 기본적으로 한겹의 방패를 지니고 있을 수 있도록 한다면 베스트겠죠.
다음에는 가트너의 2024 Top 10 기술 중 두번째이자 또 다른 보안 토픽인 CTEM(Continuous Threat Exposure Management)에 대한 내용으로 다시 돌아오겠습니다.
다들 안전한 AI 활용 하시기 바랍니다 :)
이상, 에디터 푸린이었습니다!
'해외 IT 미디어 번역' 카테고리의 다른 글
| 당신의 데이터가 생각보다 더 가치있는 이유 (0) | 2023.01.31 |
|---|---|
| 흔한 링크드인 사기: 피싱 공격과 가짜 일자리 제의를 주의하라 (0) | 2022.07.31 |
| 2개의 다른 "VMware Spring" 버그 - 우리가 그 혼란스러움을 정리해보았다. (0) | 2022.04.01 |
| 제로 트러스트(Zero Trust)이해하기 (0) | 2022.03.31 |
| 사회적 자본을 중심으로 한 소셜 네트워크 분석-1 (Status as a Service(StaaS) 번역) (0) | 2021.04.22 |
