소버린 AI의 시작! 점점 핫해질 나만의 gpt 키우기 (Windows11에 open-webui 깔기)

안녕하세요, 전기톱맨입니다.

 

오늘은 내 방에 있는 컴퓨터를 AI 컴퓨터로 만들어 보겠습니다.

 

Preview. 1. 대기업의 힘을 빌려보기

마지막 한글자가 짤림..

그냥 terminal 열고 gemini 두들기면 바로 Local용 gemini가 호출됩니다.

무료사용자임에도 많은 컨텍스트를 제공합니다.

 

Main. 2. 오픈소스 이용해보기

메인디쉬입니다.

일단 아키텍쳐 한번 짜봤습니다.

 

하나올리고.. 하나 더 (직접 만듦)

제가 가진 Windows11에 WSL (windows linux system)을 올리고 Docker desktop을 올리고 그 Docker desktop에 open-webui와 ollama를 같이 패키징해서 묶어줍니다. 그럼 끝입니다.

 

일단 빠르게 완성품부터 보여드리겠습니다. 순간 GPU 사용률이 97프로 막 이렇게 되긴합니다.

직접 만들어본 gpt oss

 

 

 

https://github.com/open-webui/open-webui

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

여기 open-webui라는 오픈소스 프로젝트는 지금 엄청난 속도로 성장해가고 있습니다.

보면 Created by Timothy Jaeryang Baek 이라고 되어있는데 한국계 미국인..? 인듯 하고 머 여러명 뽑고 있다고 합니다.

 

제가 한 순서대로 써보겠습니다.

 

1. Windows11에 WSL (Windows Subsystem for Linux) 설치
2. Docker Desktop 설치
3. Open-Webui, OLLAMA 설치
4. 원하는 언어모델 Docker에 패키징하기 (gptoss 모델로 함)
5. GPU로 동작하기 위해 몇가지 셋팅
6. local host 접속해서 사용
7. 네트워크를 구성해서 외부에 있는 내 노트북으로도 접속할 수 있음.
8. NAS를 구성해서 학습자료만 따로 Storage에 저장할 수 있음.

 

도커 window 이식성 죽이네..

 

순간적으로 메모리값 97프로 GPU값이 93프로 이렇게 올라가긴한다.

 

Conclusion. 3. 왜 내 컴퓨터에다가 깔아야 할까

1초만에 모바일로, 컴퓨터로 chatgpt, gemini, claude, cursor AI 쓸 수 있습니다.

그런데 왜 귀찮게 내 컴퓨터에다가 깔아야 할까요?

보안사고가 많이 일어나고 있습니다.

AI는 최대한 많은 양을 외부에서 학습해야 합니다.

이 두가지는 목적이 상반됩니다. 

이 상반된 목적을 달성하기 위해선 폐쇄성으로 갈 수 밖에 없다고 생각됩니다.

특히나 기업들은 자기 내부의 지적자산을 지킴과 동시에 AI라는 거대한 무기는 무조건 사용해야하니 이런 Local AI 사용법은 선택이 아닌 필수라고 생각됩니다.

 

인제 AI도 직접 만들어서 쓰자!!!