본문 바로가기

IT Note

 (230)
On-Prem LLM 실행기 (1): LLM 구조 파악하기 안녕하세요! 여립입니다. 최근 서버에 로컬모델 실행을 위한 인프라를 구성하고 실행해보았는데요, 이 경험을 토대로 이 시리즈에서는 LLM의 구조에 대해 이해하고, 모델 양자화란 무엇인지, 그리고 LLM을 실행하기 위한 인프라에 대해 설명해볼까 합니다. 최근, 서버에 온프레미스(On-Prem) LLM 배포 환경을 처음부터 구축해보고 있습니다. k8s 환경을 대신해 K3s로 구성한 후, RTX 3090 GPU가 두대 설치된 서버에 오픈소스 모델을 배포했습니다. 3090 GPU는 소비자용으로 나온 GPU지만, 각각 24GB의 VRAM (GPU에 붙은 메모리)을 가지고 있어 많은 활용도를 가진 GPU입니다. 이 VRAM 크기가 결국 실행 가능한 모델의 상한선이 됩니다. 요즘 주목받는 오픈소스 모델들은 대부분..
[Network 기초] 2. L2 스위치 기본동작 이해하기 - 왜 L2 스위치가 필요하지? 원문 : https://ithailey.tistory.com/2 [Network 기초] 2. L2 스위치 기본동작 이해하기 - 왜 L2 스위치가 필요하지?안녕하세요, 오늘은 네트워크 기초 1에서 생략 되었던 내용중 하나인 L2 스위치 기본동작에 대해서 이해하는 시간을 가져보겠습니다.일단 L2 스위치가 어떻게 동작 하는지 알기 이전에 왜 L2스위ithailey.tistory.com안녕하세요, 오늘은 네트워크 기초 1에서 생략 되었던 내용중 하나인 L2 스위치 기본동작에 대해서 이해하는 시간을 가져보겠습니다.일단 L2 스위치가 어떻게 동작 하는지 알기 이전에 왜 L2스위치가 나왔지?에 대해서 공부를 하고자 합니다. 왜 L2스위치가 나왔지?우리가 컴퓨터가 총 4대있다고 가정합니다. 이 4대가 서로 통신할 수..
Langfuse on Openshift (feat. wxo) 원문 : 호롤리/Langfuse on Openshift (feat. wxo) Overview이번 포스팅에서는 LLM application을 위한 Observability 플랫폼인 Langfuse를 Helm차트로 Openshift에 배포하고,IBM의 AI agent 및 tool builder 플랫폼인 Watsonx Orchestrate와 연결해보도록 하겠습니다. 테스트 환경Openshift 4.18SoftwareHub 5.3.2Langfuse 3.155.1Langfuse 배포1. helm 설치공식문서 : Kubernetes (Helm)이 문서에서는 offline설치를 기준으로 설명하겠습니다. 공식 helm repo에서 helm바이너리파일을 다운로드 받습니다. 2. langfuse repo 다운로드이..
[양자컴퓨팅]Lesson 4. IBM Quantum Platform 으로 Qiskit 이용해보기 (아다마르 게이트) 안녕하세요, 전기톱맨입니다.이번엔 지금까지의 레슨을 바탕으로 IBM Quantum Platform을 이용해 아다마르 게이트를 통과한 큐비트가 실제로 어떻게 변하는지 3D 그래픽으로 띄워보겠습니다. https://quantum.cloud.ibm.com/ IBM Quantum PlatformIBM Quantum Platform Get access to IBM quantum computers, Qiskit documentation, and learning resources all in one place. Search for resourcesquantum.cloud.ibm.com일단 들어가서 스근하게 가입해줍니다.여기에서 API Key -> Create + 를 누르셔서 연동 API Key를 발급받아주시고 메모장..
[양자컴퓨팅] Lesson3. 양자 상태 벡터, 선형성, 아다마르 게이트, 양자 푸리에 지난 시간에 이어서 쭉쭉 가보겠습니다.지난 시간엔 고전적 상태에 대해 말했습니다.https://it-ist.tistory.com/406 [양자컴퓨팅] Lesson2. 확률적 상태와 확률 벡터 그리고 고전적 상태Pre. 삼국지와 동전으로 알아보는 양자역학 안녕하세요, 전기톱맨입니다. 양자컴퓨팅 두번째 시간. 이 이름도 어려운 양자컴퓨팅을 지나기 위해선 어쩔수 없이 수리 관문을 거쳐야 합니다. 요약it-ist.tistory.com고전적 상태 (Classical States)정보를 저장하는 시스템은 특정 순간에 명확하게 인식하고 설명할 수 있는 유한한 개수의 '상태' 중 하나에 놓이게 되는데, 이를 고전적 상태라고 합니다.양자 상태 (Quantum States)벡터의 성질은 바뀌었지만 기본 전제는 같습니다. ..
[양자컴퓨팅] Lesson2. 확률적 상태와 확률 벡터 그리고 고전적 상태 Pre. 삼국지와 동전으로 알아보는 양자역학 안녕하세요, 전기톱맨입니다. 양자컴퓨팅 두번째 시간. 이 이름도 어려운 양자컴퓨팅을 지나기 위해선 어쩔수 없이 수리 관문을 거쳐야 합니다. 요약하자면 상자 안의 고양이는 1시간 뒤 절반의 확률로 살아남을 수 있습니다. 나머지 절반의 확률로는 저 독성물질로 죽습니다. 이 사실은 확률을 포함하고 있지만 관측하기 전까진 알 수 없습니다. 이게 양자역학입니다. 관측하기 전까지는 산 고양이와 죽은 고양이는 공존합니다. 어쩌면 공명의 환생이 슈뢰딩거가 아닐까요.. Main 1. 확률적 상태와 고전적 상태, 그리고 확률 벡터고전적 상태 (Classical States)정보를 저장하는 시스템은 특정 순간에 명확하게 인식하고 설명할 수 있는 유한한 개수의 '상태' 중 하나에..
[양자컴퓨팅] Lesson1. 양자컴퓨팅이란 안녕하세요 전기톱맨입니다. 조만간 양자컴퓨팅이 IT 시장의 대세가 될 거 같아 지금부터 작성좀 해보면서 공부하려고 합니다.레쉬게릿 Pre. Motivation for Quantum Computing회사에서 Quantum 관련 Ambassador를 뽑는다고 하여 지원했습니다. 아쉽게 이직 계획이라 참여는 못하겠지만 현재 물밑으로부터 Marketing을 하겠다는 신호이고 글로벌적으로 붐이 되는건 시간문제라고 생각됩니다.제가 이 IT 바닥을 경험해보니 남들보다 빠르게 트렌드를 선점하는게 무엇보다 중요합니다. 이미 AI는 괴물들이 즐비하기에 빠르게 양자컴퓨팅으로 가보겠습니다. 1. 양자컴퓨팅의 정의양자 컴퓨팅은 기존의 고전 컴퓨터(CPU/GPU 기반)가 해결하기 어려운 복잡한 변수와 상호작용이 얽힌 문제를 해..
Apache Kafka 기반 서버리스 스트리밍 서비스, Data Stream이란? 안녕하세요, 전기톱맨입니다.저 됐어요, 이직 됐어요!!이 이야기는 다음에 하고 오늘은 데이터 스트리밍에 대해서 제대로 한번 박살 내보시죠!! (네이버 클라우드와 함께) 솔직히 데이터 스트림이란 말이 추상적으로 보여서 예시부터 먼저한번 박고 가겠습니다. 이게 지금 유튜브를 켰을때 나오는 제 알고리즘입니다. F5 버튼 한번 눌러보겠습니다.이 나한테 보여주는 데이터가 실시간으로 변화합니다. 이게 눈으로 볼때는 당연하지인데 만들수 있겠습니까? 이게 유튜브다!!! 데이터 스트림의 위대함이 이런겁니다. 1. 은행, 보험, 증권 거래소 등에서 결제 및 금융 거래를 실시간으로 처리. -> 금융 거래의 이벤트를 실시간으로 처리하여 사기 탐지나 리스크 관리를 수행합니다.2. 물류 및 자동차 산업 등에서 자동차, 트럭, f..
[Network 기초] 1. 동일 서브넷 내 통신 과정 이해하기 원문 : https://ithailey.tistory.com/1 [Network 기초] 1. 동일 서브넷 내 통신 과정 이해하기안녕하세요, 오늘은 네트워크의 가장 기본이 되면서도 중요한 동일 서브넷(L2) 내에서의 통신 과정을 시나리오를 통해 자세히 알아보려고 합니다.Web 서버에서 WAS 서버로 ping을 보낼 때, 실제 패ithailey.tistory.com 안녕하세요, 오늘은 네트워크의 가장 기본이 되면서도 중요한 동일 서브넷(L2) 내에서의 통신 과정을 시나리오를 통해 자세히 알아보려고 합니다.하단 시나리오의 Web 서버에서 WAS 서버로 ping을 보낼 때, 실제 패킷과 프레임이 어떤 과정을 거쳐 전달되는지 단계별로 정리해 보겠습니다.1. 시나리오 환경 설정먼저, 테스트 환경의 구성은 다음과 같..
우리는 지금 <매트릭스>세상과 가까워지고 있을까? 안녕하세요, 에디터 푸린입니다!간만에 아티클을 작성해보는데, 사실 저는 요즘 IT와 조금 멀어진 삶을 살고 있습니다. 일을 쉬고 있는 중인데, 평소에 직업병인지…AI를 적극적으로 사용하지 않고 그러다보니 점점 더 트렌드와 멀어지는 삶을 살고 있는 것 같습니다. 그래서 이번 아티클은 엄청나게 트렌디하거나 새롭고 혁신적인 무언가를 들고오지는 않았습니다. 대신, 현재 거의 무한대의 가지를 뻗치고 있다고 해도 과언이 아닌 AI와 기존의 보안을 접목시켜서 우리가 AI를 사용하는 것에 대한 윤리적 문제에 대해서 다시 한 번 고민하는 시간을 가져볼까 했습니다.원래도 AI의 윤리적 문제에 대해서 다룬 영화나 소설 등은 매우 많았죠. 그러나 빠른 기술의 발전, 그리고 편리성을 실제로 체험해보는 사람들에 의해 우리가 보았..
호다닥 톺아보는 네트워크 가상화(feat. DPDK, SR-IOV) 원문 : 호롤리/호다닥 톺아보는 네트워크 가상화(feat. DPDK, SR-IOV)Overview이번 포스팅에서는 어렵지만!! 한번쯤은 이해하고 넘어가야 할 네트워크 가상화에 대해서 자세히 알아보도록 하겠습니다기본 네트워크네트워크 가상화에 대해서 알아보기 이전에, 가상화하지 않은 네트워크는 어떤식으로 동작하는지 간단히 살펴보겠습니다. 매우 간단합니다! 외부 패킷을 받아서 서버로 전달해주는 스위치, 스위치로부터 패킷을 받아서 커널로 넘겨주는 NIC(Network Interface Controller)을 통해서 서버는 네트워크 통신을 할 수 있게 됩니다. Internet - Physical Switch - Physical NIC - Host OS리눅스는 메모리공간을 사용자영역(User Space)과 커..
잘 기억하는 AI 에이전트 만들기: LangGraph의 State 설계 안녕하세요, 여립입니다! 오늘은 저번 메모리와 온톨로지에 이어, 에이전트 구조에서 잘 기억하는 방법을 정리해보고자 합니다.기존에 제가 에이전트의 개념에 대해 정리한 글이 있는데 먼저 읽어보고 오시면 이해하는데 도움이 됩니다. 메모리와 온톨로지: https://it-ist.tistory.com/390 AI의 지식은 어떻게 연결되는가? - 메모리와 온톨로지안녕하세요, 여립입니다. 오늘은 저번 컨텍스트 엔지니어링에 대해 작성한, 프롬프트 최적화 방법에 이어 메모리 시스템과 함께 온톨로지에 대해 이야기 해볼까 합니다. 기존 글을 아직 읽지 않it-ist.tistory.com Context Engineer과 멀티 에이전트 구조: https://it-ist.tistory.com/380 컨텍스트 엔지니어링 (Con..

티스토리툴바