본문 바로가기

IT Note/Data&AI

(33)
On-Prem LLM 실행기 (1): LLM 구조 파악하기 안녕하세요! 여립입니다. 최근 서버에 로컬모델 실행을 위한 인프라를 구성하고 실행해보았는데요, 이 경험을 토대로 이 시리즈에서는 LLM의 구조에 대해 이해하고, 모델 양자화란 무엇인지, 그리고 LLM을 실행하기 위한 인프라에 대해 설명해볼까 합니다. 최근, 서버에 온프레미스(On-Prem) LLM 배포 환경을 처음부터 구축해보고 있습니다. k8s 환경을 대신해 K3s로 구성한 후, RTX 3090 GPU가 두대 설치된 서버에 오픈소스 모델을 배포했습니다. 3090 GPU는 소비자용으로 나온 GPU지만, 각각 24GB의 VRAM (GPU에 붙은 메모리)을 가지고 있어 많은 활용도를 가진 GPU입니다. 이 VRAM 크기가 결국 실행 가능한 모델의 상한선이 됩니다. 요즘 주목받는 오픈소스 모델들은 대부분..
Langfuse on Openshift (feat. wxo) 원문 : 호롤리/Langfuse on Openshift (feat. wxo) Overview이번 포스팅에서는 LLM application을 위한 Observability 플랫폼인 Langfuse를 Helm차트로 Openshift에 배포하고,IBM의 AI agent 및 tool builder 플랫폼인 Watsonx Orchestrate와 연결해보도록 하겠습니다. 테스트 환경Openshift 4.18SoftwareHub 5.3.2Langfuse 3.155.1Langfuse 배포1. helm 설치공식문서 : Kubernetes (Helm)이 문서에서는 offline설치를 기준으로 설명하겠습니다. 공식 helm repo에서 helm바이너리파일을 다운로드 받습니다. 2. langfuse repo 다운로드이..
잘 기억하는 AI 에이전트 만들기: LangGraph의 State 설계 안녕하세요, 여립입니다! 오늘은 저번 메모리와 온톨로지에 이어, 에이전트 구조에서 잘 기억하는 방법을 정리해보고자 합니다.기존에 제가 에이전트의 개념에 대해 정리한 글이 있는데 먼저 읽어보고 오시면 이해하는데 도움이 됩니다. 메모리와 온톨로지: https://it-ist.tistory.com/390 AI의 지식은 어떻게 연결되는가? - 메모리와 온톨로지안녕하세요, 여립입니다. 오늘은 저번 컨텍스트 엔지니어링에 대해 작성한, 프롬프트 최적화 방법에 이어 메모리 시스템과 함께 온톨로지에 대해 이야기 해볼까 합니다. 기존 글을 아직 읽지 않it-ist.tistory.com Context Engineer과 멀티 에이전트 구조: https://it-ist.tistory.com/380 컨텍스트 엔지니어링 (Con..
AI의 지식은 어떻게 연결되는가? - 메모리와 온톨로지 안녕하세요, 여립입니다. 오늘은 저번 컨텍스트 엔지니어링에 대해 작성한, 프롬프트 최적화 방법에 이어 메모리 시스템과 함께 온톨로지에 대해 이야기 해볼까 합니다. 기존 글을 아직 읽지 않으셨다면, 아래의 글을 확인해주세요!https://it-ist.tistory.com/380 컨텍스트 엔지니어링 (Context Engineering): 프롬프트를 넘어 AI와 대화하는 새로운 방법안녕하세요, 여립입니다.오늘은 요즘 AI에서 주요 주제로 다뤄지는 컨텍스트 엔지니어링 (Context Engineering)에 대해 소개해볼까 합니다. 간략한 컨텍스트 엔지니어링의 소개부터, 개념과 주요 기법it-ist.tistory.com ChatGPT나 Claude를 사용해보신 분이라면 이런 경험이 있을 겁니다. 처음 몇 번은..
소버린 AI의 시작! 점점 핫해질 나만의 gpt 키우기 (Windows11에 open-webui 깔기) 안녕하세요, 전기톱맨입니다. 오늘은 내 방에 있는 컴퓨터를 AI 컴퓨터로 만들어 보겠습니다. Preview. 1. 대기업의 힘을 빌려보기그냥 terminal 열고 gemini 두들기면 바로 Local용 gemini가 호출됩니다.무료사용자임에도 많은 컨텍스트를 제공합니다. Main. 2. 오픈소스 이용해보기메인디쉬입니다.일단 아키텍쳐 한번 짜봤습니다. 제가 가진 Windows11에 WSL (windows linux system)을 올리고 Docker desktop을 올리고 그 Docker desktop에 open-webui와 ollama를 같이 패키징해서 묶어줍니다. 그럼 끝입니다. 일단 빠르게 완성품부터 보여드리겠습니다. 순간 GPU 사용률이 97프로 막 이렇게 되긴합니다.직접 만들어본 gpt oss ..
컨텍스트 엔지니어링 (Context Engineering): 프롬프트를 넘어 AI와 대화하는 새로운 방법 안녕하세요, 여립입니다.오늘은 요즘 AI에서 주요 주제로 다뤄지는 컨텍스트 엔지니어링 (Context Engineering)에 대해 소개해볼까 합니다. 간략한 컨텍스트 엔지니어링의 소개부터, 개념과 주요 기법들을 훑어볼 예정이니 끝까지 읽어봐주세요! 오늘의 블로그 내용은 해당 레포의 내용을 기반으로 작성했습니다.https://github.com/davidkimai/Context-Engineering GitHub - davidkimai/Context-Engineering: "Context engineering is the delicate art and science of filling the context window with"Context engineering is the delicate art and ..
AI, 초개인화 시대의 붐은 이미 시작됐다 안녕하세요, 전기톱맨입니다. 오랜만입니다. PRE.생성형 AI 시대가 도래하고 저도 직접 AI로 앱을 만들고 배포까지 해보았습니다.긴말 할 거 없이 바로 보여드리겠습니다.https://www.dailyitnews.art/ DaITNew www.dailyitnews.art서비스는 IT News 전달 플랫폼입니다. 형상관리는 github으로 배포는 vercel로 진행합니다. Favicon은 AI랑 결이 안맞아서 그냥 파워포인트로 1초만에 만들었습니다. 기존 IT News들이랑은 차별화가 있어야되기 때문에 카드뉴스 스타일을 도입하였습니다.이렇게 블로깅 하듯이 컨텐츠를 하나 하나씩 써보려고 합니다. 도메인은 .art 로 구매하였습니다. 이게 프로모션으로 1년에 4달러 밖에 안해서 스타벅스 한잔 마신다는 생각..
트렌드 따라가기: ReAct, Tools, MCP로 본 AI Agent의 현 주소 안녕하세요! 오랜만에 인사드립니다. 오늘은 요즘 핫한 주제 "MCP(Model Context Protocol)"이 아닌 😜, MCP가 뜨게 된 배경과 AI Agent가 어디까지 왔는지 알아보고자 합니다. LLM의 발전과 AI 에이전트의 등장LLM(Large Language Model)은 방대한 양의 텍스트 데이터로 학습된 인공 신경망 기반 모델로, 텍스트를 이해하고 생성하는 능력을 갖추고 있습니다. OpenAI가 발표한 GPT부터 Llama 등의 대규모 언어 모델(LLM)이 공개되면서, 텍스트 생성, 이해, 번역, 요약 등 다양한 자연어 작업에서 놀라운 성능을 보여주었습니다. 사람들은 AI의 시대가 왔다며 신기해했지만, 그것도 잠시, LLM의 한계를 보게 되었습니다. 대중적으로 생각하는 AI의 목표는 ..
Kafka의 필요성: 분산 데이터 환경의 필수품 안녕하세요! 여립입니다!다들 2024년을 마무리하며 한해를 돌아보고 계실 것 같습니다. 저의 경우 올해 목표였던 기술 스터디를 완주할 수 있었습니다.마침 기술 스터디의 주제가 [실전 카프카 개발부터 운영까지]이기도 하고, 이전글인 데이터 매쉬에 이어 카프카를 소개하면 좋을 것 같아 간단한 정의부터 장단점, 그리고 사용 예시까지 정리해보았습니다.  1. 카프카가 무엇인가요?카프카(Kafka)! 세계적인 소설가 프란츠 카프카(Franz Kafka)의 이름으로부터 유래한 Apach Kafka는 오픈소스 데이터 스트리밍 플랫폼으로 대용랑, 대규모 데이터(메세지)를 빠르게 처리하는 목적으로 개발된 플랫폼입니다. 비즈니스 중심의 소셜 네트워킹 플랫폼인 LinkedIn에서 하루에 1조 4천억 건의 메세지를 처리하기 ..
국내 최초 CSAP SaaS 인증 공공솔루션 개발 네이버클라우드로 시작하기 (그런데 Redis를 곁들인..) PRE. 공공데이터의 힘바야흐로 학생때 프로젝트를 진행할때 무언가 공신력 있는 자료를 뽑아내려면 공공데이터를 활용하는 경우가 많았습니다. 데이터 아낌없이 퍼주는 공공데이터 포탈은 그야말로 데이터의 천국이었는데요. 공공솔루션 주제를 보고 오랜만에 들어가봤습니다. 흥미로운 건 공공데이터를 활용해서 3118개의 앱, 웹이 개발되었다는 것입니다. 공공데이터를 쓰면서 공공솔루션을 더 잘 개발하기 위해선 어떻게 해야할까요? Main1. 공공솔루션 관련 네이버 클라우드 기술이 있다?공공 시장 진출에 관심이 있는 솔루션 개발사들이라면, 보안 인증에 대한 비용과 복잡한 심사과정 등으로 어려움을 겪어본 적 있으실 텐데요. 좋은 소식이 도착했습니다. 네이버클라우드가 클라우드DB 상품 5종에 대해 국내 최초로 CSAP Saa..
Query Optimization (feat. watsonx.data) 원문 : 호롤리/Query Optimization (feat. watsonx.data)OverviewQuery Optimization의 개념과, IBM의 lakehouse 솔루션인 watsonx.data에서 어떻게 쿼리 최적화를 할 수 있는지 알아보도록 하겠습니다.EnvironmentOpenshift : 4.16.xCP4D : 5.0.3watsonx.data : 2.0.3 Query Optimization두 개의 쿼리가 항상 순서 상관없이 같은 튜플들을 반환한다면 그것은 동등하다고 볼 수 있습니다.예를 들어서 : Natural Join (join순서를 어떻게 하던 동일한 결과를 반환합니다.) Select 연산 (만약에 E1테이블에서만 select 조건에 부합하는 튜플들이 있다면 먼저 select를..
제 1회 2024년 당근 테크 밋업에 갔다온 후기 안녕하세요! 여립입니다. 연말에는 많은 개발자들이 가고싶어하는 테크컨퍼런스가 열리는데요, 신청하는 모든 컨퍼런스가 떨어지는 와중에 당근 테크 밋업에 다행히(?) 당첨되어 갔다오게 되었습니다! 이번 당근 테크는 코엑스 3층 컨퍼런스 홀에서 열렸고, 신청한 트랙만 입장할 수 있었습니다. 저는 트랙 C인 데이터/머신러닝 트랙을 신청했습니다 (오후에는 사람이 줄어 다른 트랙도 잠깐 들어가봤습니다 ㅎㅎ).(PS. 출근길 9호선 급행은 쉽지 않은 것 같습니다...)후기 시작합니다!첫타임은 네트워크 모임으로 시작하게 되었습니다. 당근 테크 밋업에서는 매 세션타임에 네트워크 모임도 함께 진행해 다양한 직군 혹은 팀에 대해 알아볼 수 있었는데요, 저는 마침 2개의 네트워크 모임 신청에 성공하게 되어 참여할 수 있었습니다..