IT Note/Data&AI (30) 썸네일형 리스트형 Mixture of Experts (MoE) ? 그게 뭔데...어떻게 하는 건데... ChatGPT 가 탄생한 이후 LLM의 열기는 아직도 뜨겁다. 특히 기업에서의 LLM 도입은 더 많은 사례와 더 많은 종류의 모델, 그리고 그를 지원하는 다양한 소프트웨어가 생겨나면서 더 견고해지는 시스템 아래 상승곡선을 타고 있는 듯하다. 이에 나도 자연스럽게 LLM 에 관심이 계속 가고 있는데, 관련 자료를 읽을 때마다 가장 흥미로운 동시에 이해하기 어려운 부분이 바로 architecture 이다. "거대 언어 모델"이라는 명칭이 암시하는 매우 복잡한 구조도 여러 종류가 있는데 저마다의 강점과 단점이 명확하다. 오늘 이 포스트에서는 Mixtral 7x8b 모델의 기반으로 유명한 구조, Mixture of Experts(MoE)의 핵심을 알기 쉽게 설명하고자 한다. 참고로, 수식이나 통계적 이론은 최.. Quantum 말고 Quant! 안녕하세요! 오랜만에 돌아온 무휘입니다 ㅎㅎ 오늘 제가 들고 온 주제는 바로 "퀀트(Quant)" 입니다. 사실 주식이나 금융쪽에 생소하신 분들은 이 단어를 들었을 때 양자역학의 quantum 을 떠오르실지도 모르겠습니다. 저 역시 금융학회에서 퀀트팀에 들어가기 전까지는 그랬었거든요. 오늘 제가 소개드릴 퀀트는 바로 quantitave trading 혹은 quantitative analysis 의 약어로, 금융과 투자분야에서 통계적/수학적 모델을 사용하여 리스크 분석, 투자 전략 수립, 주식 거래 자동화 등등을 하는 것을 뜻합니다. 한편으로 이러한 역할을 수행하는 사람들 역시 퀀트라고 부르곤 하는데요. 실제로 인터넷에 한국어로 퀀트라고 검색하면 다음과 같은 정의가 나오네요: "고도의 수학, 통계 지식을 .. 호다닥 톺아보는 VectorDB 기초 원문 : 호롤리/호다닥 톺아보는 VectorDB 기초Overview지난 게시글에서는 Vector란 무엇인가?에 대해서 작성했었습니다. 데이터의 묶음은 여러의미의 데이터들로 이루어진 경우가 많은데, 이를 특정한 순서대로 모아둔 데이터 레코드를 선형대수에서는 Vector라고 부릅니다.그리고 행렬(Matrix) 은 이러한 벡터가 여러개 있는 데이터의 집합이라고 생각하면 될 것 같습니다. Vector의 의미를 알았으니, 이제는 이 Vector를 어떻게 활용할 수 있는지 알아보겠습니다. Embedding이란?지난 게시글에서 Vector의 예시를 설명할때 plain text를 가지고 표현했었습니다. 하지만 사실 plain text는 인간이 알아보기 쉬운 표현법이지, 기계가 이해하기 쉬운 표현은 아닙니다. 그.. [생성형AI 해볼게요] 생성형 AI로 포스터 만들어볼게요 (Midjourney, WatsonX, ChatGPT, Canva) 안녕하세요! 전기톱맨입니다. 모두 체인쏘우! PRE. AWS summit, GPT-4os AWS Summit이 글을 쓰는 시점에 시작했는데요, 역시나 대세는 생성형 AI입니다.그리고 OpenAI에서 Gpt-4o Spring update를 발표하였습니다.영화 Her를 보셨나요? 이제 연구소에 있는 AI가 아닌 지금 당장 핸드폰으로 심심이(라고 하기엔 많이 똑똑한)와 대화할 수 있습니다.통역, 대화, 코딩까지 지원을 한다고.. https://youtu.be/MirzFk_DSiI?si=3XNT9NvASaLGvLzfHello Baldy저도 직접 써보려고 했지만 아직까지는 소수의 사람들에게만 오픈되어 있어 체험해보지는 못했습니다.저 헤드셋을 누르면 5가지 버젼의 사람을 선택할 수 있는데 저는 아직 기능활성화가 되.. <텍스트로 비디오 만들기? 직접 해볼게요 : 비디오스튜, 스테이블디퓨전> 모두 체인쏘우!! 안녕하세요!! 회사 일로 바쁜 나날을 보내고 있습니다. 여러분은 샘 알트먼이라고 아시나요? OpenAI의 창시자인데요. 이 분이 최근 무려.. 9000조를 자기에게 투자해달라고 연설했습니다. 9000조면 얼만지 아시나요? MS(4000조) + 애플(3800조) + 국민연금(1000조)하고도 200조가 남아서 피자배달을 시켜먹을수 있습니다... 이 사람이 9000조를 펀딩해달라고 하는 건 AI 반도체칩을 만들기 위해서 라는데요. 저 또한 글을 위해 펀딩을 해준다는 분이 나타났습니다. 바로 Text To Video 회사 (ttv) 비디오스튜입니다. 오늘 AI를 이용해 텍스트로 비디오를 만들어보겠습니다. 생성형 AI에 대해서는 이전에 포스팅한 만큼 오늘은 바로 본론으로 들어간 후 이 ttv들.. GPU Basics -동작원리와 사용하는 이유에 대해서 원문 : GPU Basics -동작원리와 사용하는 이유에 대해서 Overview 최근 몇 년 간, 천정부지로 치솟은 GPU제조사 NVIDIA의 주식... 그리고 그래픽카드의 되팔이와 끝도없이 높아진 가격들을 지켜보며 대체 왜? GPU가 어떤 역할을 하기에 코인 채굴이나 AI 연구에 빠질 수 없는 컴포넌트가 된 것일까?? 궁금해했습니다. 공부해야지 생각만 하다가 최근 동작원리에 대해서 너무나 잘 설명한 영상을 봐서 그 내용을 요약 정리 하려고 합니다. Youtube Link : bRd 3D/GPU는 어떻게 작동할까 GPU의 탄생 GPU(Graphic Processing Unit) 컴퓨터 시스템에서 그래픽연산을 빠르게 처리하여 결과값을 모니터에 출력하는 연산장치 1980년대 첫 등장 CPU와 GPU의 차이 .. M1 Mac에서 Stable Diffusion Web UI 설치해보기 Intro 2023년 마지막 날에 글을 작성합니다. 올 한해도 어느덧 마지막 날이 되었는데요, 저는 AIX라는 1986년에 나온 Unix Engineer로 일을하고 있으나 공부를 할수록 IT의 초기개념의 역할이 중요하다는 생각을 합니다. 그래도 2023년, 2024년은 누가뭐래도 AI가 핵심 관심사일 것입니다. AI 관련된 포스팅 : https://it-ist.tistory.com/315 생성형 AI? 직접 써볼게요. (Chatgpt, Autogpt, HyperClova X, WatsonX, Midjourney, RVC Crepe V3) 2023년은 생성형 AI의 시대라고 해도 과언이 아닙니다. Chatgpt를 필두로 여기저기서 AI, AI, AI에 대해 외치고 있습니다. 이런 적은 처음이 아닙니다. 1.. 호다닥 톺아보는 Vector 원문 : 호롤리/호다닥 톺아보는 Vector Overview 요새 어쩌다보니 데이터 엔지니어링에 관심을 가지게 되었습니다. 데이터를 다룸에 있어 빠지지 않는 개념중 하나인 Vector! 고등학교때 기하와 벡터를 배웠다면 이름만은 익숙한 그녀석... 과연 요놈은 뭐길래 수학도 아닌 컴퓨터.. 그것도 데이터에 등장하는 걸까요? 간단하게 알아보도록 하겠습니다! 물리학적 & 수학적 관점의 Vector 우리에게 가장 익숙한 개념입니다. 물체의 운동을 묘사하기 위해 물리학자들의 연구로 탄생하였고, 크기와 방향을 함께 가지는 물리량을 Vector 라고 표현하기 시작했습니다. 예를 들어 A가 왼쪽으로 3m/s의 속력으로 달리고 B가 오른쪽으로 3m/s 속력으로 달린다면, 둘의 물리량(속력)는 3m/s로 동일하기때문에 .. 생성형 AI? 직접 써볼게요. (Chatgpt, Autogpt, HyperClova X, WatsonX, Midjourney, RVC Crepe V3) 2023년은 생성형 AI의 시대라고 해도 과언이 아닙니다. Chatgpt를 필두로 여기저기서 AI, AI, AI에 대해 외치고 있습니다. 이런 적은 처음이 아닙니다. 1. 이제는 볼드모트가 된 그 이름 2018년을 기억하시나요? 2017년 시작에 1000달러가 안되었던 1 비트코인이 2018년 1만달러를 돌파하고 2021년 11월에 한화로 8200만원, 68000달러를 돌파했습니다. 사실 지금보다 더 난리였었죠. 모두가 비트코인 광풍에 빠졌었습니다. 실제 자신의 돈이 복사가 된다고 말할 지경이었죠. 2018-2021 시즌한정 노벨 경제학상은 하이먼 민스키가 가져갔을 겁니다. 매 달이 지날때마다 매 해가 지날때마다 하이먼 민스키모델은 머릿속에 각인되었죠. 2023년 지금은 어떨까요? 블록체인은 사실상 볼드.. 장안의 화제!! Github 별 130000개 Auto-GPT 10분만에 써보기 Pre. 서론 AWS Summit을 다녀왔습니다. Chatgpt 영향력이 엄청나다는 걸 체감한게 AI 관련 부스들이 많더라고요. 그 중에서 AI/ML을 통해 자기가 좋아하는 분위기의 그림을 자동 생성해주는 그런 부스가 있었는데.. 솔직히 미드져니가 더 나은 느낌! 이었습니다. Chatgpt를 실 업무에 활용하시는 분들은 아래와 같습니다. 실제로 자신의 업무를 대체하기에는 무리가 있지만 명확하고 디테일한 설명과 함께 깔끔한 문법구사와 설득력이 놀랍습니다. 보통 gpt를 이용할때 질문-확인-자기의 생각 추가와 같은 단계를 거치게 됩니다. 최근 Chatgpt의 대성공으로 이를 바리에이션하여 많은 비즈니스가 탄생하고 있습니다. 그 중 가장 핫티스트 한 것이 Auto-gpt입니다. 이 글을 작성하는 5월 15일기.. 장안의 화제! Chat GPT 이게 뭐야? 장안의 화제 Chat GPT를 들어보신적 있을까요? 요즘 '챗 GPT'라는 인공지능 채팅 애플리케이션이 장안의 화제입니다. 월간 활성 사용자(MAU)는 출시 2달여만에 1억명이 돌파했다고 합니다. MAU가 1억명으로 달성한 속도는 최근까지 틱톡이 9개월로 가장 빠른 기록을 가지고 있었는데, ChatGPT가 2개월로 무려 7개월이나 단축한 기록이라고 합니다. 이렇게 무섭게 쫓아오다보니, 구글 같은 기존의 거대 IT 기업들이 긴장할 정도입니다. 엄청난 양의 데이터를 조합해 사람처럼 자연스럽게 대답을 내놓는 게 특징인데, 수준도 꽤 높아서 웬만한 로스쿨에도 합격할만한 수준의 답을 내놓는다고 합니다. 한편에선 표절 같은 윤리 문제가 우려되는 만큼 규제를 해야 한다는 경고도 나오고 있습니다. GPT는 Genera.. COVID-19의 기원을 Data Science로 예측해보자! 원문 : 호롤리한하루/COVID-19의 기원을 Data Science로 예측해보자! Overview 1.해당 포스팅은 다음 문서를 바탕으로 재가공한 문서입니다. -> Using Data Science to Predict the Origin of SARS-CoV-2 Coronavirus from Public Genome Data 원 포스팅이 20년 2월에 작성되었으니 사실과 다른 내용이 포함되어 있을 수 있는 점 양해부탁드립니다. 2.본문에서 사용한 코드는 여기 있습니다. SARS-CoV-2 코로나 바이러스는 어디에서 시작되었을까요? 전문가들은 박쥐가 바이러스의 근원지라고 추측하고 있습니다. 어째서 그런 결론이 나왔을까요? 전통적으로 의학자들은 BLAST같은 생물정보학(bioinformatic) 툴을 사용.. 이전 1 2 3 다음
