본문 바로가기

IT Note

 (186)
데이터 매쉬: 중앙 집중형에서 분산형으로 안녕하세요, 여립입니다.이번 글에서는 데이터의 중요성이 부각되며 등장한 데이터 관리방식인 데이터 매쉬에 대해 다뤄볼까 합니다.** 이번 글은 [Data Mesh Architecture] 내용을 기반으로 작성했습니다. 대부분의 기업들은 대체로 데이터 팀이 주관해 데이터를 관리하고, 필요한 데이터가 있을 때마다 데이터 팀에게 요청해 관련한 데이터나 분석결과를 얻게 됩니다. 이런 형태를 중앙 집중형(central data team)이라고 부릅니다. 이와 다르게, 데이터 매쉬는 이전의 한 팀(functional team)에서 모두 데이터를 관리하는 것이 아닌, 데이터 소유권을 각 도메인(team, business unit)으로 분산시켜, 개별 도메인이 자신의 데이터를 책임지고 관리하며, 데이터를 "제품"으로 취..
인공지능(AI)의 빛과 그림자, 우리는 어디로 가고 있을까? 안녕하세요 에디터 푸린입니다.  사실 이제 이렇게 말하는 것이 민망할 정도로 AI 및 인공지능이라는 단어는 너무나 유명한 단어이자 개념입니다. 작년 한해 큰 반향을 일으킨 ChatGPT와 글로벌 탑 테크기업들이 앞다투어 내놓은 LLM모델과 그들의 AI 능력 자랑은 지금도 그 치열한 레이스가 진행중이죠. 이나 같은 미래는 아직 멀었지만 벌써부터 새로운 기술에 대해서는 갑론을박이 분분한 듯 합니다. 물론 아직까지는 긍정적인 면모들이 좀 더 많이 비춰지고 있는데요. 기술적 발달, 효용가치 증가, 효율성 증대, 자동화, 지식의 보고 등등 사람들이 AI에 더 친숙해지고 거부감이 없는 모습을 보이는 것은 분명 그것이 사람들에게 “편리함”을 제공해주기 때문일 것이라고 생각합니다. (게다가 AI를 이용한 저작물에는 저..
Hadoop Basics 원문 : 호롤/Hadoop Basics Overview사실 이 글을 쓰는 2024년에는 너무나도 당연하게 모르면 안될 용어가 되어버린 "빅데이터"...ChatGPT가 떠오르면서 AI에 너도나도 큰 관심이 쏠리게되고, 거기에 더불어 Data 영역도 화두가 되었습니다.Data없이 AI를 논할 수는 없기 때문입니다. 이번 포스팅에서는 꽤나 초기 플랫폼이지만 아직까지 여러 회사에서 많이 사용되고 있는 "Apache Hadoop"에 대해서 알아보도록 하겠습니다. 빅데이터란?그 전에 먼저 빅데이터가 무엇인지 짚고 넘어가야겠죠! 빅데이터는 단순히 "큰 사이즈의 데이터"를 의미하기도 하지만 넓은 의미로는 큰 사이즈의 데이터로부터 가치를 추출하고 Insight를 얻어내는 것 으로 정의할 수 있습니다. SNS의..
IT엔지니어, 필리핀 마닐라 출장기 (필리핀 외노자, 네트워크 엔지니어) 전기톱맨입니다. 마닐라에 다녀왔습니다.대학생때는 막연하게 출장이란 것에 환상이 있었습니다.회사 돈을 이용해서 여행을 갔다온다.. 뭐 이런 철없는 생각이었습니다. 취직하고 해외출장을 처음 가봤습니다.대한항공 사무실 네트워크 장비를 새 랙(rack)으로 이전하는 그런 .. 작업이었습니다. 회사가 좋은 호텔을 잡아주었습니다. 그렇게 일을 하러 갔습니다. 출장을 가면 어떤 일을 할까는 항상 궁금했던 질문입니다.뭔가 높은 사람들과의 미팅?커피한잔 홀짝이면서 노트북하면서 영어로 비즈니스하기?아니고 노가다 하다왔습니다. (진짜 노가다) 과장이 아니라 진짜 노가다를 하였습니다.    랙 조립을 A-Z까지 우당탕탕해주고 네트워크 케이블도 네탕탕탕 연결해줍니다.뒤에 2선에선 아마 Meraki나 brocade 솔루션 콘솔들..
실시간 데이터 처리를 위한 Redis: 인메모리 DB의 개념과 설치 과정 안녕하세요, 여립입니다.이번에는 Redis를 공부하고 설치하며 정리한 인메모리 데이터베이스의 개념과 Redis에 대해 작성해보려고 합니다.인메모리 데이터베이스란?인메모리 데이터베이스는 기존의 디스크가 아닌 컴퓨터 메모리(RAM)에서 데이터를 저장하고 관리하는 데이터베이스입니다.  과거보다 큰 용량의 메모리를 사용할 수 있게 되면서, 메모리 활용에 긍정적인 환경이 되었습니다. 더불어 대용량 데이터의 증가와 함께 실시간 고성능 처리 수요가 높아지며, 인메모리 데이터베이스가 개발되었습니다. Mysql, PostgreSQL, Oracle 등 일반적으로 많이 사용되는 대부분의 데이터베이스는 하드디스크 또는 SSD에 저장하지만 Redis같은 인메모리 데이터베이스는 서버의 주 메모리에 저장됩니다. 정보의 처리나 조회..
Mixture of Experts (MoE) ? 그게 뭔데...어떻게 하는 건데... ChatGPT 가 탄생한 이후 LLM의 열기는 아직도 뜨겁다. 특히 기업에서의 LLM 도입은 더 많은 사례와 더 많은 종류의 모델, 그리고 그를 지원하는 다양한 소프트웨어가 생겨나면서 더 견고해지는 시스템 아래 상승곡선을 타고 있는 듯하다. 이에 나도 자연스럽게 LLM 에 관심이 계속 가고 있는데, 관련 자료를 읽을 때마다 가장 흥미로운 동시에 이해하기 어려운 부분이 바로 architecture 이다. "거대 언어 모델"이라는 명칭이 암시하는 매우 복잡한 구조도 여러 종류가 있는데 저마다의 강점과 단점이 명확하다.  오늘 이 포스트에서는 Mixtral 7x8b 모델의 기반으로 유명한 구조, Mixture of Experts(MoE)의 핵심을 알기 쉽게 설명하고자 한다. 참고로, 수식이나 통계적 이론은 최..
Quantum 말고 Quant! 안녕하세요! 오랜만에 돌아온 무휘입니다 ㅎㅎ 오늘 제가 들고 온 주제는 바로 "퀀트(Quant)" 입니다. 사실 주식이나 금융쪽에 생소하신 분들은 이 단어를 들었을 때 양자역학의 quantum 을 떠오르실지도 모르겠습니다. 저 역시 금융학회에서 퀀트팀에 들어가기 전까지는 그랬었거든요. 오늘 제가 소개드릴 퀀트는 바로 quantitave trading 혹은 quantitative analysis 의 약어로, 금융과 투자분야에서 통계적/수학적 모델을 사용하여 리스크 분석, 투자 전략 수립, 주식 거래 자동화 등등을 하는 것을 뜻합니다. 한편으로 이러한 역할을 수행하는 사람들 역시 퀀트라고 부르곤 하는데요. 실제로 인터넷에 한국어로 퀀트라고 검색하면 다음과 같은 정의가 나오네요: "고도의 수학, 통계 지식을 ..
노트북 없이도 가능한 개발? 모바일로 코딩하기 안녕하세요, 여립입니다. 최근 갤럭시탭 s9 플러스를 구매하게 되었습니다! 태블릿과 펜 하나만 들고다니며, 노트북을 대신할 정도로 애용하고 있는데요, 아쉽게도 노트북과 다르게 로컬에서 개발이 불가능해, 외부에서 온라인으로 코딩할 수 있는 방법들을 찾아보게 되었습니다.이번글에서는 제가 태블릿에서 코딩하기 위해 시도했던 과정들을 소개해보려고 합니다 :) 처음에는 간단한 코딩 문제를 풀기 위한 컴파일러 (소스 코드를 컴퓨터가 이해하고 실행할 수 있는 기계어(또는 바이트코드)로 번역하는 프로그램)를 찾아보았습니다.구글 플레이스토어에 들어가 'python'을 검색해 pydroid3라는 앱을 찾게 되었습니다.이 앱은 파이썬 코드를 로컬에서 돌릴 수 있게 해주는 IDE로 terminal을 지원하고, django, f..
호다닥 톺아보는 VectorDB 기초 원문 : 호롤리/호다닥 톺아보는 VectorDB 기초Overview지난 게시글에서는 Vector란 무엇인가?에 대해서 작성했었습니다. 데이터의 묶음은 여러의미의 데이터들로 이루어진 경우가 많은데, 이를 특정한 순서대로 모아둔 데이터 레코드를 선형대수에서는 Vector라고 부릅니다.그리고 행렬(Matrix) 은 이러한 벡터가 여러개 있는 데이터의 집합이라고 생각하면 될 것 같습니다. Vector의 의미를 알았으니, 이제는 이 Vector를 어떻게 활용할 수 있는지 알아보겠습니다. Embedding이란?지난 게시글에서 Vector의 예시를 설명할때 plain text를 가지고 표현했었습니다. 하지만 사실 plain text는 인간이 알아보기 쉬운 표현법이지, 기계가 이해하기 쉬운 표현은 아닙니다. 그..
[생성형AI 해볼게요] 생성형 AI로 포스터 만들어볼게요 (Midjourney, WatsonX, ChatGPT, Canva) 안녕하세요! 전기톱맨입니다. 모두 체인쏘우! PRE. AWS summit, GPT-4os AWS Summit이 글을 쓰는 시점에 시작했는데요, 역시나 대세는 생성형 AI입니다.그리고 OpenAI에서 Gpt-4o Spring update를 발표하였습니다.영화 Her를 보셨나요? 이제 연구소에 있는 AI가 아닌 지금 당장 핸드폰으로 심심이(라고 하기엔 많이 똑똑한)와 대화할 수 있습니다.통역, 대화, 코딩까지 지원을 한다고.. https://youtu.be/MirzFk_DSiI?si=3XNT9NvASaLGvLzfHello Baldy저도 직접 써보려고 했지만 아직까지는 소수의 사람들에게만 오픈되어 있어 체험해보지는 못했습니다.저 헤드셋을 누르면 5가지 버젼의 사람을 선택할 수 있는데 저는 아직 기능활성화가 되..
어도비(Adobe)제국도 탐내는 피그마(Figma) 들어보신 적 있으신가요? 작년 말 엄청난 IT업계의 가장 큰 화두 중 하나는 Adobe(이하 어도비)사의 Figma(이하 피그마)의 인수합병 설과 인수철회에 대한 소식이였습니다. 어도비는 무려 26조원(200억 달러) 규모로 인수금액을 배팅하였지만, 유럽의 여러 당국의 반독점 규제 이슈로 인수에 실패하였습니다. 이에 어도비는 계약 철회에 대한 위약금도 무려 1조원을 수수료로 피그마에 지급했습니다. [출처]조선 경제 어도비, 규제 당국 반대에 26조원대 피그마 인수 철회... 위약금만 1조 넘어(2023.12.23) 글로벌 공룡기업이 탐내는 피그마! 도대체 왜 이렇게 많은 분들이 사랑하고 애정할까요? 피그마는 웹 기반의 디자인 툴로서, 사용자들이 실시간으로 협업하며 인터페이스 디자인을 할 수 있게 해줍니다. 개발자, 디자이너, 그..
호다닥 톺아보는 Kerberos 원문 : 호다닥 톺아보는 Kerberos Overview오랜만에 작성하는 보안 관련 글입니다!이번 포스팅에서는 꽤나 오래되었지만 아직도 많은 기업들 사이에서 사용하고 있는 인증방식인 Kerberos에 대해서 간단히 알아보도록 하겠습니다. 그 케르베로스 맞습니다. 머리 세개달린 명계를 지키는 수문장 멍뭉이...! Kerberos란?Kerberos는 네트워크 인증 방식 중 하나입니다.주 목적은 보안이 보장되지 않은 네트워크 환경에서 요청을 보내는 유저와 서버가 서로의 신뢰성을 확보하기 위함입니다. 주의해야 할 점은, Kerberos는 사용자의 신원을 인증해주는 역할만 하지, 그 사용자가 접근할 수 있는 서비스나 리소스를 검증하지는 않습니다.즉, 리소스에 대한 사용자의 액세스를 결정하는 것은 각 서비스..

티스토리툴바