본문 바로가기

IT Note/Data&AI

(29)
선형회귀로 개인별 생명 보험 가격 예측하기 Disclaimer 이 문서는 원작자의 허락 하에 Kaggle 블로그의 Anne Aguirre 의 원문 아티클을 Watson studio notebook에서 번역 및 에디팅 한 글입니다. 사용 개발 도구 : IBM Watson Studio Notebook의 무료 계정(Lite Plan)으로 코드를 작성하고 무료로 제공되는 Cloud Object Storage 에 데이터를 저장했습니다. Head 보험 분야에서 Data 와 AI를 사용한 접근은 점점 그 관심도가 높아지고 있습니다. 이 문서에서 설명하는 예측분석 및 K-fold 교차 유효성 검증, 기업의 상황에 따른 데이터 인프라를 활용하여 개별 피보험자의 기업이 보험 지급액 또는 보험 납입액을 예측해 볼 수 있습니다. Body - 선형회귀로 개인별 생명 보..
호다닥 공부해보는 RNN 친구들(2) - LSTM & GRU 호다닥 공부해보는 RNN 친구들(1) - RNN(Recurrent Neural Networks)에서 이어지는 글입니다. RNN의 고질적인 문제 이전의 계산결과를 바탕으로 계산한다는 RNN의 특징은 어찌보면 사람의 뇌와 많이 닮았습니다. 그래서 Neural Network라는 이름을 붙인것일지도 모릅니다. 그래서 사람의 신경망과 닮은 이 특징은 단점도 가지고 있습니다. 여러분은 올해의 신년 다짐이 뭐였는지 기억나시나요? 작년은? 10년전은 기억하고 계신가요? 물론 어딘가에 기록해두고 꾸준히 실천하고 계신 분들도 있겠지만, 대다수는 그 당시에만 반짝 실천하고 시간이 흐를수록 잊어버리겠죠. 저는 기억도 안납니다. RNN도 비슷합니다. 처음 입력으로 받은 정보는 학습에 강한 영향을 끼치다가 점점 새로운 입력이 들..
호다닥 공부해보는 RNN 친구들(1) - RNN(Recurrent Neural Networks) Overview 호다닥 공부해보는 시리즈가 2편째가 되었습니다. 이번에는 머신러닝의 꽃이라고도 불리는 RNN을 들고 왔습니다. 다음 포스팅에서는 RNN친구들인 LSTM과 GRU도 소개하도록 하겠습니다. RNN? Concept RNN은 그 이름에서 알 수 있듯이, Recurrent한 모델입니다. 다시말하면, input->RNN->output->input->RNN->output....이러한 구조가 계속 반복되는 모델입니다. 생긴게 1자로 쭉 이어져서 sequence한 모델이라고도 합니다. 아래 사진은 위에서 언급한 RNN의 성질을 표현한 그림입니다. A의 꼬부랑선은 단순히 아래 그림처럼 반복된다는 것을 표현한 선입니다. 이전 단계에서의 결과가 다음단계의 입력이 되는 순환적인 구조를 띄고 있기에 RNN은 연속..
CIFAR-10 이미지 분류를 위한 CNN을 구성해보자! (Keras) 원문 :호롤리한 하루 Overview 이 문서에서는 CIFAR-10 dataset에 대한 이미지 분류를 Keras를 사용한 CNN(Convolution Neural Network)로 구현해보도록 하겠습니다. 본문에서 사용한 코드는 이곳 CIFAR-10 발음을 조심해야하는 이름을 가진 CIFAR-10 dataset은 32x32픽셀의 60000개 컬러이미지가 포함되어있으며, 각 이미지는 10개의 클래스로 라벨링이 되어있습니다. 또한, MNIST와 같이 머신러닝 연구에 가장 널리 사용되는 dataset중 하나입니다. 60000개 중, 50000개 이미지는 트레이닝 10000개 이미지는 테스트용도로 사용됩니다. CNN Archtecture [참고] CNN이란? 본문에서 사용한 CNN의 각 레이어 구조는 다음과 ..
호다닥 공부해보는 CNN(Convolutional Neural Networks) 원문 ; 호롤리한 하루 -CNN CNN? CNN은 이미지를 인식하기위해 패턴을 찾는데 특히 유용합니다. 데이터에서 직접 학습하고 패턴을 사용해 이미지를 분류합니다. 즉, 특징을 수동으로 추출할 필요가 없습니다. 이러한 장점때문에 자율주행자동차, 얼굴인식과 같은 객체인식이나 computer vision이 필요한 분야에 많이 사용되고 있습니다. CNN이 유용한 이유? CNN이 나오기 이전, 이미지 인식은 2차원으로 된 이미지(채널까지 포함해서 3차원)를 1차원배열로 바꾼 뒤 FC(Fully Connected)신경망으로 학습시키는 방법이었습니다. 위와 같이 이미지의 형상은 고려하지 않고, raw data를 직접 처리하기 때문에 많은 양의 학습데이터가 필요하고 학습시간이 길어집니다. 또한 이미지가 회전하거나 움..