딥러닝의 기본 개념부터 알아봅시다. 신경망(Neural Network) 인간 두뇌에 대한 계산적 모델을 통해 인공지능을 구현하려는 분야. 신경세포 뉴런(neuron)의 이름을 따왔다. 이 뉴런을 흉내내어 만든 신경망 모델을 퍼셉트론(Perceptron)이라고 한다. 퍼셉트론(Perceptron) 로젠블랏이 제안한 학습 가능한 신경망 모델. 입력변수를 받아 선형 결합한 후 비선형으로 전환하여 결과를 도출한다. 다층 퍼셉트론(Multi-layer Perceptron; MLP) 여러 개의 퍼셉트론을 층 구조로 구성한 신경망 모델 입력층(Input layer) 은닉층(Hidden layer) 출력층(Output layer) 입력변수의 값이 들어오는 곳 다수 노드 포함 가능 (범주형이면) 출력 노드의 수 =출력변..

서포트 벡터 머신 (Support Vector Machine; SVM) 고차원 데이터의 분류 문제에서 좋은 성능을 나타내는 분류 방법 분류 오차를 줄이면서 동시에 여백을 최대로 하는 결정 경계를 갖는 이진 분류기 결정 경계 (decision boundary): $w^Tx+b=0$으로 나타낼 수 있다. 여백(margin): 결정 경계와 가장 가까이에 있는 학습 데이터까지의 거리. 기울기로 표현 가능하다. 서포트 벡터(support vector): 결정 경계로부터 가장 가까이에 있는 학습 데이터들 $x^+$: plus plane 위의 점, $x^-$: minus plane 위의 점이라 하자. $x^+=x^-+\lambda w$라 하면 $w^Tx^++b=1$은 $w^T(x^-+\lambda w )+b=1 $로..

들어가기 전! 모델 베이스 기법과 인스턴스 베이스 기법의 종류를 가볍게 보고 넘어가자. 더보기 Model-based learning: 선형/비선형 모델, Neural Network, 의사결정나무, Support vector machine... ☞데이터로부터 모델을 생성하여 분류/예측 진행 Instance-based learning: K-nearest neighbor, Locallly weighted regression... ☞별도의 모델 생성 없이 인접 데이터를 분류/예측에 사용 이 중 Nearest Neighbor를 알아보자. KNN(K-Nearest Neighbor) 미지의 데이터로부터 K개의 가장 가까운 이웃을 선택하고 해당 이웃의 정보로 미지의 데이터를 분류/예측한다. 특징 Instance-bas..

들어가기 전... 머신러닝의 앙상블 기법에 대해 알아보자. 더보기 앙상블이란? 여러 Base 모델들의 예측을 다수결 또는 평균을 이용하여 예측의 정확성을 향상시키는 방법이다. Base 모델이 서로 독립적이며 Base 모델들이 무작위 예측을 수행하는 모델보다 성능이 좋을 때 앙상블 모델은 Base 모델보다 우수한 성능을 보인다. 앙상블 모델의 오류율 $e_{ensemble}=\sum_{i=[N/2]}^{N}\binom{N}{i}e^i(1-e)^{N-i}$ (이때 $e$:Base 모델의 오류율, $N$:Base 모델의 수) 의사결정나무 모델 앙상블의 대표적 모델. 앙상블의 Base 모델로서 활용도가 높다. 데이터의 크기가 방대해도 모델을 빨리 구축할 수 있으며 데이터 분포에 대한 가정이 불필요하다. 랜덤 포..