언어 모델 (Language Model)에 대해서 알아보자. 언어 모델이란? 문장과 같은 단어 시퀸스에서 각 단어의 확률을 계산하는 모델이다. (Word2Vec도 여러 가지 언어 모델 중 하나이다. CBOW 같은 경우 주변 단어 정보로 타겟 단어의 확률을 할당하였다.) 근데 신경망은 비교적 최근 기술인데 그러면 그 이전에는 어떻게 자연어처리를 하였을까? 통계적 언어 모델(Statistical Language Model, SLM) 단어의 등장 횟수를 바탕으로 조건부 확률을 계산하였다. ex) I'm a student 라는 문장이 등장할 확률을 구해보자. 먼저 식으로 나타내면 다음과 같다. P("I","am","a","student") = P("I") X P("am" | "I") X P("a" | "I", ..

앞서 등장횟수 기반을 통해서 벡터화란 것을 다뤘다. 이번에는 등장횟수 기반이 아닌 분포 가설에 입각하여 단어를 벡터로 표현하는 방법을 알아보자. 분포가설은 무엇인가? 분포가설이란 단어의 의미는 주변 단어에 의해 형성된다 라는 것이다. I drink beer 와 We drink soju 처럼 drink 주변에는 음료가 등장 할 확률이 높다는 의미이다. 분산표현을 배우기 앞서서 가장 쉬운 방법을 하나 보자. 단어를 벡터화 하는데 있어서 가장 단순한 방법이 원-핫 인코딩(One Hot Encoding)이다. 원핫인코딩이란? We are the champions 라는 문장이 있다고 할 때 We, are, the , champions 를 원 핫 인코딩을 통해 나타내면, We = [1, 0, 0, 0] are = ..

자연어처리의 일련의 과정을 알아보자! 자연어가 뭔데? 자연어는 사람들이 일상적으로 사용하는 언어를 의미한다. (한글. 영어 등등) 자연어가 아닌것도 있나? 인공어라는 것이 있는데, 인공어는 기계와 소통하기 위한 코딩언어들이 이에 해당한다. 또 에스페란토어라는 애매모호한 자연어를 직관적으로 이해하고 다수가 사용하기 위해 어느 의사가 만들어낸 언어가 있다. 애매모호한 자연어? 예를 들어서 "A는 울면서 고백하는 B를 외면했다." 라는 문장을 보면 A,B 둘 중 누가 울었는지 판단하기 어렵다. 이와 같은 부분을 애매모호하다고 표현한다. 근데 왜 자연어처리를 한다는거야? 처리한다는게 뭐야? 앞서 말한 자연어를 컴퓨터로 처리하는 것 즉, 컴퓨터가 자연어를 이해하게 만드는 기술을 자연어처리라고 부른다. 기계가 사람..

Intro 신경망에서는 지금까지 다룬 ML 알고리즘보다 훨씬 많은 Hyperparameter를 조정해주어야 한다. HyperparameterTuning은 모델에 엄청난 영향을 끼치는 요소이다. 그러면 Hyperparameter라는 것을 어떻게 조정하고, 선택한 Hyperparameter를 통해 구축한 모델의 성능은 어떻게 확인 해야하는가 알아보자. Preview "교차 검증" (Cross-Validation) :모델의 성능평가, 더 나아가서 일반화 성능을 평가 할 수 있음. 일반화 성능 : 어느 한 경우에 대한 성능이 아닌 대부분의 경우에 대한 성능 "하이퍼 파라미터 튜닝"(Hyperparameter Tuning) : Hyperparameter를 어떤식으로 조정하는가? Babysitting Grid Se..