CS224N Lecture 1. Word Vectors

CS224n: Natural Language Processing with Deep Learning

Stanford / Winter 2021

강의 페이지

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1214/

https://www.youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ 

Stanford CS224N: Natural Language Processing with Deep Learning | Winter 2021

note) 자연어처리는 cs224n, 이미지 프로세싱은 cs231n으로 찾아가자

 

Lecture 1 - Intro & Word Vectors

The meaning of the word

language는 본디 social system의 결과물로, 사람에 의해 만들어지고, 이해된다.

즉 컴퓨터는 인간과 같은 방식으로 인간의 언어를 이해하는 것이 불가능하다는 것.

따라서 계산을 이용한 방법으로 언어를 이해하는 시스템을 구축하는 것이 중요한 포인트.

 

traditional common NLP solution : dictionary synonyms

cons) lack of nuance, difficulties in updating new meanings of the world

1 word  = 1 one-hot vector 단어의 수가 늘어나는 것과 비례하게 처리해야 할 벡터의 양이 늘어난다.

 

😀 개선

new idea : representing words by their context $with word vector$

 

문맥을 고려한 벡터를 만들기 위해 사용되는 알고리즘에 대한 소개 : word2vec

word2vec : a framework for learning word vectors

 

$1$ Data likelihood : how good at predicting words in the context of other words

앞에서 순서대로

product of each word as the center word

product of each word and a window around that of the probability of predicting that context word in the center word

 

likelihood에서 얻고자 하는 GOAL) maximize the likelihood of the context we see around center words

 

$2$ objective function$목적 함수$

also known as cost function, loss function

: the average negative log likelihood

T : number of words in the corpus

the reason why using minus sign$-$ : to minimize objective funtion

word2vec이 목표로 하는 것 : 중심 단어$c$가 주어졌을 때 주변 단어$o$가 등장할 조건부확률을 최대화 하기.

중심단어로 주변 단어를 잘 맞추는 것

수학적 이론에 대한 설명은 아래 링크 게시물을 보자. 너무 잘되어있는 설명!

https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/03/11/embedding/

빈도수 세기의 놀라운 마법 Word2Vec, Glove, Fasttext · ratsgo's blog

 

$아래는 나만 알아볼 수 있을듯한 필기..$