Google Machine Learning Bootcamp 2022/Sequence Models7 2. Natural Language Processing & Word Embeddings #2 Learning Word Embeddings: Word2vec & GloVe Learning Word Embeddings [Bengio et. al., 2003, A neural probabilistic language model]에서는 4개의 단어를 word embedding 한 것을 사용하여 다음 단어를 예측하는 language model을 만들었다. 이를 통해 word embedding matrix를 구하였다. Context를 다양한 방법으로 얻을 수 있다. (4개 단어로 다음 단어, 예측하려는 단어 앞 뒤 4 단어를 사용해서 등등) Word2Vec Skip-grams: 한 문장이 있다고 했을 때, 한 단어를 예측할 때 아무 위치에 있는 단어를 사용한다. 이를 통해 word embedding mat.. 2022. 8. 12. 2. Natural Language Processing & Word Embeddings #1 Introduction to Word Embeddings Word Representation 단어를 표현하는 방법은 여러 가지가 있다. 1-hot representation -> 단어를 표현하기는 쉽지만 다른 단어와의 관계를 representation으로부터 알 수 없다. Featurized representation: word embedding -> 단어가 feature와 관계있는 정도를 element로 가지는 vector로 표현한다. 단어 간의 관계를 representation으로부터 얻을 수 있다. (뜻이 비슷하다면 거리가 가깝다던지) Using Word Embedding Word embeddig을 사용하면 model의 performance가 높아질 것을 기대해볼 수 있다. (비슷한 단어라면 wor.. 2022. 8. 12. 1. Recurrent Neural Networks Recurrent Neural Networks Why Sequence Models? Speech recognition, music generation, Sentiment classification, DNA sequence analysis, machine translation, video activity recognition, Name entity recognition 등 sequential data를 사용하는 task들이 있다. Notation Superscirpt \( ^{} \) : t\( ^{th} \) element of a sequence \( T_x \), \( T_y \): the number of a sequence Representation words by classes (one-hot).. 2022. 8. 11. 이전 1 2 다음