Beam Search Greedy Decoding 먼저 이전에 공부했던 Attention 기반의 Seq2Seq 내용의 학습 과정을 확인해볼 필요가 있다. Seq2Seq with Attention Attention 기법을 사용한 Seq2Seq with Attention RNN 계열 모델인 LSTM을 여러개 이어서 encoder와 deocder로 만든 Seq2Seq에 관해 먼저 알아보고, 매 time step이 지날수록 이 Seq2Seq의 hidden state에 점차 많은 정보를 욱여넣게 되는 단점을 극복한 Seq2Seq with A glanceyes.com 기존 Seq2Seq 모델에서는 문장 전체를 보는 것이 아니라 근시안적으로 다음에 올 확률이 가장 높은 단어를 예측한다. 이처럼 현재 time step..

LSTM(Long Short-Term Memory) 이전 포스팅에서 LSTM에 관해 자세히 정리했는데, 여기서 좀 더 나아가서 각 gate의 특징과 그 의미를 거시적인 관점에서 이해해볼 필요가 있어 보였다. https://glanceyes.tistory.com/entry/Deep-Learning-RNNRecurrent-Neural-Network 순차 데이터와 RNN(Recurrent Neural Network) 계열의 모델 2022년 2월 7일(월)부터 11일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거 glanceyes.tistory.com LSTM이란? [출처] http..

Bag-of-Words 텍스트 마이닝 분야에서 딥 러닝 기술이 적용되기 이전에 자주 활용되었던 간단한 기법이다. 단어장에 등록된 단어가 어떠한 문장에 얼마나 등장했는지를 벡터(vector)로 표현하며, 단어장을 구성하는 과정을 필요로 한다. 먼저 텍스트 데이터 셋에서 unique한 단어들만 모아서 단어장(사전)을 구축한다. $$ \text{This is the most powerful device.}\\ \text{That is the strongest equipment.} $$ $$ \text{단어장(Vocabulary)}: \text{{this, is, the, most, powerful, device, that, strongest, equipment}} $$ 중복된 단어를 제거하고 최종적으로 단어장..

NLP(Natural Language Processing) NLP(Natural Language Processing, 자연어 처리)는 크게 기본적으로 컴퓨터에게 주어진 단어, 문장, 문단 등을 이해하는 NLU(Natural Language Understanding)이 있고, 이러한 자연어를 상황에 따라 적절히 생성할 수 있는 NLG(Natural Language Generation)이 있다. NLP의 최신 기술 또는 연구 결과들이 발표되는 곳으로는 대표적으로 ACL,EMNLP, NAACL이 있다. NLP에 속하는 태스크 Low-Level Parsing 각 단어를 준비하기 위한 의미 단위에서 가장 낮은 레벨의 태스크라고 볼 수 있다. Tokenization 문장을 이루는 각 단어를 정보 단위로 고려하여 문..