Sangmun

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

https://web.stanford.edu/class/cs224n/slides/cs224n-2019-lecture08-nmt.pdf 보통 NLG 같은 task에서는 자연어를 생성할 때 매 타입스텝마다 decoder를 거쳐서 나온 단어가 다음 타임스텝의 input으로 들어가게 된다. 그리고 decoder에서는 매 타임스텝마다 가장 확률이 높은 단어를 선택해서 출력을 하게 되는데 이것을 Greedy decoding이라고 한다. 하지만 Greedy decoding의 문제점은 매 타임스텝의 최대 확률 값만을 고려하는 것이 전체 타임스텝으로 보면 적절하지 않은 문장을 출력으로 가지게 될 수 있다는 점이다. 그렇다면 greedy decoding에서 하는 방식인 현재 타입스텝만의 확률을 고려하는 방식이 아닌 전체 ..

https://wikidocs.net/21697 5) 펄플렉서티(Perplexity, PPL) 두 개의 모델 A, B가 있을 때 이 모델의 성능은 어떻게 비교할 수 있을까요? 두 개의 모델을 오타 교정, 기계 번역 등의 평가에 투입해볼 수 있겠습니다. 그리고 두 모델 ... wikidocs.net BLEU 논문 https://aclanthology.org/P02-1040.pdf PPL PPL은 언어 모델의 평가 metric 중의 하나로 perplexed는 '헷갈리는' 의미를 가지고 있으며 이는 매 타입스텝 마다 몇개의 가능성 있는 output을 가지고 헷갈리냐고 이해할 수 있다. 즉 PPL은 낮을 수록 성능이 좋다라는 의미가 된다. 아래는 PPL의 수식이며 매 타입스텝의 출력값으로 나온 확률 값을 기하평..

https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 개요 기존의 Sequence to Sequence에서 LSTM을 활용한 기계번역 방법론을 제안하였으나 길이가 길어지면 성능이 떨어지..

https://wikidocs.net/57165 07. 커스텀 데이터셋(Custom Dataset) 앞 내용을 잠깐 복습해봅시다. 파이토치에서는 데이터셋을 좀 더 쉽게 다룰 수 있도록 유용한 도구로서 torch.utils.data.Dataset과 torch.utils.da ... wikidocs.net Pytorch를 사용하면서 필수로 알아야 하는 내용이며 이미 여러 군데 잘 정리된 자료가 있지만 필수로 알아야 되는 부분 위주로 정리를 해보고자 한다. Pytorch에서는 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋을 만들 수가 있다. torch.utils.data.Dataset은 파이토치에서 제공하는 추상 클래스이며 Dataset을 상속받아 다음 메서드들을 오버라이드 할 수 있..

두번째 심화과제인 Rnn BPTT의 구현이다. 현재의 포스팅에서는 수식만 다룰 예정이다. 먼저 Rnn BPTT를 이해하는데 도움이 되는 공식이다. 위공식에서 Loss function을 미분하려면 결국은 θ_1에 대하여 미분을 하여야 한다. 그리고 θ_1에 대하여 미분을 하는 경로는 h_2,1,h_2,2두가지 경로가 있는데 θ_1에 대하여 미분을 실시하려면 h_2,1,h_2,2을 미분하여 나온값을 더해줘야 된다는 말이다. 1) Many to one 먼저 하나의 출력값을 가지는 Rnn의 BPTT를 다뤄보려고 한다. 본 예제에서 타임스탭은 4이다. y_hat은 Rnn의 출력값에서 분류를 위한 layer를 하나더 거친 값을 의미한다. θ는 Φ(파이)와 ψ(프사이)로 구성되어있고 Φ(파이)는 Rnn의 출력값에서 ..

요새 캐글을 열심히 하는 중인데 캐글에서 제공해주는 기본 커널을 사용할 때면 불편한 점이 한두 가지가 아니다. 특히 돌리는데 오래 걸리는 모델들은 커널에서 돌리는게 매우 비효율적이라는 것을 깨달았다. 1. kaggle package 설치 pip install kaggle 먼저 캐글 패키지를 설치해준다. 2. Authentication token 발급 오른쪽 상단의 계정 아이콘 -> Account -> Create New Api Token을 누르면 kaggle.json 파일이 다운로드된다. 3. kaggle json 파일 옮기기 다운로드한 kaggle.json 파일을 Linux, OSX 경우에는 아래 경로로 ~/.kaggle/kaggle.json Window의 경우에는 아래의 경로로 옮겨주면 된다. C:\..

저번에 리뷰한 논문과 맥을 같이 하는 블로그 글이 있어서 읽고 리뷰를 해보았다. # 출처 : https://medium.com/swlh/anomaly-detection-with-autoencoders-2bd23dedbd9e Anomaly detection with Autoencoders Anomalies in systems occur rarely. The validation layers stand guard over correctness by catching them out and eliminating them from the… medium.com 해당 글은 간단하게 오토인코더를 이용하여 한쪽 클래스의 데이터 세트만을 학습시켜 다른 클래스를 탐지하는 방법에 대하여 기술을 하고 있다. x, y = data..