Sangmun

https://web.stanford.edu/class/cs224n/slides/cs224n-2019-lecture08-nmt.pdf 보통 NLG 같은 task에서는 자연어를 생성할 때 매 타입스텝마다 decoder를 거쳐서 나온 단어가 다음 타임스텝의 input으로 들어가게 된다. 그리고 decoder에서는 매 타임스텝마다 가장 확률이 높은 단어를 선택해서 출력을 하게 되는데 이것을 Greedy decoding이라고 한다. 하지만 Greedy decoding의 문제점은 매 타임스텝의 최대 확률 값만을 고려하는 것이 전체 타임스텝으로 보면 적절하지 않은 문장을 출력으로 가지게 될 수 있다는 점이다. 그렇다면 greedy decoding에서 하는 방식인 현재 타입스텝만의 확률을 고려하는 방식이 아닌 전체 ..

https://wikidocs.net/21697 5) 펄플렉서티(Perplexity, PPL) 두 개의 모델 A, B가 있을 때 이 모델의 성능은 어떻게 비교할 수 있을까요? 두 개의 모델을 오타 교정, 기계 번역 등의 평가에 투입해볼 수 있겠습니다. 그리고 두 모델 ... wikidocs.net BLEU 논문 https://aclanthology.org/P02-1040.pdf PPL PPL은 언어 모델의 평가 metric 중의 하나로 perplexed는 '헷갈리는' 의미를 가지고 있으며 이는 매 타입스텝 마다 몇개의 가능성 있는 output을 가지고 헷갈리냐고 이해할 수 있다. 즉 PPL은 낮을 수록 성능이 좋다라는 의미가 된다. 아래는 PPL의 수식이며 매 타입스텝의 출력값으로 나온 확률 값을 기하평..

논문링크 https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this pap arxiv.org 개요 Sequence to Sequence는 2014년에 발표된 논문으로 LS..

https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 개요 기존의 Sequence to Sequence에서 LSTM을 활용한 기계번역 방법론을 제안하였으나 길이가 길어지면 성능이 떨어지..

Pytorch를 이용한 학습 시 Log를 기록할때 Tensorboard를 주로 사용하는것으로 알고 있었으나, 이번 강의를 통하여 weight & biases(wandb)라는 툴을 알게되어서 해당 툴을 사용법을 기록해보고자 한다. wandb는 MLOps의 대표적인 툴로 확대중이라고 한다. 배워두면 좋은툴 인것 같다. https://wandb.ai/site Weights & Biases – Developer tools for ML WandB is a central dashboard to keep track of your hyperparameters, system metrics, and predictions so you can compare models live, and share your findings. ..

https://wikidocs.net/57165 07. 커스텀 데이터셋(Custom Dataset) 앞 내용을 잠깐 복습해봅시다. 파이토치에서는 데이터셋을 좀 더 쉽게 다룰 수 있도록 유용한 도구로서 torch.utils.data.Dataset과 torch.utils.da ... wikidocs.net Pytorch를 사용하면서 필수로 알아야 하는 내용이며 이미 여러 군데 잘 정리된 자료가 있지만 필수로 알아야 되는 부분 위주로 정리를 해보고자 한다. Pytorch에서는 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋을 만들 수가 있다. torch.utils.data.Dataset은 파이토치에서 제공하는 추상 클래스이며 Dataset을 상속받아 다음 메서드들을 오버라이드 할 수 있..

나는 사용할 수 있는 gpu가 구글 colab 말고 없어서 colab에서 shell로 돌리곤 했었는데 로컬에서 접속할 수 있는 법을 알게 되었다. https://dashboard.ngrok.com/get-started/setup ngrok - secure introspectable tunnels to localhost dashboard.ngrok.com 해당 툴을 사용해서 vscode terminal을 이용하여 colab gpu를 이용하여 모델을 돌릴수가 있다. ngrok사이트에 접속해서 가입을 하면 아래와 같은 페이지가 뜨며 2번 Connect your account 항목에 접속에 필요한 토큰이 생성이 되어있다. 다음은 colab에 접속을 하여 token과 password를 설정해준다. colab에 s..

네이버 Aitech 강의 중의 한 내용으로 Pytorch Project Template로는 아래와 같은 템플릿들이 유명하다고 하는데 https://github.com/FrancescoSaverioZuppichini/PyTorch-Deep_Learning-Template https://github.com/PyTorchLightning/deep-learning-project-template GitHub - Lightning-AI/deep-learning-project-template: Pytorch Lightning code guideline for conferences Pytorch Lightning code guideline for conferences. Contribute to Lightning-AI/..