Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
Tags
- GIT
- 알고리즘
- pytorch
- torchserve
- datascience
- python
- pep8
- docker
- 코딩테스트
- Kubernetes
- leetcode
- 백준
- 프로그래머스
- NLP
- autoencoder
- GitHub Action
- 완전탐색
- github
- vscode
- Kaggle
- 네이버AItech
- wandb
- rnn
- FastAPI
- GCP
- FDS
- PytorchLightning
- Matplotlib
- NaverAItech
- DeepLearning
Archives
- Today
- Total
목록beam search (1)
Sangmun
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/blI0vn/btrOCrCGdnz/Jriup2YlCZKyBLh6Iy5sn0/img.png)
https://web.stanford.edu/class/cs224n/slides/cs224n-2019-lecture08-nmt.pdf 보통 NLG 같은 task에서는 자연어를 생성할 때 매 타입스텝마다 decoder를 거쳐서 나온 단어가 다음 타임스텝의 input으로 들어가게 된다. 그리고 decoder에서는 매 타임스텝마다 가장 확률이 높은 단어를 선택해서 출력을 하게 되는데 이것을 Greedy decoding이라고 한다. 하지만 Greedy decoding의 문제점은 매 타임스텝의 최대 확률 값만을 고려하는 것이 전체 타임스텝으로 보면 적절하지 않은 문장을 출력으로 가지게 될 수 있다는 점이다. 그렇다면 greedy decoding에서 하는 방식인 현재 타입스텝만의 확률을 고려하는 방식이 아닌 전체 ..
네이버 AI 부스트캠프 4기
2022. 10. 15. 10:47