Sangmun

https://mole-starseeker.tistory.com/45 배치 정규화(Batch Normalization)의 설명과 탐구 # 배치 정규화(Batch Normalization)의 기능과 그 효과는? 우선 공변량 시프트(covariate shift) 현상이라는 것을 한 번 살펴보자. 아래 그림을 보자. 층 1에 훈련셋이 입력되면 층 2는 층 1의 가중치에 따라 mole-starseeker.tistory.com https://towardsdatascience.com/batch-norm-explained-visually-how-it-works-and-why-neural-networks-need-it-b18919692739 Batch Norm Explained Visually — How it work..

Mlflow는 머신러닝 실험, 배포를 쉽게 관리해줄 수 있는 오픈소스이다. 개인적으로는 wandb가 빠르게 실험에 대한 내용을 기록해 줄 수 있는 도구라면 mlflow는 약간은 사용하기 복잡하지만 배포 및 운영하는데도 유용하게 쓸 수 있다는 느낌을 받았다. 기본 사용법 원래는 네이버 boost 캠프의 변성윤 마스터님의 강의를 참조하려고 하였으나 뭔가 잘 되지 않아 공식 document를 참조하기로 하였다. https://www.mlflow.org/docs/latest/quickstart.html Quickstart — MLflow 2.0.1 documentation Note MLflow works on MacOS. If you run into issues with the default system Pyt..

wandb sweep은 automl의 한 도구로써 하이퍼 파라미터를 찾는 작업을 자동으로 해주는 도구이다. https://docs.wandb.ai/guides/sweeps/add-w-and-b-to-your-code Add W&B to your code - Documentation To create a W&B Sweep, we first create a YAML configuration file. The configuration file contains he hyperparameters we want the sweep to explore. In the proceeding example, the batch size (batch_size), epochs (epochs), and the learning rat..

https://wandb.ai/cayush/pytorchlightning/reports/Use-PyTorch-Lightning-with-Weights-Biases--Vmlldzo2NjQ1Mw Use PyTorch Lightning with Weights & Biases In this article, we explore how to use PyTorch Lightning with Weights & Biases so that it's possible to quickly train and monitor models. . wandb.ai Pytorch ligntning에서 wandb를 이용하여 실험내용을 로깅하는 것은 매우 간단한다. 아래 코드 처럼 wandb_logger class를 선언만 해주고 traine..

1. mpl.rc https://matplotlib.org/stable/tutorials/introductory/customizing.html mlp.rc로 line의 style을 바꾸어 본다면 아래와 같은 2가지 방법이 있다. import matplotlib.pyplot as plt # 1번째 방법 plt.rcParams['lines.linewidth'] = 2 plt.rcParams['lines.linestyle'] = ':' # 2번째 방법 plt.rc('lines', linewidth=2, linestyle=':') 2. theme matplotlib 에서 기본적으로 사용가능한 theme는 아래와 같으며 print(mpl.style.available) # output ['Solarize_Light..

Pytorch를 사용하다보면 Tensorflow보다는 사용하기가 편하다는 느낌을 받을 수 있는 데 사용하기 편한 만큼 뭔가 체계화된 구조가 없고 매번 비슷한 코드가 반복된다는 느낌이 있다. (gradien descent라든지.. ,dataloader 부분이라든지..) 따라서 Pytorch Lightning은 Pytorch코드에 대한 high level interface를 제공하고 복잡한 코드들을 추상화하는데 도움을 주기 위해 만들어진 패키지이다. (아래는 Pytorch document) https://pytorch-lightning.readthedocs.io/en/stable/ Welcome to ⚡ PyTorch Lightning — PyTorch Lightning 1.7.7 documentation ..

https://arxiv.org/pdf/1508.07909.pdf https://huggingface.co/docs/transformers/tokenizer_summary#subword-tokenization Summary of the tokenizers Reinforcement learning models huggingface.co 개요 단어 단위로 vocab을 구성을 하면 임베딩을 사용할 때 임베딩의 매개변수가 많이 커지게 되는 단점이 있다. 이는 RNN층의 매개변수의 수보다 압도적으로 많게 됩니다. 이런 매개변수 비중의 비대칭성을 해결하기 위해 문자 단위 토큰화가 주목을 받았으나 너무 길어진 sequence와 성능 저하의 문제점이 발생하게 됩니다. 따라서 서브워드 단위로 토큰화를 진행하게 되었는데 ..

http://colah.github.io/posts/2015-08-Understanding-LSTMs/