Sangmun

1. Intro 넘블에서 진행하는 프로젝트로 FastAPI를 활용하여 딥러닝 모델 추론결과를 return 해주는 서버를 production 기준에 맞추어서 구축해 보는 프로젝트이다. 프로젝트에서 주요하게 요구하는 사항은 * FastAPI를 사용할것 * v2 inference protocol의 기준에 맞춰 구현할 것 * Torchserve, Kserve와 같은 딥러닝 서빙 프레임워크를 사용할 것 등이다. 그 외 코드의 가독성이 좋은지 CI/CD가 구축되어 있는지도 주요한 평가 사항이다. 위 기준을 충족하여 일정 수준 이상이 되면 프로젝트를 진행하시는 분께서 직접 코드 리뷰를 해주신다고 한다. 기왕 하는 거 코드 리뷰까지 받을 수 있도록 열심히 해봐야겠다. 2. torchserve torchserve는 py..

wandb sweep은 automl의 한 도구로써 하이퍼 파라미터를 찾는 작업을 자동으로 해주는 도구이다. https://docs.wandb.ai/guides/sweeps/add-w-and-b-to-your-code Add W&B to your code - Documentation To create a W&B Sweep, we first create a YAML configuration file. The configuration file contains he hyperparameters we want the sweep to explore. In the proceeding example, the batch size (batch_size), epochs (epochs), and the learning rat..

Pytorch를 사용하다보면 Tensorflow보다는 사용하기가 편하다는 느낌을 받을 수 있는 데 사용하기 편한 만큼 뭔가 체계화된 구조가 없고 매번 비슷한 코드가 반복된다는 느낌이 있다. (gradien descent라든지.. ,dataloader 부분이라든지..) 따라서 Pytorch Lightning은 Pytorch코드에 대한 high level interface를 제공하고 복잡한 코드들을 추상화하는데 도움을 주기 위해 만들어진 패키지이다. (아래는 Pytorch document) https://pytorch-lightning.readthedocs.io/en/stable/ Welcome to ⚡ PyTorch Lightning — PyTorch Lightning 1.7.7 documentation ..

Pytorch를 이용한 학습 시 Log를 기록할때 Tensorboard를 주로 사용하는것으로 알고 있었으나, 이번 강의를 통하여 weight & biases(wandb)라는 툴을 알게되어서 해당 툴을 사용법을 기록해보고자 한다. wandb는 MLOps의 대표적인 툴로 확대중이라고 한다. 배워두면 좋은툴 인것 같다. https://wandb.ai/site Weights & Biases – Developer tools for ML WandB is a central dashboard to keep track of your hyperparameters, system metrics, and predictions so you can compare models live, and share your findings. ..

https://wikidocs.net/57165 07. 커스텀 데이터셋(Custom Dataset) 앞 내용을 잠깐 복습해봅시다. 파이토치에서는 데이터셋을 좀 더 쉽게 다룰 수 있도록 유용한 도구로서 torch.utils.data.Dataset과 torch.utils.da ... wikidocs.net Pytorch를 사용하면서 필수로 알아야 하는 내용이며 이미 여러 군데 잘 정리된 자료가 있지만 필수로 알아야 되는 부분 위주로 정리를 해보고자 한다. Pytorch에서는 torch.utils.data.Dataset을 상속받아 커스텀 데이터셋을 만들 수가 있다. torch.utils.data.Dataset은 파이토치에서 제공하는 추상 클래스이며 Dataset을 상속받아 다음 메서드들을 오버라이드 할 수 있..

네이버 Aitech 강의 중의 한 내용으로 Pytorch Project Template로는 아래와 같은 템플릿들이 유명하다고 하는데 https://github.com/FrancescoSaverioZuppichini/PyTorch-Deep_Learning-Template https://github.com/PyTorchLightning/deep-learning-project-template GitHub - Lightning-AI/deep-learning-project-template: Pytorch Lightning code guideline for conferences Pytorch Lightning code guideline for conferences. Contribute to Lightning-AI/..