일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 |
- autoencoder
- NLP
- pytorch
- rnn
- Kubernetes
- github
- 코딩테스트
- docker
- python
- 완전탐색
- vscode
- 알고리즘
- PytorchLightning
- FDS
- leetcode
- NaverAItech
- Matplotlib
- DeepLearning
- datascience
- GitHub Action
- FastAPI
- 프로그래머스
- GCP
- Kaggle
- 네이버AItech
- 백준
- wandb
- pep8
- GIT
- torchserve
- Today
- Total
목록FastAPI (2)
Sangmun
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cBUn0s/btsf5en3vyH/3I6tzZgMLeBRZeDW7kHN11/img.png)
1. torchserve로 huggingface 모델 서빙하기 torchserve는 transformer 모델을 torchserve로 서빙하는 예제를 친절하게 잘 기술해 놓았다. https://github.com/pytorch/serve/tree/master/examples/Huggingface_Transformers GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in production Serve, optimize and scale PyTorch models in production - GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in production gith..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/deEocO/btsfjJqrG9S/GnN2oVJ2ssTsWagL54dWA0/img.png)
1. Intro 넘블에서 진행하는 프로젝트로 FastAPI를 활용하여 딥러닝 모델 추론결과를 return 해주는 서버를 production 기준에 맞추어서 구축해 보는 프로젝트이다. 프로젝트에서 주요하게 요구하는 사항은 * FastAPI를 사용할것 * v2 inference protocol의 기준에 맞춰 구현할 것 * Torchserve, Kserve와 같은 딥러닝 서빙 프레임워크를 사용할 것 등이다. 그 외 코드의 가독성이 좋은지 CI/CD가 구축되어 있는지도 주요한 평가 사항이다. 위 기준을 충족하여 일정 수준 이상이 되면 프로젝트를 진행하시는 분께서 직접 코드 리뷰를 해주신다고 한다. 기왕 하는 거 코드 리뷰까지 받을 수 있도록 열심히 해봐야겠다. 2. torchserve torchserve는 py..