Sangmun

1. torchserve로 huggingface 모델 서빙하기 torchserve는 transformer 모델을 torchserve로 서빙하는 예제를 친절하게 잘 기술해 놓았다. https://github.com/pytorch/serve/tree/master/examples/Huggingface_Transformers GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in production Serve, optimize and scale PyTorch models in production - GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in production gith..

1. Intro 넘블에서 진행하는 프로젝트로 FastAPI를 활용하여 딥러닝 모델 추론결과를 return 해주는 서버를 production 기준에 맞추어서 구축해 보는 프로젝트이다. 프로젝트에서 주요하게 요구하는 사항은 * FastAPI를 사용할것 * v2 inference protocol의 기준에 맞춰 구현할 것 * Torchserve, Kserve와 같은 딥러닝 서빙 프레임워크를 사용할 것 등이다. 그 외 코드의 가독성이 좋은지 CI/CD가 구축되어 있는지도 주요한 평가 사항이다. 위 기준을 충족하여 일정 수준 이상이 되면 프로젝트를 진행하시는 분께서 직접 코드 리뷰를 해주신다고 한다. 기왕 하는 거 코드 리뷰까지 받을 수 있도록 열심히 해봐야겠다. 2. torchserve torchserve는 py..