Sangmun

1. torchserve로 huggingface 모델 서빙하기 torchserve는 transformer 모델을 torchserve로 서빙하는 예제를 친절하게 잘 기술해 놓았다. https://github.com/pytorch/serve/tree/master/examples/Huggingface_Transformers GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in production Serve, optimize and scale PyTorch models in production - GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in production gith..

구글 클라우드의 compute engine에 간단한 fastapi 어플을 띄우고 이를 github action을 통하여 간단한 CI/CD 환경을 구축하는것을 정리해보고자 한다. Compute engine에 접속할 secret을 github repo에 등록하기 먼저 compute engine에 접속하여 다음과 같은 명령어를 입력하여 rsa key를 생성을 해준다. rsa key 생성은 굳이 compute engine에서 실행하지 않아도 된다. ssh-keygen -t rsa -b 4096 -C [your_email] 다음은 cat으로 생성한 public key를 확인해주고 이를 복사하여 GCP 콘솔의 Compute engine > 설정 > 메타데이터 항목에서 SSH키에 추가를 해준다. 정상적으로 키가 입력..

CI/CD 도구로는 많은 것들이 있지만 github action이라는 것도 있다. github action은 github에서 출시한 기능으로 소프트웨어 Workflow 자동화를 도와주는 도구이다. workflow 예시 TEST CODE 배포 Prod, Staging, Dev 서버에 코드 배포 파이썬, 쉘 스크립트 실행 github Repo에 저장된 스크립트를 일정 주기를 가지고 실행 crontab의 대용 setup-python v2가 있음 Github Tag, Release 자동으로 설정 Main 브랜치에 Merge 될 경우 특정 작업 주행 그 외에도 다양한 Workflow를 만들 수 있고 Workflow 템플릿도 커스텀이 가ㅡㅇ Action Marketplace : Awesome Github Actio..