Sangmun

GGML(GPT-Generated Model Language)과 GGUF(GPT-Generated Unified Format)는 주로 GPT와 같은 언어 모델의 추론용으로 설계된 파일 형식입니다. Georgi Gerganov가 개발한 GGML은 GPT 모델을 위한 파일 형식을 만들기 위한 초기 시도로, 단일 파일 공유와 CPU 호환성을 가능케 했지만, 모델 정보 추가에 어려움을 겪었으며 새로운 기능 도입시 기존 모델과의 호환성 문제, 그리고 사용자가 로프 빈도 기본값, 로프 빈도 스케일, GQA 및 RMS 정규화 엡실론과 같은 설정을 수동으로 조정해야 하는 복잡함이 있었습니다. GGML의 후속작으로 2023년 8월에 발표된 GGUF는 언어 모델 파일 형식의 중요한 발전을 나타냅니다. Georgi Gerg..