GGML, GGUF 차이

GGML(GPT-Generated Model Language)과 GGUF(GPT-Generated Unified Format)는 주로 GPT와 같은 언어 모델의 추론용으로 설계된 파일 형식입니다. Georgi Gerganov가 개발한 GGML은 GPT 모델을 위한 파일 형식을 만들기 위한 초기 시도로, 단일 파일 공유와 CPU 호환성을 가능케 했지만, 모델 정보 추가에 어려움을 겪었으며 새로운 기능 도입시 기존 모델과의 호환성 문제, 그리고 사용자가 로프 빈도 기본값, 로프 빈도 스케일, GQA 및 RMS 정규화 엡실론과 같은 설정을 수동으로 조정해야 하는 복잡함이 있었습니다.

 

GGML의 후속작으로 2023년 8월에 발표된 GGUF는 언어 모델 파일 형식의 중요한 발전을 나타냅니다. Georgi Gerganov를 포함한 AI 커뮤니티의 기여자들이 개발한 GGUF는 GGML의 한계를 극복하기 위해 설계되었습니다. GGUF는 확장성, 안정성, 그리고 다양한 모델을 지원하는 등의 이점을 제공하며, llama 모델 이상의 다양한 모델을 지원합니다. 장점에도 불구하고 기존 모델을 GGUF로 전환하는 데는 상당한 시간이 소요될 수 있으며 사용자와 개발자들은 이 새로운 형식에 적응해야 합니다.

 

출처:

https://medium.com/@phillipgimmi/what-is-gguf-and-ggml-e364834d241c