Sangmun

GGML(GPT-Generated Model Language)과 GGUF(GPT-Generated Unified Format)는 주로 GPT와 같은 언어 모델의 추론용으로 설계된 파일 형식입니다. Georgi Gerganov가 개발한 GGML은 GPT 모델을 위한 파일 형식을 만들기 위한 초기 시도로, 단일 파일 공유와 CPU 호환성을 가능케 했지만, 모델 정보 추가에 어려움을 겪었으며 새로운 기능 도입시 기존 모델과의 호환성 문제, 그리고 사용자가 로프 빈도 기본값, 로프 빈도 스케일, GQA 및 RMS 정규화 엡실론과 같은 설정을 수동으로 조정해야 하는 복잡함이 있었습니다. GGML의 후속작으로 2023년 8월에 발표된 GGUF는 언어 모델 파일 형식의 중요한 발전을 나타냅니다. Georgi Gerg..

https://arxiv.org/abs/1912.13318 LayoutLM: Pre-training of Text and Layout for Document Image Understanding Pre-training techniques have been verified successfully in a variety of NLP tasks in recent years. Despite the widespread use of pre-training models for NLP applications, they almost exclusively focus on text-level manipulation, while neglecting layout and arxiv.org Introduction Document A..

https://arxiv.org/abs/2103.10213 ICDAR2019 Competition on Scanned Receipt OCR and Information Extraction Scanned receipts OCR and key information extraction (SROIE) represent the processeses of recognizing text from scanned receipts and extracting key texts from them and save the extracted tests to structured documents. SROIE plays critical roles for many doc arxiv.org Introduction SROIE는 Scanne..

https://arxiv.org/abs/2102.01373 An Improved Baseline for Sentence-level Relation Extraction Sentence-level relation extraction (RE) aims at identifying the relationship between two entities in a sentence. Many efforts have been devoted to this problem, while the best performing methods are still far from perfect. In this paper, we revisit two pro arxiv.org 1. Introduction 본 논문은 RE task에 대한 논문이며..

1. Introduction 그동안 많은 self-supervised 방법론들이 제시가 되었고 NLP task에서 많은 성과를 얻었다. 그리고 특히 성과가 좋았던 것은 Cloze Tasks에서 영감을 받아 제안되었던 Masked Laguage model이었다. 하지만 이러한 방법론들은 특정 태스크에만 집중을 하여 범용성이 떨어졌다고 본 논문은 주장을 하고 있다. 따라서 본 논문은 bert의 encoder와 gpt의 decoder 구조를 합한 bart를 제안하였으며 pre-train 과정은 원본 데이터를 bert와 유사하게 mask를 씌워서 encoder에 input으로 넣어주면 decoder가 그것을 복원하는 것이다. bert와의 mask 기법의 차이점은 bert는 하나의 토큰당 하나의 mask가 생기지..

https://arxiv.org/abs/1901.11196 EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks We present EDA: easy data augmentation techniques for boosting performance on text classification tasks. EDA consists of four simple but powerful operations: synonym replacement, random insertion, random swap, and random deletion. On five text classificati arxiv.org 1.Int..