REAME 작성

README.md

@@ -6,11 +6,64 @@ library_name: peft
 # Model Card for Model ID
 
 <!-- Provide a quick summary of what the model is/does. -->
+Base Model : "beomi/Llama-3-Open-Ko-8B"
 
+Dataset : "Bingsu/ko_alpaca_data"
 
+LORA를 사용해 파인튜닝한 모델입니다. 하드웨어 메모리가 부족하여 alpaca dataset의 상위 10개의 데이터만 가지고 학습을 진행하였습니다.
 
 ## Model Details
 
+해당 모델을 사용해보기 위해선 basemodel의 tokenizer와 특정 instruction template을 지켜야 제대로 된 결과가 출력됩니다. 
+
+
+```python
+from peft import PeftModel, PeftConfig
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+BASEMODEL = "beomi/Llama-3-Open-Ko-8B"
+config = PeftConfig.from_pretrained("gamzadole/llama3_Alpaca_Finetune")
+base_model = AutoModelForCausalLM.from_pretrained("beomi/Llama-3-Open-Ko-8B", load_in_4bit=True, device_map="auto")
+model = PeftModel.from_pretrained(base_model, "gamzadole/llama3_Alpaca_Finetune")
+model = model.cuda()
+
+tokenizer = AutoTokenizer.from_pretrained(BASEMODEL)
+tokenizer.pad_token = tokenizer.eos_token
+tokenizer.padding_side = "right"
+
+prompt_input_template = """아래는 작업을 설명하는 지시사항과 추가 정보를 제공하는 입력이 짝으로 구성됩니다. 이에 대한 적절한 응답을 작성해주세요.
+
+### 지시사항:
+{instruction}
+
+### 입력:
+{input}
+
+### 응답:"""
+
+
+prompt_no_input_template = """아래는 작업을 설명하는 지시사항입니다. 이에 대한 적절한 응답을 작성해주세요.
+
+### 지시사항:
+{instruction}
+
+### 응답:"""
+
+def generate_response(prompt, model):
+    encoded_input = tokenizer(prompt,  return_tensors="pt", add_special_tokens=True)
+    model_inputs = encoded_input.to('cuda')
+
+    generated_ids = model.generate(**model_inputs, max_new_tokens=512, do_sample=True, pad_token_id=tokenizer.eos_token_id)
+
+    decoded_output = tokenizer.batch_decode(generated_ids)
+
+    return decoded_output[0].replace(prompt, "")
+
+instruction = "건강을 유지하기 위한 세 가지 팁을 알려주세요."
+prompt = prompt_no_input_template.format(instruction=instruction)
+
+generate_response(prompt, model)
+```
 ### Model Description
 
 <!-- Provide a longer summary of what this model is. -->