Update README.md

README.md

@@ -25,53 +25,49 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 
 model_id = "BCCard/gemma-2-27b-it-kor-BCGPT"
 
+
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     torch_dtype=torch.bfloat16,
+    low_cpu_mem_usage=True,
     device_map="auto",
 )
 
 model.eval()
 instruction = "서울의 유명한 관광 코스를 만들어줄래?"
 
-messages = [
-    {"role": "user", "content": f"{instruction}"}
+chat = [
+    { "role": "user", "content": f"{instruction}" },
 ]
+prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
 
-input_ids = tokenizer.apply_chat_template(
-    messages,
-    add_generation_prompt=True,
-    return_tensors="pt"
-).to(model.device)
-
-terminators = [
-    tokenizer.eos_token_id,
-    tokenizer.convert_tokens_to_ids("<end_of_turn>")
-]
-
-outputs = model.generate(
-    input_ids,
-    max_new_tokens=2048,
-    eos_token_id=terminators,
-    do_sample=True,
-    temperature=0.6,
-    top_p=0.9,
-)
-
-print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
+inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
+outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=4096)
+print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))    
 ```
 
 # Generated Text
 
 ```
-서울의 유명한 관광 코스를 만들어볼게요.
+서울의 유명한 관광 코스를 추천해 드릴게요. 서울을 여행하는 사람들에게 인기 있는 코스는 다음과 같습니다:
+
+**1일 코스**
+
+1. **오전:** 경복궁(Gyeongbokgung Palace)에서 역사와 문화를 탐방하고, 인사동에서 전통 공예와 음식을 즐기세요.
+2. **오후:** 북촌한옥마을(Bukchon Hanok Village)을 방문하여 한옥의 아름다움을 체험하고, 맛있는 한국 음식을 즐기세요.
+3. **저녁:** 명동 거리 음식점에서 맛있는 저녁 식사를 즐기세요.
+
+**2일 코스**
 
-1. **역사와 문화를 탐방하는 코스:** 경복궁, 창덕궁, 국립민속박물관, 인사동, 종로3가, 남산을 포함한 이 코스는 서울의 역사와 문화를 깊이 탐구할 수 있는 다양한 장소를 방문할 수 있도록 구성됩니다. 역사와 문화를 탐방하는 이 코스는 서울의 역사를 이해하고, 한국의 전통과 현대를 동시에 즐길 수 있습니다.
+1. **1일차:** 경복궁과 국립민속박물관을 탐방하고, 한옥카페에서 한옥의 분위기를 만끽하세요.
+2. **2일차:** 북촌한옥마을에서의 한복 체험과 사진 촬영을 통해 서울의 전통을 더 깊이 체험하고, 맛집에서 서울의 맛을 즐기세요.
 
-2. **K-팝과 쇼핑을 즐기는 코스:** 이 코스는 한국에서 가장 인기 있는 K-팝 상점인 'K-Star Road'를 방문하는 코스로, 이곳에서 쇼핑을 하고 먹거리를 즐기는 K-팝 팬들이 많이 찾는 곳입니다. 이 코스는 팬들이 한국의 핫플레이스에서 즐길 수 있는 쇼핑과 한국의 K-팝 문화를 직접 체험할 수 있는 기회를 제공합니다.
+**3일 코스**
 
-3. **트렌디한 카페와 음식점을 둘러보는 K-패스 카드:** 서울에서 가장 인기 있는 카페나 레스토랑을 쉽게 이동할 수 있는 대중교통 패스를 제공하는 카드도 있습니다. 이는 대중교통을 이용하는 사용자에게 매우 유리합니다.
+1. **1일차:** 경복궁과 북촌한옥마을에서의 한복 체험과 함께 한옥마을의 역사와 문화를 탐방하세요.
+2. **2일차:** 인사동에서 전통 공예품을 구경하고, 맛있는 한국 음식을 즐기세요.
+3. **3일차:** 남산타워(N Seoul Tower)에서 서울의 전경을 감상하고, 경복궁에서 한복 체험을 즐기세요
 ```
 
 -------