Cristian Sas commited on
Commit
913e955
·
verified ·
1 Parent(s): b086626

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +73 -0
README.md CHANGED
@@ -101,6 +101,79 @@ outputs = model.generate(**inputs, max_length=100)
101
 
102
  ---
103
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
104
  Iată o documentație simplă și clară despre cum să instalezi **Ollama** și să rulezi **LLMLit** de pe Hugging Face.
105
 
106
  ---
 
101
 
102
  ---
103
 
104
+
105
+ # **📌 Ghid de Instalare: LM Studio + LLMLit pe Windows**
106
+
107
+ ## **🔹 1. Instalarea LM Studio**
108
+ LM Studio este o aplicație desktop care permite descărcarea și rularea locală a modelelor LLM.
109
+
110
+ ### **🖥️ Pasul 1: Descarcă și instalează LM Studio**
111
+ 1️⃣ Mergi la site-ul oficial:
112
+ 🔗 [LM Studio Download](https://lmstudio.ai/)
113
+
114
+ 2️⃣ Descarcă versiunea pentru **Windows** și instalează aplicația.
115
+
116
+ 3️⃣ După instalare, deschide **LM Studio**.
117
+
118
+ ---
119
+
120
+ ## **🔹 2. Descărcarea și Instalarea LLMLit**
121
+ Pentru a folosi **LLMLit**, trebuie să descarci modelul de pe **Hugging Face**.
122
+
123
+ ### **🖥️ Pasul 2: Adăugarea Modelului în LM Studio**
124
+ 1️⃣ **Deschide LM Studio** și mergi la tab-ul **"Model Catalog"**.
125
+
126
+ 2️⃣ Caută modelul **LLMLit** manual sau folosește acest link pentru descărcare:
127
+ 🔗 [LLMLit pe Hugging Face](https://huggingface.co/LLMLit/LLMLit-0.2-8B-Instruct)
128
+
129
+ 3️⃣ Copiază linkul modelului și introdu-l în **LM Studio → "Download Custom Model"**.
130
+
131
+ 4️⃣ Alege locația unde vrei să salvezi modelul și începe descărcarea.
132
+
133
+ ---
134
+
135
+ ## **🔹 3. Configurarea și Rularea LLMLit**
136
+ După ce ai descărcat modelul, trebuie să-l configurezi și să-l rulezi.
137
+
138
+ ### **🖥️ Pasul 3: Setarea Modelului**
139
+ 1️⃣ Mergi la **"Local Models"** în LM Studio.
140
+
141
+ 2️⃣ Selectează **LLMLit-0.2-8B-Instruct** din listă.
142
+
143
+ 3️⃣ Apasă **"Launch"** pentru a începe rularea modelului.
144
+
145
+ ---
146
+
147
+ ## **🔹 4. Interacțiunea cu LLMLit**
148
+ După ce modelul este activ, poți începe să-l folosești în LM Studio.
149
+
150
+ 1️⃣ **Folosește interfața LM Studio** pentru a trimite mesaje direct modelului.
151
+
152
+ 2️⃣ **Pentru integrare în Python**, instalează `ollama` și folosește următorul script:
153
+
154
+ ```python
155
+ import ollama
156
+
157
+ response = ollama.chat(model='llmlit/LLMLit-0.2-8B-Instruct',
158
+ messages=[{'role': 'user', 'content': 'Salut, cum pot folosi LLMLit?'}])
159
+
160
+ print(response['message']['content'])
161
+ ```
162
+
163
+ ---
164
+
165
+ ## **🔹 5. Optimizarea Performanței**
166
+ Pentru a rula LLMLit mai eficient pe Windows:
167
+ ✅ **Activează GPU Acceleration** dacă ai placă video compatibilă.
168
+ ✅ **Folosește modele mai mici**, dacă sistemul tău nu are suficient RAM.
169
+ ✅ **Optimizează parametrii modelului** din setările LM Studio pentru un echilibru între viteză și precizie.
170
+
171
+ ---
172
+
173
+ 🎉 **Gata!** Acum ai **LM Studio + LLMLit** instalat pe Windows și gata de utilizare! 🚀
174
+
175
+
176
+
177
  Iată o documentație simplă și clară despre cum să instalezi **Ollama** și să rulezi **LLMLit** de pe Hugging Face.
178
 
179
  ---