Update README.md
Browse files
README.md
CHANGED
@@ -14,3 +14,38 @@ datasets:
|
|
14 |
- **Base Model**: [Minerva-3B-base-v1.0](https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0), developed by [Sapienza NLP](https://nlp.uniroma1.it) in collaboration with [Future Artificial Intelligence Research (FAIR)](https://fondazione-fair.it/) and [CINECA](https://www.cineca.it/)
|
15 |
- **Specialization**: Question-Answering (QA)
|
16 |
- **Ideal Use Case**: Retrieval-Augmented Generation applications
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
14 |
- **Base Model**: [Minerva-3B-base-v1.0](https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0), developed by [Sapienza NLP](https://nlp.uniroma1.it) in collaboration with [Future Artificial Intelligence Research (FAIR)](https://fondazione-fair.it/) and [CINECA](https://www.cineca.it/)
|
15 |
- **Specialization**: Question-Answering (QA)
|
16 |
- **Ideal Use Case**: Retrieval-Augmented Generation applications
|
17 |
+
|
18 |
+
---
|
19 |
+
|
20 |
+
## How to Use
|
21 |
+
|
22 |
+
```python
|
23 |
+
import transformers
|
24 |
+
import torch
|
25 |
+
|
26 |
+
model_id = "DeepMount00/Minerva-3B-base-RAG"
|
27 |
+
|
28 |
+
# Initialize the pipeline.
|
29 |
+
pipeline = transformers.pipeline(
|
30 |
+
"text-generation",
|
31 |
+
model=model_id,
|
32 |
+
model_kwargs={"torch_dtype": torch.bfloat16},
|
33 |
+
device_map="auto",
|
34 |
+
)
|
35 |
+
|
36 |
+
def generate_text(pipeline, context, question):
|
37 |
+
input_text = f"[INST]Contesto: {context}\nDomanda:{question}\n[/INST]"
|
38 |
+
output = pipeline(
|
39 |
+
input_text,
|
40 |
+
max_new_tokens=512,
|
41 |
+
)
|
42 |
+
generated_text = output[0]['generated_text']
|
43 |
+
response_text = generated_text.split("[/INST]", 1)[1].strip()
|
44 |
+
return response_text[:-14]
|
45 |
+
|
46 |
+
contesto = """La torre degli Asinelli è una delle cosiddette due torri di Bologna, simbolo della città, situate in piazza di porta Ravegnana, all'incrocio tra le antiche strade San Donato (ora via Zamboni), San Vitale, Maggiore e Castiglione. Eretta, secondo la tradizione, fra il 1109 e il 1119 dal nobile Gherardo Asinelli, la torre è alta 97,20 metri, pende verso ovest per 2,23 metri e presenta all'interno una scalinata composta da 498 gradini. Ancora non si può dire con certezza quando e da chi fu costruita la torre degli Asinelli. Si presume che la torre debba il proprio nome a Gherardo Asinelli, il nobile cavaliere di fazione ghibellina al quale se ne attribuisce la costruzione, iniziata secondo una consolidata tradizione l'11 ottobre 1109 e terminata dieci anni dopo, nel 1119."""
|
47 |
+
domanda = """In che città si trova la torre degli Asinelli?"""
|
48 |
+
|
49 |
+
answer = generate_text(pipeline, contesto, domanda)
|
50 |
+
print(answer)
|
51 |
+
```
|