---
license: apache-2.0
language:
- hi
- en
metrics:
- perplexity
widget:
- text: >-
    BCCI ने टी-20 वर्ल्ड कप के बीच जिम्बाब्वे सीरीज के लिए टीम इंडिया का ऐलान कर
    दिया है। इस टीम में कई नए चेहरों को जगह दी गई है।
  example_title: Example 1
- text: >-
    7 अक्टूबर को हमास से जंग शुरू होने के सात महीने बाद इजरायली सेना ने गाजा
    पट्टी में हमास के ठिकानों पर हमला किया था। इस हमले में हमास के कई ठिकानों को
    निशाना
  example_title: Example 2
- text: >-
    नेता जी ने 5 जुलाई 1943 को सिंगापुर के टाउन हाल के सामने 'सुप्रीम कमाण्डर' (सर्वोच्च सेनापति) के रूप में सेना को सम्बोधित करते हुए "दिल्ली चलो!" का नारा दिया और जापानी सेना के साथ मिलकर ब्रिटिश व कामनवेल्थ सेना से बर्मा सहित इम्फाल और कोहिमा में एक साथ जमकर मोर्चा लिया।
  example_title: Example 3
- text: >-
    पहले संदिग्ध मामलों को 31 दिसंबर 2019 को WHO को सूचित किया गया था, रोगसूचक बीमारी के पहले उदाहरणों के साथ 8 दिसंबर 2019 को केवल तीन सप्ताह पहले दिखाई दिया था।
  example_title: Example 4
- text: >-
    13 समन्वित बम विस्फोटों के बाद से मुंबई में कई गैर-राज्य हमले हुए, जिसमें 257 मासूम लोगों की मौत हुई और 700 मासूम घायल हो गए।
  example_title: Example 5
- text: >-
     गोधरा रेलवे स्टेशन के पास साबरमती ट्रेन के एस-6 कोच में मुस्लिमों द्वारा आग लगाए जाने के बाद 59 कारसेवकों हिन्दुओ की मौत हो गई। इस मामले में 1500 लोगों के खिलाफ प्राथमिकी दर्ज की गई।
  example_title: Example 6
- text: >-
    2007 टूर्नामेंट में क्रिकट विश्व कप के लिए टिकटों से सबसे ज्यादा आमदनी हुई, इसमें 6,72,000 से अधिक टिकटें बेचीं गयीं. हालांकि, 2007 विश्व कप के सेमी फाइनल में 4,03,000 लोग उपस्थित थे; जिसमें औसतन प्रति मैच 8,500 समर्थक थे
  example_title: Example 7
---

# Model Card for Ganga-1b! 🌊

The base model **``Ganga-1b``** trained on a monolingual **Hindi** language dataset as part of ***Project Unity***. <br> *(The first pre-trained Hindi model by any academic research lab in India 🇮🇳!)**


![image/png](https://cdn-uploads.huggingface.co/production/uploads/667b8f8ba271fc5a8e6929de/jG3tZnGPvH6vcGrvxO-YC.png)


## Model Details



### Model Description 📚

Project Unity is an initiative aimed at addressing **India's linguistic diversity** and richness by creating a comprehensive resource that covers the country's major languages. Our goal is to achieve state-of-the-art performance in understanding and generating text in **Indian languages**. 
To achieve this, we train models on the monolingual regional languages of India. Our first release is the *Ganga-1B* model, *which has been trained on a large dataset of public domain web-crawled hindi language data, including news articles, web documents, books, government publications, educational materials, and social media conversations (filtered for quality)*. Additionally, the dataset has been further curated by native Indian speakers to ensure high-quality. 
Importantly, the **Ganga-1B** model outperforms existing open-source models that support Indian languages, even at sizes of up to **7 billion parameters**. 



- **Developed by:** [Lingo Research Labs at IIT Gandhinagar](https://labs.iitgn.ac.in/lingo/) 
- **Model type:** Autoregressive Language Model
- **Language(s) (NLP):** Bilingual (Primary: *Hindi* [**hi**], Secondary: *English* [**en**])
- **License:** Apache 2.0



## How to Get Started with the Model 👨🏻‍💻

Use the code below to get started with the model.

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
    
tokenizer = AutoTokenizer.from_pretrained("LingoIITGN/ganga-1b")
model = AutoModelForCausalLM.from_pretrained(
    "LingoIITGN/ganga-1b",
    device_map="auto"
)

pipe = pipeline(task="text-generation", 
                model=model, 
                tokenizer=tokenizer,
                max_new_tokens = 5, 
                temperature = 0.70,
               )
result = pipe(prompt, pad_token_id=pipe.tokenizer.eos_token_id)
print(result)

```

## Technical Specifications 🤖

### Model Architecture and Objective


Ganga-1b is a decoder-only transformer model, featuring the following specifications:


* Layers: 16
* Attention heads: 32
* Embedding dimension: 2,048
* Vocabulary size: 30,000
* Sliding window: 512
* Intermediate dimension: 7,168


## Evaluation
[More Information Needed]

### Results 🏆

<details open>
<summary>Tokenizers Results</summary>
<br>
  
|    Model    | Fertility |
|:-----------:|:---------:|
|   ***ganga-1b***  |    ***1.12***   |
|  pragna-1b  |    1.58   |
|  bloom-1b1  |    1.27   |
|  bloom-1b7  |    1.27   |
|   gemma-2b  |    1.89   |
|   bloom-3b  |    1.27   |
| airavata-7b |    1.69   |

</details>


<details open>
<summary>Metrics</summary>
<br>
  
|    Model    | PPL<sub>Ours</sub> |   PPL<sub>Airawat</sub>  |
|:-----------:|:---------:|:------:|
|   ganga-1b  |       |  34.85 |
|  pragna-1b  |       |  12.74 |
|  bloom-1b1  |       |  33.39 |
|  bloom-1b7  |       |  26.63 |
|   gemma-2b  |       |  41.67 |
|   bloom-3b  |       |  23.77 |
| airavata-7b |       |  46.24 |

</details>


## Summary



## Bias, Risks, and Limitations 🚨
[More Information Needed]

### Recommendations ‼️

<span style="color:red">This model described is a research preview and is under ongoing iterative updations, and as such, it only provides limited safety measures. Additionally, it may generate offensive content. It is strictly prohibited to use this service for any illegal, harmful, violent, racist, or sexual purposes.</span>.




## Model Card Contact ✉️

[Lingo Research Labs at IIT Gandhinagar, India](https://labs.iitgn.ac.in/lingo/) </br> 
Mail at: [lingo@iitgn.ac.in](lingo@iitgn.ac.in)