adding sentences

app.py

@@ -6,202 +6,202 @@ import torch
 import os
 
 
-# Let us define the main page
+# # Let us define the main page
 st.markdown("Translation page 🔠")
 
-# Dropdown for the translation type
-translation_type = st.sidebar.selectbox("Translation Type", options=["French ➡️ Wolof", "Wolof ➡️ French"])
+# # Dropdown for the translation type
+# translation_type = st.sidebar.selectbox("Translation Type", options=["French ➡️ Wolof", "Wolof ➡️ French"])
 
-# define a dictionary of versions
-models = {
-    "Version ✌️": {
-        "French ➡️ Wolof": {
-            "checkpoints": "wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_fw_v4",
-            "tokenizer": "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v4.json",
-            "max_len": None
-        }
-    },
-    "Version ☝️": {
-        "French ➡️ Wolof": {
-            "checkpoints": "wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_fw_v3",
-            "tokenizer": "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v3.json",
-            "max_len": 51
-            },
-        "Wolof ➡️ French": {
-            "checkpoints": "wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_wf_v3",
-            "tokenizer": "wolof-translate/wolof_translate/trokenizers/t5_tokenizers/tokenizer_v3.json",
-            "max_len": 51
-        }
-    }
-}
+# # define a dictionary of versions
+# models = {
+#     "Version ✌️": {
+#         "French ➡️ Wolof": {
+#             "checkpoints": "wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_fw_v4",
+#             "tokenizer": "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v4.json",
+#             "max_len": None
+#         }
+#     },
+#     "Version ☝️": {
+#         "French ➡️ Wolof": {
+#             "checkpoints": "wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_fw_v3",
+#             "tokenizer": "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v3.json",
+#             "max_len": 51
+#             },
+#         "Wolof ➡️ French": {
+#             "checkpoints": "wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_wf_v3",
+#             "tokenizer": "wolof-translate/wolof_translate/trokenizers/t5_tokenizers/tokenizer_v3.json",
+#             "max_len": 51
+#         }
+#     }
+# }
 
-# add special characters from Wolof
-sp_wolof_chars = pd.read_csv('wolof-translate/wolof_translate/data/wolof_writing/wolof_special_chars.csv')
+# # add special characters from Wolof
+# sp_wolof_chars = pd.read_csv('wolof-translate/wolof_translate/data/wolof_writing/wolof_special_chars.csv')
 
-# add definitions
-sp_wolof_words = pd.read_csv('wolof-translate/wolof_translate/data/wolof_writing/definitions.csv')
+# # add definitions
+# sp_wolof_words = pd.read_csv('wolof-translate/wolof_translate/data/wolof_writing/definitions.csv')
 
-# let us add a callback functions to change the input text
-def add_symbol_to_text():
+# # let us add a callback functions to change the input text
+# def add_symbol_to_text():
     
-    st.session_state.input_text += st.session_state.symbol
+#     st.session_state.input_text += st.session_state.symbol
 
-def add_word_to_text():
+# def add_word_to_text():
     
-    word = st.session_state.word.split('/')[0].strip()
+#     word = st.session_state.word.split('/')[0].strip()
     
-    st.session_state.input_text += word
+#     st.session_state.input_text += word
 
-# Dropdown for introducing wolof special characters
-if translation_type == "Wolof ➡️ French":
+# # Dropdown for introducing wolof special characters
+# if translation_type == "Wolof ➡️ French":
     
-    symbol = st.sidebar.selectbox("Wolof characters", key="symbol", options = sp_wolof_chars['wolof_special_chars'], on_change=add_symbol_to_text)
+#     symbol = st.sidebar.selectbox("Wolof characters", key="symbol", options = sp_wolof_chars['wolof_special_chars'], on_change=add_symbol_to_text)
     
-    word = st.sidebar.selectbox("Wolof words/Definitions", key="word", options = [sp_wolof_words.loc[i, 'wolof']+" / "+sp_wolof_words.loc[i, 'french'] for i in range(sp_wolof_words.shape[0])], on_change=add_word_to_text)
+#     word = st.sidebar.selectbox("Wolof words/Definitions", key="word", options = [sp_wolof_words.loc[i, 'wolof']+" / "+sp_wolof_words.loc[i, 'french'] for i in range(sp_wolof_words.shape[0])], on_change=add_word_to_text)
 
-# Dropdown for the model version
-version = st.sidebar.selectbox("Model version", options=["Version ☝️", "Version ✌️"])
+# # Dropdown for the model version
+# version = st.sidebar.selectbox("Model version", options=["Version ☝️", "Version ✌️"])
 
-# Recuperate the number of sentences to provide
-temperature = st.sidebar.slider("How randomly need you the translated sentences to be from 0% to 100%", min_value = 0,
-          max_value = 100)
+# # Recuperate the number of sentences to provide
+# temperature = st.sidebar.slider("How randomly need you the translated sentences to be from 0% to 100%", min_value = 0,
+#           max_value = 100)
 
 
-# make the process
-try:
+# # make the process
+# try:
     
-    # recuperate the max length
-    max_len = models[version][translation_type]['max_len']
+#     # recuperate the max length
+#     max_len = models[version][translation_type]['max_len']
     
-    # let us get the best model
-    @st.cache_resource
-    def get_modelfw_v3():
+#     # let us get the best model
+#     # @st.cache_resource
+#     def get_modelfw_v3():
         
-        # recuperate checkpoints
-        checkpoints = torch.load(os.path.join('wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_fw_v3', "best_checkpoints.pth"), map_location=torch.device('cpu'))
+#         # recuperate checkpoints
+#         checkpoints = torch.load(os.path.join('wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_fw_v3', "best_checkpoints.pth"), map_location=torch.device('cpu'))
         
-        # recuperate the tokenizer
-        tokenizer_file = "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v3.json"
+#         # recuperate the tokenizer
+#         tokenizer_file = "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v3.json"
         
-        # initialize the tokenizer
-        tokenizer = T5TokenizerFast(tokenizer_file=tokenizer_file)
+#         # initialize the tokenizer
+#         tokenizer = T5TokenizerFast(tokenizer_file=tokenizer_file)
         
-        model = T5ForConditionalGeneration.from_pretrained('t5-small')
+#         model = T5ForConditionalGeneration.from_pretrained('t5-small')
         
-        # resize the token embeddings
-        model.resize_token_embeddings(len(tokenizer))
+#         # resize the token embeddings
+#         model.resize_token_embeddings(len(tokenizer))
         
-        model.load_state_dict(checkpoints['model_state_dict'])
+#         model.load_state_dict(checkpoints['model_state_dict'])
         
-        return model, tokenizer
+#         return model, tokenizer
     
-    @st.cache_resource
-    def get_modelwf_v3():
+#     # @st.cache_resource
+#     def get_modelwf_v3():
         
-        # recuperate checkpoints
-        checkpoints = torch.load(os.path.join('wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_wf_v3', "best_checkpoints.pth"), map_location=torch.device('cpu'))
+#         # recuperate checkpoints
+#         checkpoints = torch.load(os.path.join('wolof-translate/wolof_translate/checkpoints/t5_small_custom_train_results_wf_v3', "best_checkpoints.pth"), map_location=torch.device('cpu'))
         
-        # recuperate the tokenizer
-        tokenizer_file = "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v3.json"
+#         # recuperate the tokenizer
+#         tokenizer_file = "wolof-translate/wolof_translate/tokenizers/t5_tokenizers/tokenizer_v3.json"
         
-        # initialize the tokenizer
-        tokenizer = T5TokenizerFast(tokenizer_file=tokenizer_file)
+#         # initialize the tokenizer
+#         tokenizer = T5TokenizerFast(tokenizer_file=tokenizer_file)
         
-        model = T5ForConditionalGeneration.from_pretrained('t5-small')
+#         model = T5ForConditionalGeneration.from_pretrained('t5-small')
         
-        # resize the token embeddings
-        model.resize_token_embeddings(len(tokenizer))
+#         # resize the token embeddings
+#         model.resize_token_embeddings(len(tokenizer))
         
-        model.load_state_dict(checkpoints['model_state_dict'])
+#         model.load_state_dict(checkpoints['model_state_dict'])
         
-        return model, tokenizer
+#         return model, tokenizer
 
-    if version == "Version ☝️":
+#     if version == "Version ☝️":
         
-        if translation_type == "French ➡️ Wolof":
+#         if translation_type == "French ➡️ Wolof":
             
-            model, tokenizer = get_modelfw_v3()
+#             model, tokenizer = get_modelfw_v3()
         
-        elif translation_type == "Wolof ➡️ French":
+#         elif translation_type == "Wolof ➡️ French":
             
-            model, tokenizer = get_modelwf_v3() 
+#             model, tokenizer = get_modelwf_v3() 
 
-    # set the model to eval mode
-    _ = model.eval()
+#     # set the model to eval mode
+#     _ = model.eval()
     
-    language = "Wolof" if translation_type == "French ➡️ Wolof" else "French"
+#     language = "Wolof" if translation_type == "French ➡️ Wolof" else "French"
     
-    # Add a title
-    st.header(f"Translate French sentences to {language} 👌")
+#     # Add a title
+#     st.header(f"Translate French sentences to {language} 👌")
     
-    # Recuperate two columns
-    left, right = st.columns(2)
+#     # Recuperate two columns
+#     left, right = st.columns(2)
 
-    if translation_type == "French ➡️ Wolof":
+#     if translation_type == "French ➡️ Wolof":
 
-        # recuperate sentences
-        left.subheader('Give me some sentences in French: ')
+#         # recuperate sentences
+#         left.subheader('Give me some sentences in French: ')
     
-    else:
+#     else:
 
-        # recuperate sentences
-        left.subheader('Give me some sentences in Wolof: ')
+#         # recuperate sentences
+#         left.subheader('Give me some sentences in Wolof: ')
 
-    # for i in range(number):
+#     # for i in range(number):
         
-    left.text_input(f"- Sentence", key = f"input_text")
+#     left.text_input(f"- Sentence", key = f"input_text")
 
-    # run model inference on all test data
-    original_translations, predicted_translations, original_texts, scores = [], [], [], {}
+#     # run model inference on all test data
+#     original_translations, predicted_translations, original_texts, scores = [], [], [], {}
 
-    if translation_type == "French ➡️ Wolof":
+#     if translation_type == "French ➡️ Wolof":
         
-        # print a sentence recuperated from the session
-        right.subheader("Translation to Wolof:")
+#         # print a sentence recuperated from the session
+#         right.subheader("Translation to Wolof:")
     
-    else:
+#     else:
         
-        # print a sentence recuperated from the session
-        right.subheader("Translation to French:")
+#         # print a sentence recuperated from the session
+#         right.subheader("Translation to French:")
 
-    # for i in range(number):
+#     # for i in range(number):
         
-    sentence = st.session_state[f"input_text"] + tokenizer.eos_token
+#     sentence = st.session_state[f"input_text"] + tokenizer.eos_token
     
-    if not sentence == tokenizer.eos_token:
+#     if not sentence == tokenizer.eos_token:
     
-        # Let us encode the sentences
-        encoding = tokenizer([sentence], return_tensors='pt', max_length=max_len, padding='max_length', truncation=True)
+#         # Let us encode the sentences
+#         encoding = tokenizer([sentence], return_tensors='pt', max_length=max_len, padding='max_length', truncation=True)
         
-        # Let us recuperate the input ids
-        input_ids = encoding.input_ids
+#         # Let us recuperate the input ids
+#         input_ids = encoding.input_ids
         
-        # Let us recuperate the mask
-        mask = encoding.attention_mask
+#         # Let us recuperate the mask
+#         mask = encoding.attention_mask
         
-        # Let us recuperate the pad token id
-        pad_token_id = tokenizer.pad_token_id
+#         # Let us recuperate the pad token id
+#         pad_token_id = tokenizer.pad_token_id
         
-        # perform prediction
-        predictions = model.generate(input_ids, do_sample = False, top_k = 50, max_length = max_len, top_p = 0.90,
-                                        temperature = temperature/100, num_return_sequences = 0, attention_mask = mask, pad_token_id = pad_token_id)
+#         # perform prediction
+#         predictions = model.generate(input_ids, do_sample = False, top_k = 50, max_length = max_len, top_p = 0.90,
+#                                         temperature = temperature/100, num_return_sequences = 0, attention_mask = mask, pad_token_id = pad_token_id)
         
-        # decode the predictions
-        predicted_sentence = tokenizer.batch_decode(predictions, skip_special_tokens = True)
+#         # decode the predictions
+#         predicted_sentence = tokenizer.batch_decode(predictions, skip_special_tokens = True)
         
-        # provide the prediction
-        right.write(f"Translation: {predicted_sentence[0]}")
+#         # provide the prediction
+#         right.write(f"Translation: {predicted_sentence[0]}")
         
-    else:
+#     else:
         
-        # provide the prediction
-        right.write(f"Translation: ")
+#         # provide the prediction
+#         right.write(f"Translation: ")
     
-except Exception as e:
+# except Exception as e:
     
-    st.warning("The chosen model is not available yet !", icon = "⚠️")
+#     st.warning("The chosen model is not available yet !", icon = "⚠️")
     
-    st.write(e)
+#     st.write(e)
     
 
 

pages/provide_sentences.py

@@ -8,12 +8,19 @@ sentences_ = pd.read_csv('wolof-translate/wolof_translate/data/sentences/wolof_f
 
 sentences = sentences_.copy()
 
+# get french and wolof sentences
+french_examples = pd.read_csv('wolof-translate/wolof_translate/data/sentences/french.csv')
+
+wolof_examples = pd.read_csv('wolof-translate/wolof_translate/data/sentences/wolof.csv')
+
 # add special characters from Wolof
 sp_wolof_chars = pd.read_csv('wolof-translate/wolof_translate/data/wolof_writing/wolof_special_chars.csv')
 
 # add definitions
 sp_wolof_words = pd.read_csv('wolof-translate/wolof_translate/data/wolof_writing/definitions.csv')
 
+sp_wolof_words.sort_values(by = ['french', 'wolof'], inplace = True)
+
 # initialize the input texts
 st.title("Provide sentences below ⤵️")
 
@@ -22,16 +29,22 @@ st.markdown("""---""")
 # create three columns
 left, right = st.columns(2)
 
-left.header("French")
-left.text_input(sentences.columns.tolist()[0], key = "left_sentence")
-
-right.header("Wolof")
-right.text_input(sentences.columns.tolist()[1], key = "right_sentence")
-
 # let us add a callback functions to change the input text
-def add_symbol_to_text():
+def add_symbol_to_french():
+    
+    st.session_state.left_sentence += st.session_state.fr_symbol
+    
+def add_symbol_to_wolof():
+    
+    st.session_state.right_sentence += st.session_state.wf_symbol
+
+def add_special_token_french():
+    
+    st.session_state.left_sentence += '<mask>'
+    
+def add_special_token_wolof():
     
-    st.session_state.right_sentence += st.session_state.symbol
+    st.session_state.right_sentence += '<mask>'
 
 def add_word_to_text():
     
@@ -39,6 +52,18 @@ def add_word_to_text():
     
     st.session_state.right_sentence += word
 
+def add_french_sentence_to_text():
+    
+    sentence = st.session_state.french_sentence.strip()
+    
+    st.session_state.left_sentence = sentence
+    
+def add_wolof_sentence_to_text():
+    
+    sentence = st.session_state.wolof_sentence.strip()
+    
+    st.session_state.right_sentence = sentence
+
 # let us create a callback which permit us to add sentences inside a DataFrame
 def add_new_sentences():
     
@@ -48,6 +73,41 @@ def add_new_sentences():
     
     sentence_2 = st.session_state.right_sentence.strip()
     
+    if sentence_1 == '' or sentence_2 == '':
+        
+        st.warning("You didn't provide a sentence ! Please provide before submitting.", icon= "🚨")
+    
+    else:
+        
+        if not sentences.empty > 0:
+        
+            sentences = pd.concat((sentences, pd.DataFrame({sentences.columns.tolist()[0]: [sentence_1], 
+                                                   sentences.columns.tolist()[1]: [sentence_2]})))
+        
+        else:
+            
+            sentences = pd.DataFrame({sentences.columns.tolist()[0]: [sentence_1], 
+                                                   sentences.columns.tolist()[1]: [sentence_2]})
+        ## save the result
+        sentences.to_csv('wolof-translate/wolof_translate/data/sentences/wolof_french.csv', index=False)
+        
+        # recuperate the already saved sentences (for the moment french/wolof)
+        sentences = pd.read_csv('wolof-translate/wolof_translate/data/sentences/wolof_french.csv')
+        
+        # add the last position to delete and modify
+        st.session_state.line1 = len(sentences) - 1
+        
+        st.session_state.line2 = len(sentences) - 1
+        
+# let us create a callback which permit us to add sentences inside a DataFrame
+def add_new_sentences2():
+    
+    global sentences
+    
+    sentence_1 = st.session_state.left_sentence.strip()
+    
+    sentence_2 = st.session_state.right_sentence.strip()
+    
     if sentence_1 == '' or sentence_2 == '':
         
         st.warning("You didn't provide a sentence ! Please provide before submitting.", icon= "🚨")
@@ -70,10 +130,17 @@ def add_new_sentences():
         sentences = pd.read_csv('wolof-translate/wolof_translate/data/sentences/wolof_french.csv')
         
         # clean the inputs' contents
+        st.session_state.left_sentence = ''
+        st.session_state.right_sentence = ''
+        
+        # add the last position to delete and modify
+        st.session_state.line1 = len(sentences) - 1
+        
+        st.session_state.line2 = len(sentences) - 1
         
 def delete_line():
     
-    number = st.session_state.line
+    number = st.session_state.line1
     
     if number > len(sentences) - 1:
         
@@ -100,29 +167,82 @@ def delete_line():
         
         deleted.to_csv('wolof-translate/wolof_translate/data/sentences/deleted_lines.csv', index=False)
 
-symbol = st.sidebar.selectbox("Wolof characters", key="symbol", options = sp_wolof_chars['wolof_special_chars'], on_change=add_symbol_to_text)
+def modify_line():
+    
+    number = st.session_state.line2
+    
+    if number > len(sentences) - 1:
+        
+        st.warning("The line that you provided does not exist !")
+    
+    else:
+        
+        modified = pd.read_csv('wolof-translate/wolof_translate/data/sentences/modified_lines.csv')
+        
+        if not modified.empty:
+            
+            modified = pd.concat((modified, pd.DataFrame({sentences.columns.tolist()[0]: [sentences.loc[number, sentences.columns.tolist()[0]]], 
+                                                   sentences.columns.tolist()[1]: sentences.loc[number, sentences.columns.tolist()[1]]})))
+        
+        else:
+            
+            modified = pd.DataFrame({sentences.columns.tolist()[0]: [sentences.loc[number, sentences.columns.tolist()[0]]], 
+                                                   sentences.columns.tolist()[1]: sentences.loc[number, sentences.columns.tolist()[1]]})
+        
+        st.session_state.left_sentence = sentences.loc[number, sentences.columns.tolist()[0]]
+        
+        st.session_state.right_sentence = sentences.loc[number, sentences.columns.tolist()[1]]
+        
+        sentences.drop(index = number, inplace=True)
+        
+        ## save the result
+        sentences.to_csv('wolof-translate/wolof_translate/data/sentences/wolof_french.csv', index=False)
+        
+        modified.to_csv('wolof-translate/wolof_translate/data/sentences/deleted_lines.csv', index=False)
+
+
+left.header("French")
+left.text_area(sentences.columns.tolist()[0], key = "left_sentence")
+
+right.header("Wolof")
+right.text_area(sentences.columns.tolist()[1], key = "right_sentence")
+
+fr_symbol = left.selectbox("French characters", key="fr_symbol", options = sp_wolof_chars['wolof_special_chars'])
+
+wf_symbol = right.selectbox("Wolof characters", key="wf_symbol", options = sp_wolof_chars['wolof_special_chars'])
+
+word = right.selectbox("Wolof words/Definitions", key="word", options = [sp_wolof_words.loc[i, 'wolof']+" / "+sp_wolof_words.loc[i, 'french'] for i in range(sp_wolof_words.shape[0])], on_change=add_word_to_text)
+
+left.button("Add symbol", "add fr symbol", on_click=add_symbol_to_french)
+
+left.button("Add mask", "french mask", on_click=add_special_token_french)
 
-word = st.sidebar.selectbox("Wolof words/Definitions", key="word", options = [sp_wolof_words.loc[i, 'wolof']+" / "+sp_wolof_words.loc[i, 'french'] for i in range(sp_wolof_words.shape[0])], on_change=add_word_to_text)
+right.button("Add symbol", "add wf symbol", on_click=add_symbol_to_wolof)
 
+right.button("Add mask", "wolof mask", on_click=add_special_token_wolof)
+
+# add sentences at sidebar
+st.sidebar.selectbox("French sentences", key="french_sentence", options = french_examples['sentences'], on_change=add_french_sentence_to_text)
+
+st.sidebar.selectbox("Wolof sentences", key="wolof_sentence", options = wolof_examples['sentences'], on_change=add_wolof_sentence_to_text)
 
 # add a submit button to add new sentences
 st.button('Submit', 'submit_button', on_click=add_new_sentences)
+st.button('Place', 'submit_button2', on_click=add_new_sentences2)
 
 st.markdown("""---""")
 
-number = st.number_input("Provide line to delete", key="line", min_value=0)
+# add delete button
+number = st.number_input("Provide line to delete", key="line1", min_value=0)
 
 st.button("Delete", 'delete_button', on_click=delete_line)
 
-# add data frame
-st.dataframe(sentences, width=900)
+# add modify button
+number = st.number_input("Provide line to modify", key="line2", min_value=0)
 
+st.button("Modify", 'modify_button', on_click=modify_line)
 
+# add data frame
+st.dataframe(sentences, width=900)
 
-    
-    
-    
-    
-    
-    
     

recuperate_huggingface_data.ipynb

@@ -0,0 +1,178 @@
+{
+ "cells": [
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Recuperate sentences from HuggingFace\n",
+    "----------------------"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "- French sentences"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import requests\n",
+    "import pandas as pd"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 19,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "curl = \"https://datasets-server.huggingface.co/rows?dataset=Harsit%2Fxnli2.0_french&config=Harsit--xnli2.0_french&split=test&offset=0&limit=100\"\n",
+    "\n",
+    "def query():\n",
+    "    \n",
+    "    response = requests.get(curl)\n",
+    "    return response.json()\n",
+    "\n",
+    "data = query()"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Get the hypothesis in a data frame."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 22,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "sentences = data['rows']\n",
+    "\n",
+    "french_sents = []\n",
+    "\n",
+    "for i in range(len(sentences)):\n",
+    "    french_sents.append(sentences[i]['row']['hypothesis'])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 23,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# save the sentences\n",
+    "pd.DataFrame({'sentences': french_sents}).to_csv('french.csv', index=False)"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "- Wolof sentences"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "curl = \"https://datasets-server.huggingface.co/rows?dataset=perrynelson%2Fwaxal-wolof&config=perrynelson--waxal-wolof&split=test&offset=0&limit=100\"\n",
+    "\n",
+    "def query():\n",
+    "    \n",
+    "    response = requests.get(curl)\n",
+    "    return response.json()\n",
+    "\n",
+    "data = query()"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Get the transcriptions in a data frame."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "100"
+      ]
+     },
+     "execution_count": 5,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "len(data['rows'])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "sentences = data['rows']\n",
+    "\n",
+    "wolof_sents = []\n",
+    "\n",
+    "for i in range(len(sentences)):\n",
+    "    \n",
+    "    wolof_sents.append(sentences[i]['row']['transcription'])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 28,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# save the sentences\n",
+    "pd.DataFrame({'sentences': wolof_sents}).to_csv('wolof.csv', index=False)"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "pytorch1-HleOW5am-py3.10",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.8"
+  },
+  "orig_nbformat": 4
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

wolof-translate/wolof_translate/data/sentences/deleted_lines.csv

@@ -1,3 +1,2 @@
 french,wolof
-dkfsjfkdsf,dkfjskfjds
-Je part jouer,dkfjskfjds
+"Sur la photo, ont voit des personnes qui marchent rapidement ou qui s'opposent tout le temps aux gendarmes. C'était au Casamance. Ils ressemblent plus à des jeunes. Il ne manquerait pas que ce soit pour montrer quelque chose qui leur déplaisait.",Nataal bii ñoo ngi ciy gis  ay nit ñuy ñaxtu walla di jàmmaarlook takk-der yi rekk. Caa Kaasamaas la woon. Aw ndaw lañ gën a nurool. Du ñàkk am lu leen metti ñu ko doon  ñaxtu.

wolof-translate/wolof_translate/data/sentences/french.csv

@@ -0,0 +1,101 @@
+sentences
+Je ne lui ai plus reparlé.
+J'étais tellement bouleversé que j'ai recommencé à lui parler.
+Nous avons eu une excellente conversation.
+Je ne savais pas que je n'étais pas la seule personne à être sur le terrain ce jour-là.
+J'avais l'impression d'être le seul à avoir ce numéro sur le terrain de l'AFFC Air Force Career.
+"On nous a tous donné le même nombre exact, peu importe les privilèges qu'on nous avait promis d'accorder, tout cela était un mensonge."
+On ne m'a jamais rien dit de rencontrer quelqu'un.
+On m'a dit qu'un gars serait appelé pour que je le rencontre.
+Le gars est arrivé un peu en retard.
+Je veux vous dire tout ce que je sais à ce sujet !
+"Je n'en parlerai pas, même s'il y a beaucoup à couvrir."
+Je ne parlerai pas de l'histoire de la ville car il y a trop à dire.
+Nous ne nous soucions pas de sauver quoi que ce soit.
+Nous voulions sauver une chose plus que le reste.
+Nous voulions sauver la bombe H parce qu'elle était si difficile à gérer.
+Je suis certain de la raison.
+Je ne sais pas pourquoi il a changé d'école.
+Je ne sais pas pourquoi c'est arrivé.
+Fannie Flono a dû reprogrammer et est incapable de nous raconter des histoires aujourd'hui.
+"Fannie Flono est ici et elle va nous parler de ses histoires d'enfance de grandir à Augusta, GA."
+Fannie Flono a pu nous parler aujourd'hui malgré son emploi du temps chargé.
+J'ai traité avec les U2.
+Je n'ai pas du tout traité avec les U2.
+J'ai travaillé avec les détachements pour les U2 tous les jours pendant quarante ans.
+Je n'aimais pas être le seul à faire fonctionner les régulateurs pour les tests.
+Des tests ont été effectués dans les chambres d'altitude miniatures.
+Nous étions quelques-uns à diriger les régulateurs pour le test.
+Je travaille encore à ce jour.
+J'ai pris ma retraite en 2002.
+Rick vous a dit que j'étais à la retraite.
+Le client nommé Cutty gagne 10 000 $ par mois.
+Il y a un client nommé Cutty.
+Nous n'avons aucun client appelé Cutty.
+La fille dont j'ai besoin d'aide vit loin d'ici.
+La fille qui va m'aider est à 5 miles.
+Il n'y a personne qui puisse m'aider.
+Ils ont tous convenu qu'ils travailleraient tous dans les champs.
+Ils n'arrivaient pas à se mettre d'accord sur qui était un homme de terrain et qui appartenait à la maison.
+Ils n'arrivaient pas à se mettre d'accord sur qui devait travailler dans le champ de coton et qui devait passer la serpillière.
+Il a décidé de ne plus parler.
+Il parle de trois sous-marins différents.
+Il parle de trois choses.
+Tous leurs enfants ont survécu.
+Un enfant est mort sur les cinq.
+L'enfant qui est mort est né malade.
+Le U2 a pris beaucoup de film.
+Le U2 a pris une tonne de film sous l'eau.
+"Nous n'avions pas d'images, nous devions donc deviner."
+"Comme elle lui a dit de monter le porche, elle avait les larmes aux yeux."
+Elle a rapidement essuyé ses larmes après avoir jeté Joe par le porche.
+Elle était si heureuse de voir Joe qu'elle s'est mise à pleurer.
+Le rayonnement peut également être contenu pendant un incendie.
+Le rayonnement s'échapperait d'un composant en plomb après que l'avion ait brûlé.
+Le rayonnement ne s'échapperait pas pendant un incendie.
+Le chef est retraité de l'US Air Force.
+Le chef vient de prendre sa retraite il y a quelques semaines.
+Le chef de l'US Air Force vient de commencer sa carrière cette semaine.
+Plus d'un avion arrive chaque semaine.
+L'augmentation du trafic aérien est gênante.
+Il n'y a jamais d'avion qui arrive.
+Il faut jusqu'à trois mois pour terminer la formation sur l'utilisation d'une combinaison pressurisée intégrale.
+S'entraîner à utiliser une combinaison pressurisée prend du temps.
+Nous pourrions vous former à l'utilisation d'une combinaison de pression complète d'ici la fin de la journée.
+La bombe avait été désactivée par le pilote.
+La bombe n'avait aucune chance d'exploser.
+Il y avait un grand danger que la bombe explose.
+Je ne sais pas à quoi cela ressemble pour vous.
+"J'essaie de le faire, évidemment."
+J'essaie de terminer mon projet la semaine prochaine.
+Les chèvres s'échappaient de la grange tous les jours.
+Les chèvres s'échappaient souvent.
+Les chèvres ont été gardées en sécurité.
+Toutes les portes étaient ouvertes.
+Nous avions les clés avec nous.
+Nous sommes entrés même si les portes étaient verrouillées.
+Je suis convaincu que les totaux sont tout ce dont j'ai besoin pour comprendre cela.
+"Je n'ai aucune idée de ce qu'il faut faire avec seulement les totaux, veuillez me donner plus de détails pour comprendre ce gâchis."
+Je vais le calculer en fonction des totaux.
+Il était tellement excité et débordant de joie qu'il a pratiquement fait tomber la porte de son cadre.
+Il essayait de ne pas nous culpabiliser mais nous savions que nous lui avions causé des ennuis.
+"Rien qu'à l'expression de son visage quand il a franchi la porte, j'ai su qu'il avait été déçu."
+Je n'ai pas de magasin en particulier.
+J'ai 1 magasin spécifique.
+Il y a beaucoup de magasins.
+Il reçoit beaucoup d'aide.
+Il reçoit de l'aide pour ses repas et ses vêtements.
+Il est très indépendant.
+"Ramona était allongée par terre, recroquevillée en position fœtale."
+Ramona me jugeait silencieusement.
+Ramona était debout pendant que j'étais là en admiration.
+"Elle a mangé beaucoup de nourriture, mais a quand même maintenu son poids bas."
+Elle ne pesait pas beaucoup du tout.
+Elle était très heureuse.
+Il a continué à vivre à Augusta même après les attentats.
+Il a continué à vivre à Augusta.
+Il a tout de suite déménagé à l'extérieur d'Augusta.
+Je n'ai jamais demandé où ils allaient.
+Ils nous ont toujours fait savoir où ils étaient et où ils allaient.
+Ils ne nous ont jamais dit où ils allaient.
+Ils ne paieront rien pour nous.

wolof-translate/wolof_translate/data/sentences/modified_lines.csv

@@ -0,0 +1 @@
+french,wolof

wolof-translate/wolof_translate/data/sentences/wolof.csv

@@ -0,0 +1,101 @@
+sentences
+"Lii, ay nit lañu yu génn di ñaxtu. Jëm yi nag ñu ngi sol seen i yére yu weex ak seen i tubéy yu baxa, nekk ci tali bi di wane seen aw naqar. Ñu ngi bind ci digg bi mbindum farañse mu baxa."
+"Salaawaalekum ! Ñii de, mel nañ ne, ay nit ñu dëkk kaasamaas, benn dëkk bu nekk Senegaal, ñoom ñooy wane seenuw naqar nii, daldi taxaw nii, ñenn ñi toog, ñenn ñi taxaw, jël seen loxo yi dajale ko ngir wane seenuw naqar. Ñoo ngi toog ci tali bi."
+"Nataal bi ab nataal la boo xamante yni maa ngi ciy gis ay ndawi réew yoo xamante ni daa mel ni dañuy naqarlu loo xamante ni xew na ca seen réew te seen njiitu réew teg leen ko. Maa ngi ciy gis nag ñoo xamante ni dañoo sol lu weex aki ay tubéy yu ñuul. Bari ci ñoo xamante ni sol nañu yoo xamante ni ay yére yu ñuul la ak yu bula, am na yit ñu sol yu bula. Ñu ngi taxaw si kow tali tali bi nag xaw naa bari ay xeer ńàkkul ni ñoo ko jëfandikoo ngir jàmmarloo ak way takk-der yi. CI kow nataal bi maa ngi gis ñu bind si bind boo xamante  ni réewu, dëkk bi nu naan Kaasamaas ñu koy wax Siggicoor."
+Waaw nataal bii nataal la boob ay nit ñu baree bari ñoo xam ni dañuy doxub ñaxtu ñoo ci nekk tàllal seen i loxo ñee sukku ñeel taxaw jodd di dox ñu bind ci kaw nataal bi lu xaw a baxa la bind ci laa kaasamãs.
+Nataal bii maa ngi ciy janloog haa ay nit yu bari yuy dox di dox ab ñaxtu ñi ngi bank seen i loxo di wane ni lu amul benn taafar lañuy deme.
+Nataal bii ñoo ngi ciy gis  ay nit ñuy ñaxtu walla di jàmmaarlook takk-der yi rekk. Caa Kaasamaas la woon. Aw ndaw lañ gën a nurool. Du ñàkk am lu leen metti ñu ko doon  ñaxtu.
+"Ñu gis ci nataal bi ay nit ñu bari ñu génn ci tali, ñu yékkati seen i loxo, ñenn ñi sukku yékkati seen loxo, ñu bind ci nataal bi ""La Casamance"", mooy diiwaanu Kaasamaas."
+"Jën la waaw, Wu am wirgo Wu baxa ak Wu xonq."
+"Aah nataal bii nag, aw jën la. Jën wi mi ngi ame ñetti wirgo. Wirgo Wu jëkk Wi mboq la, Wu ci topp di bëlë, Wu ci topp di weex. Muy jën wu rafet."
+"Nataalu fanweer ak juróom-ñaar, maa ngi ci gis lu mel ne lu taxam taxawaayu jën. Jën la woo xam ne itam dafa am ay kulëer. Kulëer yi tamit am na bulë, am na marõ, am na weex, lu ko wër lépp lu weex la."
+"Nataal bii nag gis naa ne mel na ne aw jën la. Jën wi nag dafa ŋaaŋ. Jën wi nag dama ne am na lu bëlë, am na lu weex, am na lu xaw a soon it moom jën wi foto biñ ko dama ne dañ ko tek ci lu weex, lu weex."
+"Ñu ngi wone ci nataal bi wenn jën wu mag. Nan jàpp ne jënu ratee la wu mag, wu tege. kulëer bi nag, am na kulëer bu bëlë ak bu ruus."
+Nataal bi ngeen ma yónnee de fele-fele la. Mburu lañ ciy def ak di ci tànn ceeb ak di ci def.
+Nataal bii gis naa ci biir nataal bi ñaari soxna yu taxaw kenn ki sol lu soon kenn ki sol lu xonqu.
+"Lii day suñu mbokki lawbe yi ñoo koy defar. Gis naa ci itam couleur bu xonqu, gis naa ci couleur bu bula. Waaw loolu de laa ci gis."
+"Man de nataal bii ma gis nii, nataal la boo xam ne ab dëkk bu rafet a rafet la, dëkk bi nag rafet na lool. Ba noppi mel ni yuñ ràbb daal, ba noppi am na ndox am na garab yu wert am yépp. Ba noppi dëkk bi rafet na lool daal am na lu weex."
+Waaw lii ab fowu la maanaam stade fowu fowu la bu rafet lool làmp yiy tàkk nii nekk ci kawam mu wërngalu nii am lu ñuul lu nekk ci kaw loo xam ne daa daa wërngalu làmp yi di leer nàññ ci kaw fowu bi nekk ci biir mu doon loo xam ne sii ci biir dees ci futbalees.
+"Nataal bii de, nataal la boo xam ne ab paaka la, paaka boo xam ne paaka bi am na dénk ca wet ga ak weñ waaw. Nataal bii daal paaka lañ koy wax paaka bi daal beesul te daa chocolat waaw noon la mel."
+"Nataal bii de nataal la boo xam ne ab ab am mangasin. Mangasin bi nag ab coiffeuse la, coiffeuse bi biir bi daa sokolaa lépp daa sokolaa daa am i sokolaa am yu weex waaw. Daa am ay tiruwaal ak yépp ba noppi mu sokolaa."
+"Nataal bii de ab salle lay nuróol, salle bi tamit maa ngi ci gis lu mel ni ab lal bu ndaw maasàllaa lu mel ni ay canapé yoo xam ne neex naa toog lool. Maa ngi gis tamit ñu takk panal ci kaw akub dessin tubaarikàlla, dessin yoo xam ne dañ koo dessin ci miir bi."
+"Lii nag ab bool la. Bool bi suukar la def. Suukar Si nag yaa ngi koy séen lu weex tàll, fees dell ci bool bi. Suukar Si set te rafet lool sax la."
+Lii ab tabax bu njool la bu rafet. Gis nañ ñaari nit ci càmmooñ bi benn góor ak benn jigéen ñu ànd ak ay garab ak fleurs. Ci ndey-joor bi gis nañ benn tabax bu weex ak ay oto ci kanamam. Tabax bi mi ngi ci kaw tali.
+"Lii ak kër. Kër Gi nag ni lu bindoo tegale gi ñetti tegale la ci tabaxin bi. Nga mën a yéeg ci kow yéegaat ci kow jàll. Mi ngi am ay bunt yu beree bare ak i tofla, ay fëneetar yoon xam ni ngelaw Li da cee mën a jaare ci biir kër gi. Mi ngi am ay garab yu naatal kër gi ci wer ci."
+Nataal bii góor ak jigéen ay statut yu taxaw ñu takk leen ak ay chaîne. Mu mel ni ay jaam lañ daal.
+Nataal bii nag benn salle la bu ñu teg ay bã yu ruus def ay fleurs taal ay làmpu décoré ba mu rafet maasàllaa.
+"As salaamaalekum! lii de ab nataal la. Nataal bii de gis naa si ab këll, këll boo xam ni ay suukër bekk la def bu am melo bu weex. Am na tamit ay suukër bekk yu nekk ci suuf, am na tamit ab këll bu may seen ci cat li boo xam ni dafa sokolaa."
+Nataal bii de ag leget la. Leget goo xam ne dafa xaw a ñuul tuuti. Am ca biir ay bekku suukar yu weex tàll. Ca suufam tamit am yeneen bekku suukar yu fa nekk.
+"Nataal bii nag ñu ngi ci gis bekku suukër. Bekku suukër, ëe suukër la ju wow. Ëe moom day dem ci kafe dina dem ci yeneen yeneen... Mën naa dem ci soow ak yépp mën na see dem. ñooŋ kay def, ñooŋ ko def si benn bool, ëe ci benn bool bu sokolaa... Def si bekk suukër yu bëre."
+"Lii ab dëkkuwaay la, dëkkuwaay taaru lool, dëkkuwaay bu taaru lool am ay yoon, yoon yu ñuy jaar di jàll, am ay baŋ."
+Waaw lii de boo dee xool dangay gis benn peroŋ boo xam ne dañu ko karo. Léegi am na fëlëer yoo xam ne dañoo nekk ci kaw karo yi. Boo dee xool ci ginnaaw dangay gis ay garab waaw.
+Nataal bii ma gis de ay nit yun tabax la ak i garab ak i fleur ak yooyu. Ñu nekk fu taaroo taaru am miir bu leen wër miir boo xam ne peinture bu soon lañ ko peinture.
+"nii nag mu mel ni benn bërëb jullikaay wala... maanaam jumaa. boo  xamantane mooy wone ni ki ci Islaam sax am na benn architercture, boo xamantane, moom la ñuy sukkandi ku tabax jumaa yi, mu tafet lool!"
+"Nataal bii ma gis de nataal la boo xam ne jàkka la, jàkka joo xam ne jàkka ji guddu na lool ba noppi bari, ba noppi am ñax, am ay garab yu ne ca suuf. Waaye jàkka ji nag peinture bu soon lañ ko peinture. Ba noppi mu ay rajook yooyu yépp waaw."
+"Lii ag kër la, kër gu yàqu. Boo ko gisee xam ni dafa màgget ak làmpam yeek palanteer am yi."
+"Nataal bii ma gis, gis naa ci ag kër gu rafet, am ag garab ci buntu kër gi."
+"Lii nag baraada la. Baraada bu nu def attaaya la walla bu mën def kafe. Boo xoolee mi ngi am njàpp. Baraada bi nag mu ngi yor wirgo wu ""orange"" ak lu ""jaune waaw.  Ñuŋ ko yor. Boo xoole tamit am na gëléem buñ ci nataal ak ay garab. Ñu nataal leen ak wirgo Wu ñuul."
+"Lii de daa mel ni ab baraada la, baraada bu xonq ñu diseene ci ay garab. Garab yi nag ñi ngi am wirgo yu ñuul am lu mel ni ag kéwël, kéwël gi mi ngi am wirgo yu ñuul."
+"Waaw mbokk mi lii de gis naa ni baraada la, baraada bu taaru. Jumtukaay bu ñuy defare xéewal googu ñu naan café moom la ñu ngi ci diseene ñaari garab ñu ngi wanewaat ca kaw ñaari garab ak benn kéwël."
+"Lii ab baraada la ; baraada boo xamente ne ñu ngi ciy gis genn kéwél ak ñaari garab. Baraada bu xonq la. Baraada nag dañu koy jël di sí togg, di si tàngal ndox walla loo xamente ne nit ñi dañu koy naan.."
+Nataal bi ngeen ma yónnee de ab dëkku àll bu ndaw la boo xam ne ñetti néeg ñoo fa nekk. Te am na ay garab yu bari. Am na ay nit yu toog nële ca garab ga.  Am na nit ñu nekk nii ci yoow wi di dox. Néegi ñax yi ñett la. Am nap ab rido bu bula.
+"Li may jàkkarlool ci nataal bi nag moom benn karaaf la. Muy karaafu weer boo xamente ne mën nga ci def say ""jus"".  Bii mel na ne tamit ab jus lañ ci def mu nekk karaafu weer ak kubéer gu ñuul, jàppukaay bi daldi doon jàppukaay bu ñuul. Liñ ci def itam wirgo wi dafa xaw a soon waaye taxu ko soon noonu. Waaw fiñ ko teg daldi weex tàll."
+"Waaw nataal bi ma jot nag gis naa ne lu mel ne sãri néeg la. Néeg bi nag maanaam suuf gi ban lanu ko defare, maanaam ban lanu ko defaree, du simã ba noppi kaw gi moom am na ñax. Am na ay ñax mu bari ba noppi suuf gi am na yat. Bunt bi nag am na bind boo xam ne nuru na zinc. Ci wetu bunt bi lu mel ne sãri gënn mu ngi ci. Waaw néeg bi, néeg ban la daal. Lu ci mën ti xew néegu ban la daal moom."
+"Nataal bii de nataal la boo xam ne néegu puj la, néegu puj bi nag dañ koo teg ci kaw waaw ba noppi mu am ay ban, ban lañ ko defare daal. Ba noppi mu am bunt boo xam ne bunt bi zinc la waaw ba noppi am ay dénk mu am ñax."
+Lii ab nataal la boo xam ne ab tabax bu yaatu bu kawe te weex moo ci nekk. Gimnasio gi nag am na ay garab yu mag a mag yu ci nekk yoo xam ne ñoo ko wër. Ginnaaw gi am na ay nataal yoo xam ne ay tubaab yu mel ne ñuy dox di ñëw.
+"Nataal bii de ab néeg la, ab néeg la waawaaw ; néeg boo xam ne kaw gi ñax la waawwaaw. Am na ag garab gu nekk nee waaw. Am na itam ay ñax yu nekk nee. Am na ay montaañ yu nekk nële yu kawe kawe uhun. Ay montaañ yu kawe sax waaye néeg bi moom bunt bi ëe maanaam dénk la, dénk bu xonq daal."
+"Lii ab milieu la, milieu bu yàgg milieu boo xam ne sii tabax boo xam ne si nii daa yàqu tàkk-ndeer yi di ci génn céññéeri jant bi di ci génn. Moo ci nekk."
+"Nataal bii nag ñuŋ fi gis lu Nga xamante ne moom la nuy woowe gejje fii ci Senegaal. Mooy jën wi Nga xam ben dañ kaa jël weer ko ba lu Wow def ci ay xorom ak yooyu. ""Après"" moom na ñuul di ko togg."
+"Aa nataal bii de may jàkkaarloo mel na ni gejje la, gejj. Loo xam ne neex na ci ceebu ñebbe lool, muy gejje moom mii. Gejje itam bare na fanee fun ko mën à jëfandikoo, lu ci mel ne ay suppu kànja loolu yooyu yépp mën nan cee jëfandikoo gejj."
+"Nataal bii de bi ma ko xoolee gis naa ci loolu nga xam ne mooy gejje. Gejje laa ci gis. Gejje gi nag, mi ngi may ndiroog géjje sompaat. Waawaaw, jigéen ñaa ngi koy soxla ci bu nuy togg."
+"Lii ab nataal la bob, nataal bi maa ngi ciy gis ag gejje. Géjje gi nag, gejje gi mel na ni réy na lool. Fi nu ko tek ca wet gale am na ay ñuul-ñuul."
+"Nataal bi ma jot de gis naa ni gejje la, waaw gejje. Gejje de laa gis."
+"Waaw mbokk mi, gis naa ni lii de ay potu Nescafé ñu def ci café. Gis naa ci ay doomi café yu ñor ak yu ñorul. Gis naa ci  café gu mokku tamit ci wet gi."
+"Nataal bii de maa ngi ci gis ay néegi puj puj waaw loolu ñu naan néegi puj, ba noppi mu nekk foo xam ne am ñax mu vert la am mu bari, am garabu guy gu nekk ci wetam. Am ñetti néeg yoo xam ne ñu ci seen wet."
+"Nataal bi ma jot de gis naa ci néeg, néegu ñax boo xam ne mi ngi nekk fu taaroo taaru am ndox nekk ci ginnaawam, ndox mu rafet sax. Am ay ñax yu ndaw-ndawaan yu nekk ci ginnaawam."
+"Nataal bii, gis naa ci ay néegu ñax yoo xam ne ñu ngi ci àll ci biiri gatab. Di deme ni nag ay garab la yoo xam ne, am na yu gudd lool, am na it yu xaw a yam am yu gàtt."
+"Nataal bii ngeen ma yónnee de, gis naa ci biir nataal bi, néegu ñax, gàncax gu naat ak yégukaay bu nekk ci kote bi."
+"Lii nag ëe kaas la ak palaat. Nu ciy xelli kafe gi waaye moomit dafa weex, kaas bi dafa weex, palaat bi weex. Boo xoolee ci wet gi dinga gis kafe gu tuuru ci kaw dénk bi ak kafe bu nu def ci lu mel ne mbuus."
+Waaw  nataal bii de nataal la boo xam ne nataal bii ñi ngi nekk ci ab bërëb. Bërëb boo xam ne ay xale yu jigéen yu bari bari ñoo fa nekk. Bërëb bi nag bërëb bu rafet la.
+Nataal bii de nataal la boo xam ne ay nit la yu nekk ci benn bërëb toog fa ba noppi am lu ñuy def. Ba noppi toog ca bërëb ba di am lu ñuy liggéey waaw.
+"Lii ab néeg la, néeg bi dañ kaa xadde ñax. Biñ ka xaddee ñax, néeg bi ab néeg la, néeg bi ñu xadde ko ñax ay garab nekk ca kaw ay garab nekk ci suuf. Bari nay garab lool nag sax."
+"Nataal bii day wane kër goo xamante ne dafa am ay meuble ci biir, am ay faneetar, am ay toogukaay ak genn basaŋ guñ lal ci biir."
+"Nataal bii ngeen ma yónnee gis naa ci biir nataal bi tabax bu màggat lool, am garab gu sax ca biir tabax ba. Tabax bi nag bu màggat a màggat la."
+Nataal bii gis naa ci ab néegu ñax bu nekk cib àll bu naat bu am ay ñax ak ay garab.
+"Asalaamu aleykum wa rahmatu laah, ba tey it ci biir nataal bi yaa ngi ciy gis benn néegu ñax. Néegu ñax bi nag kenn dëkku ci. Ndax booy xool dañ koo tabax ci ñaari melo. Melo yi nag, am na ci weex, am na ci sokolaa. Ci kow nag ñoo ngi ci teg ay ñax. Ci kanamu néegu ñax bi, ñoo ngi ciy gis ñaari gone. Gone gu mag gi moom moo boot gone gi ci des. Ci séen kanam ñoo ngi ciy gis genn garab. Garab gi mi ngi meññ. Ci seen kanam ba tay it ñoo ngi ciy gis beneen néeg. Néeg bi doonul néegu ñax. Ci seen ginaaw ba tay ñoo ngi fay gis yeneen néeg ak ay ñax yu bare."
+"Lii ay néegu ñax la, néegu ñax yu màggat ay nit di ci dox ci biir. Am na yi nga xam ne si nii dañ liiwe ay sàkket dañ ko muure ay sàkket ak ay bant ak ay garab."
+"Waaw lii de, dafa mel ni ab fulëer la, waaye fulëer bi liñ ko defare mooy lu mel ni màcceeru weñ moom lañ ko defaree. Def fulëer yi mu nekk lu rafet."
+"Ci biir nataal bii maa ngi ciy gis ay batã, batã yu bari yu sës ci miir bi nii. Xam naa boo moytuwul denculaayi yëre lay doon. Walla bu nekkul dencukaayu yërë mu nekk dencukaayu ay bool. Xam naa lii ab néeg la walla mu nekk aw waañ. Waaye daal lu ci mënti xew batã yi rafet nañ lool ndax wirgo wi mu ame nii dafa rafet lool. Ak palanteer bi nekk ci kow nee nga xam ni ngelaw lee ciy jaar di dugg lu baax la."
+"Aa gis naa benn néeg bu yànj ànd ak ay lal, lalu fanaanukaay. Am ay drap yu yànj yu méngook jamono waa."
+"Waa, lii nag moom lal la. Benn lal gu yànj boo xam ni mën nañ ne, netti nit x... Ñetti nit moo siy dallu. Ndax si suuf,ñaari nit man nñ faa dallu ci kaw moom, ben nit rekk moo fa, moo fa man a dallu. Ci ci ci ci ci,...wet ga, ñoong fa am benn rideau, rideau boo xam ne manees nañ ne couleur bu roos la am, roos claire ak roos bu foncée. Ca... Lal gi ca kaw moom, pour nga... pour nga yegg ca, il faut, ëe... benn lu ñuy naan echelle.echelle nag nekk benn juntukaay boo xam ne,ëe... Ay tànk...Ay ay ay tànk la am, bole tànk boo teg di daal di ,di daal di gën a yéeg.ca,ca,ca... Ca beneen wetu lal boobu nag moom, ca wetou echelle ba ñu ngi am ay ay ay tiroir. Tiroir nag nekk na benn juntukaay boo xam ne da lay ëe... Dey tax nga fay denc say say say say...say yëf. Waaw."
+"Nataal bii ñu ma yónnee ab néeg la, am na lal bu ca nekk ak benn njegenaay lal ca darab bu weex, faneetar ba am na am na morceau bu ñuul. Lal bi am na ñaari turwaal ñi ngi ci suuf."
+Nataal bii lii ab àngal la boo xam ne dañ ciy deñci ay kaas ak yu ni deme. Ñu defare dénk ak weer defar bu mucc ayib.
+"Waaw lii de ab àngal la, àngal bi de bari na ay weer lool ak i turwaal ci suuf. Moom de mi ngi nekk xonqu am lu weex lu bari lu ko wër."
+Lii nag mel na ni benn baye la. Baye bu sokolaa la nekk ci barab boo xam ni dafa a weex. Mën naa def yu mel ni ay téere Walla ay kaas walla yu mel noonu. Mën naa denc yu am solo.
+"Lii ab dëkkuwaay la, ab dëkkuwaay am ab bayo ci biir, am ab seetu, am ay nekkukaay ci biir."
+Nataalu fanweer ak ñett maa ngi ciy gis maa ngi ciy gis ab benn frigot boo xam ne couleur bi dafa gris. Dafa mel ni fi ngay jàpp dafa dafa ñuul. Mi ngi nekk ci barab bu weex tàll.
+"Nataal bii de nataal la boo xam ne ab bunt la boo xam ne bu am lu weex la am ay weer. Weer yi daa xaw a am yeneen weer yu nekk ci wetam yoo xam ne yu weex la. Weer yi dénk la, am na dénk ba noppi am weer waaw."
+"Nataal bi ngeen ma yónne nii de ñaari baŋ lañ yoo xam ni bu ci nekk ñaari nit mën nañ cee toog. Ñuŋ leen liggéeye weñ, digg bi am matlaa ak ndima luñ ci teg . Am na taabal ju tege itam ci wet gi."
+"Nataal bii gis naa ci biir nataal bi ay toogukaay yu weex yu nekk ak ay taabalu dénk, ay toogukaay yoo xam ne dénk lañ ko liggéeye benn gàñcax ci wet gi."
+"Waaw lii de ay xeeti toogukaay la, ay xeeti toogukaay nag. Am na ay wirgo nag. Am na ay wirgo yu wert, am wirgo yu  bula, am na mboq, am tamit ëe xonq, am na tamit ëe wirgo yu wert, am tamit yeneen wirgo daal. Ay toogukaay la, ay toogukaay lay doon."
+Nataal bii nag am na benn lu ñu wërële ay bant mu mel ni néeg nekk ci wetu garab gu sëq. Am tamit beneen lu mel ni toogukaay lu ñu def ay bant am ay ñax yu nekk ci koteem.
+"Nataal bii nag dafa mel ne ëe dëkkub àll la walla ay màngaan. Màngaan yi mooy ñi nga xamante ni dañuy dem ba ci àll bi fu kenn dëkkul ñu samp fa seeni xayma, teg fa seeni jur, dëkk fa.  Bu ñu xëyee sàmmi seeni jur, sunu wàccee ñëw tëdd ci seeni xayma. Xayma gi nag rafet na lool."
+"Waaw lii de ab àll la, àll bi dañ koo xayma, am na ay garab yu bari yu fi nekk. Am na ab lal bu nekk fii nii. Am na ag xayma gu nekk nale. Am na ay garab yu ko wër yu bari. Fii de moom ab àll la moom."
+"Nataal bii ñu ma yónnee lu mel ne ab saal la, saal boo xam ne am na benn bunt : bunt bu ñuul ak lu sokolaa. Am na benn toogu, am na beneen toogu boo xam ne moo nekk ci sa ""côté gauche"". Am na beneen ""table"" boo xam ne moo nekk ci digg bi. Am na lu mel ne ay rëdd, ay rëdd bu xonq ak bu ""Jaune"". Am na beneen ""dessin"" bu weex ak bu ""Jaune""."
+"Waaw lii nii ab ab puur la. Waaw moom lañuy wax cuisinière. Ab puur la dañ koy taal di ci togg, boo ko taalee danga ciy teg cin li rekk togg ci li nga bëgg a togg."
+"Waaw ëe nataal bii nii maa ngi ciy seetlu bëer ;  bëer bu bu xaw a ""congelé"" boo xamente ne dañ koo teg si benn taabal, teg si, lal ko...  Am lu nu lal lu weex daldi siy teg bëer bi, teg si paaka bi di ko dagg."
+"Ay caisse yu bari yuñ tegale la, caisse yi dañoo bari lool. Ñu teg ci ay téere yu bari, ay këyit daal këyit yu baree bari yoo xam ne ay tegukaay la daal."
+Waaw lii nag aw saañ la wuñ tabax ba noppi tijji robinet bi def fa ñaari raxasukaay tijji robinet bi muy sotti.
+"Lii de lañuy tudde wanag, ñu defar ba mu muccu ayib."
+"Waaw nataal bii mi ngi wane ab ab wanag lii ab wanag la, wanag bu yànji sax. Ci biir wanag bi nag am nay am na jëfandikaay yoo xam ne ngir boo jëfandikoo ba pare man nga koo jël daal."
+"Waa lii, ci wanag lay nekk. Ndee lu weex lii demukaayu duus la... Demukaayu wanag la. Ci la ñuy demee wanag. Boo bëggee dox aajo man nga fee dox aajo. Am nale lu nekk ci wet gi tamit. Moomit soo bëggee jàpp wala sawi man nga ko faa defee."
+"Biir nataal bii gis naa fi ñetti pañe yu ñu ràbb ràbbin wu fatt te rafet ñett lañ nag. Am na bu ci gën a mag am bu ci gën a mag tuuti am bu ci gën a ndaw. Ñoom ñépp nag am nañu kubéer ci biir kaw kubéer gi nag am na lu ci nekk cat la mel ni mbaxana. Ñoom ñetti pañe yépp am na ay jàppukaay, jàppukaay yu ñu lonk ci wet yi , ñaari buum yun leen di jàppe."
+Lii ab kaas la mi ngi def am soow. Ab kaas bu weex la bu def am soow ñu taaj ko.
+Gis naa benn affaire bu ñuy ndugge marché....
+"Nataal bii nag moom benn pañe la. Lu ëpp liñ kay gis nag ci jeeg yi lay doon bu ñuy jóge marché ndax ci moom lañii, moom lañii jël, Aa daldi daldi ciy def, aa, daanaka lépp luñ jëng ca marché ba lu ci lu ci mel ni waaw, lépp Lu ñu jënd lu ci mel ni ñoom lu ñi, lu ñi, lu ñi yittéwoo su ñu bëggee togg."
+"Ñu ngi am pañe bu mag. Xam nanu si kulëeru sokolaa boo xam ne yaatoo yaatu la. Nit mën na ko jàpp def si ay ""bagaasam"" walla yóbb ko '""marché"" . Li ci ëpp jigéen ñi moom lañuy nduggee."
+"Nataal bi, maa ngi ciy gis lu mel ni ab bãŋ. Bãŋ bi nag dañ koo teg ci aw xàll, bãŋ bi nag bãŋub ràbb la dañ koo ràbb rafet na lool nag neex a toog."
+Nataal bii lu mel ni ay bãŋ la.
+"bii nag, mun mel ni benn bunt moo fi ne. bunt bu rafet. te niñ ko wonee sax dafa mel ni dañ ko téj. ndaxte boo seetee nu mu ,mel, dañ ko xëcc ba mu së...  mu serré. ba tax na, dafa mel ni sax pour nga dugg fa, faaw ñu ubbi la wala sax nga ñëw tiyé ci levier boobu noonu bi ñu wone pour nga man a duggu ci biir"
+"Gis naa fi benn buntu bu nekk ci ag kër. Buntu bi nag, am na ci wetam beneen buntu dénk. Bunt bi am na lu weex ci diggante yi."
+"Lii nag ab buntu la boo xam ne ndénk lanu ko defaree. Waaye nag dañu koo tëj, am na sax ab sëluur mooy jàppukaayu buntu bi ñu ubbi."

wolof-translate/wolof_translate/data/sentences/wolof_french.csv

@@ -1,3 +1,15 @@
 french,wolof
-Comment allez-vous ?,Naka ógen def
-Je part jouer.,Mangui foowi.
+Comment vous-portez vous,naka ŋgen def ?
+J'arrive tout de suite chez toi.,Léegui léegui ma egg  sa kër.
+"J'en suis sûr, cette photo ci c'est la photo pris au moment où plusieurs personnes sont <mask> sont dedans et tendent leurs mains, ceux là sont assis, ceux là sont tendus et écrivent sur la photo quelque chose de bleu concernant la Casamance.",Waaw nataal bii nataal la boob ay nit ñu baree bari ñoo xam ni dañuy doxub ñaxtu ñoo ci nekk tàllal seen i loxo ñee sukku ñeel taxaw jodd di dox ñu bind ci kaw nataal bi lu xaw a baxa la bind ci laa kaasamãs.
+"Devant moi, je vois sur cette photo beaucoup de personnes qui marchent rapidement et qui ont pliés leurs mains pour montrer une attitude pacifique.",Nataal bii maa ngi ciy janloog haa ay nit yu bari yuy dox di dox ab ñaxtu ñi ngi bank seen i loxo di wane ni lu amul benn taafar lañuy deme.
+"Ceci, c'est des personnes qui sortent et qui marchent rapidement. Alors que les marcheurs portent leurs habits blancs et leurs pantalons bleus et sont sur la route entrain de montrer leur mauvais humeur. Ils écrivent au milieu de l'écriture française qui bleuis.","Lii, ay nit lañu yu génn di ñaxtu. Jëm yi nag ñu ngi sol seen i yére yu weex ak seen i tubéy yu baxa, nekk ci tali bi di wane seen aw naqar. Ñu ngi bind ci digg bi mbindum farañse mu baxa."
+"Que la paix soit avec vous ! Ceux-là qui ressemblent à des personnes qui habitent en Casamance, un pays qui est au Sénégal, eux sont ceux qui montrent leurs mauvais humeur comme ça, se lèvent comme ça, les uns s'asseyent, les autres se lèvent, prennent leurs mains et les rassemblent pour montrer leurs mauvais humeur. Ils sont assis sur la route.","Salaawaalekum ! Ñii de, mel nañ ne, ay nit ñu dëkk kaasamaas, benn dëkk bu nekk Senegaal, ñoom ñooy wane seenuw naqar nii, daldi taxaw nii, ñenn ñi toog, ñenn ñi taxaw, jël seen loxo yi dajale ko ngir wane seenuw naqar. Ñoo ngi toog ci tali bi."
+"Cette photo c'est une photo dans la quelle je vois des jeunes du pays qui semblent en colère contre ce qui s'est passé dans leur pays et que les anciens les ont laissés. J'en vois même ceux-là qui portent des habits blanc et des pantalons noirs. Beaucoup parmi eux  portent ce que tu sais que sont des habits noirs et  blancs, et d'autres qui portent des habits blancs. Ils sont levés sur la route qui elle semble remplie de pierres qui, peut-être, c'est eux qui les utilisait pour se battre contre les gendarmes.  Sur cette photo j'en vois qui écrivent <mask> , ceux qui habitent en Casamance l'appellent Sigicor.","Nataal bi ab nataal la boo xamante yni maa ngi ciy gis ay ndawi réew yoo xamante ni daa mel ni dañuy naqarlu loo xamante ni xew na ca seen réew te seen njiitu réew teg leen ko. Maa ngi ciy gis nag ñoo xamante ni dañoo sol lu weex aki ay tubéy yu ñuul. Bari ci ñoo xamante ni sol nañu yoo xamante ni ay yére yu ñuul la ak yu bula, am na yit ñu sol yu bula. Ñu ngi taxaw si kow tali tali bi nag xaw naa bari ay xeer ńàkkul ni ñoo ko jëfandikoo ngir jàmmarloo ak way takk-der yi. CI kow nataal bi maa ngi gis ñu bind si bind boo xamante  ni réewu, dëkk bi nu naan Kaasamaas ñu koy wax Siggicoor."
+"Sur la photo, ont voit des personnes qui marchent rapidement ou qui s'opposent tout le temps aux gendarmes. C'était au Casamance. Ils ressemblent plus à des jeunes. C'était peut-être pour montrer quelque chose qui leur déplaisait.",Nataal bii ñoo ngi ciy gis  ay nit ñuy ñaxtu walla di jàmmaarlook takk-der yi rekk. Caa Kaasamaas la woon. Aw ndaw lañ gën a nurool. Du ñàkk am lu leen metti ñu ko doon  ñaxtu.
+"Ont vois sur la photo beaucoup de personnes qui sont sorties sur la route, qui ont sortis leurs mains, les uns qui sont assis et lèvent leurs mains. Ils écrivent sur la photo ""La Casamance"", ce qui veut dire la région de Casamance.","Ñu gis ci nataal bi ay nit ñu bari ñu génn ci tali, ñu yékkati seen i loxo, ñenn ñi sukku yékkati seen loxo, ñu bind ci nataal bi ""La Casamance"", mooy diiwaanu Kaasamaas."
+"C'est des poissons, oui. Il existe des catégories,  y'en a des bleus et d'autres des rouges.","Jën la waaw, Wu am wirgo Wu baxa ak Wu xonq."
+"Aah pour cette photo, c'est un poisson. Il existe trois catégories pour ce poisson. La première catégorie ce sont des jaunes, ceux qui suivent sont des bleus, et ceux qui suivent sont des blancs. Ce sont de jolies poissons.","Aah nataal bii nag, aw jën la. Jën wi mi ngi ame ñetti wirgo. Wirgo Wu jëkk Wi mboq la, Wu ci topp di bëlë, Wu ci topp di weex. Muy jën wu rafet."
+"Cette photo datant d'il y a trente septs ans, j'y vois, semble-t-il, <mask> poisson. C'est un poisson qui a des couleurs. Les couleurs aussi y'en a du bleu, du marron, du blanc, et ce qui l'entoure c'est du blanc.","Nataalu fanweer ak juróom-ñaar, maa ngi ci gis lu mel ne lu taxam taxawaayu jën. Jën la woo xam ne itam dafa am ay kulëer. Kulëer yi tamit am na bulë, am na marõ, am na weex, lu ko wër lépp lu weex la."
+"Ceci je pense que c'est nos parents Laobé qui l'ont conçu. J'y ai vu aussi une couleur qui est rouge et aussi une couleur qui est bleu. Oui, c'est cela que j'y ai vu.","Lii day suñu mbokki lawbe yi ñoo koy defar. Gis naa ci itam couleur bu xonqu, gis naa ci couleur bu bula. Waaw loolu de laa ci gis."
+"Je pense que la photo que je vois là, c'est une photo dans laquelle on voit une région qui est très jolie, vraiment jolie. Il semble même <mask>, et en plus il y a de l'eau, des arbres verts, et tout. En plus la région est très jolie en tout cas et il y a du blanc dedans.","Man de nataal bii ma gis nii, nataal la boo xam ne ab dëkk bu rafet a rafet la, dëkk bi nag rafet na lool. Ba noppi mel ni yuñ ràbb daal, ba noppi am na ndox am na garab yu wert am yépp. Ba noppi dëkk bi rafet na lool daal am na lu weex."

wolof-translate/wolof_translate/data/wolof_writing/definitions.csv

@@ -1027,7 +1027,7 @@ une chose,lenn
 de toute façon,népp
 l'autre,leneen li
 l'autre partie,leneen li
-l'un là-basMark,lenn lale
+l'un là-bas,lenn lale
 l'une des parties qui est là-bas,lenn lale
 l'une des choses qui est là-bas,lenn lale
 l'une des choses là-bas,lenn lale