first commit

.gitignore

@@ -0,0 +1,160 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+cover/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+.pybuilder/
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+#   For a library or package, you might want to ignore these files since the code is
+#   intended to run in multiple environments; otherwise, check them in:
+# .python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# poetry
+#   Similar to Pipfile.lock, it is generally recommended to include poetry.lock in version control.
+#   This is especially recommended for binary packages to ensure reproducibility, and is more
+#   commonly ignored for libraries.
+#   https://python-poetry.org/docs/basic-usage/#commit-your-poetrylock-file-to-version-control
+#poetry.lock
+
+# pdm
+#   Similar to Pipfile.lock, it is generally recommended to include pdm.lock in version control.
+#pdm.lock
+#   pdm stores project-wide configurations in .pdm.toml, but it is recommended to not include it
+#   in version control.
+#   https://pdm.fming.dev/#use-with-ide
+.pdm.toml
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow and github.com/pdm-project/pdm
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# pytype static type analyzer
+.pytype/
+
+# Cython debug symbols
+cython_debug/
+
+# PyCharm
+#  JetBrains specific template is maintained in a separate JetBrains.gitignore that can
+#  be found at https://github.com/github/gitignore/blob/main/Global/JetBrains.gitignore
+#  and can be added to the global gitignore or merged into this file.  For a more nuclear
+#  option (not recommended) you can uncomment the following to ignore the entire idea folder.
+#.idea/

app.py

@@ -0,0 +1,70 @@
+import tempfile
+import openai
+import streamlit as st
+from streamlit_chat import message
+from audio_recorder_streamlit import audio_recorder
+import os
+from dotenv import load_dotenv
+
+from speech_to_text import transcribe_speech_recognition, transcribe_whisper
+from utils import (
+    get_initial_message,
+    get_chatgpt_response,
+    update_chat,
+)
+
+# Carga las claves
+load_dotenv()
+openai.api_key = os.getenv("OPENAI_API_KEY")
+
+# Streamlit Application
+def main():
+    st.title("Smart Form")
+    st.markdown(
+        """
+        Hackaton 2023 - Team Spaidermen
+        """
+    )
+
+    if 'messages' not in st.session_state:
+        with st.spinner("Inicializando nuevo entorno..."):
+            st.session_state['messages'] = get_initial_message()
+
+    if st.session_state['messages']:
+        for i, msg in enumerate(st.session_state['messages']):
+            if msg['role'] == 'user':
+                message(msg['content'], is_user=True, key=str(i))
+            else:
+                message(msg['content'], key=str(i))
+
+    # Inicializar el texto transcrito como vacío
+    if 'transcribed_text' not in st.session_state:
+        st.session_state['transcribed_text'] = ''
+
+    # Grabar audio
+    st.session_state['text'] = ''
+    audio_bytes = audio_recorder(pause_threshold=5, sample_rate=16_000)
+    if audio_bytes:
+        with st.spinner('Transcribiendo...'):
+            # Guardar audio grabado en un archivo temporal
+            with tempfile.NamedTemporaryFile(suffix='.wav', delete=False) as temp_audio:
+                temp_path = temp_audio.name
+                temp_audio.write(audio_bytes)
+
+        text = transcribe_speech_recognition(temp_path)
+        print(f"Texto transcrito: {text}")
+        
+        # Actualizar el valor de transcribed_text con el texto transcrito
+        st.session_state['transcribed_text'] = text
+
+    # Mostrar el texto transcrito en el textarea
+    query = st.text_input("Ingresa tu texto", value=st.session_state['transcribed_text'])
+
+    if st.button("Enviar") and query:
+        with st.spinner("Enviando mensaje..."):
+            st.session_state['messages'] = update_chat(st.session_state['messages'], "user", query)
+            response = get_chatgpt_response(st.session_state['messages'])
+            st.session_state['messages'] = update_chat(st.session_state['messages'], "assistant", response)
+
+if __name__ == "__main__":
+    main()

prompts/amsa_smart_form.json

@@ -0,0 +1,45 @@
+{
+    "amsa_smart_form": {
+        "Autor": "Team Spaidermen",
+        "name": "Miner Smart Form",
+        "version": "1.0.0",
+        "características": {
+            "personalización": {
+                "interacción": {
+                    "descripción": "Este es el tipo de interacción permitida para el usuario.",
+                    "tipo_de_interacción": {
+                        "Texto": "El usuario proporciona información a través de texto libre."
+                    }
+                },
+                "verificación": {
+                    "descripción": "Estos son los niveles de verificación en el procesamiento de los datos de entrada.",
+                    "nivel_de_verificación": {
+                        "Estricto": "Este nivel verifica que todos los datos sean precisos y completos según los criterios predefinidos."
+                    }
+                }
+            }
+        },
+        "rules": [
+            "1. Sigue el tipo de interacción y nivel de verificación especificado por el administrador.",
+            "2. Usa plantillas predefinidas para analizar y solicitar información.",
+            "3. Mantén una interacción intuitiva y simple con el usuario.",
+            "4. Siempre ten en cuenta la configuración ya que representa las preferencias del administrador.",
+            "5. Proporciona un resumen del formulario una vez completado para su confirmación.",
+            "6. Prefiere el diálogo interactivo con el usuario para obtener información faltante."
+        ],
+        "preferencias_del_administrador": {
+            "Descripción": "Esta es la configuración/preferencias del administrador para Miner Smart Form (TÚ).",
+            "interacción": ["Texto"],
+            "verificación": ["Estricto"]
+        },
+        "formularios": {
+            "Descripción": "Estos son los formularios más comunes en la operación minera.",
+            "tipos_de_formularios": {
+                "Reporte de inspección": "Incluye detalles como fecha, ubicación, observaciones, medidas tomadas, etc.",
+                "Reporte de incidente": "Incluye detalles como fecha, hora, descripción del incidente, medidas tomadas, etc.",
+                "Registro de mantenimiento": "Incluye detalles como equipo, fecha de mantenimiento, descripción de la actividad, resultados, etc."
+            }
+        },
+        "init": "Saluda + nombre + version + ejecuta el formato <configuración> + pide al administrador especificar sus preferencias + seleccionar el tipo de formulario a ser completado"
+    }
+}

prompts/rubrica_smart_form.txt

@@ -0,0 +1,7 @@
+| Criterios de Evaluación | Insuficiente (1) | Básico (2) | Competente (3) | Sobresaliente (4) |
+|------------------------|-----------------|-------------|-----------------|------------------|
+| Completitud del formulario | El formulario está incompleto y falta información crítica | El formulario está mayormente completo pero falta cierta información relevante | El formulario está completo pero podría tener más detalles | El formulario está completo y detallado, no falta ninguna información |
+| Precisión de la información | La información proporcionada es incorrecta o no tiene sentido | Alguna información proporcionada es correcta, pero hay errores significativos | La mayor parte de la información proporcionada es correcta, pero hay pequeños errores | Toda la información proporcionada es correcta y precisa |
+| Consistencia de la información | La información proporcionada es contradictoria o inconsistente | Alguna información proporcionada es consistente, pero hay inconsistencias significativas | La mayor parte de la información proporcionada es consistente, pero hay pequeñas inconsistencias | Toda la información proporcionada es consistente |
+| Claridad de la escritura | Las respuestas son confusas y difíciles de entender | Las respuestas son mayormente comprensibles, pero hay algunos puntos confusos | Las respuestas son claras, pero podría haber más detalle para facilitar la comprensión | Las respuestas son muy claras y fáciles de entender |
+| Orden y organización | La información está desorganizada y desordenada | La información tiene algún orden, pero aún es difícil de seguir | La información está bien organizada, pero podría haber una estructura más clara | La información está bien organizada y fácil de seguir |

requirements.txt

@@ -0,0 +1,8 @@
+python-dotenv
+openai
+streamlit
+streamlit_chat
+audio-recorder-streamlit
+pydub
+whisper-openai
+SpeechRecognition

speech_to_text.py

@@ -0,0 +1,27 @@
+import whisper
+import speech_recognition as sr
+from pydub import AudioSegment
+
+
+def transcribe_speech_recognition(file_path):
+    r = sr.Recognizer()
+    audio_file = sr.AudioFile(file_path)
+
+    with audio_file as source:
+        audio = r.record(source)
+    transcription_result = r.recognize_google(audio, language="es")
+    return transcription_result
+
+# Function to convert mp3 file to wav
+def convert_mp3_to_wav(mp3_path):
+    audio = AudioSegment.from_mp3(mp3_path)
+    wav_path = mp3_path.replace('.mp3', '.wav')
+    audio.export(wav_path, format="wav")
+    return wav_path
+
+# Function to transcribe audio using OpenAI Whisper
+def transcribe_whisper(file_path):
+    # models = ['base', 'small', 'medium', 'large', 'tiny']
+    model = whisper.load_model("base")
+    result = model.transcribe(file_path)
+    return result["text"]

utils.py

@@ -0,0 +1,30 @@
+import json
+import openai
+
+def get_initial_message():
+    with open("prompts/amsa_smart_form.json", "r") as file:
+        initial_prompt = str(json.load(file))
+
+    response = get_chatgpt_response([{
+        "role": "user",
+        "content": f"[Assitant] Activando configuración. Iniciando configuración: {initial_prompt}",
+    }])
+
+    return [{
+            "role": "assistant",
+            "content": response
+    }]
+
+def get_chatgpt_response(messages):
+    response = openai.ChatCompletion.create(
+        model="gpt-4",
+        messages=messages,
+        temperature=0,
+    )
+    return response.choices[0]["message"]["content"]
+
+def update_chat(messages, role, content):
+    messages.append(
+        {"role": role, "content": content},
+    )
+    return messages