Un asistente educativo en tu propio ordenador

La actualidad reciente ha mostrado que en cualquier momento una IA puede fallar, o puede ser desconectado. Por este motivo es importante saber que hay alternativas que no dependen de la disponibilidad de servicios estadounidenses.

Aquí hablamos de IAs instalados en tu propio ordenador. En otra contribución hablamos de Mistral, una empresa francesa. En ambos casos tenemos en mente los asistentes educativos que monté antes en Gemini. No son agentes en el sentido propio de la palabra porque no actúan por sí solos.

Proponemos tres pistas:

  1. Jan.ai (la más fácil)
  2. LM Studio (la más flexible)
  3. Open WebUI (la más potente, pero la más técnica).

Elaboramos las dos primeras, y damos algunas referencias sobre la tercera

1 – Jan.ai

  • Instala jan.ai
  • Inicia una conversación
  • Crea un proyecto nuevo
  • Selecciona ‘Asistente’ para crear otro nuevo
  • A partir de ahora, tienes un proyecto con el prompt predefindio.
    Desgraciadamente, no puedes añadir archivo al prompt genérico.

2 – LocalLM Studio

  • Instala desde LM Studio – lmstudio.ai/
  • Dentro de LM Studio, descarga la IA que quieres usar, como Gemma (una versión reducida de Gemini) o
  • Minimistral (una versión reducida de Mistral)
  • Inicia un chat
  • Define un system prompt
  • Define el prompt y dale un nombre
  • Al interactuar con la IA, puedes invocar el system prompt

3 – Open WebUI

3a – Pasos:

  • Instala Ollama y Docker
  • Instala Open WebUI dentro de Docker
  • Conecta con uno o varios proveedores IA
  • En Workspace, Models, crea un modelo. Dale nombre, instrucciones (system prompt) y archivos (knowledge)

3b – Información

Pro y contra

  • PRO
    • Una IA local no puede ser parado o desconectado desde fuera.
    • Tus datos no salen de tu entorno de confianza, no van a la nube.
  • CONTRA
    Otros de modelos de lenguaje pueden que se comporten de manera diferente a lo que sueles ver. Necesitas tiempo de entrenamiento y adiestramiento.

    • Un prompt descuidado a lo sumo puedo dar un resultado descuidado. Pero en la mayoría de los casos, un resultado rotundamente malo
    • Es importante seguir siendo crítico, tanto con lo que pides como lo que obtienes.

Más información