Ollama

Ollama es el software que facilita la ejecución de modelos de lenguaje extenso. Este software es compatible con UOS AI, la inteligencia artificial del sistema operativo Deepin.

Cómo instalar#

Existen varias formas de instalar Ollama: mediante un ejecutable, a través de Python (vía pip) o mediante Snap (recomendable). Necesitarás al menos 4 GB de memoria RAM disponible (para Llama 3.2 de 3 mil millones de parámetros), 10 GB de espacio libre en el disco duro y un procesador de ocho núcleos de cuarta generación (desde 2014 hasta la actualidad). Opcionalmente, se puede trabajar con una GPU, que ofrecerá respuestas más inmediatas. Estas especificaciones son básicas, pero resultarán útiles para la mayoría de tareas.

Recuerda que algunos desarrolladores ofrecen versiones con ajuste preciso, como Unsloth, que pretende agilizar las respuestas sin sacrificar más recursos y que las sube a los repositorios. Deja eso a tu criterio.

Para el caso de Snap, se instala como: sudo snap install ollama

Cómo ejecutar Ollama#

• Ejecuta ollama (o también ollama serve)
• Prueba a ejecutar un comando, por ejemplo: ollama run llama3.2:3b
• El servidor es 127.0.0.1:11434, para trabajar, necesitarás un cliente de bot conversacional compatible con el protocolo OpenAI

También puedes:

• Revisar un modelo
• Acceder a la carpeta ~/.ollama/models
• Detener un modelo por comando, por ejemplo: ollama stop llama3.2:3b (recomendable para múltiples modelos y evitar sobregastos de RAM)
• Eliminar un modelo por comando, por ejemplo: ollama rm llama3.2:3b

Ollama ofrece su dirección web, a la que no se puede acceder inmediatamente, sino a través de un programa compatible. Por fortuna, puedes probar fácilmente su funcionamiento con la aplicación Follamac. El programa no instala directamente el navegador, pero te permite iniciar una conversación y revisar su rendimiento. También puedes usar Brave (para integrar el navegador) o conectar con dispositivos Android (debes localizar la dirección IP del dispositivo primero). Si tienes Deepin 23, puedes usar su asistente personal, que integra perfectamente las funciones del sistema operativo sin sacrificar tu privacidad.

Además del servidor y modelo, la API key de la instancia (clave API) es ollama. Esto es opcional, pero algunos programas exigen que se introduzca.

Fuente: Blog de Ollama

Integrar con UOS AI (desde Deepin 23)#

Para integrar UOS AI en Deepin, solo tienes que introducir la API del servidor, no necesitarás más pasos. Por suerte, el programa te permite añadirla en unos clics y de forma gráfica. Estos son los datos:

• Nombre: Ollama
• LLM: Personalizada
• APIKey: ollama
• Nombre de modelo: llama3.2:3b (tomado de Llama3, puedes reemplazarlo por otro)
• Dirección API: http//:localhost:11434/v1

También puedes usar otras funciones, como el Personal Knowledge Assistant (asistente de conocimiento personal), en el que puedes añadir archivos para que te responda a las preguntas. Este proceso requiere de más memoria disponible y de una GPU Nvidia (con controlador CUDA) o AMD.

Primero, debes instalar los complementos de incrustación desde Deepin Store (el proceso ocupa unos KB) y, a continuación, añadir al menos un archivo desde los ajustes. El proceso llevará unos minutos, dependiendo del texto que contenga el archivo (1 hora para un documento de 300 mil palabras con una CPU Haswell ocho núcleos de 3.6 Ghz, de Intel). Dispones de casi 1 GB para incorporar archivos a su base de datos.

Recuerda que, para Deepin 23, no todas las características funcionan en español, como el dictado de texto y el menú contextual de las aplicaciones predeterminadas en Deepin. Esto se resolverá en próximas entregas.

Integrar con Alpaca y GPT4All#

Al igual que UOS AI, Alpaca y GPT4All son dos programas que puedes probar para aprovechar el potencial de los bots conversacionales. En este caso, solo es necesario llamar a la instancia, sin necesidad de volver a descargar los modelos. En el caso del primero, solo necesitas escribir la URL http://localhost:11434, y en el segundo, http://localhost:11434/v1 (junto con el modelo y la clave que se ofrecen en este artículo).