LocalAI es un software diseñado para trabajar con modelos de lenguaje extenso mediante una interfaz gráfica versátil. Se trata de un servidor con varias opciones para usuarios avanzados. Admite Ollama y otras plataformas para incorporar modelos multimodales.
Instalar LocalAI
Acorde a su documentación:
Puedes instalar con Podman de esta manera:
podman run -p 11437:8080 --name local-ai -ti localai/localai:latest
O puedes instalar con esta implementación con soporte para Vulkan:
podman run -ti --name local-ai -p 11437:8080 localai/localai:latest-gpu-vulkan
Visita http://127.0.0.0:11437 para ver la configuración. El puerto 11437 es solo referenciar, puedes cambiar por otro que no sea ocupado por algún proceso del sistema.
Añadir modelo
Para añadir un modelo, dirígete a la sección de Modelos y luego «Instalar» > «Importar». Al importar, puedes usar un comando compatible como el de Ollama o conserguir el archivo .gguf de Huggingface. Para este caso, usamos como muestra las URI de los siguientes modelos (cortesía de G4Turbo):
- Gemma4-Nano (E2B):
https://huggingface.co/ssfdre38/gemma4-nano-gguf/resolve/main/gemma4-e2b-q3ks-nano.gguf - Gemma4-Turbo (E4B):
https://huggingface.co/ssfdre38/gemma4-turbo-gguf/resolve/main/gemma4-e4b-iq4xs-turbo.gguf
Una vez añadidos, aparecerán en la lista de modelos en el menú Sistema > Sistema. También puedes revisar el backend para identificar el motor donde ejecutará los modelos de lenguaje extenso.
Para acceder a la conversación, basta con seleccionar el botón correspondiente.
Configurar servidor
Puedes configurar el servidor desde el submenú de Sistema > Configuración.
Uso de API
LocalAI cuenta con una API muy flexible. En general, cuenta con una sintaxis similar a OpenAI para conversaciones. Usa localhost y el puerto correspondiente para asignar a un cliente compatible como Brave.
Fuente: Zen van Riel y OnlyOffice
