Jan es un programa que ofrece un bot conversacional que funciona en la computadora. El programa destaca por tener un amigo virtual o chatbot. Este lo puedes encontrar en sitios web o aplicaciones, pero este programa trabaja con un archivo (llamado modelo grande de lenguaje) que lo puedes descargar en Internet.
Con él, puedes chatear y hacerle preguntas como si estuvieras hablando con una persona real. La mayoría de los casos están programados para entender el lenguaje humano, así que puedes hablar con ellos de forma natural y obtener respuestas personalizadas. Por lo tanto, no debes temer de hacer una pregunta como si fuera un profesor que desea explicarte el porqué de las cosas.
Cómo usar el chatbot
Puedes usar el chatbot descargando un modelo de lenguaje, en que almacena toda la información que procesará en la computadora. Este suele ser un archivo GGML. El modelo dependerá de las cualidades de la computadora, por lo que necesitarás de una considerable memoria RAM para conversaciones mucho más profundas como dudas matemáticas avanzadas o programar código.
Modelos de lenguaje
La mejor comparación corresponde a la cantidad de parámetros o procesos que realiza el modelo. La cantidad es representada por B, de millardos. Ejemplo: Para 1.1 B parámetros tienes a TinyLlama, que realiza la mayoría de tareas en idioma español (consume algo de 2 GB en Jan). Para 2 B tienes a Gemma (basado en Gemini de Google). Para 7 B tienes a Mistral (consume 4 GB mínimo). Si quieres usar modelos con muchísimos más parámetros (que permiten formular con mayor precisión), es posible que tengas que recurrir a Llama o Mistral, aunque consuman más memoria RAM.
Si tienes curiosidad, puedes revisar la lista de modelos (no solo los ya mencionados en este artículo) para descargar de acuerdo a tus necesidades. También puedes consultar otros usuarios como TheBloke para conocer todos los formatos disponibles para usar en Jan. Si bien el programa permite descargar y usar los modelos en pocos pasos, siempre tendrás la opción de importar los archivos.
Chateo con el bot
Cuando abras una instancia del chat, el programa guardará lo que escribiste. Eso es importante para seguir el hilo de la conversación.
Una vez que usas el modelo local desde el equipo, no tendrás ningún límite de texto. Sin embargo, algunos procesos complejos en el chat tomarán algo de tiempo. Como referencia en un procesador de ocho núcleos, con memoria RAM de 12 GB y tarjeta gráfica de 2 GB, veremos algunos ejemplos.
Si estás ejecutando el modelo Llama 2 (7000 millones de parámetros con calidad Q4) necesitarás cinco minutos para cargar e inicializar y un minuto para responder una simple pregunta con una respuesta de dos líneas (técnicamente a 2 tókenes por segundo).
Si estás ejecutando el modelo Gemma 2 (2000 millones de parámetros, calidad Q4) necesitarás dos minutos para cargar e inicializar y cinco segundos para responder una simple pregunta con una respuesta de dos líneas (técnicamente a 7 tókenes por segundo). Por lo tanto, en equipos de poca carga, este modelo se vuelve eficiente.
Fuente: kagglepro
Hacer preguntas desde una imagen o PDF
Desde la versión 0.5, se permite realizar acciones a partir de un archivo, sea imagen o documento. Dependerá del modelo de lenguaje extenso, por lo que no todas las conversaciones funcionarán con esta característica. Se habilita desde la sección de herramientas.
Fuente: Documentación de Jan (para versión 0.5.5)
Descargar Jan
Está disponible en su sitio web.