El equipo de Umbrel, un sistema operativo para servidores autohospedados, integró el chatbot LlamaGPT, una aplicación privada que funciona sin conexión y está completamente autohospedada en el dispositivo de cada usuario. Lo que significa que la aplicación no comparte datos con terceros.

Como Explicar el equipo de Umbrel, LlamaGPT es un chatbot que utiliza la tecnología de modelo de lenguaje Nous Hermes Llama 2 7B de última generación. Llama 2, diseñado por Meta AI, es un modelo de lenguaje LLM de aprendizaje automático. Esto significa que, además de las 300 000 instrucciones integradas, puede aprender más a medida que lo usa.

Para ejecutar la aplicación LlamaGPT en Umbrel, solo es necesario tener disponibles 5 GB de memoria RAM, lo que la hace adecuada para Raspberry Pi (8 GB) Umbrel o dispositivos UmbrelOS personalizados. Solo tienes que tener en cuenta que el tamaño de descarga es de 5,5 GB, por lo que su velocidad dependerá de la conexión a Internet.

LlamaGPT está optimizado para Umbrel Home, generando palabras tan rápido como ~3 palabras/seg. En una Raspberry Pi 4 con 8 GB de RAM, genera palabras a ~1 palabra/seg. El rendimiento puede variar dependiendo de qué otras aplicaciones estén instaladas en su Umbrel.

Umbrel, sistema operativo para servidores autohospedados.

LlamaGPT es de código abierto. Sus desarrolladores explican en GitHub que la aplicación también se puede instalar en cualquier sistema que utilice la arquitectura de procesador X84 o ARM64. Es decir, en prácticamente cualquier dispositivo moderno.

En el caso de que una persona quiera utilizar una versión más potente de LlamaGPT, tiene dos opciones más. Uno es el modelo Nous Hermes Llama 2 13B (GGML q4_0), que requiere 16 GB de RAM, y el otro es el Meta Llama 2 70B Chat (GGML q4_0), que requiere 48 GB de RAM.

Como señaló uno de los desarrolladores de LLamaGPT, esta aplicación no está censurada, una característica que aplican otras aplicaciones como ChatGPT. Así, el programador Luke Childs mostró un ejemplo, en un Píosobre cómo LlamaGPT puede responder preguntas que otras IA no pueden.

Umbrel es una empresa con una comunidad en crecimiento, que se enfoca en ofrecer software para autohospedar diferentes aplicaciones. Por ejemplo, nodos privados de bitcoin o relámpago.

Según informó CriptoNoticias, Umbrel había lanzado en marzo una aplicación de IA basada en ChatGPTlo que elimina el límite de 25 mensajes o 3 horas que ofrece la aplicación OpenAI.