Paco y Nico
Nico tiene tres euros y doce suscripciones de IA. Paco le dice que necesita un superordenador de la NASA y un río para enfriarlo.
Un modelo de IA cuyos pesos (los miles de millones de números que aprendió al entrenar) se publican para que cualquiera los descargue. Con ellos puedes hacer la inferencia (usar el modelo para responder) en tu propio ordenador, sin conexión.
El modelo es un archivo
Un modelo, al final, es un archivo enorme lleno de números. Para responderte, el ordenador tiene que cargar ese archivo en memoria y hacer muchísimas multiplicaciones por cada palabra que escribe. Por eso lo que manda es la memoria de la tarjeta gráfica (VRAM) o, si no tienes, la RAM.
Cuantizar: comprimir sin romper
Cada parámetro se guarda normalmente con 16 bits. Si lo redondeas a 8 o a 4 bits, el modelo ocupa la mitad o la cuarta parte y pierde muy poca calidad. Es lo que permite que un modelo decente quepa en un portátil.
Cómo se instala
Programas como Ollama o LM Studio descargan el modelo y lo ponen a funcionar con un par de clics. Con una gráfica potente va rápido; con un portátil normal, escribe como tu abuelo. Lo mejor: lo que preguntas no sale de tu casa.