Construí una Capa de IA Local para Mis Documentos y Fotos — Esto es lo que Aprendí
El Problema Quería hacer preguntas sobre mi propia documentación y fotos sin enviarlas a un servicio de IA en la nube. Cosas simples como: "¿Cuánto gasté en electricidad el año pasado?" "¿Qué documentos tengo sobre el seguro del coche?" "¿Cuántas fotos hice en España en 2023?" Pero no quería que mis facturas, contratos y fotos familiares acabaran en los datos de entrenamiento de otra persona. El Stack Componente Propósito Paperless-ngx Archivo de documentos, OCR, metadatos estructurados Immich Copia de seguridad de fotos y vídeo ChromaDB Índice de búsqueda semántica Ollama Inferencia local de LLM Open WebUI Interfaz de chat unificada MCP Herramientas deterministas para datos estructurados LiteLLM Enrutamiento de modelos Todo se ejecuta en una sola máquina Windows 11 con una RTX 5080 16GB. Una Orange Pi 5 Plus se encarga de los backups. Dos Lecciones Difíciles 1. Las herramientas deterministas ganan al razonamiento de LLM para cualquier cosa contable Empecé pidiéndole al modelo que sumara mis facturas. Daba respuestas erróneas. Cada vez. La solución fue una herramienta MCP de 20 líneas que consulta la API de Paperless y devuelve un número. Sin razonamiento, sin alucinación — solo el conteo correcto. 2. La disciplina de routing importa Para campos estructurados de facturas (proveedor, total, IVA, número de factura), añadí una regla estricta al prompt del sistema: > "Consulta siempre a Paperless para estos campos. Nunca uses el índice semántico." Esto eliminó la mayoría de respuestas erróneas que estaba obteniendo. El índice semántico es genial para "encuéntrame algo sobre el seguro del coche." Es terrible para "¿cuál es el total exacto de la factura #1234?" ¿Por Qué No Usar Directamente la IA Nativa de Paperless 3.0? Estoy en Paperless 3.0.3, así que tengo las funciones nativas de IA incluyendo chat con documentos. Esta configuración no las reemplaza — las complementa: Alcance más amplio: La misma interfaz cubre documentos, fotos y vídeo Operaciones deterministas: Las