Elige la lane de hardware que encaja con el workload antes de comprarte un problema local.

Mejor para: Reasoning frontier, multimodal pesado, trafico irregular y equipos sin ops.

LLM: La mejor salida cuando el valor esta en modelos frontier y no en controlar el hosting.

Multimodal: Muy fuerte para audio, video y vision pesados sin comprar memoria local.

Embeddings: Suficiente para pilotos o indexing moderado con servicios gestionados.

Cuello: Coste variable, residencia de datos y dependencia de proveedor.

Coste ops: Complejidad local minima, pero el gasto puede dispararse si el volumen crece sin control.

Consumo y ruido: Sin consumo ni ruido local relevantes.

Elige local cuando: Conviene cuando todavia estas aprendiendo el shape del trafico o necesitas salir rapido.

Sigue con API cuando: Sigue siendo mejor que local cuando la demanda es irregular o depende de frontier multimodal.

Cautela: No confundas ausencia de capex con coste bajo si el equipo ya opera a diario y con volumen.

Mejor para: Copilots privados, notas locales, demos offline y helpers ligeros en movilidad.

LLM: Sirve para LLM pequenos cuantizados, routers simples y tareas locales con poco paralelismo.

Multimodal: Aceptable solo para vision o audio ligeros; no para video serio ni lotes grandes.

Embeddings: Buena para embeddings pequenos y rerank ligero en el propio dispositivo.

Cuello: Memoria compartida, ancho de banda y throttling termico.

Coste ops: Operacion muy simple, pero sin margen para concurrencia ni serving compartido.

Consumo y ruido: Excelente en consumo y ruido.

Elige local cuando: Cuando la prioridad es movilidad, privacidad y una UX local razonable para una persona.

Sigue con API cuando: El API gana cuando el flujo pide contexto largo, agentes de codigo o varias sesiones a la vez.

Cautela: No trates una NPU de portatil como sustituto universal de una GPU discreta.

Mejor para: Pipelines de retrieval, reindexados grandes y servicios internos donde manda la RAM.

LLM: Flojo para generacion pesada; no compensa usarlo como caja principal de chat.

Multimodal: Muy limitado para vision generativa o analisis multimodal serio.

Embeddings: Excelente cuando manda RAM, disco y batches de indexing.

Cuello: Tokens por segundo pobres para generacion; la latencia total cae rapido en chat real.

Coste ops: Barato de operar y facil de mantener frente a una GPU grande.

Consumo y ruido: Consumo moderado y poco ruido.

Elige local cuando: Conviene cuando la capa importante del producto es retrieval y no reasoning local largo.

Sigue con API cuando: Mejor API cuando tambien necesitas chat serio, multimodal o respuestas generativas de mucha calidad.

Cautela: No compres esta lane esperando que tambien resuelva el serving principal del hub.

Mejor para: Copilots de codigo, 7B-14B cuantizados, workers locales y un equipo pequeno.

LLM: Es el sweet spot cuando el API bill empieza a doler y la privacidad ya importa.

Multimodal: Correcta para vision ligera y documentos; corta para multimodal pesado o video.

Embeddings: Muy buena para embeddings, rerank y workers baratos.

Cuello: VRAM y concurrencia; el techo llega antes de lo que dice el marketing.

Coste ops: Empieza a pedir cooling, drivers, colas y algo de observabilidad.

Consumo y ruido: Consumo y ruido visibles en escritorio.

Elige local cuando: Conviene cuando ya existe demanda diaria de inferencia local y el caso de uso no es solo experimental.

Sigue con API cuando: Mejor API si el uso sigue siendo esporadico o exiges frontier multimodal.

Cautela: No compres esta lane esperando 70B comodos ni varios equipos concurrentes sin colas.

Mejor para: Documentos largos, analisis multimodal moderado y trabajo local donde el ruido importa.

LLM: Muy util para modelos cuantizados mas grandes si priorizas memoria total y estabilidad de escritorio.

Multimodal: Mejor que una GPU media para ciertos flujos multimodales de un solo operador.

Embeddings: Buena para retrieval, lote medio y analisis documental local.

Cuello: Throughput sostenido menor que un servidor GPU; el cuello es ancho de banda mas precio por capacidad.

Coste ops: Operacion limpia para una persona; mala idea como API compartida para todo un equipo.

Consumo y ruido: Muy buen perfil de ruido y consumo para escritorio.

Elige local cuando: Conviene cuando importa mas una mesa silenciosa y mucha memoria que la concurrencia.

Sigue con API cuando: API gana cuando el uso pasa a ser compartido, continuo o con frontier multimodal duro.

Cautela: No conviertas una workstation de operador en backend comun del equipo por accidente.

Mejor para: API interna, agentes compartidos, multimodal serio y modelos locales mas grandes.

LLM: La mejor lane local cuando varios flujos dependen a diario de generacion privada.

Multimodal: La unica lane razonable si de verdad quieres multimodal serio en perimetro privado.

Embeddings: Excelente para retrieval, rerank y generacion dentro del mismo perimetro.

Cuello: Capex, cooling, colas, red y disciplina operativa.

Coste ops: Alta complejidad: monitoring, rollouts, seguridad y continuidad ya importan.

Consumo y ruido: Consumo alto y ruido serio.

Elige local cuando: Solo compensa con demanda estable, cumplimiento o un techo de gasto muy vigilado.

Sigue con API cuando: API sigue siendo mejor cuando el volumen aun es incierto o nadie puede operar la caja.

Cautela: Si el equipo aun esta probando prompts y casos de uso, esta lane llega demasiado pronto.