SearXNG + Crawl4AI: por qué ya no alquilamos APIs

La sorpresa: el autoalojamiento no es automáticamente más barato

Pensábamos que íbamos a ahorrar dinero. En lugar de pagar cada mes una cifra de cuatro dígitos por SerpAPI y Firecrawl, migramos nuestra infraestructura de investigación a SearXNG y Crawl4AI. Ambas herramientas funcionan en nuestros propios servidores, ambas son open source y ninguna cuesta un solo euro en licencias. Las cuentas parecían triviales: los costes de hardware se amortizan en tres meses y, a partir de ahí, salimos ganando.

Spoiler: tras seis semanas en funcionamiento, hemos eliminado las facturas de las APIs, pero el coste total no ha bajado. Lo que hemos ganado es otra cosa: control sobre los flujos de datos, adiós a los límites de peticiones y la certeza de que ningún proveedor externo va a duplicar mañana sus precios o cerrar su servicio. Para nuestros clientes, que se toman en serio su postura en materia de RGPD, eso vale más que los euros ahorrados. Pero, siendo sinceros: quien solo mire el precio se llevará una decepción.

El problema: facturas de API y vendor lock-in

Nuestros dos flujos de sourcing, que automatizan la investigación de mercado y la búsqueda de contenidos, dependían de dos servicios de pago: SerpAPI para resultados estructurados de Google y Firecrawl para un parsing limpio de HTML y la extracción a Markdown. Ambos funcionan perfectamente, pero el coste de ambos crece de forma lineal con el uso. Con diez trabajos de investigación al día, ningún problema. Con cien, sale caro. Con trescientos, es absurdo.

El segundo problema era más sutil: habíamos construido flujos optimizados para la estructura de respuesta de estas APIs. Si SerpAPI cambia un campo, algo se rompe en nuestro lado. Si Firecrawl introduce un nuevo plan de precios, tenemos que decidir si rehacemos o pagamos. Teníamos dependencias que no podíamos controlar.

La arquitectura: dos servicios, un principio

Sustituimos ambos servicios por alternativas autoalojadas que hacen conceptualmente lo mismo, pero funcionan en nuestra infraestructura. SearXNG es un metabuscador que agrega resultados de Google, Bing, DuckDuckGo y otros, y los devuelve en JSON. Crawl4AI es un framework de Python que carga páginas web, renderiza JavaScript y extrae contenido estructurado. Ambos hablan HTTP, ambos devuelven JSON y ambos se conectan directamente a nuestros flujos.

La estrategia de despliegue fue sencilla: Docker Compose en un servidor dedicado, un proxy inverso delante y listo. SearXNG tiene una instancia con caché Redis; Crawl4AI funciona con un backend de Playwright para el renderizado de JavaScript. Ambos servicios solo son accesibles internamente y nuestros flujos los llaman mediante nombres de host internos. Sin endpoints públicos, sin claves de API, sin límites de peticiones.

La integración en los flujos de sourcing existentes fue la parte crítica. Sustituimos los antiguos nodos de API por nodos HTTP Request que apuntan a nuestros propios servicios. Las estructuras de respuesta son distintas, así que creamos una lógica de mapeo que traduce el JSON de SearXNG al formato que esperan nuestros nodos posteriores. Lo mismo con Crawl4AI. No hubo que rehacer los flujos en sí, solo la capa de adaptadores.

Decisión uno: por qué SearXNG y no Elasticsearch con un crawler propio

También podríamos haber construido nuestro propio crawler e indexado los resultados en Elasticsearch. Habría sido más flexible, pero nos habría metido en un pozo de mantenimiento. SearXNG lleva años siendo estable, tiene una comunidad activa y ofrece resultados útiles desde el primer momento. Queríamos infraestructura de investigación, no dedicarnos a investigar motores de búsqueda.

La contrapartida: SearXNG agrega buscadores existentes, no rastrea por sí mismo. Eso significa que seguimos dependiendo de Google, Bing y otros, solo que de forma indirecta. Si Google bloquea mañana todos los metabuscadores, tenemos un problema. Pero, siendo realistas, para nuestros casos de uso, que giran en torno a noticias de actualidad, datos de empresas y tendencias de contenido, el riesgo es aceptable. No necesitamos buscar en archivos de documentos de hace diez años.

Decisión dos: por qué Crawl4AI y no Scrapy o Puppeteer directamente

Crawl4AI abstrae los detalles feos: control del navegador, renderizado de JavaScript, gestión de banners de cookies, extracción a Markdown. Scrapy es más potente, pero de bajo nivel. Puppeteer es más flexible, pero tendríamos que decidir nosotros cómo tratar las single-page apps, el lazy loading y los mecanismos antibots. Crawl4AI ya ha tomado esas decisiones, y encajan con el 80 % de nuestros casos.

El 20 % que no encaja: páginas con una protección antibots agresiva. Crawl4AI no incluye forma de sortear Cloudflare, ni rotación de proxies, ni resolución de CAPTCHA. Para esos casos tenemos un plan B: si Crawl4AI falla tras tres intentos, enviamos la URL a un paso de revisión manual. No es elegante, pero es honesto. No tenemos una solución mágica para páginas que luchan activamente contra el scraping.

Qué salió mal: rendimiento y expectativas equivocadas

La primera semana fue decepcionante. SearXNG era lento. Muy lento. Una búsqueda que con SerpAPI tardaba 200 milisegundos pasó a tardar tres segundos. El motivo: SearXNG consulta en paralelo varios buscadores upstream, espera todas las respuestas, fusiona los resultados y los guarda en caché. Conceptualmente es limpio, pero penaliza mucho la latencia. Configuramos la caché de Redis de forma más agresiva y redujimos el número de fuentes upstream. Ahora estamos por debajo de un segundo, pero seguimos siendo más lentos que la API.

Crawl4AI tenía otro problema: fugas de memoria. Tras unos cientos de rastreos, el contenedor moría. La culpa era de Playwright, que no cerraba bien las instancias del navegador. Montamos un cron job que reinicia el contenedor cada seis horas. Eso no es una solución, es un parche. Abrimos un issue en el repositorio de Crawl4AI, pero mientras tanto convivimos con ello.

Los costes: por qué las cuentas no salieron

Subestimamos los costes de hardware. Un servidor con suficiente RAM para SearXNG, Crawl4AI, Redis y Playwright cuesta 80 euros al mes. A eso se suman la monitorización, las copias de seguridad y el tiempo que hemos invertido en configuración, depuración y mantenimiento. Calculado sobre tres meses, son como mínimo 15 horas de ingeniería. Si internamente las valoramos a 100 euros la hora, llegamos a 1.500 euros de costes de puesta en marcha más 240 euros de costes recurrentes en tres meses. La factura de las APIs era de 400 euros al mes, es decir, 1.200 euros en el mismo periodo.

A corto plazo, hemos pagado de más. A largo plazo se amortizará, pero solo si aumentamos el uso. La ganancia real es estratégica: ya no dependemos de proveedores externos, no hay límites de peticiones ni subidas de precio repentinas. Para clientes que necesitan trabajar conforme al RGPD y no quieren enviar datos a servicios estadounidenses, es un argumento de venta. Pero quien solo compare costes se llevará una decepción.

Dónde hemos acabado

El autoalojamiento no es un modelo de ahorro, es un modelo de control. Hemos aprendido que la decisión de tener infraestructura propia no debería tomarse principalmente por motivos financieros, sino estratégicos. Si consideras riesgos los límites de peticiones, el vendor lock-in y la soberanía de los datos, el autoalojamiento tiene sentido. Si solo comparas la factura, quédate con las APIs.

Para nosotros fue la decisión correcta, porque de todos modos vamos hacia más infraestructura propia. Nuestros clientes piden expresamente soluciones autoalojadas, y ahora podemos hablar desde la experiencia. Sabemos dónde están los escollos, qué es realista y qué son promesas de marketing. Eso vale más que los costes de API ahorrados.

Próximos pasos: estamos construyendo un dashboard interno que registra métricas de SearXNG y Crawl4AI. Latencia, tasa de éxito, tasa de aciertos de caché. En cuanto tengamos cifras reales, publicaremos una continuación. Hasta entonces, queda claro: el autoalojamiento funciona, pero no sale gratis.

Última actualización: septiembre de 2026

Blck Alpaca es una agencia de automatización de marketing con IA con sede en Viena, especializada en marketing basado en datos, agentes de IA a medida y automatización de flujos de trabajo empresariales para empresas de toda Europa.