Cuando un buscador necesita encontrar información, puede intentar entenderte de dos maneras, o interpretando el significado abstracto de lo que pides o buscando las palabras exactas que has utilizado. Ambos enfoques son potentes pero incompletos por sí solos.
En este artículo veremos qué es la búsqueda híbrida y las técnicas que los buscadores como Google llevan usando desde hace años (2015) y que también han incorporado a los grandes LLMs a la búsqueda impulsada por IA .
Índice de contenidos:
La búsqueda léxica o por palabras clave es el enfoque tradicional. Su misión es encontrar documentos que contengan los términos exactos de la búsqueda.
Primero se tokeniza el texto (se divide en palabras o subpalabras), y luego se aplican algoritmos como TF-IDF o su evolución, BM25, que calculan la relevancia basándose en la frecuencia de aparición de esos tokens. Estos algoritmos actúan como el índice de un libro, registrando qué tokens aparecen y dónde. Los sistemas modernos suelen usar tokenización a nivel de subpalabras en lugar de palabras completas, lo que les permite manejar mejor palabras nuevas, términos técnicos o errores tipográficos.
Pero también pueden usar SPLADE, que es una versión más avanzada de la búsqueda léxica. Aunque también se basa en encontrar palabras clave, utiliza redes neuronales para aprender qué términos son realmente importantes en un contexto. De esta forma, logra capturar un matiz de significado semántico sin dejar de ser un sistema léxico, preciso y eficiente.
La búsqueda semántica se centra en comprender la intención y el contexto. Su objetivo es capturar la idea que hay detrás de las palabras y para ello utiliza embeddings densos.
La arquitectura más común es el modelo Two-Tower que funciona así: una "torre" procesa tu consulta de búsqueda y la otra procesa cada documento de la base de datos. Ambas torres son redes neuronales entrenadas para convertir el texto en vectores numéricos de longitud fija que capturan su significado.
Es necesario que ambas torres generen vectores en el mismo espacio vectorial compartido. De esta forma se podrá medir la relevancia entre una búsqueda y un documento usando métricas simples como el "dot product" (que usa Google) o la similitud del coseno. Cuanto mayor sea esta similitud, más relevante es el documento para esa búsqueda. Lo ingenioso es que las dos torres se entrenan juntas para maximizar la similitud entre consultas y sus documentos relevantes, mientras la minimizan para documentos irrelevantes.
Imagina que cada texto o frase se convierte en un punto en un vasto "mapa de significados". En este mapa, conceptos similares como "automóvil" y "coche" se sitúan muy cerca unos de otros.
Dado que ninguno de los dos enfoques anteriores es perfecto, la mejor solución combinarlos mediante búsqueda híbrida.
La búsqueda híbrida es un sistema que aprovecha la similitud léxica de la búsqueda por palabras clave y la similitud semántica de la búsqueda vectorial. Se ha convertido en una pieza indispensable de los sistemas modernos de recuperación de información, y utilizada también en aplicaciones de Retrieval-Augmented Generation (RAG).
El buscador de Google es el ejemplo más famoso de buscador híbrido. Con la introducción de RankBrain en 2015, Google añadió una potente capa semántica a su estructura, que ya funcionaba (demasiado) bien encontrando palabras exactas, creando así un sistema híbrido a gran escala. Recordemos que RankBrain es un sistema de inteligencia artificial que ayuda a comprender las conexiones entre palabras y conceptos. Esto significa que Google puede ofrecer contenido más relevante incluso cuando no incluye exactamente las mismas palabras de la búsqueda, ya que entiende que el contenido está relacionado con otros términos y conceptos.
Cuando tienes dos listas de resultados (una semántica, otra léxica), necesitas un método inteligente para fusionarlas. La solución más usada es el Reciprocal Rank Fusion (RRF).
RRF funciona de una forma muy simple, en lugar de intentar comparar las puntuaciones de relevancia de cada sistema (que no son compatibles), RRF solo se fija en la posición (el rango) que ocupa un documento en cada lista. Un resultado que aparece bien posicionado en ambas listas es recompensado y sube a la cima del ranking final.
El balance entre búsqueda semántica y léxica se controla con un parámetro alpha (típicamente 0,5 para dar igual peso a ambas). Con alpha=1 solo usarías búsqueda semántica, con alpha=0 solo léxica, y valores intermedios te permiten ajustar el balance según tus necesidades. En ChatGPT, el alpha está a 1.
Métodos como BM25 (léxico) y la búsqueda vectorial (semántica) producen puntuaciones en escalas totalmente incompatibles, por lo que sumarlas directamente no tiene sentido. RRF soluciona esto al basarse únicamente en la posición, lo que lo hace estable y resistente a valores atípicos.
RRF es básico en cualquier sistema de IA que utilizan RAG como las AI Overviews, AI Mode o ChatGPT. Recordemos que RAG es el proceso por el cual una IA, antes de responder, primero "busca" información en una base de datos para basar su respuesta en hechos. La búsqueda híbrida recupera los documentos, y RRF los ordena para que la IA sepa cuáles son los más importantes. Este proceso, también conocido como "grounding", es lo que pretende evitar que la IA invente información. Tal y como comentamos en el artículo sobre los leaks de ChatGPT, sistemas como ChatGPT también utilizan RRF internamente para mejorar la relevancia y la coherencia de sus respuestas.
En los sistemas más avanzados, desde Google hasta los motores de IA generativa, el proceso no termina con la fusión. Operan con una arquitectura de dos fases (multi-etapa) para ser a la vez rápidos y precisos:
Ahora, veamos qué tecnologías y modelos específicos entran en cada etapa.
Para ser extremadamente rápido, esta fase utiliza una búsqueda híbrida, combinando la búsqueda léxica (palabras clave) y la semántica (significado). Aquí es donde entran tecnologías como ColBERT y PLAID, que es muy probable que sean las que estén en producción en Google. Muvera no, como explico aquí.
Una vez que la etapa de recuperación nos ha entregado unos cientos de buenos candidatos, es el momento de usar la artillería pesada para ordenarlos de forma definitiva. Aquí entran los grandes modelos de lenguaje, que son demasiado lentos para la primera fase pero perfectos para este análisis detallado.
Este proceso de dos etapas permite que los sistemas ofrezcan resultados que son, a la vez, instantáneos y extremadamente relevantes.
Artículos relacionados:
Lo que los leaks de ChatGPT nos enseñan sobre SEO para la IA
Los algoritmos de Google al descubierto. Cómo funciona el buscador según documentos filtrados
Últimamente hay mucho ruido con el tema de CTR y su impacto en el SEO, que si manipular el CTR funciona, que parece que funciona o simplemente no funciona… Para los neófitos, el CTR (Click-through rate) en SEO es un ratio que mide la eficacia de un resultado en la página de resultados de Google (SERP). Es la división […]
Leer másEn este artículo nos adentramos en el funcionamiento interno de Google, una herramienta que todos usamos a diario pero que pocos comprendemos realmente. A raíz de la reciente filtración de documentos en un juicio antimonopolio contra Google, tenemos una gran oportunidad para explorar los algoritmos de Google. De algunos de ellos ya teníamos información, pero […]
Leer más