Introducción a la búsqueda vectorial y QBit

En esta guía, aprenderás a:

Obtener una breve introducción a la búsqueda vectorial
Conocer vecinos más cercanos aproximados (ANN) y Hierarchical Navigable Small World (HNSW)
Conocer bit cuantizado (QBit)
Usar QBit para realizar búsquedas vectoriales con el conjunto de datos DBPedia

Introducción a la búsqueda vectorial

En matemáticas y física, un vector se define formalmente como un objeto que tiene magnitud y dirección. A menudo adopta la forma de un segmento de recta o una flecha en el espacio, y puede usarse para representar magnitudes como la velocidad, la fuerza y la aceleración. En informática, un vector es una secuencia finita de números. En otras palabras, es una estructura de datos que se utiliza para almacenar valores numéricos. En aprendizaje automático, los vectores son las mismas estructuras de datos de las que hablamos en informática, pero los valores numéricos que almacenan tienen un significado especial. Cuando tomamos un bloque de texto o una imagen y lo destilamos hasta quedarnos con los conceptos clave que representa, este proceso se denomina codificación. El resultado es la representación numérica que una máquina hace de esos conceptos clave. Esto es un embedding y se almacena en un vector. Dicho de otro modo, cuando ese significado contextual está incorporado en un vector, podemos referirnos a él como un embedding. La búsqueda vectorial está hoy en todas partes. Impulsa las recomendaciones musicales, la generación aumentada por recuperación (RAG) para modelos de lenguaje de gran tamaño, donde se recupera conocimiento externo para mejorar las respuestas, e incluso las búsquedas en Google se basan en cierta medida en la búsqueda vectorial. Los usuarios suelen preferir las bases de datos convencionales con capacidades vectoriales ad hoc a los almacenes vectoriales totalmente especializados, a pesar de las ventajas de estas bases de datos especializadas. ClickHouse admite la búsqueda vectorial por fuerza bruta, así como métodos de búsqueda aproximada del vecino más cercano (ANN), incluido HNSW, el estándar actual para la recuperación rápida de vectores.

Comprender los embeddings

Veamos un ejemplo sencillo para entender cómo funciona la búsqueda vectorial. Consideremos embeddings (representaciones vectoriales) de palabras: Crea la siguiente table con algunos embeddings de ejemplo:

CREATE TABLE fruit_animal
ENGINE = MergeTree
ORDER BY word
AS SELECT *
FROM VALUES(
  'word String, vec Array(Float64)',
  ('apple', [-0.99105519, 1.28887844, -0.43526649, -0.98520696, 0.66154391]),
  ('banana', [-0.69372815, 0.25587061, -0.88226235, -2.54593015, 0.05300475]),
  ('orange', [0.93338752, 2.06571317, -0.54612565, -1.51625717, 0.69775337]),
  ('dog', [0.72138876, 1.55757105, 2.10953259, -0.33961248, -0.62217325]),
  ('horse', [-0.61435682, 0.48542571, 1.21091247, -0.62530446, -1.33082533])
);

Puedes buscar las palabras más similares a partir de un embedding dado:

SELECT word, L2Distance(
  vec, [-0.88693672, 1.31532824, -0.51182908, -0.99652702, 0.59907770]
) AS distance
FROM fruit_animal
ORDER BY distance
LIMIT 5;

┌─word───┬────────────distance─┐
│ apple  │ 0.14639757188169716 │
│ banana │  1.9989613690076786 │
│ orange │   2.039041552613732 │
│ horse  │  2.7555776805484813 │
│ dog    │   3.382295083120104 │
└────────┴─────────────────────┘

El embedding de la consulta es el que está más cerca de “apple” (la menor distancia), lo cual tiene sentido si observamos ambos embeddings lado a lado:

apple:           [-0.99105519,1.28887844,-0.43526649,-0.98520696,0.66154391]
query embedding: [-0.88693672,1.31532824,-0.51182908,-0.99652702,0.5990777]

Vecinos más cercanos aproximados (ANN)

Para conjuntos de datos grandes, la búsqueda por fuerza bruta se vuelve demasiado lenta. Aquí es donde resultan útiles los métodos de vecinos más cercanos aproximados.

Cuantización

La cuantización consiste en convertir a tipos numéricos de menor tamaño. Números más pequeños implican menos datos, y menos datos implican cálculos de distancia más rápidos. El motor de ejecución vectorizada de consultas de ClickHouse puede alojar más valores en los registros del procesador en cada operación, lo que aumenta directamente el rendimiento. Tienes dos opciones:

Mantener la copia cuantizada junto a la columna original - Esto duplica el almacenamiento, pero es una opción segura porque siempre podemos volver a la precisión completa
Reemplazar por completo los valores originales (convirtiéndolos a un tipo menor durante la inserción) - Esto ahorra espacio y E/S, pero no tiene vuelta atrás

Hierarchical Navigable Small World (HNSW)

HNSW se construye a partir de múltiples capas de nodos (vectores). Cada nodo se asigna aleatoriamente a una o más capas, y la probabilidad de aparecer en capas superiores disminuye exponencialmente. Al realizar una búsqueda, comenzamos en un nodo de la capa superior y avanzamos de forma voraz hacia los vecinos más cercanos. Cuando ya no se puede encontrar un nodo más cercano, descendemos a la siguiente capa, que es más densa. Gracias a este diseño por capas, HNSW alcanza una complejidad de búsqueda logarítmica con respecto al número de nodos.

Limitación de HNSWEl principal cuello de botella es la memoria. ClickHouse usa la implementación usearch de HNSW, que es una estructura de datos en memoria y no admite particionamiento. Como resultado, los conjuntos de datos más grandes requieren proporcionalmente más RAM.

Comparación de enfoques

Categoría	Fuerza bruta	HNSW	QBit
Precisión	Perfecta	Excelente	Flexible
Velocidad	Lenta	Rápida	Flexible
Otros	Cuantización: más espacio o pérdida irreversible de precisión	El índice debe caber en memoria y debe construirse	Sigue siendo O(#registros)

Profundización en QBit

Bit cuantizado (QBit)

QBit es una nueva estructura de datos que puede almacenar valores BFloat16, Float32 y Float64 aprovechando la forma en que se representan los números de coma flotante: como bits. En lugar de almacenar cada número completo, QBit divide los valores en planos de bits: el primer bit de cada valor, el segundo, el tercero, y así sucesivamente. Este enfoque resuelve la principal limitación de la cuantización tradicional. No hace falta almacenar datos duplicados ni arriesgarse a que los valores pierdan significado. Además, evita los cuellos de botella de RAM de HNSW, ya que QBit trabaja directamente con los datos almacenados en lugar de mantener un índice en memoria.

BeneficioY, lo más importante, no requiere tomar decisiones por adelantado. La precisión y el rendimiento pueden ajustarse dinámicamente en tiempo de consulta, lo que permite a los usuarios explorar el equilibrio entre exactitud y velocidad con muy poca fricción.

LimitaciónAunque QBit acelera la búsqueda vectorial, su complejidad computacional sigue siendo O(n). En otras palabras: si tu conjunto de datos es lo bastante pequeño como para que un índice HNSW quepa cómodamente en RAM, esa sigue siendo la opción más rápida.

El tipo de dato

A continuación se muestra cómo crear una columna QBit:

SET allow_experimental_qbit_type = 1;
CREATE TABLE fruit_animal
(
  word String,
  vec QBit(Float64, 5)
)
ENGINE = MergeTree
ORDER BY word;

INSERT INTO fruit_animal VALUES
('apple',  [-0.99105519, 1.28887844, -0.43526649, -0.98520696, 0.66154391]),
('banana', [-0.69372815, 0.25587061, -0.88226235, -2.54593015, 0.05300475]),
('orange', [0.93338752, 2.06571317, -0.54612565, -1.51625717, 0.69775337]),
('dog',    [0.72138876, 1.55757105, 2.10953259, -0.33961248, -0.62217325]),
('horse',  [-0.61435682, 0.48542571, 1.21091247, -0.62530446, -1.33082533]);

Cuando los datos se insertan en una columna QBit, se transponen de modo que todos los primeros bits queden alineados, todos los segundos bits queden alineados, y así sucesivamente. A esto lo llamamos grupos. Cada grupo se almacena en una columna FixedString(N) independiente: cadenas de longitud fija de N bytes almacenadas consecutivamente en memoria, sin separadores entre ellas. Todos esos grupos se agrupan luego en una sola Tuple, que constituye la estructura subyacente de QBit. Ejemplo: Si partimos de un vector de 8 elementos Float64, cada grupo contendrá 8 bits. Como un Float64 tiene 64 bits, terminamos con 64 grupos (uno por cada bit). Por lo tanto, la disposición interna de QBit(Float64, 8) se asemeja a una Tuple de 64 columnas FixedString(1).

Si la longitud del vector original no es divisible exactamente por 8, la estructura se rellena con elementos invisibles para alinearla a 8. Esto garantiza la compatibilidad con FixedString, que opera estrictamente con bytes completos.

El cálculo de la distancia

Para realizar consultas con QBit, use la función L2DistanceTransposed con un parámetro de precisión:

SELECT
  word,
  L2DistanceTransposed(vec, [-0.88693672, 1.31532824, -0.51182908, -0.99652702, 0.59907770], 16) AS distance
FROM fruit_animal
ORDER BY distance;

┌─word───┬────────────distance─┐
│ apple  │ 0.15196434766705247 │
│ banana │   1.966091150410285 │
│ orange │  1.9864477714218596 │
│ horse  │  2.7306267946594005 │
│ dog    │  3.2849989362383165 │
└────────┴─────────────────────┘

El tercer parámetro (16) especifica el nivel de precisión, en bits.

Optimización de E/S

Antes de poder calcular distancias, es necesario leer del disco los datos requeridos y luego destransponerlos (es decir, volver de la representación de bits agrupados a vectores completos). Como QBit almacena los valores transpuestos por bits según el nivel de precisión, ClickHouse puede leer solo los planos de bits más altos necesarios para reconstruir números con la precisión deseada. En la consulta anterior, usamos un nivel de precisión de 16. Como un Float64 tiene 64 bits, solo leemos los primeros 16 planos de bits, omitiendo el 75 % de los datos. Después de la lectura, reconstruimos solo la parte más significativa de cada número a partir de los planos de bits cargados, dejando en cero los bits no leídos.

Optimización del cálculo

Cabe preguntarse si convertir a un tipo menor, como Float32 o BFloat16, podría eliminar esta parte no utilizada. Funciona, pero las conversiones explícitas resultan costosas cuando se aplican a cada fila. En su lugar, podemos reducir el tipo solo del vector de referencia y tratar los datos de QBit como si contuvieran valores de menor tamaño (“olvidando” la existencia de algunas columnas), ya que su disposición suele corresponder a una versión truncada de esos tipos.

Optimización de BFloat16

BFloat16 es un Float32 truncado a la mitad. Conserva el mismo bit de signo y el exponente de 8 bits, pero solo los 7 bits superiores de la mantisa de 23 bits. Por ello, leer los primeros 16 planos de bits de una columna QBit reproduce en la práctica la estructura de los valores BFloat16. Así que, en este caso, podemos (y de hecho lo hacemos) convertir con seguridad el vector de referencia a BFloat16.

Complejidad de Float64

Float64, sin embargo, es otra historia. Usa un exponente de 11 bits y una mantisa de 52 bits, lo que significa que no es simplemente un Float32 con el doble de bits. Su estructura y el sesgo del exponente son completamente distintos. Reducir un Float64 a un formato más pequeño, como Float32, requiere una conversión IEEE-754 propiamente dicha, en la que cada valor se redondea al Float32 representable más cercano. Este paso de redondeo es costoso desde el punto de vista computacional.

Si te interesa un análisis en profundidad de los aspectos de rendimiento de QBit, consulta “Let’s vectorize”

Ejemplo con DBpedia

Veamos QBit en acción con un ejemplo del mundo real que utiliza el conjunto de datos de DBpedia, que contiene 1 millón de artículos de Wikipedia representados como embeddings de Float32.

Configuración

Primero, crea la tabla

CREATE TABLE dbpedia
(
  id      String,
  title   String,
  text    String,
  vector  Array(Float32) CODEC(NONE)
) ENGINE = MergeTree ORDER BY (id);

Inserte los datos desde la línea de comandos:

for i in $(seq 0 25); do
  echo "Procesando archivo ${i}..."
  clickhouse client -q "INSERT INTO dbpedia SELECT _id, title, text, \"text-embedding-3-large-1536-embedding\" FROM url('https://huggingface.co/api/datasets/Qdrant/dbpedia-entities-openai3-text-embedding-3-large-1536-1M/parquet/default/train/${i}.parquet') SETTINGS max_http_get_redirects=5,enable_url_encoding=0;"
  echo "Archivo ${i} completado."
done

La inserción de los datos puede tardar un poco. ¡Es un buen momento para una pausa para el café!

Como alternativa, se pueden ejecutar Sentencias SQL individuales, como se muestra a continuación, para cargar cada uno de los 25 archivos Parquet:

INSERT INTO dbpedia SELECT _id, title, text, "text-embedding-3-large-1536-embedding" FROM url('https://huggingface.co/api/datasets/Qdrant/dbpedia-entities-openai3-text-embedding-3-large-1536-1M/parquet/default/train/0.parquet') SETTINGS max_http_get_redirects=5,enable_url_encoding=0;
INSERT INTO dbpedia SELECT _id, title, text, "text-embedding-3-large-1536-embedding" FROM url('https://huggingface.co/api/datasets/Qdrant/dbpedia-entities-openai3-text-embedding-3-large-1536-1M/parquet/default/train/1.parquet') SETTINGS max_http_get_redirects=5,enable_url_encoding=0;
...
INSERT INTO dbpedia SELECT _id, title, text, "text-embedding-3-large-1536-embedding" FROM url('https://huggingface.co/api/datasets/Qdrant/dbpedia-entities-openai3-text-embedding-3-large-1536-1M/parquet/default/train/25.parquet') SETTINGS max_http_get_redirects=5,enable_url_encoding=0;

Verifique que haya 1 millón de filas en la tabla dbpedia:

SELECT count(*)
FROM dbpedia

┌─count()─┐
│ 1000000 │
└─────────┘

A continuación, añade una columna QBit:

SET allow_experimental_qbit_type = 1;

-- Suponiendo que tienes una tabla con embeddings Float32
ALTER TABLE dbpedia ADD COLUMN qbit QBit(Float32, 1536);
ALTER TABLE dbpedia UPDATE qbit = vector WHERE 1;

Consulta de búsqueda

Buscaremos los conceptos más relacionados con estos términos de búsqueda sobre el espacio: Moon, Apollo 11, Space Shuttle, Astronaut, Rocket:

SELECT
    title,
    text,
    COUNT(DISTINCT concept) AS num_concepts_matched,
    MIN(distance) AS min_distance,
    AVG(distance) AS avg_distance
FROM (
         (
             SELECT title, text, 'Moon' AS concept,
                    L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Moon'), 5) AS distance
             FROM dbpedia
             WHERE title != 'Moon'
             ORDER BY distance ASC
                 LIMIT 1000
         )
         UNION ALL
         (
             SELECT title, text, 'Apollo 11' AS concept,
                    L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Apollo 11'), 5) AS distance
             FROM dbpedia
             WHERE title != 'Apollo 11'
             ORDER BY distance ASC
                 LIMIT 1000
         )
         UNION ALL
         (
             SELECT title, text, 'Space Shuttle' AS concept,
                    L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Space Shuttle'), 5) AS distance
             FROM dbpedia
             WHERE title != 'Space Shuttle'
             ORDER BY distance ASC
                 LIMIT 1000
         )
         UNION ALL
         (
             SELECT title, text, 'Astronaut' AS concept,
                    L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Astronaut'), 5) AS distance
             FROM dbpedia
             WHERE title != 'Astronaut'
             ORDER BY distance ASC
                 LIMIT 1000
         )
         UNION ALL
         (
             SELECT title, text, 'Rocket' AS concept,
                    L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Rocket'), 5) AS distance
             FROM dbpedia
             WHERE title != 'Rocket'
             ORDER BY distance ASC
                 LIMIT 1000
         )
     )
WHERE title NOT IN ('Moon', 'Apollo 11', 'Space Shuttle', 'Astronaut', 'Rocket')
GROUP BY title, text
HAVING num_concepts_matched >= 3
ORDER BY num_concepts_matched DESC, min_distance ASC
    LIMIT 10;

La consulta busca las 1000 entradas semánticamente más similares para cada uno de los cinco conceptos. Devuelve las entradas que aparecen en al menos tres de esos resultados, ordenadas por la cantidad de conceptos con los que coinciden y por su distancia mínima a cualquiera de ellos (excluyendo las originales). Usando solo 5 bits (1 de signo + 4 bits de exponente, mantisa cero):

Row 1:
──────
title:                Aintree railway station
text:                 For a guide to the various Aintree stations that have existed and their relationship to each other see Aintree Stations.Aintree railway station is a railway station in Aintree, Merseyside, England.  It is on the Ormskirk branch of the Merseyrail network's Northern Line.  Until 1968 it was known as Aintree Sefton Arms after a nearby public house. The station's design reflects the fact it is the closest station to Aintree Racecourse, where the annual Grand National horse race takes place.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 2:
──────
title:                AP German Language
text:                 Advanced Placement German Language (also known as AP German Language or AP German) is a course and examination provided by the College Board through the Advanced Placement Program. This course  is designed to give high school students the opportunity to receive credit in a college-level German language course.Originally the College Board had offered two AP German exams, one with AP German Language and another with AP German Literature.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 3:
──────
title:                Adelospondyli
text:                 Adelospondyli is an order of elongate, presumably aquatic, Carboniferous amphibians.  The skull is solidly roofed, and elongate, with the orbits located very far forward.  The limbs are well developed.  Most adelospondyls belong to the family Adelogyrinidae, although the adelospondyl Acherontiscus has been placed in its own family, Acherontiscidae. The group is restricted to the Mississippian (Serpukhovian Age) of Scotland.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 4:
──────
title:                Adrien-Henri de Jussieu
text:                 Adrien-Henri de Jussieu (23 December 1797 – 29 June 1853) was a French botanist.Born in Paris as the son of botanist Antoine Laurent de Jussieu, he received the degree of Doctor of Medicine in 1824 with a treatise of the plant family Euphorbiaceae.  When his father retired in 1826, he succeeded him at the Jardin des Plantes; in 1845 he became professor of organography of plants.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 5:
──────
title:                Alan Taylor (footballer, born 1953)
text:                 Alan Taylor (born 14 November 1953) is an English former professional footballer best known for his goalscoring exploits with West Ham United in their FA Cup success of 1975, culminating in two goals in that season's final.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 6:
──────
title:                Abstract algebraic logic
text:                 In mathematical logic, abstract algebraic logic is the study of the algebraization of deductive systemsarising as an abstraction of the well-known Lindenbaum-Tarski algebra, and how the resulting algebras are related to logical systems.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 7:
──────
title:                Ahsan Saleem Hyat
text:                 General Ahsan Saleem Hayat (Urdu: احسن سلیم حیات; born 10 January 1948), is a retired four-star general who served as the vice chief of army staff of the Pakistan Army from 2004 until his retirement in 2007. Prior to that, he served as the operational field commander of the V Corps in Sindh Province and was a full-tenured professor of war studies at the National Defence University. He was succeeded by General Ashfaq Parvez Kayani on 8 October 2007.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 8:
──────
title:                Al Wafa al Igatha al Islamia
text:                 There is another organization named Al Wafa (Israel), a charity, in Israel, devoted to womenThere is another organization Jamaiat Al-Wafa LiRayat Al-Musenin which is proscribed by the Israeli government.Al Wafa is an Islamic charity listed in Executive Order 13224 as an entity that supports terrorism.United States intelligence officials state that it was founded in Afghanistan by Adil Zamil Abdull Mohssin Al Zamil,Abdul Aziz al-Matrafi and Samar Khand.According to Saad Madai Saad al-Azmi's Combatant Status Review Tribunal Al Wafa is located in the Wazir Akhbar Khan area ofAfghanistan.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 9:
───────
title:                Alex Baumann
text:                 Alexander Baumann, OC OOnt (born April 21, 1964) is a Canadian former competitive swimmer who won two gold medals and set two world records at the 1984 Summer Olympics in Los Angeles.Born in Prague (former Czechoslovakia), Baumann was raised in Canada after his family moved there in 1969 following the Prague Spring.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

Row 10:
───────
title:                Alberni-Clayoquot Regional District
text:                 The Alberni-Clayoquot Regional District (2006 population 30,664) of British Columbia is located on west central Vancouver Island.  Adjacent regional districts it shares borders with are the Strathcona and Comox Valley Regional Districts to the north, and the Nanaimo and Cowichan Valley Regional Districts to the east. The regional district offices are located in Port Alberni.
num_concepts_matched: 5
min_distance:         0.9971279086553189
avg_distance:         0.9972260772085877

10 rows in set. Elapsed: 0.542 sec. Processed 5.01 million rows, 1.86 GB (9.24 million rows/s., 3.43 GB/s.)
Peak memory usage: 327.04 MiB.

Rendimiento: 10 filas en el resultado. Tiempo transcurrido: 0.271 s. Se procesaron 8.46 millones de filas, 4.54 GB (31.19 millones de filas/s, 16.75 GB/s). Uso máximo de memoria: 739.82 MiB.

Comparar el rendimiento con la búsqueda por fuerza bruta

SELECT 
    title,
    text,
    COUNT(DISTINCT concept) AS num_concepts_matched,
    MIN(distance) AS min_distance,
    AVG(distance) AS avg_distance
FROM (
    (
        SELECT title, text, 'Moon' AS concept,
               L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Moon'), 5) AS distance
        FROM dbpedia
        WHERE title != 'Moon'
        ORDER BY distance ASC
        LIMIT 1000
    )
    UNION ALL
    (
        SELECT title, text, 'Apollo 11' AS concept,
               L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Apollo 11'), 5) AS distance
        FROM dbpedia
        WHERE title != 'Apollo 11'
        ORDER BY distance ASC
        LIMIT 1000
    )
    UNION ALL
    (
        SELECT title, text, 'Space Shuttle' AS concept,
               L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Space Shuttle'), 5) AS distance
        FROM dbpedia
        WHERE title != 'Space Shuttle'
        ORDER BY distance ASC
        LIMIT 1000
    )
    UNION ALL
    (
        SELECT title, text, 'Astronaut' AS concept,
               L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Astronaut'), 5) AS distance
        FROM dbpedia
        WHERE title != 'Astronaut'
        ORDER BY distance ASC
        LIMIT 1000
    )
    UNION ALL
    (
        SELECT title, text, 'Rocket' AS concept,
               L2DistanceTransposed(qbit, (SELECT vector FROM dbpedia WHERE title = 'Rocket'), 5) AS distance
        FROM dbpedia
        WHERE title != 'Rocket'
        ORDER BY distance ASC
        LIMIT 1000
    )
)
WHERE title NOT IN ('Moon', 'Apollo 11', 'Space Shuttle', 'Astronaut', 'Rocket')
GROUP BY title, text
HAVING num_concepts_matched >= 3
ORDER BY num_concepts_matched DESC, min_distance ASC
LIMIT 10;

Row 1:
──────
title:                Apollo program
text:                 The Apollo program, also known as Project Apollo, was the third United States human spaceflight program carried out by the National Aeronautics and Space Administration (NASA), which accomplished landing the first humans on the Moon from 1969 to 1972. First conceived during Dwight D. Eisenhower's administration as a three-man spacecraft to follow the one-man Project Mercury which put the first Americans in space, Apollo was later dedicated to President John F.
num_concepts_matched: 4
min_distance:         0.82420665
avg_distance:         1.0207901149988174

Row 2:
──────
title:                Apollo 8
text:                 Apollo 8, the second human spaceflight mission in the United States Apollo space program, was launched on December 21, 1968, and became the first manned spacecraft to leave Earth orbit, reach the Earth's Moon, orbit it and return safely to Earth.
num_concepts_matched: 4
min_distance:         0.8285278
avg_distance:         1.0357224345207214

Row 3:
──────
title:                Lunar Orbiter 1
text:                 The Lunar Orbiter 1 robotic (unmanned) spacecraft, part of the Lunar Orbiter Program, was the first American spacecraft to orbit the Moon.  It was designed primarily to photograph smooth areas of the lunar surface for selection and verification of safe landing sites for the Surveyor and Apollo missions. It was also equipped to collect selenodetic, radiation intensity, and micrometeoroid impact data.The spacecraft was placed in an Earth parking orbit on August 10, 1966 at 19:31 (UTC).
num_concepts_matched: 4
min_distance:         0.94581836
avg_distance:         1.0584313124418259

Row 4:
──────
title:                Apollo (spacecraft)
text:                 The Apollo spacecraft was composed of three parts designed to accomplish the American Apollo program's goal of landing astronauts on the Moon by the end of the 1960s and returning them safely to Earth.  The expendable (single-use) spacecraft consisted of a combined Command/Service Module (CSM) and a Lunar Module (LM).
num_concepts_matched: 4
min_distance:         0.9643517
avg_distance:         1.0367188602685928

Row 5:
──────
title:                Surveyor 1
text:                 Surveyor 1 was the first lunar soft-lander in the unmanned  Surveyor program of the National Aeronautics and Space Administration (NASA, United States). This lunar soft-lander gathered data about the lunar surface that would be needed for the manned Apollo Moon landings that began in 1969.
num_concepts_matched: 4
min_distance:         0.9738264
avg_distance:         1.0988530814647675

Row 6:
──────
title:                Spaceflight
text:                 Spaceflight (also written space flight) is ballistic flight into or through outer space. Spaceflight can occur with spacecraft with or without humans on board. Examples of human spaceflight include the Russian Soyuz program, the U.S. Space shuttle program, as well as the ongoing International Space Station. Examples of unmanned spaceflight include space probes that leave Earth orbit, as well as satellites in orbit around Earth, such as communications satellites.
num_concepts_matched: 4
min_distance:         0.9831049
avg_distance:         1.060678943991661

Row 7:
──────
title:                Skylab
text:                 Skylab was a space station launched and operated by NASA and was the United States' first space station. Skylab orbited the Earth from 1973 to 1979, and included a workshop, a solar observatory, and other systems. It was launched unmanned by a modified Saturn V rocket, with a weight of 169,950 pounds (77 t).  Three manned missions to the station, conducted between 1973 and 1974 using the Apollo Command/Service Module (CSM) atop the smaller Saturn IB, each delivered a three-astronaut crew.
num_concepts_matched: 4
min_distance:         0.99155205
avg_distance:         1.0769911855459213

Row 8:
──────
title:                Orbital spaceflight
text:                 An orbital spaceflight (or orbital flight) is a spaceflight in which a spacecraft is placed on a trajectory where it could remain in space for at least one orbit. To do this around the Earth, it must be on a free trajectory which has an altitude at perigee (altitude at closest approach) above 100 kilometers (62 mi) (this is, by at least one convention, the boundary of space).  To remain in orbit at this altitude requires an orbital speed of ~7.8 km/s.
num_concepts_matched: 4
min_distance:         1.0075209
avg_distance:         1.085978478193283

Row 9:
───────
title:                Dragon (spacecraft)
text:                 Dragon is a partially reusable spacecraft developed by SpaceX, an American private space transportation company based in Hawthorne, California. Dragon is launched into space by the SpaceX Falcon 9 two-stage-to-orbit launch vehicle, and SpaceX is developing a crewed version called the Dragon V2.During its maiden flight in December 2010, Dragon became the first commercially built and operated spacecraft to be recovered successfully from orbit.
num_concepts_matched: 4
min_distance:         1.0222818
avg_distance:         1.0942841172218323

Row 10:
───────
title:                Space capsule
text:                 A space capsule is an often manned spacecraft which has a simple shape for the main section, without any wings or other features to create lift during atmospheric reentry.Capsules have been used in most of the manned space programs to date, including the world's first manned spacecraft Vostok and Mercury, as well as in later Soviet Voskhod, Soyuz, Zond/L1, L3, TKS, US Gemini, Apollo Command Module, Chinese Shenzhou and US, Russian and Indian manned spacecraft currently being developed.
num_concepts_matched: 4
min_distance:         1.0262821
avg_distance:         1.0882147550582886

Rendimiento: 10 rows in set. Elapsed: 1.157 sec. Processed 10.00 million rows, 32.76 GB (8.64 million rows/s., 28.32 GB/s.) Peak memory usage: 6.05 GiB.

Idea clave

¿Los resultados? No solo buenos. Sorprendentemente buenos. No es obvio que los números de punto flotante, despojados de toda su mantisa y de la mitad de su exponente, sigan conservando información significativa. La idea clave detrás de QBit es que la búsqueda vectorial sigue funcionando si ignoramos los bits insignificantes. El uso de memoria se redujo de 6.05 GB a 740 MB manteniendo una excelente calidad de búsqueda semántica.

Conclusión

QBit es un tipo de columna que almacena valores de coma flotante como planos de bits. Te permite elegir cuántos bits leer durante la búsqueda vectorial, ajustando el recall y el rendimiento sin modificar los datos. Cada método de búsqueda vectorial tiene sus propios parámetros, que determinan el equilibrio entre recall, precisión y rendimiento. Normalmente, hay que elegirlos de antemano. Si te equivocas, se desperdician mucho tiempo y recursos, y cambiar de rumbo más adelante resulta difícil. Con QBit, no hace falta tomar decisiones por adelantado. Puedes ajustar directamente el equilibrio entre precisión y velocidad en tiempo de consulta, y encontrar el balance adecuado sobre la marcha.

Adaptado de la entrada del blog de Raufs Dunamalijevs, publicada el 28 de octubre de 2025

Guías de ClickHouse

Guías de casos de uso

Introducción a la búsqueda vectorial y QBit

Introducción a la búsqueda vectorial

Comprender los embeddings

Vecinos más cercanos aproximados (ANN)

Cuantización

Hierarchical Navigable Small World (HNSW)

Comparación de enfoques

Profundización en QBit

Bit cuantizado (QBit)

El tipo de dato

El cálculo de la distancia

Optimización de E/S

Optimización del cálculo

Optimización de BFloat16

Complejidad de Float64

Ejemplo con DBpedia

Configuración

Consulta de búsqueda

Idea clave

Conclusión

​Introducción a la búsqueda vectorial

​Comprender los embeddings

​Vecinos más cercanos aproximados (ANN)

​Cuantización

​Hierarchical Navigable Small World (HNSW)

​Comparación de enfoques

​Profundización en QBit

​Bit cuantizado (QBit)

​El tipo de dato

​El cálculo de la distancia

​Optimización de E/S

​Optimización del cálculo

​Optimización de BFloat16

​Complejidad de Float64

​Ejemplo con DBpedia

​Configuración

​Consulta de búsqueda

​Idea clave

​Conclusión

Introducción a la búsqueda vectorial

Comprender los embeddings

Vecinos más cercanos aproximados (ANN)

Cuantización

Hierarchical Navigable Small World (HNSW)

Comparación de enfoques

Profundización en QBit

Bit cuantizado (QBit)

El tipo de dato

El cálculo de la distancia

Optimización de E/S

Optimización del cálculo

Optimización de BFloat16

Complejidad de Float64

Ejemplo con DBpedia

Configuración

Consulta de búsqueda

Idea clave

Conclusión