QVCache: Cache de Vetores que Acelera Busca ANN Até 1000x

Sistema de cache para busca aproximada reduz latência de consultas semânticas sem perder recall

Um novo trabalho publicado no arXiv apresenta o QVCache, um sistema de cache para busca aproximada de vetores (ANN, por suas siglas em inglês) que promete reduzir a latência das consultas em até 1000 vezes ao aproveitar a repetição de buscas semanticamente semelhantes. A pesquisa é relevante para quem projeta sistemas de busca semântica, retrieval-augmented generation (RAG) e aplicações de recuperação de informações baseadas em embeddings.

Por que cache em busca de vetores?

O cache é um dos mecanismos mais antigos da computação para amortizar custo de computação. Porém, na busca de vetores, a premissa clássica — de que consultas idênticas se repetem — não se sustenta: pequenas variações no texto de um prompt produzem embeddings distintos, tornando o cache por chave exata ineficaz, de acordo com o estudo publicado pelo arXiv. O resultado é que sistemas de busca aproximada desperdiçam uma das ferramentas mais poderosas do toolkit de sistemas.

O QVCache propõe tratar consultas como pontos em um espaço métrico, e não como chaves discretas. Quando uma nova consulta chega, o sistema compara seu embedding contra vetores já em cache. Se a distância fica dentro de uma região de similaridade adequada, a consulta é respondida a partir do cache, sem acionar o backend. Caso contrário, segue para o banco de vetores e o resultado é inserido de volta no cache para próximas consultas.

O que faz o sistema diferente

Entre as principais características do QVCache, a pesquisa destaca: limites específicos de similaridade por região do espaço de embeddings, aprendidos online a partir das estatísticas observadas; mini-índices em memória mantidos com tamanho menor que o índice completo; e a propriedade de ser agnóstico ao backend, ou seja, funciona sobre qualquer base de vetores (em memória ou em disco) que exponha as operações search e fetch. Segundo os autores, na prática o sistema consegue reduzir a latência p50 em 40 a 1000 vezes, mantendo o consumo de memória tipicamente abaixo de 1% do índice completo em memória.

A abordagem é particularmente útil em cenários de alto volume de consultas com repetição semântica — assistentes de IA, mecanismos de recomendação, busca de documentos em bancos corporativos — onde o ganho de latência se traduz diretamente em melhor experiência de usuário e redução de custo computacional no backend.

Perspectiva para devs no Brasil

Com a adoção crescente de modelos de IA que dependem de busca vetorial para contexto, a engenharia de cache passa a importar não só para performance, mas para o custo operacional. Para times brasileiros que trabalham com RAG e agentes em produção, o QVCache oferece uma alternativa concreta à abordagem tradicional de cache por chave exata, especialmente em sistemas distribuídos com alto giro de consultas.

O trabalho está disponível no arXiv como pré-impressão e ainda não foi submetido a revisão por pares.

Fonte: arXiv