Quais tecnologias de banco de dados devem ser consideradas para um aplicativo de pesquisa de dados?

Fulltext Search é uma tecnologia especializada que complementa um banco de dados SQL tradicional. Existe um recurso simples de indexação de texto completo embutido no MySQL, mas você provavelmente encontrará outras alternativas com mais recursos e desempenho superior.

Fiz uma apresentação comparando-os aqui: Full Text Search Throwdown .

A resposta curta: Sphinx Search .

Re seu comentário:

Parece que sua pergunta não é sobre uma solução específica, mas apenas sobre categorias de otimizações de desempenho.

• Indexação. How to Design Indexes, Really é a minha apresentação, que já fiz várias vezes. Aqui está uma gravação minha apresentando uma versão desta palestra: Ferramentas e técnicas para design de índice .
• Particionamento. Desempenho de partições com MySQL 5.1 e 5.5 por Giuseppe Maxia. Este foi o que fez o particionamento clicar para mim. O particionamento é muito poderoso quando funciona, mas funciona para um pequeno número de casos.
• Cache. Qual é a consulta SQL mais rápida? Aquele que você não precisa executar, porque pode obter uma cópia dos dados de um cache de alta velocidade. Isso requer mais codificação de aplicativos caso a caso para decidir sobre os dados corretos para armazenar em cache, em qual formato armazená-los e como atualizá-los. Muito trabalho, mas pode acelerar o acesso a certos dados em ordens de magnitude.
• Desnormalização. Embora a desnormalização crie oportunidades para anomalias de dados, às vezes é a melhor opção para otimizar uma consulta específica. Cuidado, porém, porque a desnormalização degrada o desempenho de todas as outras consultas nos mesmos dados.
• Fragmentação. Útil quando o tráfego de dados ou consultas cresce tanto que uma única instância de banco de dados não pode mais processar consultas suficientes por segundo. Divida seus dados horizontalmente, armazenando um subconjunto em cada instância de estilhaço. Adicione código ao seu aplicativo para decidir como enviar suas consultas ao estilhaço apropriado. Sharding é usado por MySQL Cluster , MySQL Fabric (que ainda é bastante alfa até o momento em que este livro foi escrito) e Shard-Query .

Por fim, o conselho que costumo dar sobre otimização é que todos os métodos listados acima otimizam para uma consulta em detrimento de outras. Por exemplo, a fragmentação é ótima se você ler e gravar linhas individuais, mas a fragmentação torna as coisas piores se você consultar intervalos de linhas que abrangem vários fragmentos.