Suponha que eu tenha o seguinte esquema e dados no SQL Server 2012:
create table Exclamations
(
ID int not null primary key identity(1,1),
Exclamation nvarchar(150) not null
);
insert into Exclamations(Exclamation) values
('Ohmygosh!'),
('Ohmygoodness!'),
('It''sabird!'),
('It''saplane!'),
('Whattheheck!'),
('Lookoutbelow!'),
('Whatintheworld?'),
('Isheforreal?'),
('Takeahike!');
create fulltext index on Exclamations(Exclamation) key index ID;
E suponha que eu queira fazer consultas de texto completo em minhas exclamações, mas quero poder consultar palavras dentro de palavras usando um índice de alta velocidade . Isso é possível? Talvez com um dicionário personalizado ou comportamento personalizado de quebra de palavras/limite?
Por exemplo, eu quero ser capaz de consultar a palavra "out" e fazer com que ela localize rapidamente a linha 6 ('Lookoutbelow!') sem ter que varrer todas as linhas usando um operador LIKE-ish. Isso também implica alguns falsos positivos, por exemplo, suponha que eu queira consultar a palavra "ele" e encontrar a linha #8 ('Isheforreal?'); a consulta também retornaria a linha #5 ('Whattheheck!'), pois contém a mesma substring "he". Isso está ok.
Observe que não preciso do tokenizer para indexar todas as combinações possíveis de caracteres. Não me importo se palavras sem sentido como 'sapl' na linha #4 não forem indexadas. Eu só preciso dele para tokenizar as palavras que ele já reconhece (e possivelmente algumas palavras adicionais que eu adicionaria, mas isso é apenas bom de se ter).
É importante especificar que, para os propósitos desta pergunta, não posso pré-analisar as exclamações para inserir limites óbvios de tokenização, como espaços, hífens ou pontos, antes de inserir no SQL Server. Eu quero saber se o SQL Server pode de alguma forma fazer isso sozinho.
EDIT : Depois de mais algumas leituras, parece que o que eu quero é geralmente chamado de tokenização de N-gram . Mas eu quero isso limitado a tokens que já estão presentes ou variantes de palavras no dicionário.
