Início / dba / Perguntas / 21118
Accepted
32bitfloat
Asked: 2012-07-19 12:55:31 +0800 CST

Por que a pesquisa de texto completo retorna menos linhas do que LIKE

  • 772

Não consigo que a pesquisa de texto completo funcione como gostaria e não entendo as diferenças nas listas de resultados.

Exemplos de declarações:

SELECT `meldungstext`
FROM `artikel`
WHERE `meldungstext` LIKE '%punkt%'

retorna 92 ​​linhas. Recebo linhas que têm correspondências, por exemplo, como "Punkten", "Zwei-Punkte-Vorsprung" e "Treffpunkt" na coluna meldungstext.

Eu defini um fulltext-index na coluna "meldungstext" e tentei isto:

SELECT `meldungstext`
FROM `artikel`
WHERE MATCH (`meldungstext`)
AGAINST ('*punkt*')

isso retorna apenas 8 linhas. Eu recebo apenas linhas que correspondem ao próprio "Punkt" ou palavras que eu acho que são consideradas "Punkt" como em "i-Punkt".

Eu então tentei o modo booleano:

SELECT `meldungstext`
FROM `artikel`
WHERE MATCH (`meldungstext`)
AGAINST ('*punkt*' IN BOOLEAN MODE)

retorna 44 linhas. Recebo linhas que têm "Zwei-Punkte-Vorsprung" ou "Treffpunkt" na coluna meldungstext, mas não aquelas com "Punkten".

Por que isso acontece e como posso definir uma pesquisa de texto completo "totalmente" funcionando para evitar o uso de LIKE '%%' na cláusula where?

mysql myisam

1 respostas

  1. Best Answer

    Peguei as três strings em sua pergunta e as adicionei a uma tabela mais três strings com panktem vez de punkt.

    O seguinte foi executado usando MySQL 5.5.12 para Windows

    mysql> CREATE TABLE artikel
    -> (
    ->     id INT NOT NULL AUTO_INCREMENT,
    ->     meldungstext MEDIUMTEXT,
    ->     PRIMARY KEY (id),
    ->     FULLTEXT (meldungstext)
    -> ) ENGINE=MyISAM;
Query OK, 0 rows affected (0.03 sec)

mysql> INSERT INTO artikel (meldungstext) VALUES
    -> ('Punkten'),('Zwei-Punkte-Vorsprung'),('Treffpunkt'),
    -> ('Pankten'),('Zwei-Pankte-Vorsprung'),('Treffpankt');
Query OK, 6 rows affected (0.00 sec)
Records: 6  Duplicates: 0  Warnings: 0

mysql>

    Executei essas consultas na tabela usando 3 abordagens diferentes

    • MATCH ... AGAINST
    • LOCATEcomo na função LOCALIZAR
    • LIKE

    Observe as diferenças

    mysql> SELECT id,meldungstext,
    -> COUNT(IF(MATCH (`meldungstext`) AGAINST ('*punkt*' IN BOOLEAN MODE),1,0)) PunktMatch,
    -> IF(LOCATE('punkt',meldungstext)>0,1,0) PunktLocate,
    -> meldungstext  LIKE '%punkt%' PunktLike
    -> FROM `artikel` GROUP BY id,meldungstext;
+----+-----------------------+------------+-------------+-----------+
| id | meldungstext          | PunktMatch | PunktLocate | PunktLike |
+----+-----------------------+------------+-------------+-----------+
|  1 | Punkten               |          1 |           1 |         1 |
|  2 | Zwei-Punkte-Vorsprung |          1 |           1 |         1 |
|  3 | Treffpunkt            |          1 |           1 |         1 |
|  4 | Pankten               |          1 |           0 |         0 |
|  5 | Zwei-Pankte-Vorsprung |          1 |           0 |         0 |
|  6 | Treffpankt            |          1 |           0 |         0 |
+----+-----------------------+------------+-------------+-----------+
6 rows in set (0.01 sec)

mysql>

    Todos os valores de PunktMatch devem ser 3 1's e 3 0's.

    Agora observe-me consultá-los normalmente

    mysql> SELECT `meldungstext` FROM `artikel`
    -> WHERE MATCH (`meldungstext`) AGAINST ('*punkt*' IN BOOLEAN MODE);
+-----------------------+
| meldungstext          |
+-----------------------+
| Zwei-Punkte-Vorsprung |
| Punkten               |
+-----------------------+
2 rows in set (0.01 sec)

mysql> SELECT `meldungstext` FROM `artikel`
    -> WHERE LOCATE('punkt',meldungstext)>0;
+-----------------------+
| meldungstext          |
+-----------------------+
| Punkten               |
| Zwei-Punkte-Vorsprung |
| Treffpunkt            |
+-----------------------+
3 rows in set (0.00 sec)

mysql> SELECT `meldungstext` FROM `artikel`
    -> WHERE `meldungstext` LIKE '%punk%';
+-----------------------+
| meldungstext          |
+-----------------------+
| Punkten               |
| Zwei-Punkte-Vorsprung |
| Treffpunkt            |
+-----------------------+
3 rows in set (0.00 sec)

mysql>

    OK usando MATCH .. AGAINST com punkt não funciona. Que tal pankt ???

    mysql> SELECT `meldungstext` FROM `artikel` WHERE `meldungstext` LIKE '%pankt%';
+-----------------------+
| meldungstext          |
+-----------------------+
| Pankten               |
| Zwei-Pankte-Vorsprung |
| Treffpankt            |
+-----------------------+
3 rows in set (0.00 sec)

mysql>

    Vamos executar minha grande GROUP BYconsulta no pankt

    mysql> SELECT id,meldungstext,
    -> COUNT(IF(MATCH (`meldungstext`) AGAINST ('*pankt*' IN BOOLEAN MODE),1,0)) PanktMatch,
    -> IF(LOCATE('pankt',meldungstext)>0,1,0) PanktLocate,
    -> meldungstext  LIKE '%pankt%' PanktLike
    -> FROM `artikel` GROUP BY id,meldungstext;
+----+-----------------------+------------+-------------+-----------+
| id | meldungstext          | PanktMatch | PanktLocate | PanktLike |
+----+-----------------------+------------+-------------+-----------+
|  1 | Punkten               |          1 |           0 |         0 |
|  2 | Zwei-Punkte-Vorsprung |          1 |           0 |         0 |
|  3 | Treffpunkt            |          1 |           0 |         0 |
|  4 | Pankten               |          1 |           1 |         1 |
|  5 | Zwei-Pankte-Vorsprung |          1 |           1 |         1 |
|  6 | Treffpankt            |          1 |           1 |         1 |
+----+-----------------------+------------+-------------+-----------+
6 rows in set (0.01 sec)

mysql>

    Isso também está errado porque eu deveria ver 3 0's e 3 1's para PanktMatch.

    eu tentei outra coisa

    mysql> SELECT id,meldungstext, MATCH (`meldungstext`) AGAINST ('+*pankt*' IN BOOLEAN MODE) PanktMatch, IF(LOCATE('pankt',meldungstext)>0,1,0) PanktLocate, meldungstext  LIKE '%pankt%' PanktLike FROM `artikel` GROUP BY id,meldungstext;
+----+-----------------------+------------+-------------+-----------+
| id | meldungstext          | PanktMatch | PanktLocate | PanktLike |
+----+-----------------------+------------+-------------+-----------+
|  1 | Punkten               |          0 |           0 |         0 |
|  2 | Zwei-Punkte-Vorsprung |          0 |           0 |         0 |
|  3 | Treffpunkt            |          0 |           0 |         0 |
|  4 | Pankten               |          1 |           1 |         1 |
|  5 | Zwei-Pankte-Vorsprung |          1 |           1 |         1 |
|  6 | Treffpankt            |          0 |           1 |         1 |
+----+-----------------------+------------+-------------+-----------+
6 rows in set (0.00 sec)

mysql>

    Adicionei um sinal de mais ao pankt e obtive resultados diferentes. O que 2 e não 3 ???

    De acordo com a documentação do MySQL , observe o que diz sobre o caractere curinga:

    *

    O asterisco serve como operador de truncamento (ou curinga). Ao contrário dos outros operadores, deve ser anexado à palavra a ser afetada. As palavras correspondem se começarem com a palavra que precede o operador *.

    Se uma palavra for especificada com o operador de truncamento, ela não será removida de uma consulta booleana, mesmo que seja muito curta (conforme determinado pela configuração ft_min_word_len) ou uma stopword. Isso ocorre porque a palavra não é vista como muito curta ou stopword, mas como um prefixo que deve estar presente no documento na forma de uma palavra que começa com o prefixo. Suponha que ft_min_word_len=4. Então, uma pesquisa por '+palavra +o*' provavelmente retornará menos linhas do que uma pesquisa por '+palavra +o':

    A consulta anterior permanece como está e requer que a palavra e o * (uma palavra que começa com o) estejam presentes no documento.

    A última consulta é transformada em +palavra (exigindo apenas que a palavra esteja presente). o é muito curto e uma palavra de parada, e qualquer uma das condições é suficiente para fazer com que seja ignorado.

    Com base nisso, o caractere curinga é aplicável ao verso dos tokens e não à frente. Diante disso, a saída deve estar correta porque 2 dos 3 tokens iniciais do punkt. Mesma história com pankt. Isso pelo menos explica por que 2 de 3 e por que menos linhas.

    • 14

relate perguntas