/ Hex Artifact Content
Login

Artifact ce6551e41ff56f30b69963577324624733bed0d1753589f06120d664d9cd45c9:


0000: 23 20 32 30 31 36 20 4a 61 6e 20 31 35 0a 23 0a  # 2016 Jan 15.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 0a 23 0a 0a 73 6f 75 72 63 65 20  *****.#..source 
0170: 5b 66 69 6c 65 20 6a 6f 69 6e 20 5b 66 69 6c 65  [file join [file
0180: 20 64 69 72 6e 61 6d 65 20 5b 69 6e 66 6f 20 73   dirname [info s
0190: 63 72 69 70 74 5d 5d 20 66 74 73 35 5f 63 6f 6d  cript]] fts5_com
01a0: 6d 6f 6e 2e 74 63 6c 5d 0a 69 66 63 61 70 61 62  mon.tcl].ifcapab
01b0: 6c 65 20 21 66 74 73 35 20 7b 20 66 69 6e 69 73  le !fts5 { finis
01c0: 68 5f 74 65 73 74 20 3b 20 72 65 74 75 72 6e 20  h_test ; return 
01d0: 7d 0a 73 65 74 20 3a 3a 74 65 73 74 70 72 65 66  }.set ::testpref
01e0: 69 78 20 66 74 73 35 74 6f 6b 31 0a 0a 0a 73 71  ix fts5tok1...sq
01f0: 6c 69 74 65 33 5f 66 74 73 35 5f 72 65 67 69 73  lite3_fts5_regis
0200: 74 65 72 5f 66 74 73 35 74 6f 6b 65 6e 69 7a 65  ter_fts5tokenize
0210: 20 64 62 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d   db..#----------
0220: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0230: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0240: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0250: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a  ---------------.
0260: 23 20 53 69 6d 70 6c 65 20 74 65 73 74 20 63 61  # Simple test ca
0270: 73 65 73 2e 20 55 73 69 6e 67 20 74 68 65 20 64  ses. Using the d
0280: 65 66 61 75 6c 74 20 28 61 73 63 69 69 29 20 74  efault (ascii) t
0290: 6f 6b 65 6e 69 7a 65 72 2e 0a 23 0a 64 6f 5f 65  okenizer..#.do_e
02a0: 78 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 30 20  xecsql_test 1.0 
02b0: 7b 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55  {.  CREATE VIRTU
02c0: 41 4c 20 54 41 42 4c 45 20 74 31 20 55 53 49 4e  AL TABLE t1 USIN
02d0: 47 20 66 74 73 35 74 6f 6b 65 6e 69 7a 65 28 61  G fts5tokenize(a
02e0: 73 63 69 69 29 3b 0a 20 20 43 52 45 41 54 45 20  scii);.  CREATE 
02f0: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 32  VIRTUAL TABLE t2
0300: 20 55 53 49 4e 47 20 66 74 73 35 74 6f 6b 65 6e   USING fts5token
0310: 69 7a 65 28 29 3b 0a 20 20 43 52 45 41 54 45 20  ize();.  CREATE 
0320: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 33  VIRTUAL TABLE t3
0330: 20 55 53 49 4e 47 20 66 74 73 35 74 6f 6b 65 6e   USING fts5token
0340: 69 7a 65 28 0a 20 20 20 20 20 20 61 73 63 69 69  ize(.      ascii
0350: 2c 20 27 73 65 70 61 72 61 74 6f 72 73 27 2c 20  , 'separators', 
0360: 27 78 79 7a 27 2c 20 74 6f 6b 65 6e 63 68 61 72  'xyz', tokenchar
0370: 73 2c 20 27 27 27 27 0a 20 20 29 3b 0a 7d 0a 0a  s, ''''.  );.}..
0380: 66 6f 72 65 61 63 68 20 7b 74 6e 20 74 62 6c 7d  foreach {tn tbl}
0390: 20 7b 31 20 74 31 20 32 20 74 32 20 33 20 74 33   {1 t1 2 t2 3 t3
03a0: 7d 20 7b 0a 20 20 64 6f 5f 65 78 65 63 73 71 6c  } {.  do_execsql
03b0: 5f 74 65 73 74 20 31 2e 24 74 6e 2e 31 20 22 53  _test 1.$tn.1 "S
03c0: 45 4c 45 43 54 20 69 6e 70 75 74 2c 20 2a 20 46  ELECT input, * F
03d0: 52 4f 4d 20 24 74 62 6c 20 28 27 6f 6e 65 20 74  ROM $tbl ('one t
03e0: 77 6f 20 74 68 72 65 65 27 29 22 20 7b 0a 20 20  wo three')" {.  
03f0: 20 20 7b 6f 6e 65 20 74 77 6f 20 74 68 72 65 65    {one two three
0400: 7d 20 6f 6e 65 20 20 20 30 20 20 33 20 30 20 0a  } one   0  3 0 .
0410: 20 20 20 20 7b 6f 6e 65 20 74 77 6f 20 74 68 72      {one two thr
0420: 65 65 7d 20 74 77 6f 20 20 20 34 20 20 37 20 31  ee} two   4  7 1
0430: 20 0a 20 20 20 20 7b 6f 6e 65 20 74 77 6f 20 74   .    {one two t
0440: 68 72 65 65 7d 20 74 68 72 65 65 20 38 20 31 33  hree} three 8 13
0450: 20 32 0a 20 20 7d 0a 0a 20 20 64 6f 5f 65 78 65   2.  }..  do_exe
0460: 63 73 71 6c 5f 74 65 73 74 20 31 2e 24 74 6e 2e  csql_test 1.$tn.
0470: 32 20 22 0a 20 20 20 20 53 45 4c 45 43 54 20 74  2 ".    SELECT t
0480: 6f 6b 65 6e 20 46 52 4f 4d 20 24 74 62 6c 20 57  oken FROM $tbl W
0490: 48 45 52 45 20 69 6e 70 75 74 20 3d 20 27 4f 6e  HERE input = 'On
04a0: 45 20 74 57 6f 20 74 48 72 45 65 27 0a 20 20 22  E tWo tHrEe'.  "
04b0: 20 7b 0a 20 20 20 20 6f 6e 65 20 74 77 6f 20 74   {.    one two t
04c0: 68 72 65 65 0a 20 20 7d 0a 7d 0a 0a 64 6f 5f 65  hree.  }.}..do_e
04d0: 78 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 34 20  xecsql_test 1.4 
04e0: 7b 0a 20 20 53 45 4c 45 43 54 20 74 6f 6b 65 6e  {.  SELECT token
04f0: 20 46 52 4f 4d 20 74 33 20 57 48 45 52 45 20 69   FROM t3 WHERE i
0500: 6e 70 75 74 20 3d 20 27 31 78 32 78 33 78 27 0a  nput = '1x2x3x'.
0510: 7d 20 7b 31 20 32 20 33 7d 0a 0a 64 6f 5f 65 78  } {1 2 3}..do_ex
0520: 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 35 20 7b  ecsql_test 1.5 {
0530: 0a 20 20 53 45 4c 45 43 54 20 74 6f 6b 65 6e 20  .  SELECT token 
0540: 46 52 4f 4d 20 74 31 20 57 48 45 52 45 20 69 6e  FROM t1 WHERE in
0550: 70 75 74 20 3d 20 27 31 78 32 78 33 78 27 0a 7d  put = '1x2x3x'.}
0560: 20 7b 31 78 32 78 33 78 7d 0a 0a 64 6f 5f 65 78   {1x2x3x}..do_ex
0570: 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 36 20 7b  ecsql_test 1.6 {
0580: 0a 20 20 53 45 4c 45 43 54 20 74 6f 6b 65 6e 20  .  SELECT token 
0590: 46 52 4f 4d 20 74 33 20 57 48 45 52 45 20 69 6e  FROM t3 WHERE in
05a0: 70 75 74 20 3d 20 27 31 27 27 32 78 33 78 27 0a  put = '1''2x3x'.
05b0: 7d 20 7b 31 27 32 20 33 7d 0a 0a 64 6f 5f 65 78  } {1'2 3}..do_ex
05c0: 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 37 20 7b  ecsql_test 1.7 {
05d0: 0a 20 20 53 45 4c 45 43 54 20 74 6f 6b 65 6e 20  .  SELECT token 
05e0: 46 52 4f 4d 20 74 33 20 57 48 45 52 45 20 69 6e  FROM t3 WHERE in
05f0: 70 75 74 20 3d 20 27 27 0a 7d 20 7b 7d 0a 0a 64  put = ''.} {}..d
0600: 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20 31  o_execsql_test 1
0610: 2e 38 20 7b 0a 20 20 53 45 4c 45 43 54 20 74 6f  .8 {.  SELECT to
0620: 6b 65 6e 20 46 52 4f 4d 20 74 33 20 57 48 45 52  ken FROM t3 WHER
0630: 45 20 69 6e 70 75 74 20 3d 20 4e 55 4c 4c 0a 7d  E input = NULL.}
0640: 20 7b 7d 0a 0a 64 6f 5f 65 78 65 63 73 71 6c 5f   {}..do_execsql_
0650: 74 65 73 74 20 31 2e 39 20 7b 0a 20 20 53 45 4c  test 1.9 {.  SEL
0660: 45 43 54 20 69 6e 70 75 74 2c 20 2a 20 46 52 4f  ECT input, * FRO
0670: 4d 20 74 33 20 57 48 45 52 45 20 69 6e 70 75 74  M t3 WHERE input
0680: 20 3d 20 31 32 33 0a 7d 20 7b 31 32 33 20 31 32   = 123.} {123 12
0690: 33 20 30 20 33 20 30 7d 0a 0a 64 6f 5f 65 78 65  3 0 3 0}..do_exe
06a0: 63 73 71 6c 5f 74 65 73 74 20 31 2e 31 30 20 7b  csql_test 1.10 {
06b0: 0a 20 20 53 45 4c 45 43 54 20 69 6e 70 75 74 2c  .  SELECT input,
06c0: 20 2a 20 46 52 4f 4d 20 74 31 20 57 48 45 52 45   * FROM t1 WHERE
06d0: 20 69 6e 70 75 74 20 3d 20 27 61 20 62 20 63 27   input = 'a b c'
06e0: 20 41 4e 44 20 74 6f 6b 65 6e 20 3d 20 27 62 27   AND token = 'b'
06f0: 3b 0a 7d 20 7b 0a 20 20 7b 61 20 62 20 63 7d 20  ;.} {.  {a b c} 
0700: 62 20 32 20 33 20 31 0a 7d 0a 0a 64 6f 5f 65 78  b 2 3 1.}..do_ex
0710: 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 31 31 20  ecsql_test 1.11 
0720: 7b 0a 20 20 53 45 4c 45 43 54 20 69 6e 70 75 74  {.  SELECT input
0730: 2c 20 2a 20 46 52 4f 4d 20 74 31 20 57 48 45 52  , * FROM t1 WHER
0740: 45 20 74 6f 6b 65 6e 20 3d 20 27 62 27 20 41 4e  E token = 'b' AN
0750: 44 20 69 6e 70 75 74 20 3d 20 27 61 20 62 20 63  D input = 'a b c
0760: 27 3b 0a 7d 20 7b 0a 20 20 7b 61 20 62 20 63 7d  ';.} {.  {a b c}
0770: 20 62 20 32 20 33 20 31 0a 7d 0a 0a 64 6f 5f 65   b 2 3 1.}..do_e
0780: 78 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 31 32  xecsql_test 1.12
0790: 20 7b 0a 20 20 53 45 4c 45 43 54 20 69 6e 70 75   {.  SELECT inpu
07a0: 74 2c 20 2a 20 46 52 4f 4d 20 74 31 20 57 48 45  t, * FROM t1 WHE
07b0: 52 45 20 69 6e 70 75 74 20 3c 20 27 62 27 20 41  RE input < 'b' A
07c0: 4e 44 20 69 6e 70 75 74 20 3d 20 27 61 20 62 20  ND input = 'a b 
07d0: 63 27 3b 0a 7d 20 7b 0a 20 20 7b 61 20 62 20 63  c';.} {.  {a b c
07e0: 7d 20 61 20 30 20 31 20 30 20 0a 20 20 7b 61 20  } a 0 1 0 .  {a 
07f0: 62 20 63 7d 20 62 20 32 20 33 20 31 20 0a 20 20  b c} b 2 3 1 .  
0800: 7b 61 20 62 20 63 7d 20 63 20 34 20 35 20 32 0a  {a b c} c 4 5 2.
0810: 7d 0a 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65  }..do_execsql_te
0820: 73 74 20 31 2e 31 33 2e 31 20 7b 0a 20 20 43 52  st 1.13.1 {.  CR
0830: 45 41 54 45 20 54 41 42 4c 45 20 63 31 28 78 29  EATE TABLE c1(x)
0840: 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20  ;.  INSERT INTO 
0850: 63 31 28 78 29 20 56 41 4c 55 45 53 28 27 61 20  c1(x) VALUES('a 
0860: 62 20 63 27 29 3b 0a 20 20 49 4e 53 45 52 54 20  b c');.  INSERT 
0870: 49 4e 54 4f 20 63 31 28 78 29 20 56 41 4c 55 45  INTO c1(x) VALUE
0880: 53 28 27 64 20 65 20 66 27 29 3b 0a 7d 0a 64 6f  S('d e f');.}.do
0890: 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20 31 2e  _execsql_test 1.
08a0: 31 33 2e 32 20 7b 0a 20 20 53 45 4c 45 43 54 20  13.2 {.  SELECT 
08b0: 63 31 2e 2a 2c 20 69 6e 70 75 74 2c 20 74 31 2e  c1.*, input, t1.
08c0: 2a 20 46 52 4f 4d 20 63 31 2c 20 74 31 20 57 48  * FROM c1, t1 WH
08d0: 45 52 45 20 69 6e 70 75 74 20 3d 20 78 20 41 4e  ERE input = x AN
08e0: 44 20 63 31 2e 72 6f 77 69 64 3d 74 31 2e 72 6f  D c1.rowid=t1.ro
08f0: 77 69 64 3b 0a 7d 20 7b 0a 20 20 7b 61 20 62 20  wid;.} {.  {a b 
0900: 63 7d 20 7b 61 20 62 20 63 7d 20 61 20 30 20 31  c} {a b c} a 0 1
0910: 20 30 20 0a 20 20 7b 64 20 65 20 66 7d 20 7b 64   0 .  {d e f} {d
0920: 20 65 20 66 7d 20 65 20 32 20 33 20 31 20 0a 7d   e f} e 2 3 1 .}
0930: 0a 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ...#------------
0940: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0950: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0960: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0970: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20  -------------.# 
0980: 45 72 72 6f 72 20 63 61 73 65 73 2e 0a 23 0a 64  Error cases..#.d
0990: 6f 5f 63 61 74 63 68 73 71 6c 5f 74 65 73 74 20  o_catchsql_test 
09a0: 32 2e 30 20 7b 0a 20 20 43 52 45 41 54 45 20 56  2.0 {.  CREATE V
09b0: 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 58 20  IRTUAL TABLE tX 
09c0: 55 53 49 4e 47 20 66 74 73 35 74 6f 6b 65 6e 69  USING fts5tokeni
09d0: 7a 65 28 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a  ze(nosuchtokeniz
09e0: 65 72 29 3b 0a 7d 20 7b 31 20 7b 76 74 61 62 6c  er);.} {1 {vtabl
09f0: 65 20 63 6f 6e 73 74 72 75 63 74 6f 72 20 66 61  e constructor fa
0a00: 69 6c 65 64 3a 20 74 58 7d 7d 0a 0a 64 6f 5f 63  iled: tX}}..do_c
0a10: 61 74 63 68 73 71 6c 5f 74 65 73 74 20 32 2e 31  atchsql_test 2.1
0a20: 20 7b 0a 20 20 43 52 45 41 54 45 20 56 49 52 54   {.  CREATE VIRT
0a30: 55 41 4c 20 54 41 42 4c 45 20 74 34 20 55 53 49  UAL TABLE t4 USI
0a40: 4e 47 20 66 74 73 35 74 6f 6b 65 6e 69 7a 65 3b  NG fts5tokenize;
0a50: 0a 20 20 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d  .  SELECT * FROM
0a60: 20 74 34 3b 0a 7d 20 7b 31 20 7b 53 51 4c 20 6c   t4;.} {1 {SQL l
0a70: 6f 67 69 63 20 65 72 72 6f 72 7d 7d 0a 0a 0a 66  ogic error}}...f
0a80: 69 6e 69 73 68 5f 74 65 73 74 0a                 inish_test.