/ Hex Artifact Content
Login

Artifact b01e3a18cdfabbff8104a96a5242a06a68a998a0:


0000: 23 20 32 30 31 34 20 4a 75 6e 65 20 31 37 0a 23  # 2014 June 17.#
0010: 0a 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69  .# The author di
0020: 73 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68  sclaims copyrigh
0030: 74 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65  t to this source
0040: 20 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65   code.  In place
0050: 20 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f   of.# a legal no
0060: 74 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20  tice, here is a 
0070: 62 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20  blessing:.#.#   
0080: 20 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64   May you do good
0090: 20 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23   and not evil..#
00a0: 20 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64      May you find
00b0: 20 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72   forgiveness for
00c0: 20 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f   yourself and fo
00d0: 72 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20  rgive others..# 
00e0: 20 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65     May you share
00f0: 20 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74   freely, never t
0100: 61 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20  aking more than 
0110: 79 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a  you give..#.#***
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 0a 23 0a 23 20 54 65 73 74 20  ******.#.# Test 
0170: 74 68 65 20 66 74 73 35 20 65 78 70 72 65 73 73  the fts5 express
0180: 69 6f 6e 20 70 61 72 73 65 72 20 64 69 72 65 63  ion parser direc
0190: 74 6c 79 20 75 73 69 6e 67 20 74 68 65 20 66 74  tly using the ft
01a0: 73 35 5f 65 78 70 72 28 29 20 53 51 4c 0a 23 20  s5_expr() SQL.# 
01b0: 74 65 73 74 20 66 75 6e 63 74 69 6f 6e 2e 0a 23  test function..#
01c0: 0a 0a 73 6f 75 72 63 65 20 5b 66 69 6c 65 20 6a  ..source [file j
01d0: 6f 69 6e 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d  oin [file dirnam
01e0: 65 20 5b 69 6e 66 6f 20 73 63 72 69 70 74 5d 5d  e [info script]]
01f0: 20 66 74 73 35 5f 63 6f 6d 6d 6f 6e 2e 74 63 6c   fts5_common.tcl
0200: 5d 0a 73 65 74 20 74 65 73 74 70 72 65 66 69 78  ].set testprefix
0210: 20 66 74 73 35 65 61 0a 0a 23 20 49 66 20 53 51   fts5ea..# If SQ
0220: 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 35  LITE_ENABLE_FTS5
0230: 20 69 73 20 64 65 66 69 6e 65 64 2c 20 6f 6d 69   is defined, omi
0240: 74 20 74 68 69 73 20 66 69 6c 65 2e 0a 69 66 63  t this file..ifc
0250: 61 70 61 62 6c 65 20 21 66 74 73 35 20 7b 0a 20  apable !fts5 {. 
0260: 20 66 69 6e 69 73 68 5f 74 65 73 74 0a 20 20 72   finish_test.  r
0270: 65 74 75 72 6e 0a 7d 0a 0a 70 72 6f 63 20 64 6f  eturn.}..proc do
0280: 5f 73 79 6e 74 61 78 5f 65 72 72 6f 72 5f 74 65  _syntax_error_te
0290: 73 74 20 7b 74 6e 20 65 78 70 72 20 65 72 72 7d  st {tn expr err}
02a0: 20 7b 0a 20 20 73 65 74 20 3a 3a 73 65 5f 65 78   {.  set ::se_ex
02b0: 70 72 20 24 65 78 70 72 0a 20 20 64 6f 5f 63 61  pr $expr.  do_ca
02c0: 74 63 68 73 71 6c 5f 74 65 73 74 20 24 74 6e 20  tchsql_test $tn 
02d0: 7b 53 45 4c 45 43 54 20 66 74 73 35 5f 65 78 70  {SELECT fts5_exp
02e0: 72 28 24 73 65 5f 65 78 70 72 29 7d 20 5b 6c 69  r($se_expr)} [li
02f0: 73 74 20 31 20 24 65 72 72 5d 0a 7d 0a 0a 70 72  st 1 $err].}..pr
0300: 6f 63 20 64 6f 5f 73 79 6e 74 61 78 5f 74 65 73  oc do_syntax_tes
0310: 74 20 7b 74 6e 20 65 78 70 72 20 72 65 73 7d 20  t {tn expr res} 
0320: 7b 0a 20 20 73 65 74 20 3a 3a 73 65 5f 65 78 70  {.  set ::se_exp
0330: 72 20 24 65 78 70 72 0a 20 20 64 6f 5f 65 78 65  r $expr.  do_exe
0340: 63 73 71 6c 5f 74 65 73 74 20 24 74 6e 20 7b 53  csql_test $tn {S
0350: 45 4c 45 43 54 20 66 74 73 35 5f 65 78 70 72 28  ELECT fts5_expr(
0360: 24 73 65 5f 65 78 70 72 29 7d 20 5b 6c 69 73 74  $se_expr)} [list
0370: 20 24 72 65 73 5d 0a 7d 0a 0a 66 6f 72 65 61 63   $res].}..foreac
0380: 68 20 7b 74 6e 20 65 78 70 72 20 72 65 73 7d 20  h {tn expr res} 
0390: 7b 0a 20 20 31 20 20 7b 61 62 63 7d 20 20 20 20  {.  1  {abc}    
03a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
03b0: 20 20 20 20 20 20 20 7b 22 61 62 63 22 7d 0a 20         {"abc"}. 
03c0: 20 32 20 20 7b 61 62 63 20 64 65 66 7d 20 20 20   2  {abc def}   
03d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
03e0: 20 20 20 20 7b 22 61 62 63 22 20 41 4e 44 20 22      {"abc" AND "
03f0: 64 65 66 22 7d 0a 20 20 33 20 20 7b 61 62 63 2a  def"}.  3  {abc*
0400: 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  }               
0410: 20 20 20 20 20 20 20 20 20 20 20 7b 22 61 62 63             {"abc
0420: 22 20 2a 7d 0a 20 20 34 20 20 7b 22 61 62 63 20  " *}.  4  {"abc 
0430: 64 65 66 20 67 68 69 22 20 2a 7d 20 20 20 20 20  def ghi" *}     
0440: 20 20 20 20 20 20 20 20 20 20 7b 22 61 62 63 22            {"abc"
0450: 20 2b 20 22 64 65 66 22 20 2b 20 22 67 68 69 22   + "def" + "ghi"
0460: 20 2a 7d 0a 20 20 35 20 20 7b 6f 6e 65 20 41 4e   *}.  5  {one AN
0470: 44 20 74 77 6f 7d 20 20 20 20 20 20 20 20 20 20  D two}          
0480: 20 20 20 20 20 20 20 20 20 7b 22 6f 6e 65 22 20           {"one" 
0490: 41 4e 44 20 22 74 77 6f 22 7d 0a 20 20 36 20 20  AND "two"}.  6  
04a0: 7b 6f 6e 65 2b 74 77 6f 7d 20 20 20 20 20 20 20  {one+two}       
04b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
04c0: 7b 22 6f 6e 65 22 20 2b 20 22 74 77 6f 22 7d 0a  {"one" + "two"}.
04d0: 20 20 37 20 20 7b 6f 6e 65 20 41 4e 44 20 74 77    7  {one AND tw
04e0: 6f 20 4f 52 20 74 68 72 65 65 7d 20 20 20 20 20  o OR three}     
04f0: 20 20 20 20 20 7b 28 22 6f 6e 65 22 20 41 4e 44       {("one" AND
0500: 20 22 74 77 6f 22 29 20 4f 52 20 22 74 68 72 65   "two") OR "thre
0510: 65 22 7d 0a 20 20 38 20 20 7b 6f 6e 65 20 4f 52  e"}.  8  {one OR
0520: 20 74 77 6f 20 41 4e 44 20 74 68 72 65 65 7d 20   two AND three} 
0530: 20 20 20 20 20 20 20 20 20 7b 22 6f 6e 65 22 20           {"one" 
0540: 4f 52 20 28 22 74 77 6f 22 20 41 4e 44 20 22 74  OR ("two" AND "t
0550: 68 72 65 65 22 29 7d 0a 20 20 39 20 20 7b 4e 45  hree")}.  9  {NE
0560: 41 52 28 6f 6e 65 20 74 77 6f 29 7d 20 20 20 20  AR(one two)}    
0570: 20 20 20 20 20 20 20 20 20 20 20 20 20 7b 4e 45               {NE
0580: 41 52 28 22 6f 6e 65 22 20 22 74 77 6f 22 2c 20  AR("one" "two", 
0590: 31 30 29 7d 0a 20 20 31 30 20 7b 4e 45 41 52 28  10)}.  10 {NEAR(
05a0: 22 6f 6e 65 20 74 68 72 65 65 22 2a 20 74 77 6f  "one three"* two
05b0: 2c 20 35 29 7d 20 20 20 20 20 7b 4e 45 41 52 28  , 5)}     {NEAR(
05c0: 22 6f 6e 65 22 20 2b 20 22 74 68 72 65 65 22 20  "one" + "three" 
05d0: 2a 20 22 74 77 6f 22 2c 20 35 29 7d 0a 20 20 31  * "two", 5)}.  1
05e0: 31 20 7b 61 20 4f 52 20 62 20 4e 4f 54 20 63 7d  1 {a OR b NOT c}
05f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0600: 20 20 7b 22 61 22 20 4f 52 20 28 22 62 22 20 4e    {"a" OR ("b" N
0610: 4f 54 20 22 63 22 29 7d 0a 20 20 31 32 20 22 5c  OT "c")}.  12 "\
0620: 78 32 30 6f 6e 65 5c 78 32 30 74 77 6f 5c 78 32  x20one\x20two\x2
0630: 30 74 68 72 65 65 22 20 20 20 20 20 20 20 7b 22  0three"       {"
0640: 6f 6e 65 22 20 41 4e 44 20 22 74 77 6f 22 20 41  one" AND "two" A
0650: 4e 44 20 22 74 68 72 65 65 22 7d 0a 20 20 31 33  ND "three"}.  13
0660: 20 22 5c 78 30 39 6f 6e 65 5c 78 30 41 74 77 6f   "\x09one\x0Atwo
0670: 5c 78 30 44 74 68 72 65 65 22 20 20 20 20 20 20  \x0Dthree"      
0680: 20 7b 22 6f 6e 65 22 20 41 4e 44 20 22 74 77 6f   {"one" AND "two
0690: 22 20 41 4e 44 20 22 74 68 72 65 65 22 7d 0a 20  " AND "three"}. 
06a0: 20 31 34 20 7b 22 61 62 63 22 22 64 65 66 22 7d   14 {"abc""def"}
06b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
06c0: 20 20 20 20 7b 22 61 62 63 22 20 2b 20 22 64 65      {"abc" + "de
06d0: 66 22 7d 0a 7d 20 7b 0a 20 20 64 6f 5f 65 78 65  f"}.} {.  do_exe
06e0: 63 73 71 6c 5f 74 65 73 74 20 31 2e 24 74 6e 20  csql_test 1.$tn 
06f0: 7b 53 45 4c 45 43 54 20 66 74 73 35 5f 65 78 70  {SELECT fts5_exp
0700: 72 28 24 65 78 70 72 29 7d 20 5b 6c 69 73 74 20  r($expr)} [list 
0710: 24 72 65 73 5d 0a 7d 0a 0a 66 6f 72 65 61 63 68  $res].}..foreach
0720: 20 7b 74 6e 20 65 78 70 72 20 72 65 73 7d 20 7b   {tn expr res} {
0730: 0a 20 20 31 20 7b 63 31 3a 61 62 63 7d 20 20 20  .  1 {c1:abc}   
0740: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0750: 20 20 20 20 20 20 20 20 0a 20 20 20 20 7b 63 31          .    {c1
0760: 20 3a 20 22 61 62 63 22 7d 0a 20 20 32 20 7b 63   : "abc"}.  2 {c
0770: 32 20 3a 20 4e 45 41 52 28 6f 6e 65 20 74 77 6f  2 : NEAR(one two
0780: 29 20 63 31 3a 22 68 65 6c 6c 6f 20 77 6f 72 6c  ) c1:"hello worl
0790: 64 22 7d 20 0a 20 20 20 20 7b 63 32 20 3a 20 4e  d"} .    {c2 : N
07a0: 45 41 52 28 22 6f 6e 65 22 20 22 74 77 6f 22 2c  EAR("one" "two",
07b0: 20 31 30 29 20 41 4e 44 20 63 31 20 3a 20 22 68   10) AND c1 : "h
07c0: 65 6c 6c 6f 22 20 2b 20 22 77 6f 72 6c 64 22 7d  ello" + "world"}
07d0: 0a 7d 20 7b 0a 20 20 64 6f 5f 65 78 65 63 73 71  .} {.  do_execsq
07e0: 6c 5f 74 65 73 74 20 32 2e 24 74 6e 20 7b 53 45  l_test 2.$tn {SE
07f0: 4c 45 43 54 20 66 74 73 35 5f 65 78 70 72 28 24  LECT fts5_expr($
0800: 65 78 70 72 2c 20 27 63 31 27 2c 20 27 63 32 27  expr, 'c1', 'c2'
0810: 29 7d 20 5b 6c 69 73 74 20 24 72 65 73 5d 0a 7d  )} [list $res].}
0820: 0a 0a 66 6f 72 65 61 63 68 20 7b 74 6e 20 65 78  ..foreach {tn ex
0830: 70 72 20 65 72 72 7d 20 7b 0a 20 20 31 20 7b 41  pr err} {.  1 {A
0840: 4e 44 7d 20 20 20 20 20 20 20 20 20 20 20 20 20  ND}             
0850: 20 20 20 20 20 20 20 20 20 20 20 20 20 7b 66 74               {ft
0860: 73 35 3a 20 73 79 6e 74 61 78 20 65 72 72 6f 72  s5: syntax error
0870: 20 6e 65 61 72 20 22 41 4e 44 22 7d 0a 20 20 32   near "AND"}.  2
0880: 20 7b 61 62 63 20 64 65 66 20 41 4e 44 7d 20 20   {abc def AND}  
0890: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08a0: 7b 66 74 73 35 3a 20 73 79 6e 74 61 78 20 65 72  {fts5: syntax er
08b0: 72 6f 72 20 6e 65 61 72 20 22 22 7d 0a 20 20 33  ror near ""}.  3
08c0: 20 7b 61 62 63 20 4f 52 20 41 4e 44 7d 20 20 20   {abc OR AND}   
08d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08e0: 7b 66 74 73 35 3a 20 73 79 6e 74 61 78 20 65 72  {fts5: syntax er
08f0: 72 6f 72 20 6e 65 61 72 20 22 41 4e 44 22 7d 0a  ror near "AND"}.
0900: 20 20 34 20 7b 28 61 20 4f 52 20 62 29 20 61 62    4 {(a OR b) ab
0910: 63 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 20  c}              
0920: 20 20 20 7b 66 74 73 35 3a 20 73 79 6e 74 61 78     {fts5: syntax
0930: 20 65 72 72 6f 72 20 6e 65 61 72 20 22 61 62 63   error near "abc
0940: 22 7d 0a 20 20 35 20 7b 4e 45 61 52 20 28 61 20  "}.  5 {NEaR (a 
0950: 62 29 7d 20 20 20 20 20 20 20 20 20 20 20 20 20  b)}             
0960: 20 20 20 20 20 20 7b 66 74 73 35 3a 20 73 79 6e        {fts5: syn
0970: 74 61 78 20 65 72 72 6f 72 20 6e 65 61 72 20 22  tax error near "
0980: 4e 45 61 52 22 7d 0a 20 20 36 20 7b 4e 45 61 20  NEaR"}.  6 {NEa 
0990: 28 61 20 62 29 7d 20 20 20 20 20 20 20 20 20 20  (a b)}          
09a0: 20 20 20 20 20 20 20 20 20 20 7b 66 74 73 35 3a            {fts5:
09b0: 20 73 79 6e 74 61 78 20 65 72 72 6f 72 20 6e 65   syntax error ne
09c0: 61 72 20 22 4e 45 61 22 7d 0a 20 20 37 20 7b 28  ar "NEa"}.  7 {(
09d0: 61 20 4f 52 20 62 29 20 4e 4f 54 20 63 29 7d 20  a OR b) NOT c)} 
09e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 7b 66 74               {ft
09f0: 73 35 3a 20 73 79 6e 74 61 78 20 65 72 72 6f 72  s5: syntax error
0a00: 20 6e 65 61 72 20 22 29 22 7d 0a 20 20 38 20 7b   near ")"}.  8 {
0a10: 6e 6f 73 75 63 68 3a 20 61 20 6e 6f 73 75 63 68  nosuch: a nosuch
0a20: 32 3a 20 62 7d 20 20 20 20 20 20 20 20 20 7b 6e  2: b}         {n
0a30: 6f 20 73 75 63 68 20 63 6f 6c 75 6d 6e 3a 20 6e  o such column: n
0a40: 6f 73 75 63 68 7d 0a 20 20 39 20 7b 61 64 64 72  osuch}.  9 {addr
0a50: 3a 20 61 20 6e 6f 73 75 63 68 32 3a 20 62 7d 20  : a nosuch2: b} 
0a60: 20 20 20 20 20 20 20 20 20 20 7b 6e 6f 20 73 75            {no su
0a70: 63 68 20 63 6f 6c 75 6d 6e 3a 20 6e 6f 73 75 63  ch column: nosuc
0a80: 68 32 7d 0a 20 20 31 30 20 7b 4e 4f 54 7d 20 20  h2}.  10 {NOT}  
0a90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0aa0: 20 20 20 20 20 20 20 20 7b 66 74 73 35 3a 20 73          {fts5: s
0ab0: 79 6e 74 61 78 20 65 72 72 6f 72 20 6e 65 61 72  yntax error near
0ac0: 20 22 4e 4f 54 22 7d 0a 20 20 31 31 20 7b 61 20   "NOT"}.  11 {a 
0ad0: 41 4e 44 20 22 61 62 63 7d 20 20 20 20 20 20 20  AND "abc}       
0ae0: 20 20 20 20 20 20 20 20 20 20 20 7b 75 6e 74 65             {unte
0af0: 72 6d 69 6e 61 74 65 64 20 73 74 72 69 6e 67 7d  rminated string}
0b00: 0a 0a 20 20 31 32 20 7b 4e 45 41 52 28 61 20 62  ..  12 {NEAR(a b
0b10: 2c 20 78 79 7a 29 7d 20 20 20 20 20 20 20 20 20  , xyz)}         
0b20: 20 20 20 20 20 7b 65 78 70 65 63 74 65 64 20 69       {expected i
0b30: 6e 74 65 67 65 72 2c 20 67 6f 74 20 22 78 79 7a  nteger, got "xyz
0b40: 22 7d 0a 20 20 31 33 20 7b 4e 45 41 52 28 61 20  "}.  13 {NEAR(a 
0b50: 62 2c 20 2f 2f 20 29 7d 20 20 20 20 20 20 20 20  b, // )}        
0b60: 20 20 20 20 20 20 7b 66 74 73 35 3a 20 73 79 6e        {fts5: syn
0b70: 74 61 78 20 65 72 72 6f 72 20 6e 65 61 72 20 22  tax error near "
0b80: 2f 22 7d 0a 20 20 31 34 20 7b 4e 45 41 52 28 61  /"}.  14 {NEAR(a
0b90: 20 62 2c 20 22 78 79 7a 22 20 29 7d 20 20 20 20   b, "xyz" )}    
0ba0: 20 20 20 20 20 20 20 7b 65 78 70 65 63 74 65 64         {expected
0bb0: 20 69 6e 74 65 67 65 72 2c 20 67 6f 74 20 22 22   integer, got ""
0bc0: 78 79 7a 22 22 7d 0a 7d 20 7b 0a 20 20 64 6f 5f  xyz""}.} {.  do_
0bd0: 63 61 74 63 68 73 71 6c 5f 74 65 73 74 20 33 2e  catchsql_test 3.
0be0: 24 74 6e 20 7b 53 45 4c 45 43 54 20 66 74 73 35  $tn {SELECT fts5
0bf0: 5f 65 78 70 72 28 24 65 78 70 72 2c 20 27 6e 61  _expr($expr, 'na
0c00: 6d 65 27 2c 20 27 61 64 64 72 27 29 7d 20 5b 6c  me', 'addr')} [l
0c10: 69 73 74 20 31 20 24 65 72 72 5d 0a 7d 0a 0a 23  ist 1 $err].}..#
0c20: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0c30: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0c40: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0c50: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0c60: 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 45 78 70 65  ---------.# Expe
0c70: 72 69 6d 65 6e 74 20 77 69 74 68 20 61 20 74 6f  riment with a to
0c80: 6b 65 6e 69 7a 65 72 20 74 68 61 74 20 63 6f 6e  kenizer that con
0c90: 73 69 64 65 72 73 20 22 20 74 6f 20 62 65 20 61  siders " to be a
0ca0: 20 74 6f 6b 65 6e 20 63 68 61 72 61 63 74 65 72   token character
0cb0: 2e 0a 23 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74  ..#.do_execsql_t
0cc0: 65 73 74 20 34 2e 30 20 7b 0a 20 20 53 45 4c 45  est 4.0 {.  SELE
0cd0: 43 54 20 66 74 73 35 5f 65 78 70 72 28 27 61 20  CT fts5_expr('a 
0ce0: 41 4e 44 20 22 22 22 22 27 2c 20 27 78 27 2c 20  AND """"', 'x', 
0cf0: 27 74 6f 6b 65 6e 69 7a 65 3d 22 75 6e 69 63 6f  'tokenize="unico
0d00: 64 65 36 31 20 74 6f 6b 65 6e 63 68 61 72 73 20  de61 tokenchars 
0d10: 27 27 22 22 27 27 22 27 29 3b 0a 7d 20 7b 7b 22  ''""''"');.} {{"
0d20: 61 22 20 41 4e 44 20 22 22 22 22 7d 7d 0a 0a 23  a" AND """"}}..#
0d30: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d40: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d50: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d60: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d70: 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 45 78 70 65  ---------.# Expe
0d80: 72 69 6d 65 6e 74 20 77 69 74 68 20 61 20 74 6f  riment with a to
0d90: 6b 65 6e 69 7a 65 72 20 74 68 61 74 20 63 6f 6e  kenizer that con
0da0: 73 69 64 65 72 73 20 22 20 74 6f 20 62 65 20 61  siders " to be a
0db0: 20 74 6f 6b 65 6e 20 63 68 61 72 61 63 74 65 72   token character
0dc0: 2e 0a 23 0a 64 6f 5f 63 61 74 63 68 73 71 6c 5f  ..#.do_catchsql_
0dd0: 74 65 73 74 20 35 2e 30 20 7b 0a 20 20 53 45 4c  test 5.0 {.  SEL
0de0: 45 43 54 20 66 74 73 35 5f 65 78 70 72 28 27 61  ECT fts5_expr('a
0df0: 62 63 20 7c 20 64 65 66 27 29 3b 0a 7d 20 7b 31  bc | def');.} {1
0e00: 20 7b 66 74 73 35 3a 20 73 79 6e 74 61 78 20 65   {fts5: syntax e
0e10: 72 72 6f 72 20 6e 65 61 72 20 22 7c 22 7d 7d 0a  rror near "|"}}.
0e20: 0a 0a 0a 66 69 6e 69 73 68 5f 74 65 73 74 0a     ...finish_test.