SQLite4
Hex Artifact Content
Not logged in

Artifact 4506e5232df80f014a6cce4003abff0ba81a3975:


0000: 23 20 32 30 30 37 20 4d 61 72 63 68 20 32 38 0a  # 2007 March 28.
0010: 23 0a 23 20 54 68 65 20 61 75 74 68 6f 72 20 64  #.# The author d
0020: 69 73 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67  isclaims copyrig
0030: 68 74 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63  ht to this sourc
0040: 65 20 63 6f 64 65 2e 0a 23 0a 23 2a 2a 2a 2a 2a  e code..#.#*****
0050: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0060: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0070: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0080: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0090: 2a 2a 2a 2a 0a 23 20 54 68 69 73 20 66 69 6c 65  ****.# This file
00a0: 20 69 6d 70 6c 65 6d 65 6e 74 73 20 72 65 67 72   implements regr
00b0: 65 73 73 69 6f 6e 20 74 65 73 74 73 20 66 6f 72  ession tests for
00c0: 20 53 51 4c 69 74 65 20 6c 69 62 72 61 72 79 2e   SQLite library.
00d0: 20 20 54 68 65 20 66 6f 63 75 73 0a 23 20 6f 66    The focus.# of
00e0: 20 74 68 69 73 20 73 63 72 69 70 74 20 69 73 20   this script is 
00f0: 74 65 73 74 69 6e 67 20 69 73 73 70 61 63 65 2f  testing isspace/
0100: 69 73 61 6c 6e 75 6d 2f 74 6f 6c 6f 77 65 72 20  isalnum/tolower 
0110: 70 72 6f 62 6c 65 6d 73 20 77 69 74 68 20 74 68  problems with th
0120: 65 0a 23 20 46 54 53 33 20 6d 6f 64 75 6c 65 2e  e.# FTS3 module.
0130: 20 20 55 6e 66 6f 72 74 75 6e 61 74 65 6c 79 2c    Unfortunately,
0140: 20 74 68 69 73 20 63 6f 64 65 20 69 73 6e 27 74   this code isn't
0150: 20 61 20 72 65 61 6c 6c 79 20 70 72 69 6e 63 69   a really princi
0160: 70 6c 65 64 20 73 65 74 0a 23 20 6f 66 20 74 65  pled set.# of te
0170: 73 74 73 2c 20 62 65 63 61 75 73 65 20 69 74 20  sts, because it 
0180: 69 73 20 69 6d 70 6f 73 73 69 62 6c 65 20 74 6f  is impossible to
0190: 20 6b 6e 6f 77 20 77 68 65 72 65 20 6e 65 77 20   know where new 
01a0: 75 73 65 73 20 6f 66 20 74 68 65 73 65 0a 23 20  uses of these.# 
01b0: 66 75 6e 63 74 69 6f 6e 73 20 6d 69 67 68 74 20  functions might 
01c0: 61 70 70 65 61 72 2e 0a 23 0a 23 20 24 49 64 3a  appear..#.# $Id:
01d0: 20 66 74 73 33 61 6c 2e 74 65 73 74 2c 76 20 31   fts3al.test,v 1
01e0: 2e 32 20 32 30 30 37 2f 31 32 2f 31 33 20 32 31  .2 2007/12/13 21
01f0: 3a 35 34 3a 31 31 20 64 72 68 20 45 78 70 20 24  :54:11 drh Exp $
0200: 0a 23 0a 0a 73 65 74 20 74 65 73 74 64 69 72 20  .#..set testdir 
0210: 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65 20 24 61  [file dirname $a
0220: 72 67 76 30 5d 0a 73 6f 75 72 63 65 20 24 74 65  rgv0].source $te
0230: 73 74 64 69 72 2f 74 65 73 74 65 72 2e 74 63 6c  stdir/tester.tcl
0240: 0a 0a 23 20 49 66 20 53 51 4c 49 54 45 34 5f 45  ..# If SQLITE4_E
0250: 4e 41 42 4c 45 5f 46 54 53 33 20 69 73 20 64 65  NABLE_FTS3 is de
0260: 66 69 6e 65 64 2c 20 6f 6d 69 74 20 74 68 69 73  fined, omit this
0270: 20 66 69 6c 65 2e 0a 69 66 63 61 70 61 62 6c 65   file..ifcapable
0280: 20 21 66 74 73 33 20 7b 0a 20 20 66 69 6e 69 73   !fts3 {.  finis
0290: 68 5f 74 65 73 74 0a 20 20 72 65 74 75 72 6e 0a  h_test.  return.
02a0: 7d 0a 0a 23 20 54 65 73 74 73 20 74 68 61 74 20  }..# Tests that 
02b0: 73 74 61 72 74 73 57 69 74 68 28 29 20 28 63 61  startsWith() (ca
02c0: 6c 6c 73 20 69 73 73 70 61 63 65 2c 20 74 6f 6c  lls isspace, tol
02d0: 6f 77 65 72 2c 20 69 73 61 6c 6e 75 6d 29 20 63  ower, isalnum) c
02e0: 61 6e 20 68 61 6e 64 6c 65 0a 23 20 68 69 2d 62  an handle.# hi-b
02f0: 69 74 20 63 68 61 72 73 2e 20 20 70 61 72 73 65  it chars.  parse
0300: 53 70 65 63 28 29 20 61 6c 73 6f 20 63 61 6c 6c  Spec() also call
0310: 73 20 69 73 61 6c 6e 75 6d 20 68 65 72 65 2e 0a  s isalnum here..
0320: 64 6f 5f 74 65 73 74 20 66 74 73 33 61 6c 2d 31  do_test fts3al-1
0330: 2e 31 20 7b 0a 20 20 65 78 65 63 73 71 6c 20 22  .1 {.  execsql "
0340: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
0350: 41 42 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74  ABLE t1 USING ft
0360: 73 33 28 63 6f 6e 74 65 6e 74 2c 20 5c 78 38 30  s3(content, \x80
0370: 29 22 0a 7d 20 7b 7d 0a 0a 23 20 41 64 64 69 74  )".} {}..# Addit
0380: 69 6f 6e 61 6c 6c 79 20 74 65 73 74 73 20 69 73  ionally tests is
0390: 73 70 61 63 65 28 29 20 63 61 6c 6c 20 69 6e 20  space() call in 
03a0: 67 65 74 54 6f 6b 65 6e 28 29 2c 20 61 6e 64 20  getToken(), and 
03b0: 69 73 61 6c 6e 75 6d 28 29 20 63 61 6c 6c 0a 23  isalnum() call.#
03c0: 20 69 6e 20 74 6f 6b 65 6e 4c 69 73 74 54 6f 49   in tokenListToI
03d0: 64 4c 69 73 74 28 29 2e 0a 64 6f 5f 74 65 73 74  dList()..do_test
03e0: 20 66 74 73 33 61 6c 2d 31 2e 32 20 7b 0a 20 20   fts3al-1.2 {.  
03f0: 63 61 74 63 68 20 7b 0a 20 20 20 20 65 78 65 63  catch {.    exec
0400: 73 71 6c 20 22 43 52 45 41 54 45 20 56 49 52 54  sql "CREATE VIRT
0410: 55 41 4c 20 54 41 42 4c 45 20 74 32 20 55 53 49  UAL TABLE t2 USI
0420: 4e 47 20 66 74 73 33 28 63 6f 6e 74 65 6e 74 2c  NG fts3(content,
0430: 20 74 6f 6b 65 6e 69 7a 65 20 5c 78 38 30 29 22   tokenize \x80)"
0440: 0a 20 20 7d 0a 20 20 73 71 6c 69 74 65 34 5f 65  .  }.  sqlite4_e
0450: 72 72 6d 73 67 20 24 44 42 0a 7d 20 22 75 6e 6b  rrmsg $DB.} "unk
0460: 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20  nown tokenizer: 
0470: 5c 78 38 30 22 0a 0a 23 20 41 64 64 69 74 69 6f  \x80"..# Additio
0480: 6e 61 6c 6c 79 20 74 65 73 74 20 66 69 6e 61 6c  nally test final
0490: 20 69 73 61 6c 6e 75 6d 28 29 20 69 6e 20 73 74   isalnum() in st
04a0: 61 72 74 73 57 69 74 68 28 29 2e 0a 64 6f 5f 74  artsWith()..do_t
04b0: 65 73 74 20 66 74 73 33 61 6c 2d 31 2e 33 20 7b  est fts3al-1.3 {
04c0: 0a 20 20 65 78 65 63 73 71 6c 20 22 43 52 45 41  .  execsql "CREA
04d0: 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45  TE VIRTUAL TABLE
04e0: 20 74 33 20 55 53 49 4e 47 20 66 74 73 33 28 63   t3 USING fts3(c
04f0: 6f 6e 74 65 6e 74 2c 20 74 6f 6b 65 6e 69 7a 65  ontent, tokenize
0500: 5c 78 38 30 29 22 0a 7d 20 7b 7d 0a 0a 23 20 54  \x80)".} {}..# T
0510: 68 65 20 73 6e 69 70 70 65 74 2d 67 65 6e 65 72  he snippet-gener
0520: 61 74 69 6f 6e 20 63 6f 64 65 20 68 61 73 20 63  ation code has c
0530: 61 6c 6c 73 20 74 6f 20 69 73 73 70 61 63 65 28  alls to isspace(
0540: 29 20 77 68 69 63 68 20 61 72 65 20 73 6f 72 74  ) which are sort
0550: 20 6f 66 0a 23 20 68 61 72 64 20 74 6f 20 67 65   of.# hard to ge
0560: 74 20 74 6f 2e 20 20 49 74 20 66 69 6e 64 73 20  t to.  It finds 
0570: 63 6f 6e 76 65 6e 69 65 6e 74 20 62 72 65 61 6b  convenient break
0580: 70 6f 69 6e 74 73 20 62 79 20 73 74 61 72 74 69  points by starti
0590: 6e 67 20 7e 34 30 0a 23 20 63 68 61 72 73 20 62  ng ~40.# chars b
05a0: 65 66 6f 72 65 20 61 6e 64 20 61 66 74 65 72 20  efore and after 
05b0: 74 68 65 20 6d 61 74 63 68 65 64 20 74 65 72 6d  the matched term
05c0: 2c 20 61 6e 64 20 73 63 61 6e 6e 69 6e 67 20 7e  , and scanning ~
05d0: 31 30 20 63 68 61 72 73 0a 23 20 61 72 6f 75 6e  10 chars.# aroun
05e0: 64 20 74 68 61 74 20 70 6f 73 69 74 69 6f 6e 20  d that position 
05f0: 66 6f 72 20 69 73 73 70 61 63 65 28 29 20 63 68  for isspace() ch
0600: 61 72 61 63 74 65 72 73 2e 20 20 54 68 65 20 6c  aracters.  The l
0610: 6f 6e 67 20 77 6f 72 64 20 77 69 74 68 0a 23 20  ong word with.# 
0620: 65 6d 62 65 64 64 65 64 20 68 69 2d 62 69 74 20  embedded hi-bit 
0630: 63 68 61 72 73 20 63 61 75 73 65 73 20 6f 6e 65  chars causes one
0640: 20 6f 66 20 74 68 65 73 65 20 69 73 73 70 61 63   of these isspac
0650: 65 28 29 20 63 61 6c 6c 73 20 74 6f 20 62 65 0a  e() calls to be.
0660: 23 20 65 78 65 72 63 69 73 65 64 2e 20 20 54 68  # exercised.  Th
0670: 65 20 76 65 72 73 69 6f 6e 20 77 69 74 68 20 61  e version with a
0680: 20 63 6f 75 70 6c 65 20 65 78 74 72 61 20 73 70   couple extra sp
0690: 61 63 65 73 20 73 68 6f 75 6c 64 20 63 61 75 73  aces should caus
06a0: 65 20 74 68 65 0a 23 20 6f 74 68 65 72 20 69 73  e the.# other is
06b0: 73 70 61 63 65 28 29 20 63 61 6c 6c 20 74 6f 20  space() call to 
06c0: 62 65 20 65 78 65 72 63 69 73 65 64 2e 20 20 5b  be exercised.  [
06d0: 42 6f 74 68 20 63 61 73 65 73 20 68 61 76 65 20  Both cases have 
06e0: 62 65 65 6e 20 74 65 73 74 65 64 0a 23 20 69 6e  been tested.# in
06f0: 20 74 68 65 20 64 65 62 75 67 67 65 72 2c 20 62   the debugger, b
0700: 75 74 20 49 27 6d 20 68 6f 70 69 6e 67 20 74 6f  ut I'm hoping to
0710: 20 63 6f 6e 74 69 6e 75 65 20 74 6f 20 63 61 74   continue to cat
0720: 63 68 20 69 74 20 69 66 20 73 69 6d 70 6c 65 0a  ch it if simple.
0730: 23 20 63 6f 6e 73 74 61 6e 74 20 63 68 61 6e 67  # constant chang
0740: 65 73 20 63 68 61 6e 67 65 20 74 68 69 6e 67 73  es change things
0750: 20 73 6c 69 67 68 74 6c 79 2e 0a 23 0a 23 20 54   slightly..#.# T
0760: 68 65 20 74 72 61 69 6c 69 6e 67 20 61 6e 64 20  he trailing and 
0770: 6c 65 61 64 69 6e 67 20 68 69 2d 62 69 74 20 63  leading hi-bit c
0780: 68 61 72 73 20 68 65 6c 70 20 77 69 74 68 20 63  hars help with c
0790: 6f 64 65 20 77 68 69 63 68 20 74 65 73 74 73 20  ode which tests 
07a0: 66 6f 72 0a 23 20 69 73 73 70 61 63 65 28 29 20  for.# isspace() 
07b0: 74 6f 20 63 6f 61 6c 65 73 63 65 20 6d 75 6c 74  to coalesce mult
07c0: 69 70 6c 65 20 73 70 61 63 65 73 2e 0a 23 0a 23  iple spaces..#.#
07d0: 20 55 50 44 41 54 45 3a 20 54 68 65 20 61 62 6f   UPDATE: The abo
07e0: 76 65 20 69 73 20 6e 6f 20 6c 6f 6e 67 65 72 20  ve is no longer 
07f0: 74 72 75 65 3b 20 74 68 65 72 65 20 69 73 20 6e  true; there is n
0800: 6f 20 73 75 63 68 20 63 6f 64 65 20 69 6e 20 66  o such code in f
0810: 74 73 33 2e 0a 23 20 42 75 74 20 6c 65 61 76 65  ts3..# But leave
0820: 20 74 68 65 20 74 65 73 74 20 69 6e 20 6a 75 73   the test in jus
0830: 74 20 74 68 65 20 73 61 6d 65 2e 0a 23 20 0a 0a  t the same..# ..
0840: 73 65 74 20 77 6f 72 64 20 22 5c 78 38 30 78 78  set word "\x80xx
0850: 78 78 78 5c 78 38 30 78 78 78 78 78 5c 78 38 30  xxx\x80xxxxx\x80
0860: 78 78 78 78 78 5c 78 38 30 78 78 78 78 78 5c 78  xxxxx\x80xxxxx\x
0870: 38 30 78 78 78 78 78 5c 78 38 30 78 78 78 78 78  80xxxxx\x80xxxxx
0880: 5c 78 38 30 22 0a 73 65 74 20 70 68 72 61 73 65  \x80".set phrase
0890: 31 20 22 24 77 6f 72 64 20 24 77 6f 72 64 20 24  1 "$word $word $
08a0: 77 6f 72 64 20 74 61 72 67 65 74 20 24 77 6f 72  word target $wor
08b0: 64 20 24 77 6f 72 64 20 24 77 6f 72 64 22 0a 73  d $word $word".s
08c0: 65 74 20 70 68 72 61 73 65 32 20 22 24 77 6f 72  et phrase2 "$wor
08d0: 64 20 24 77 6f 72 64 20 24 77 6f 72 64 20 20 20  d $word $word   
08e0: 20 74 61 72 67 65 74 20 20 20 20 24 77 6f 72 64   target    $word
08f0: 20 24 77 6f 72 64 20 24 77 6f 72 64 22 0a 0a 64   $word $word"..d
0900: 62 20 65 76 61 6c 20 7b 43 52 45 41 54 45 20 56  b eval {CREATE V
0910: 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 34 20  IRTUAL TABLE t4 
0920: 55 53 49 4e 47 20 66 74 73 33 28 63 6f 6e 74 65  USING fts3(conte
0930: 6e 74 29 7d 0a 64 62 20 65 76 61 6c 20 22 49 4e  nt)}.db eval "IN
0940: 53 45 52 54 20 49 4e 54 4f 20 74 34 20 28 63 6f  SERT INTO t4 (co
0950: 6e 74 65 6e 74 29 20 56 41 4c 55 45 53 20 28 27  ntent) VALUES ('
0960: 24 70 68 72 61 73 65 31 27 29 22 0a 64 62 20 65  $phrase1')".db e
0970: 76 61 6c 20 22 49 4e 53 45 52 54 20 49 4e 54 4f  val "INSERT INTO
0980: 20 74 34 20 28 63 6f 6e 74 65 6e 74 29 20 56 41   t4 (content) VA
0990: 4c 55 45 53 20 28 27 24 70 68 72 61 73 65 32 27  LUES ('$phrase2'
09a0: 29 22 0a 0a 64 6f 5f 74 65 73 74 20 66 74 73 33  )"..do_test fts3
09b0: 61 6c 2d 31 2e 34 20 7b 0a 20 20 65 78 65 63 73  al-1.4 {.  execs
09c0: 71 6c 20 7b 53 45 4c 45 43 54 20 72 6f 77 69 64  ql {SELECT rowid
09d0: 2c 20 6c 65 6e 67 74 68 28 73 6e 69 70 70 65 74  , length(snippet
09e0: 28 74 34 29 29 20 46 52 4f 4d 20 74 34 20 57 48  (t4)) FROM t4 WH
09f0: 45 52 45 20 74 34 20 4d 41 54 43 48 20 27 74 61  ERE t4 MATCH 'ta
0a00: 72 67 65 74 27 7d 0a 7d 20 7b 31 20 32 34 31 20  rget'}.} {1 241 
0a10: 32 20 32 34 37 7d 0a 0a 66 69 6e 69 73 68 5f 74  2 247}..finish_t
0a20: 65 73 74 0a                                      est.