/ Hex Artifact Content
Login

Artifact 6259f856604445d7b684c9b306b2efb6346834c3f50e8fc4a59a2ca6d5319ad0:


0000: 23 20 32 30 31 32 20 4d 61 72 63 68 20 32 36 0a  # 2012 March 26.
0010: 23 0a 23 20 54 68 65 20 61 75 74 68 6f 72 20 64  #.# The author d
0020: 69 73 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67  isclaims copyrig
0030: 68 74 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63  ht to this sourc
0040: 65 20 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63  e code.  In plac
0050: 65 20 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e  e of.# a legal n
0060: 6f 74 69 63 65 2c 20 68 65 72 65 20 69 73 20 61  otice, here is a
0070: 20 62 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20   blessing:.#.#  
0080: 20 20 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f    May you do goo
0090: 64 20 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a  d and not evil..
00a0: 23 20 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e  #    May you fin
00b0: 64 20 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f  d forgiveness fo
00c0: 72 20 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66  r yourself and f
00d0: 6f 72 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23  orgive others..#
00e0: 20 20 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72      May you shar
00f0: 65 20 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20  e freely, never 
0100: 74 61 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e  taking more than
0110: 20 79 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a   you give..#.#**
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 0a 23 20 54 68 69 73 20 66  *******.# This f
0170: 69 6c 65 20 69 6d 70 6c 65 6d 65 6e 74 73 20 72  ile implements r
0180: 65 67 72 65 73 73 69 6f 6e 20 74 65 73 74 73 20  egression tests 
0190: 66 6f 72 20 53 51 4c 69 74 65 20 6c 69 62 72 61  for SQLite libra
01a0: 72 79 2e 20 54 68 65 0a 23 20 66 6f 63 75 73 20  ry. The.# focus 
01b0: 6f 66 20 74 68 69 73 20 73 63 72 69 70 74 20 69  of this script i
01c0: 73 20 74 65 73 74 69 6e 67 20 74 68 65 20 46 54  s testing the FT
01d0: 53 20 27 69 6e 74 65 67 72 69 74 79 2d 63 68 65  S 'integrity-che
01e0: 63 6b 27 20 66 75 6e 63 74 69 6f 6e 2c 0a 23 20  ck' function,.# 
01f0: 75 73 65 64 20 74 6f 20 63 68 65 63 6b 20 69 66  used to check if
0200: 20 74 68 65 20 63 75 72 72 65 6e 74 20 46 54 53   the current FTS
0210: 20 69 6e 64 65 78 20 61 63 63 75 72 61 74 65 6c   index accuratel
0220: 79 20 72 65 66 6c 65 63 74 73 20 74 68 65 20 63  y reflects the c
0230: 6f 6e 74 65 6e 74 0a 23 20 6f 66 20 74 68 65 20  ontent.# of the 
0240: 74 61 62 6c 65 2e 0a 23 0a 0a 73 65 74 20 74 65  table..#..set te
0250: 73 74 64 69 72 20 5b 66 69 6c 65 20 64 69 72 6e  stdir [file dirn
0260: 61 6d 65 20 24 61 72 67 76 30 5d 0a 73 6f 75 72  ame $argv0].sour
0270: 63 65 20 24 74 65 73 74 64 69 72 2f 74 65 73 74  ce $testdir/test
0280: 65 72 2e 74 63 6c 0a 73 6f 75 72 63 65 20 24 74  er.tcl.source $t
0290: 65 73 74 64 69 72 2f 66 74 73 33 5f 63 6f 6d 6d  estdir/fts3_comm
02a0: 6f 6e 2e 74 63 6c 0a 73 65 74 20 3a 3a 74 65 73  on.tcl.set ::tes
02b0: 74 70 72 65 66 69 78 20 66 74 73 34 63 68 65 63  tprefix fts4chec
02c0: 6b 0a 0a 23 20 49 66 20 53 51 4c 49 54 45 5f 45  k..# If SQLITE_E
02d0: 4e 41 42 4c 45 5f 46 54 53 33 20 69 73 20 64 65  NABLE_FTS3 is de
02e0: 66 69 6e 65 64 2c 20 6f 6d 69 74 20 74 68 69 73  fined, omit this
02f0: 20 66 69 6c 65 2e 0a 69 66 63 61 70 61 62 6c 65   file..ifcapable
0300: 20 21 66 74 73 33 20 7b 0a 20 20 66 69 6e 69 73   !fts3 {.  finis
0310: 68 5f 74 65 73 74 0a 20 20 72 65 74 75 72 6e 0a  h_test.  return.
0320: 7d 0a 0a 23 20 52 75 6e 20 74 68 65 20 69 6e 74  }..# Run the int
0330: 65 67 72 69 74 79 2d 63 68 65 63 6b 20 6f 6e 20  egrity-check on 
0340: 46 54 53 20 74 61 62 6c 65 20 24 74 62 6c 20 75  FTS table $tbl u
0350: 73 69 6e 67 20 64 61 74 61 62 61 73 65 20 68 61  sing database ha
0360: 6e 64 6c 65 20 24 64 62 2e 20 49 66 0a 23 20 74  ndle $db. If.# t
0370: 68 65 20 69 6e 74 65 67 72 69 74 79 2d 63 68 65  he integrity-che
0380: 63 6b 20 70 61 73 73 65 73 2c 20 72 65 74 75 72  ck passes, retur
0390: 6e 20 22 6f 6b 22 2e 20 4f 74 68 65 72 77 69 73  n "ok". Otherwis
03a0: 65 2c 20 74 68 72 6f 77 20 61 6e 20 65 78 63 65  e, throw an exce
03b0: 70 74 69 6f 6e 2e 0a 23 0a 70 72 6f 63 20 66 74  ption..#.proc ft
03c0: 73 5f 69 6e 74 65 67 72 69 74 79 20 7b 64 62 20  s_integrity {db 
03d0: 74 62 6c 7d 20 7b 0a 20 20 24 64 62 20 65 76 61  tbl} {.  $db eva
03e0: 6c 20 22 49 4e 53 45 52 54 20 49 4e 54 4f 20 24  l "INSERT INTO $
03f0: 74 62 6c 20 28 24 74 62 6c 29 20 56 41 4c 55 45  tbl ($tbl) VALUE
0400: 53 28 27 69 6e 74 65 67 72 69 74 79 2d 63 68 65  S('integrity-che
0410: 63 6b 27 29 22 0a 20 20 72 65 74 75 72 6e 20 22  ck')".  return "
0420: 6f 6b 22 0a 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d  ok".}..#--------
0430: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0440: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0450: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0460: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0470: 2d 0a 23 20 54 65 73 74 20 63 61 73 65 73 20 31  -.# Test cases 1
0480: 2e 2a 0a 23 0a 23 20 20 20 31 2e 30 3a 20 42 75  .*.#.#   1.0: Bu
0490: 69 6c 64 20 61 20 72 65 61 73 6f 6e 61 62 6c 79  ild a reasonably
04a0: 20 73 69 7a 65 64 20 46 54 53 20 74 61 62 6c 65   sized FTS table
04b0: 20 28 35 30 30 30 20 72 6f 77 73 29 2e 0a 23 0a   (5000 rows)..#.
04c0: 23 20 20 20 31 2e 31 3a 20 52 75 6e 20 74 68 65  #   1.1: Run the
04d0: 20 69 6e 74 65 67 72 69 74 79 20 63 68 65 63 6b   integrity check
04e0: 20 63 6f 64 65 20 74 6f 20 63 68 65 63 6b 20 69   code to check i
04f0: 74 20 70 61 73 73 65 73 2e 0a 23 0a 23 20 20 20  t passes..#.#   
0500: 31 2e 32 3a 20 4d 61 6b 65 20 61 20 73 65 72 69  1.2: Make a seri
0510: 65 73 20 6f 66 20 6d 69 6e 6f 72 20 63 68 61 6e  es of minor chan
0520: 67 65 73 20 74 6f 20 74 68 65 20 75 6e 64 65 72  ges to the under
0530: 6c 79 69 6e 67 20 46 54 53 20 64 61 74 61 20 73  lying FTS data s
0540: 74 72 75 63 74 75 72 65 73 0a 23 20 20 20 20 20  tructures.#     
0550: 20 20 20 28 65 2e 67 2e 20 64 65 6c 65 74 65 20     (e.g. delete 
0560: 6f 72 20 69 6e 73 65 72 74 20 61 20 72 6f 77 20  or insert a row 
0570: 66 72 6f 6d 20 74 68 65 20 25 5f 63 6f 6e 74 65  from the %_conte
0580: 6e 74 20 74 61 62 6c 65 29 2e 20 43 68 65 63 6b  nt table). Check
0590: 20 74 68 61 74 0a 23 20 20 20 20 20 20 20 20 74   that.#        t
05a0: 68 69 73 20 63 61 75 73 65 73 20 74 68 65 20 69  his causes the i
05b0: 6e 74 65 67 72 69 74 79 2d 63 68 65 63 6b 20 63  ntegrity-check c
05c0: 6f 64 65 20 74 6f 20 66 61 69 6c 2e 0a 23 0a 0a  ode to fail..#..
05d0: 23 20 42 75 69 6c 64 20 61 6e 20 46 54 53 20 74  # Build an FTS t
05e0: 61 62 6c 65 20 61 6e 64 20 63 68 65 63 6b 20 74  able and check t
05f0: 68 65 20 69 6e 74 65 67 72 69 74 79 2d 63 68 65  he integrity-che
0600: 63 6b 20 70 61 73 73 65 73 2e 0a 23 0a 64 6f 5f  ck passes..#.do_
0610: 74 65 73 74 20 31 2e 30 20 7b 20 66 74 73 33 5f  test 1.0 { fts3_
0620: 62 75 69 6c 64 5f 64 62 5f 31 20 35 30 30 30 20  build_db_1 5000 
0630: 7d 20 7b 7d 0a 64 6f 5f 74 65 73 74 20 31 2e 31  } {}.do_test 1.1
0640: 20 7b 20 66 74 73 5f 69 6e 74 65 67 72 69 74 79   { fts_integrity
0650: 20 64 62 20 74 31 20 7d 20 7b 6f 6b 7d 0a 0a 23   db t1 } {ok}..#
0660: 20 4d 65 73 73 20 61 72 6f 75 6e 64 20 77 69 74   Mess around wit
0670: 68 20 74 68 65 20 75 6e 64 65 72 6c 79 69 6e 67  h the underlying
0680: 20 74 61 62 6c 65 73 2e 20 43 68 65 63 6b 20 74   tables. Check t
0690: 68 61 74 20 74 68 69 73 20 63 61 75 73 65 73 20  hat this causes 
06a0: 74 68 65 0a 23 20 69 6e 74 65 67 72 69 74 79 2d  the.# integrity-
06b0: 63 68 65 63 6b 20 74 65 73 74 20 74 6f 20 66 61  check test to fa
06c0: 69 6c 2e 0a 23 0a 66 6f 72 65 61 63 68 20 7b 74  il..#.foreach {t
06d0: 6e 20 64 69 73 72 75 70 74 69 6f 6e 7d 20 7b 0a  n disruption} {.
06e0: 20 20 31 20 7b 0a 20 20 20 20 49 4e 53 45 52 54    1 {.    INSERT
06f0: 20 49 4e 54 4f 20 74 31 5f 63 6f 6e 74 65 6e 74   INTO t1_content
0700: 28 64 6f 63 69 64 2c 20 63 30 78 2c 20 63 31 79  (docid, c0x, c1y
0710: 29 20 56 41 4c 55 45 53 28 4e 55 4c 4c 2c 20 27  ) VALUES(NULL, '
0720: 61 27 2c 20 27 62 27 29 3b 0a 20 20 7d 0a 20 20  a', 'b');.  }.  
0730: 32 20 7b 0a 20 20 20 20 44 45 4c 45 54 45 20 46  2 {.    DELETE F
0740: 52 4f 4d 20 74 31 5f 63 6f 6e 74 65 6e 74 20 57  ROM t1_content W
0750: 48 45 52 45 20 64 6f 63 69 64 20 3d 20 28 53 45  HERE docid = (SE
0760: 4c 45 43 54 20 6d 61 78 28 64 6f 63 69 64 29 20  LECT max(docid) 
0770: 46 52 4f 4d 20 74 31 5f 63 6f 6e 74 65 6e 74 29  FROM t1_content)
0780: 3b 0a 20 20 7d 0a 20 20 33 20 7b 0a 20 20 20 20  ;.  }.  3 {.    
0790: 44 45 4c 45 54 45 20 46 52 4f 4d 20 74 31 5f 73  DELETE FROM t1_s
07a0: 65 67 64 69 72 20 57 48 45 52 45 20 6c 65 76 65  egdir WHERE leve
07b0: 6c 3d 30 20 41 4e 44 20 69 64 78 3d 28 0a 20 20  l=0 AND idx=(.  
07c0: 20 20 20 20 53 45 4c 45 43 54 20 6d 61 78 28 69      SELECT max(i
07d0: 64 78 29 20 46 52 4f 4d 20 74 31 5f 73 65 67 64  dx) FROM t1_segd
07e0: 69 72 20 57 48 45 52 45 20 6c 65 76 65 6c 3d 30  ir WHERE level=0
07f0: 0a 20 20 20 20 29 3b 0a 20 20 7d 0a 7d 20 7b 0a  .    );.  }.} {.
0800: 20 20 73 71 6c 69 74 65 33 5f 64 62 5f 63 6f 6e    sqlite3_db_con
0810: 66 69 67 20 64 62 20 44 45 46 45 4e 53 49 56 45  fig db DEFENSIVE
0820: 20 30 0a 20 20 64 6f 5f 65 78 65 63 73 71 6c 5f   0.  do_execsql_
0830: 74 65 73 74 20 20 31 2e 32 2e 31 2e 24 74 6e 20  test  1.2.1.$tn 
0840: 22 42 45 47 49 4e 3b 20 24 64 69 73 72 75 70 74  "BEGIN; $disrupt
0850: 69 6f 6e 22 0a 20 20 64 6f 5f 63 61 74 63 68 73  ion".  do_catchs
0860: 71 6c 5f 74 65 73 74 20 31 2e 32 2e 32 2e 24 74  ql_test 1.2.2.$t
0870: 6e 20 7b 0a 20 20 20 20 49 4e 53 45 52 54 20 49  n {.    INSERT I
0880: 4e 54 4f 20 74 31 20 28 74 31 29 20 56 41 4c 55  NTO t1 (t1) VALU
0890: 45 53 28 27 69 6e 74 65 67 72 69 74 79 2d 63 68  ES('integrity-ch
08a0: 65 63 6b 27 29 0a 20 20 7d 20 7b 31 20 7b 64 61  eck').  } {1 {da
08b0: 74 61 62 61 73 65 20 64 69 73 6b 20 69 6d 61 67  tabase disk imag
08c0: 65 20 69 73 20 6d 61 6c 66 6f 72 6d 65 64 7d 7d  e is malformed}}
08d0: 0a 20 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65  .  do_execsql_te
08e0: 73 74 20 20 31 2e 32 2e 33 2e 24 74 6e 20 22 52  st  1.2.3.$tn "R
08f0: 4f 4c 4c 42 41 43 4b 22 0a 7d 0a 0a 64 6f 5f 74  OLLBACK".}..do_t
0900: 65 73 74 20 31 2e 33 20 7b 20 66 74 73 5f 69 6e  est 1.3 { fts_in
0910: 74 65 67 72 69 74 79 20 64 62 20 74 31 20 7d 20  tegrity db t1 } 
0920: 7b 6f 6b 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d  {ok}..#---------
0930: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0940: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0950: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0960: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0970: 0a 23 20 54 65 73 74 20 63 61 73 65 73 20 32 2e  .# Test cases 2.
0980: 2a 0a 23 0a 23 20 20 20 32 2e 30 3a 20 42 75 69  *.#.#   2.0: Bui
0990: 6c 64 20 61 20 72 65 61 73 6f 6e 61 62 6c 79 20  ld a reasonably 
09a0: 73 69 7a 65 64 20 46 54 53 20 74 61 62 6c 65 20  sized FTS table 
09b0: 28 32 30 30 30 30 20 72 6f 77 73 29 20 74 68 61  (20000 rows) tha
09c0: 74 20 69 6e 63 6c 75 64 65 73 0a 23 20 20 20 20  t includes.#    
09d0: 20 20 20 20 70 72 65 66 69 78 20 69 6e 64 65 78      prefix index
09e0: 65 73 2e 0a 23 0a 23 20 20 20 32 2e 31 3a 20 52  es..#.#   2.1: R
09f0: 75 6e 20 74 68 65 20 69 6e 74 65 67 72 69 74 79  un the integrity
0a00: 20 63 68 65 63 6b 20 63 6f 64 65 20 74 6f 20 63   check code to c
0a10: 68 65 63 6b 20 69 74 20 70 61 73 73 65 73 2e 0a  heck it passes..
0a20: 23 0a 23 20 20 20 32 2e 32 3a 20 4d 61 6b 65 20  #.#   2.2: Make 
0a30: 61 20 73 65 72 69 65 73 20 6f 66 20 6d 69 6e 6f  a series of mino
0a40: 72 20 63 68 61 6e 67 65 73 20 74 6f 20 74 68 65  r changes to the
0a50: 20 75 6e 64 65 72 6c 79 69 6e 67 20 46 54 53 20   underlying FTS 
0a60: 64 61 74 61 20 73 74 72 75 63 74 75 72 65 73 0a  data structures.
0a70: 23 20 20 20 20 20 20 20 20 28 65 2e 67 2e 20 64  #        (e.g. d
0a80: 65 6c 65 74 65 20 6f 72 20 69 6e 73 65 72 74 20  elete or insert 
0a90: 61 20 72 6f 77 20 66 72 6f 6d 20 74 68 65 20 25  a row from the %
0aa0: 5f 63 6f 6e 74 65 6e 74 20 74 61 62 6c 65 29 2e  _content table).
0ab0: 20 43 68 65 63 6b 20 74 68 61 74 0a 23 20 20 20   Check that.#   
0ac0: 20 20 20 20 20 74 68 69 73 20 63 61 75 73 65 73       this causes
0ad0: 20 74 68 65 20 69 6e 74 65 67 72 69 74 79 2d 63   the integrity-c
0ae0: 68 65 63 6b 20 63 6f 64 65 20 74 6f 20 66 61 69  heck code to fai
0af0: 6c 2e 0a 23 0a 0a 64 6f 5f 74 65 73 74 20 32 2e  l..#..do_test 2.
0b00: 30 20 7b 20 66 74 73 33 5f 62 75 69 6c 64 5f 64  0 { fts3_build_d
0b10: 62 5f 32 20 2d 65 78 74 72 61 20 7b 70 72 65 66  b_2 -extra {pref
0b20: 69 78 3d 22 33 2c 31 22 7d 20 32 30 30 30 30 20  ix="3,1"} 20000 
0b30: 7d 20 7b 7d 0a 64 6f 5f 74 65 73 74 20 32 2e 31  } {}.do_test 2.1
0b40: 20 7b 20 66 74 73 5f 69 6e 74 65 67 72 69 74 79   { fts_integrity
0b50: 20 64 62 20 74 32 20 7d 20 7b 6f 6b 7d 0a 66 6f   db t2 } {ok}.fo
0b60: 72 65 61 63 68 20 7b 74 6e 20 64 69 73 72 75 70  reach {tn disrup
0b70: 74 69 6f 6e 7d 20 7b 0a 20 20 31 20 7b 0a 20 20  tion} {.  1 {.  
0b80: 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 32    INSERT INTO t2
0b90: 5f 63 6f 6e 74 65 6e 74 20 56 41 4c 55 45 53 28  _content VALUES(
0ba0: 4e 55 4c 4c 2c 20 27 78 79 7a 27 29 0a 20 20 7d  NULL, 'xyz').  }
0bb0: 0a 20 20 33 20 7b 0a 20 20 20 20 44 45 4c 45 54  .  3 {.    DELET
0bc0: 45 20 46 52 4f 4d 20 74 32 5f 73 65 67 64 69 72  E FROM t2_segdir
0bd0: 20 57 48 45 52 45 20 6c 65 76 65 6c 3d 30 20 41   WHERE level=0 A
0be0: 4e 44 20 69 64 78 3d 28 0a 20 20 20 20 20 20 53  ND idx=(.      S
0bf0: 45 4c 45 43 54 20 6d 61 78 28 69 64 78 29 20 46  ELECT max(idx) F
0c00: 52 4f 4d 20 74 32 5f 73 65 67 64 69 72 20 57 48  ROM t2_segdir WH
0c10: 45 52 45 20 6c 65 76 65 6c 3d 31 30 32 34 0a 20  ERE level=1024. 
0c20: 20 20 20 29 3b 0a 20 20 7d 0a 7d 20 7b 0a 20 20     );.  }.} {.  
0c30: 73 71 6c 69 74 65 33 5f 64 62 5f 63 6f 6e 66 69  sqlite3_db_confi
0c40: 67 20 64 62 20 44 45 46 45 4e 53 49 56 45 20 30  g db DEFENSIVE 0
0c50: 0a 20 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65  .  do_execsql_te
0c60: 73 74 20 20 32 2e 32 2e 31 2e 24 74 6e 20 22 42  st  2.2.1.$tn "B
0c70: 45 47 49 4e 3b 20 24 64 69 73 72 75 70 74 69 6f  EGIN; $disruptio
0c80: 6e 22 0a 20 20 64 6f 5f 63 61 74 63 68 73 71 6c  n".  do_catchsql
0c90: 5f 74 65 73 74 20 32 2e 32 2e 32 2e 24 74 6e 20  _test 2.2.2.$tn 
0ca0: 7b 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e 54  {.    INSERT INT
0cb0: 4f 20 74 32 20 28 74 32 29 20 56 41 4c 55 45 53  O t2 (t2) VALUES
0cc0: 28 27 69 6e 74 65 67 72 69 74 79 2d 63 68 65 63  ('integrity-chec
0cd0: 6b 27 29 0a 20 20 7d 20 7b 31 20 7b 64 61 74 61  k').  } {1 {data
0ce0: 62 61 73 65 20 64 69 73 6b 20 69 6d 61 67 65 20  base disk image 
0cf0: 69 73 20 6d 61 6c 66 6f 72 6d 65 64 7d 7d 0a 20  is malformed}}. 
0d00: 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74   do_execsql_test
0d10: 20 20 32 2e 32 2e 33 2e 24 74 6e 20 22 52 4f 4c    2.2.3.$tn "ROL
0d20: 4c 42 41 43 4b 22 0a 7d 0a 0a 0a 23 2d 2d 2d 2d  LBACK".}...#----
0d30: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d40: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d50: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d60: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0d70: 2d 2d 2d 2d 2d 0a 23 20 54 65 73 74 20 63 61 73  -----.# Test cas
0d80: 65 73 20 33 2e 2a 0a 23 0a 23 20 20 20 33 2e 30  es 3.*.#.#   3.0
0d90: 3a 20 42 75 69 6c 64 20 61 20 72 65 61 73 6f 6e  : Build a reason
0da0: 61 62 6c 79 20 73 69 7a 65 64 20 46 54 53 20 74  ably sized FTS t
0db0: 61 62 6c 65 20 28 35 30 30 30 20 72 6f 77 73 29  able (5000 rows)
0dc0: 20 74 68 61 74 20 69 6e 63 6c 75 64 65 73 0a 23   that includes.#
0dd0: 20 20 20 20 20 20 20 20 70 72 65 66 69 78 20 69          prefix i
0de0: 6e 64 65 78 65 73 20 61 6e 64 20 75 73 65 73 20  ndexes and uses 
0df0: 74 68 65 20 6c 61 6e 67 75 61 67 65 69 64 3d 20  the languageid= 
0e00: 66 65 61 74 75 72 65 2e 0a 23 0a 23 20 20 20 33  feature..#.#   3
0e10: 2e 31 3a 20 52 75 6e 20 74 68 65 20 69 6e 74 65  .1: Run the inte
0e20: 67 72 69 74 79 20 63 68 65 63 6b 20 63 6f 64 65  grity check code
0e30: 20 74 6f 20 63 68 65 63 6b 20 69 74 20 70 61 73   to check it pas
0e40: 73 65 73 2e 0a 23 0a 23 20 20 20 33 2e 32 3a 20  ses..#.#   3.2: 
0e50: 4d 61 6b 65 20 61 20 73 65 72 69 65 73 20 6f 66  Make a series of
0e60: 20 6d 69 6e 6f 72 20 63 68 61 6e 67 65 73 20 74   minor changes t
0e70: 6f 20 74 68 65 20 75 6e 64 65 72 6c 79 69 6e 67  o the underlying
0e80: 20 46 54 53 20 64 61 74 61 20 73 74 72 75 63 74   FTS data struct
0e90: 75 72 65 73 0a 23 20 20 20 20 20 20 20 20 28 65  ures.#        (e
0ea0: 2e 67 2e 20 64 65 6c 65 74 65 20 6f 72 20 69 6e  .g. delete or in
0eb0: 73 65 72 74 20 61 20 72 6f 77 20 66 72 6f 6d 20  sert a row from 
0ec0: 74 68 65 20 25 5f 63 6f 6e 74 65 6e 74 20 74 61  the %_content ta
0ed0: 62 6c 65 29 2e 20 43 68 65 63 6b 20 74 68 61 74  ble). Check that
0ee0: 0a 23 20 20 20 20 20 20 20 20 74 68 69 73 20 63  .#        this c
0ef0: 61 75 73 65 73 20 74 68 65 20 69 6e 74 65 67 72  auses the integr
0f00: 69 74 79 2d 63 68 65 63 6b 20 63 6f 64 65 20 74  ity-check code t
0f10: 6f 20 66 61 69 6c 2e 0a 23 0a 64 6f 5f 74 65 73  o fail..#.do_tes
0f20: 74 20 33 2e 30 20 7b 0a 20 20 72 65 73 65 74 5f  t 3.0 {.  reset_
0f30: 64 62 0a 20 20 66 74 73 33 5f 62 75 69 6c 64 5f  db.  fts3_build_
0f40: 64 62 5f 31 20 35 30 30 30 0a 20 20 65 78 65 63  db_1 5000.  exec
0f50: 73 71 6c 20 7b 0a 20 20 20 20 43 52 45 41 54 45  sql {.    CREATE
0f60: 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74   VIRTUAL TABLE t
0f70: 33 20 55 53 49 4e 47 20 66 74 73 34 28 78 2c 20  3 USING fts4(x, 
0f80: 79 2c 20 70 72 65 66 69 78 3d 22 32 2c 33 22 2c  y, prefix="2,3",
0f90: 20 6c 61 6e 67 75 61 67 65 69 64 3d 6c 61 6e 67   languageid=lang
0fa0: 69 64 29 3b 0a 20 20 7d 0a 20 20 66 6f 72 65 61  id);.  }.  forea
0fb0: 63 68 20 64 6f 63 69 64 20 5b 65 78 65 63 73 71  ch docid [execsq
0fc0: 6c 20 7b 53 45 4c 45 43 54 20 64 6f 63 69 64 20  l {SELECT docid 
0fd0: 46 52 4f 4d 20 74 31 20 4f 52 44 45 52 20 42 59  FROM t1 ORDER BY
0fe0: 20 31 20 41 53 43 7d 5d 20 7b 0a 20 20 20 20 65   1 ASC}] {.    e
0ff0: 78 65 63 73 71 6c 20 7b 0a 20 20 20 20 20 20 49  xecsql {.      I
1000: 4e 53 45 52 54 20 49 4e 54 4f 20 74 33 28 78 2c  NSERT INTO t3(x,
1010: 20 79 2c 20 6c 61 6e 67 69 64 29 20 0a 20 20 20   y, langid) .   
1020: 20 20 20 53 45 4c 45 43 54 20 78 2c 20 79 2c 20     SELECT x, y, 
1030: 28 64 6f 63 69 64 25 39 29 2a 34 20 46 52 4f 4d  (docid%9)*4 FROM
1040: 20 74 31 20 57 48 45 52 45 20 64 6f 63 69 64 3d   t1 WHERE docid=
1050: 24 64 6f 63 69 64 3b 0a 20 20 20 20 7d 0a 20 20  $docid;.    }.  
1060: 7d 0a 7d 20 7b 7d 0a 64 6f 5f 74 65 73 74 20 33  }.} {}.do_test 3
1070: 2e 31 20 7b 20 66 74 73 5f 69 6e 74 65 67 72 69  .1 { fts_integri
1080: 74 79 20 64 62 20 74 33 20 7d 20 7b 6f 6b 7d 0a  ty db t3 } {ok}.
1090: 0a 66 6f 72 65 61 63 68 20 7b 74 6e 20 64 69 73  .foreach {tn dis
10a0: 72 75 70 74 69 6f 6e 7d 20 7b 0a 20 20 31 20 7b  ruption} {.  1 {
10b0: 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e 54 4f  .    INSERT INTO
10c0: 20 74 33 5f 63 6f 6e 74 65 6e 74 28 63 30 78 2c   t3_content(c0x,
10d0: 20 63 31 79 2c 20 6c 61 6e 67 69 64 29 20 56 41   c1y, langid) VA
10e0: 4c 55 45 53 28 4e 55 4c 4c 2c 20 27 61 27 2c 20  LUES(NULL, 'a', 
10f0: 30 29 3b 0a 20 20 7d 0a 20 20 32 20 7b 0a 20 20  0);.  }.  2 {.  
1100: 20 20 55 50 44 41 54 45 20 74 33 5f 63 6f 6e 74    UPDATE t3_cont
1110: 65 6e 74 20 53 45 54 20 6c 61 6e 67 69 64 3d 6c  ent SET langid=l
1120: 61 6e 67 69 64 2b 31 20 57 48 45 52 45 20 72 6f  angid+1 WHERE ro
1130: 77 69 64 20 3d 20 28 0a 20 20 20 20 20 20 53 45  wid = (.      SE
1140: 4c 45 43 54 20 6d 61 78 28 72 6f 77 69 64 29 20  LECT max(rowid) 
1150: 46 52 4f 4d 20 74 33 5f 63 6f 6e 74 65 6e 74 0a  FROM t3_content.
1160: 20 20 20 20 29 0a 20 20 7d 0a 7d 20 7b 0a 20 20      ).  }.} {.  
1170: 73 71 6c 69 74 65 33 5f 64 62 5f 63 6f 6e 66 69  sqlite3_db_confi
1180: 67 20 64 62 20 44 45 46 45 4e 53 49 56 45 20 30  g db DEFENSIVE 0
1190: 0a 20 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65  .  do_execsql_te
11a0: 73 74 20 20 33 2e 32 2e 31 2e 24 74 6e 20 22 42  st  3.2.1.$tn "B
11b0: 45 47 49 4e 3b 20 24 64 69 73 72 75 70 74 69 6f  EGIN; $disruptio
11c0: 6e 22 0a 20 20 64 6f 5f 63 61 74 63 68 73 71 6c  n".  do_catchsql
11d0: 5f 74 65 73 74 20 33 2e 32 2e 32 2e 24 74 6e 20  _test 3.2.2.$tn 
11e0: 7b 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e 54  {.    INSERT INT
11f0: 4f 20 74 33 20 28 74 33 29 20 56 41 4c 55 45 53  O t3 (t3) VALUES
1200: 28 27 69 6e 74 65 67 72 69 74 79 2d 63 68 65 63  ('integrity-chec
1210: 6b 27 29 0a 20 20 7d 20 7b 31 20 7b 64 61 74 61  k').  } {1 {data
1220: 62 61 73 65 20 64 69 73 6b 20 69 6d 61 67 65 20  base disk image 
1230: 69 73 20 6d 61 6c 66 6f 72 6d 65 64 7d 7d 0a 20  is malformed}}. 
1240: 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74   do_execsql_test
1250: 20 20 33 2e 32 2e 33 2e 24 74 6e 20 22 52 4f 4c    3.2.3.$tn "ROL
1260: 4c 42 41 43 4b 22 0a 7d 0a 0a 23 2d 2d 2d 2d 2d  LBACK".}..#-----
1270: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1280: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1290: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
12a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
12b0: 2d 2d 2d 2d 2d 0a 23 20 54 65 73 74 20 63 61 73  -----.# Test cas
12c0: 65 20 34 2e 2a 0a 23 0a 23 20 54 65 73 74 20 74  e 4.*.#.# Test t
12d0: 68 61 74 20 74 68 65 20 69 6e 74 65 67 72 69 74  hat the integrit
12e0: 79 2d 63 68 65 63 6b 20 77 6f 72 6b 73 20 69 66  y-check works if
12f0: 20 74 68 65 72 65 20 61 72 65 20 22 6e 6f 74 69   there are "noti
1300: 6e 64 65 78 65 64 22 20 63 6f 6c 75 6d 6e 73 2e  ndexed" columns.
1310: 0a 23 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65  .#.do_execsql_te
1320: 73 74 20 34 2e 30 20 7b 0a 20 20 43 52 45 41 54  st 4.0 {.  CREAT
1330: 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20  E VIRTUAL TABLE 
1340: 74 34 20 55 53 49 4e 47 20 66 74 73 34 28 61 2c  t4 USING fts4(a,
1350: 20 62 2c 20 63 2c 20 6e 6f 74 69 6e 64 65 78 65   b, c, notindexe
1360: 64 3d 62 29 3b 0a 20 20 49 4e 53 45 52 54 20 49  d=b);.  INSERT I
1370: 4e 54 4f 20 74 34 20 56 41 4c 55 45 53 28 27 74  NTO t4 VALUES('t
1380: 65 78 74 20 6f 6e 65 27 2c 20 27 74 65 78 74 20  ext one', 'text 
1390: 74 77 6f 27 2c 20 27 74 65 78 74 20 74 68 72 65  two', 'text thre
13a0: 65 27 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e  e');.  INSERT IN
13b0: 54 4f 20 74 34 28 74 34 29 20 56 41 4c 55 45 53  TO t4(t4) VALUES
13c0: 28 27 69 6e 74 65 67 72 69 74 79 2d 63 68 65 63  ('integrity-chec
13d0: 6b 27 29 3b 0a 7d 0a 0a 73 71 6c 69 74 65 33 5f  k');.}..sqlite3_
13e0: 64 62 5f 63 6f 6e 66 69 67 20 64 62 20 44 45 46  db_config db DEF
13f0: 45 4e 53 49 56 45 20 30 0a 64 6f 5f 65 78 65 63  ENSIVE 0.do_exec
1400: 73 71 6c 5f 74 65 73 74 20 34 2e 31 20 7b 0a 20  sql_test 4.1 {. 
1410: 20 50 52 41 47 4d 41 20 77 72 69 74 61 62 6c 65   PRAGMA writable
1420: 5f 73 63 68 65 6d 61 20 3d 20 31 3b 0a 20 20 55  _schema = 1;.  U
1430: 50 44 41 54 45 20 73 71 6c 69 74 65 5f 6d 61 73  PDATE sqlite_mas
1440: 74 65 72 20 0a 20 20 20 20 53 45 54 20 73 71 6c  ter .    SET sql
1450: 20 3d 20 27 43 52 45 41 54 45 20 56 49 52 54 55   = 'CREATE VIRTU
1460: 41 4c 20 54 41 42 4c 45 20 74 34 20 55 53 49 4e  AL TABLE t4 USIN
1470: 47 20 66 74 73 34 28 61 2c 20 62 2c 20 63 29 27  G fts4(a, b, c)'
1480: 20 0a 20 20 20 20 57 48 45 52 45 20 6e 61 6d 65   .    WHERE name
1490: 20 3d 20 27 74 34 27 3b 0a 7d 0a 0a 64 6f 5f 74   = 't4';.}..do_t
14a0: 65 73 74 20 34 2e 32 20 7b 0a 20 20 64 62 20 63  est 4.2 {.  db c
14b0: 6c 6f 73 65 0a 20 20 73 71 6c 69 74 65 33 20 64  lose.  sqlite3 d
14c0: 62 20 74 65 73 74 2e 64 62 0a 20 20 63 61 74 63  b test.db.  catc
14d0: 68 73 71 6c 20 7b 0a 20 20 20 20 49 4e 53 45 52  hsql {.    INSER
14e0: 54 20 49 4e 54 4f 20 74 34 28 74 34 29 20 56 41  T INTO t4(t4) VA
14f0: 4c 55 45 53 28 27 69 6e 74 65 67 72 69 74 79 2d  LUES('integrity-
1500: 63 68 65 63 6b 27 29 3b 0a 20 20 7d 0a 7d 20 7b  check');.  }.} {
1510: 31 20 7b 64 61 74 61 62 61 73 65 20 64 69 73 6b  1 {database disk
1520: 20 69 6d 61 67 65 20 69 73 20 6d 61 6c 66 6f 72   image is malfor
1530: 6d 65 64 7d 7d 0a 72 65 73 65 74 5f 64 62 0a 0a  med}}.reset_db..
1540: 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  #---------------
1550: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1560: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1570: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1580: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 54 65  -----------.# Te
1590: 73 74 20 63 61 73 65 20 35 2e 2a 0a 23 0a 23 20  st case 5.*.#.# 
15a0: 54 65 73 74 20 74 68 61 74 20 74 68 65 20 69 6e  Test that the in
15b0: 74 65 67 72 69 74 79 2d 63 68 65 63 6b 20 77 6f  tegrity-check wo
15c0: 72 6b 73 20 69 66 20 74 68 65 72 65 20 69 73 20  rks if there is 
15d0: 75 6e 63 6f 6d 6d 69 74 74 65 64 20 64 61 74 61  uncommitted data
15e0: 2e 0a 23 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74  ..#.do_execsql_t
15f0: 65 73 74 20 35 2e 30 20 7b 0a 20 20 42 45 47 49  est 5.0 {.  BEGI
1600: 4e 3b 0a 20 20 43 52 45 41 54 45 20 56 49 52 54  N;.  CREATE VIRT
1610: 55 41 4c 20 54 41 42 4c 45 20 74 35 20 55 53 49  UAL TABLE t5 USI
1620: 4e 47 20 66 74 73 34 28 61 2c 20 70 72 65 66 69  NG fts4(a, prefi
1630: 78 3d 22 31 2c 32 2c 33 22 29 3b 0a 20 20 49 4e  x="1,2,3");.  IN
1640: 53 45 52 54 20 49 4e 54 4f 20 74 35 20 56 41 4c  SERT INTO t5 VAL
1650: 55 45 53 28 27 41 6e 64 20 64 6f 77 6e 20 62 79  UES('And down by
1660: 20 4b 6f 73 69 6f 73 6b 6f 2c 20 77 68 65 72 65   Kosiosko, where
1670: 20 74 68 65 20 72 65 65 64 2d 62 61 6e 6b 73 20   the reed-banks 
1680: 73 77 65 65 70 27 29 3b 0a 20 20 49 4e 53 45 52  sweep');.  INSER
1690: 54 20 49 4e 54 4f 20 74 35 20 56 41 4c 55 45 53  T INTO t5 VALUES
16a0: 28 27 61 6e 64 20 73 77 61 79 2c 20 61 6e 64 20  ('and sway, and 
16b0: 74 68 65 20 72 6f 6c 6c 69 6e 67 20 70 6c 61 69  the rolling plai
16c0: 6e 73 20 61 72 65 20 77 69 64 65 2c 20 74 68 65  ns are wide, the
16d0: 27 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54  ');.  INSERT INT
16e0: 4f 20 74 35 20 56 41 4c 55 45 53 28 27 6d 61 6e  O t5 VALUES('man
16f0: 20 66 72 6f 6d 20 73 6e 6f 77 79 20 72 69 76 65   from snowy rive
1700: 72 20 69 73 20 61 20 68 6f 75 73 65 68 6f 6c 64  r is a household
1710: 20 6e 61 6d 65 20 74 6f 64 61 79 2c 27 29 3b 0a   name today,');.
1720: 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 35    INSERT INTO t5
1730: 20 56 41 4c 55 45 53 28 27 61 6e 64 20 74 68 65   VALUES('and the
1740: 20 73 74 6f 63 6b 6d 65 6e 20 74 65 6c 6c 20 74   stockmen tell t
1750: 68 65 20 73 74 6f 72 79 20 6f 66 20 68 69 73 20  he story of his 
1760: 72 69 64 65 27 29 3b 0a 7d 0a 0a 64 6f 5f 65 78  ride');.}..do_ex
1770: 65 63 73 71 6c 5f 74 65 73 74 20 35 2e 31 20 7b  ecsql_test 5.1 {
1780: 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74  .  INSERT INTO t
1790: 35 28 74 35 29 20 56 41 4c 55 45 53 28 27 69 6e  5(t5) VALUES('in
17a0: 74 65 67 72 69 74 79 2d 63 68 65 63 6b 27 29 3b  tegrity-check');
17b0: 0a 7d 20 7b 7d 0a 0a 73 71 6c 69 74 65 33 5f 64  .} {}..sqlite3_d
17c0: 62 5f 63 6f 6e 66 69 67 20 64 62 20 44 45 46 45  b_config db DEFE
17d0: 4e 53 49 56 45 20 30 0a 64 6f 5f 63 61 74 63 68  NSIVE 0.do_catch
17e0: 73 71 6c 5f 74 65 73 74 20 35 2e 32 20 7b 0a 20  sql_test 5.2 {. 
17f0: 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 35 5f   INSERT INTO t5_
1800: 63 6f 6e 74 65 6e 74 20 56 41 4c 55 45 53 28 35  content VALUES(5
1810: 2c 20 27 68 69 73 20 68 61 72 64 79 20 6d 6f 75  , 'his hardy mou
1820: 6e 74 61 69 6e 20 70 6f 6e 79 27 29 3b 0a 20 20  ntain pony');.  
1830: 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 35 28 74  INSERT INTO t5(t
1840: 35 29 20 56 41 4c 55 45 53 28 27 69 6e 74 65 67  5) VALUES('integ
1850: 72 69 74 79 2d 63 68 65 63 6b 27 29 3b 0a 7d 20  rity-check');.} 
1860: 7b 31 20 7b 64 61 74 61 62 61 73 65 20 64 69 73  {1 {database dis
1870: 6b 20 69 6d 61 67 65 20 69 73 20 6d 61 6c 66 6f  k image is malfo
1880: 72 6d 65 64 7d 7d 0a 0a 64 6f 5f 65 78 65 63 73  rmed}}..do_execs
1890: 71 6c 5f 74 65 73 74 20 35 2e 33 20 52 4f 4c 4c  ql_test 5.3 ROLL
18a0: 42 41 43 4b 0a 0a 64 6f 5f 65 78 65 63 73 71 6c  BACK..do_execsql
18b0: 5f 74 65 73 74 20 35 2e 34 20 7b 0a 20 20 43 52  _test 5.4 {.  CR
18c0: 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42  EATE VIRTUAL TAB
18d0: 4c 45 20 74 35 20 55 53 49 4e 47 20 66 74 73 34  LE t5 USING fts4
18e0: 28 61 2c 20 70 72 65 66 69 78 3d 22 31 2c 32 2c  (a, prefix="1,2,
18f0: 33 22 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e  3");.  INSERT IN
1900: 54 4f 20 74 35 28 74 35 29 20 56 41 4c 55 45 53  TO t5(t5) VALUES
1910: 28 27 69 6e 74 65 67 72 69 74 79 2d 63 68 65 63  ('integrity-chec
1920: 6b 27 29 3b 0a 7d 20 7b 7d 0a 0a 66 69 6e 69 73  k');.} {}..finis
1930: 68 5f 74 65 73 74 0a                             h_test.