/ Hex Artifact Content
Login

Artifact c2ad090192708150d50d961278df10ae7a4b8b62:


0000: 23 20 32 30 31 34 20 44 65 63 20 32 30 0a 23 0a  # 2014 Dec 20.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 0a 23 0a 23 20 54 68 69 73 20 66 69 6c  ***.#.# This fil
0170: 65 20 74 65 73 74 73 20 74 68 61 74 20 74 68 65  e tests that the
0180: 20 46 54 53 35 20 27 69 6e 74 65 67 72 69 74 79   FTS5 'integrity
0190: 2d 63 68 65 63 6b 27 20 63 6f 6d 6d 61 6e 64 20  -check' command 
01a0: 64 65 74 65 63 74 73 20 0a 23 20 69 6e 63 6f 6e  detects .# incon
01b0: 73 69 73 74 65 6e 63 69 65 73 20 28 63 6f 72 72  sistencies (corr
01c0: 75 70 74 69 6f 6e 29 20 69 6e 20 74 68 65 20 6f  uption) in the o
01d0: 6e 2d 64 69 73 6b 20 62 61 63 6b 69 6e 67 20 74  n-disk backing t
01e0: 61 62 6c 65 73 2e 0a 23 0a 0a 73 6f 75 72 63 65  ables..#..source
01f0: 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 5b 66 69 6c   [file join [fil
0200: 65 20 64 69 72 6e 61 6d 65 20 5b 69 6e 66 6f 20  e dirname [info 
0210: 73 63 72 69 70 74 5d 5d 20 66 74 73 35 5f 63 6f  script]] fts5_co
0220: 6d 6d 6f 6e 2e 74 63 6c 5d 0a 73 65 74 20 74 65  mmon.tcl].set te
0230: 73 74 70 72 65 66 69 78 20 66 74 73 35 63 6f 72  stprefix fts5cor
0240: 72 75 70 74 0a 0a 23 20 49 66 20 53 51 4c 49 54  rupt..# If SQLIT
0250: 45 5f 45 4e 41 42 4c 45 5f 46 54 53 35 20 69 73  E_ENABLE_FTS5 is
0260: 20 64 65 66 69 6e 65 64 2c 20 6f 6d 69 74 20 74   defined, omit t
0270: 68 69 73 20 66 69 6c 65 2e 0a 69 66 63 61 70 61  his file..ifcapa
0280: 62 6c 65 20 21 66 74 73 35 20 7b 0a 20 20 66 69  ble !fts5 {.  fi
0290: 6e 69 73 68 5f 74 65 73 74 0a 20 20 72 65 74 75  nish_test.  retu
02a0: 72 6e 0a 7d 0a 0a 64 6f 5f 65 78 65 63 73 71 6c  rn.}..do_execsql
02b0: 5f 74 65 73 74 20 31 2e 30 20 7b 0a 20 20 43 52  _test 1.0 {.  CR
02c0: 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42  EATE VIRTUAL TAB
02d0: 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74 73 35  LE t1 USING fts5
02e0: 28 78 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e  (x);.  INSERT IN
02f0: 54 4f 20 74 31 28 74 31 2c 20 72 61 6e 6b 29 20  TO t1(t1, rank) 
0300: 56 41 4c 55 45 53 28 27 70 67 73 7a 27 2c 20 33  VALUES('pgsz', 3
0310: 32 29 3b 0a 7d 0a 0a 64 6f 5f 74 65 73 74 20 31  2);.}..do_test 1
0320: 2e 31 20 7b 0a 20 20 64 62 20 74 72 61 6e 73 61  .1 {.  db transa
0330: 63 74 69 6f 6e 20 7b 0a 20 20 20 20 66 6f 72 20  ction {.    for 
0340: 7b 73 65 74 20 69 20 31 7d 20 7b 24 69 20 3c 20  {set i 1} {$i < 
0350: 32 30 30 7d 20 7b 69 6e 63 72 20 69 7d 20 7b 0a  200} {incr i} {.
0360: 20 20 20 20 20 20 73 65 74 20 64 6f 63 20 5b 6c        set doc [l
0370: 69 73 74 20 5b 73 74 72 69 6e 67 20 72 65 70 65  ist [string repe
0380: 61 74 20 78 20 24 69 5d 20 5b 73 74 72 69 6e 67  at x $i] [string
0390: 20 72 65 70 65 61 74 20 79 20 24 69 5d 5d 0a 20   repeat y $i]]. 
03a0: 20 20 20 20 20 65 78 65 63 73 71 6c 20 7b 20 49       execsql { I
03b0: 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 28 72 6f  NSERT INTO t1(ro
03c0: 77 69 64 2c 20 78 29 20 56 41 4c 55 45 53 28 24  wid, x) VALUES($
03d0: 69 2c 20 24 64 6f 63 29 20 7d 0a 20 20 20 20 7d  i, $doc) }.    }
03e0: 0a 20 20 7d 0a 20 20 66 74 73 35 5f 6c 65 76 65  .  }.  fts5_leve
03f0: 6c 5f 73 65 67 73 20 74 31 0a 7d 20 7b 31 7d 0a  l_segs t1.} {1}.
0400: 64 62 5f 73 61 76 65 0a 0a 64 6f 5f 65 78 65 63  db_save..do_exec
0410: 73 71 6c 5f 74 65 73 74 20 31 2e 32 20 7b 20 49  sql_test 1.2 { I
0420: 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 28 74 31  NSERT INTO t1(t1
0430: 29 20 56 41 4c 55 45 53 28 27 69 6e 74 65 67 72  ) VALUES('integr
0440: 69 74 79 2d 63 68 65 63 6b 27 29 20 7d 0a 73 65  ity-check') }.se
0450: 74 20 73 65 67 69 64 20 5b 6c 69 6e 64 65 78 20  t segid [lindex 
0460: 5b 66 74 73 35 5f 6c 65 76 65 6c 5f 73 65 67 69  [fts5_level_segi
0470: 64 73 20 74 31 5d 20 30 5d 0a 0a 64 6f 5f 74 65  ds t1] 0]..do_te
0480: 73 74 20 31 2e 33 20 7b 0a 20 20 65 78 65 63 73  st 1.3 {.  execs
0490: 71 6c 20 7b 0a 20 20 20 20 44 45 4c 45 54 45 20  ql {.    DELETE 
04a0: 46 52 4f 4d 20 74 31 5f 64 61 74 61 20 57 48 45  FROM t1_data WHE
04b0: 52 45 20 72 6f 77 69 64 20 3d 20 66 74 73 35 5f  RE rowid = fts5_
04c0: 72 6f 77 69 64 28 27 73 65 67 6d 65 6e 74 27 2c  rowid('segment',
04d0: 20 24 73 65 67 69 64 2c 20 34 29 3b 0a 20 20 7d   $segid, 4);.  }
04e0: 0a 20 20 63 61 74 63 68 73 71 6c 20 7b 20 49 4e  .  catchsql { IN
04f0: 53 45 52 54 20 49 4e 54 4f 20 74 31 28 74 31 29  SERT INTO t1(t1)
0500: 20 56 41 4c 55 45 53 28 27 69 6e 74 65 67 72 69   VALUES('integri
0510: 74 79 2d 63 68 65 63 6b 27 29 20 7d 0a 7d 20 7b  ty-check') }.} {
0520: 31 20 7b 64 61 74 61 62 61 73 65 20 64 69 73 6b  1 {database disk
0530: 20 69 6d 61 67 65 20 69 73 20 6d 61 6c 66 6f 72   image is malfor
0540: 6d 65 64 7d 7d 0a 0a 64 6f 5f 74 65 73 74 20 31  med}}..do_test 1
0550: 2e 34 20 7b 0a 20 20 64 62 5f 72 65 73 74 6f 72  .4 {.  db_restor
0560: 65 5f 61 6e 64 5f 72 65 6f 70 65 6e 0a 20 20 65  e_and_reopen.  e
0570: 78 65 63 73 71 6c 20 7b 0a 20 20 20 20 55 50 44  xecsql {.    UPD
0580: 41 54 45 20 74 31 5f 64 61 74 61 20 73 65 74 20  ATE t1_data set 
0590: 62 6c 6f 63 6b 20 3d 20 58 27 30 30 30 30 30 30  block = X'000000
05a0: 30 30 27 20 7c 7c 20 73 75 62 73 74 72 28 62 6c  00' || substr(bl
05b0: 6f 63 6b 2c 20 35 29 20 57 48 45 52 45 0a 20 20  ock, 5) WHERE.  
05c0: 20 20 72 6f 77 69 64 20 3d 20 66 74 73 35 5f 72    rowid = fts5_r
05d0: 6f 77 69 64 28 27 73 65 67 6d 65 6e 74 27 2c 20  owid('segment', 
05e0: 24 73 65 67 69 64 2c 20 34 29 3b 0a 20 20 7d 0a  $segid, 4);.  }.
05f0: 20 20 63 61 74 63 68 73 71 6c 20 7b 20 49 4e 53    catchsql { INS
0600: 45 52 54 20 49 4e 54 4f 20 74 31 28 74 31 29 20  ERT INTO t1(t1) 
0610: 56 41 4c 55 45 53 28 27 69 6e 74 65 67 72 69 74  VALUES('integrit
0620: 79 2d 63 68 65 63 6b 27 29 20 7d 0a 7d 20 7b 31  y-check') }.} {1
0630: 20 7b 64 61 74 61 62 61 73 65 20 64 69 73 6b 20   {database disk 
0640: 69 6d 61 67 65 20 69 73 20 6d 61 6c 66 6f 72 6d  image is malform
0650: 65 64 7d 7d 0a 0a 64 62 5f 72 65 73 74 6f 72 65  ed}}..db_restore
0660: 5f 61 6e 64 5f 72 65 6f 70 65 6e 0a 23 64 62 20  _and_reopen.#db 
0670: 65 76 61 6c 20 7b 53 45 4c 45 43 54 20 72 6f 77  eval {SELECT row
0680: 69 64 2c 20 66 74 73 35 5f 64 65 63 6f 64 65 28  id, fts5_decode(
0690: 72 6f 77 69 64 2c 20 62 6c 6f 63 6b 29 20 61 53  rowid, block) aS
06a0: 20 72 20 46 52 4f 4d 20 74 31 5f 64 61 74 61 7d   r FROM t1_data}
06b0: 20 7b 70 75 74 73 20 24 72 7d 0a 0a 0a 23 2d 2d   {puts $r}...#--
06c0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
06d0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
06e0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
06f0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0700: 2d 2d 0a 23 0a 64 6f 5f 65 78 65 63 73 71 6c 5f  --.#.do_execsql_
0710: 74 65 73 74 20 32 2e 30 20 7b 0a 20 20 43 52 45  test 2.0 {.  CRE
0720: 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c  ATE VIRTUAL TABL
0730: 45 20 74 32 20 55 53 49 4e 47 20 66 74 73 35 28  E t2 USING fts5(
0740: 78 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54  x);.  INSERT INT
0750: 4f 20 74 32 28 74 32 2c 20 72 61 6e 6b 29 20 56  O t2(t2, rank) V
0760: 41 4c 55 45 53 28 27 70 67 73 7a 27 2c 20 36 34  ALUES('pgsz', 64
0770: 29 3b 0a 7d 0a 64 62 20 66 75 6e 63 20 72 6e 64  );.}.db func rnd
0780: 64 6f 63 20 66 74 73 35 5f 72 6e 64 64 6f 63 0a  doc fts5_rnddoc.
0790: 64 6f 5f 74 65 73 74 20 32 2e 31 20 7b 0a 20 20  do_test 2.1 {.  
07a0: 66 6f 72 20 7b 73 65 74 20 69 20 30 7d 20 7b 24  for {set i 0} {$
07b0: 69 20 3c 20 35 30 30 7d 20 7b 69 6e 63 72 20 69  i < 500} {incr i
07c0: 7d 20 7b 0a 20 20 20 20 65 78 65 63 73 71 6c 20  } {.    execsql 
07d0: 7b 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 32  { INSERT INTO t2
07e0: 20 56 41 4c 55 45 53 28 72 6e 64 64 6f 63 28 35   VALUES(rnddoc(5
07f0: 30 29 29 20 7d 0a 20 20 7d 0a 20 20 65 78 65 63  0)) }.  }.  exec
0800: 73 71 6c 20 7b 20 49 4e 53 45 52 54 20 49 4e 54  sql { INSERT INT
0810: 4f 20 74 32 28 74 32 29 20 56 41 4c 55 45 53 28  O t2(t2) VALUES(
0820: 27 69 6e 74 65 67 72 69 74 79 2d 63 68 65 63 6b  'integrity-check
0830: 27 29 20 7d 0a 7d 20 7b 7d 0a 0a 23 2d 2d 2d 2d  ') }.} {}..#----
0840: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0850: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0860: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0870: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0880: 0a 23 20 41 20 6d 75 6e 64 61 6e 65 20 74 65 73  .# A mundane tes
0890: 74 20 2d 20 6d 69 73 73 69 6e 67 20 72 6f 77 20  t - missing row 
08a0: 69 6e 20 74 68 65 20 25 5f 63 6f 6e 74 65 6e 74  in the %_content
08b0: 20 74 61 62 6c 65 2e 0a 23 0a 64 6f 5f 65 78 65   table..#.do_exe
08c0: 63 73 71 6c 5f 74 65 73 74 20 33 2e 30 20 7b 0a  csql_test 3.0 {.
08d0: 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41 4c    CREATE VIRTUAL
08e0: 20 54 41 42 4c 45 20 74 33 20 55 53 49 4e 47 20   TABLE t3 USING 
08f0: 66 74 73 35 28 78 29 3b 0a 20 20 49 4e 53 45 52  fts5(x);.  INSER
0900: 54 20 49 4e 54 4f 20 74 33 20 56 41 4c 55 45 53  T INTO t3 VALUES
0910: 28 27 6f 6e 65 20 6f 27 29 3b 0a 20 20 49 4e 53  ('one o');.  INS
0920: 45 52 54 20 49 4e 54 4f 20 74 33 20 56 41 4c 55  ERT INTO t3 VALU
0930: 45 53 28 27 74 77 6f 20 65 27 29 3b 0a 20 20 49  ES('two e');.  I
0940: 4e 53 45 52 54 20 49 4e 54 4f 20 74 33 20 56 41  NSERT INTO t3 VA
0950: 4c 55 45 53 28 27 74 68 72 65 65 20 6f 27 29 3b  LUES('three o');
0960: 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74  .  INSERT INTO t
0970: 33 20 56 41 4c 55 45 53 28 27 66 6f 75 72 20 65  3 VALUES('four e
0980: 27 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54  ');.  INSERT INT
0990: 4f 20 74 33 20 56 41 4c 55 45 53 28 27 66 69 76  O t3 VALUES('fiv
09a0: 65 20 6f 27 29 3b 0a 7d 0a 64 6f 5f 65 78 65 63  e o');.}.do_exec
09b0: 73 71 6c 5f 74 65 73 74 20 33 2e 31 20 7b 0a 20  sql_test 3.1 {. 
09c0: 20 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d 20 74   SELECT * FROM t
09d0: 33 20 57 48 45 52 45 20 74 33 20 4d 41 54 43 48  3 WHERE t3 MATCH
09e0: 20 27 6f 27 0a 7d 20 7b 7b 6f 6e 65 20 6f 7d 20   'o'.} {{one o} 
09f0: 7b 74 68 72 65 65 20 6f 7d 20 7b 66 69 76 65 20  {three o} {five 
0a00: 6f 7d 7d 0a 0a 64 6f 5f 63 61 74 63 68 73 71 6c  o}}..do_catchsql
0a10: 5f 74 65 73 74 20 33 2e 31 20 7b 0a 20 20 44 45  _test 3.1 {.  DE
0a20: 4c 45 54 45 20 46 52 4f 4d 20 74 33 5f 63 6f 6e  LETE FROM t3_con
0a30: 74 65 6e 74 20 57 48 45 52 45 20 72 6f 77 69 64  tent WHERE rowid
0a40: 20 3d 20 33 3b 0a 20 20 53 45 4c 45 43 54 20 2a   = 3;.  SELECT *
0a50: 20 46 52 4f 4d 20 74 33 20 57 48 45 52 45 20 74   FROM t3 WHERE t
0a60: 33 20 4d 41 54 43 48 20 27 6f 27 3b 0a 7d 20 7b  3 MATCH 'o';.} {
0a70: 31 20 7b 64 61 74 61 62 61 73 65 20 64 69 73 6b  1 {database disk
0a80: 20 69 6d 61 67 65 20 69 73 20 6d 61 6c 66 6f 72   image is malfor
0a90: 6d 65 64 7d 7d 0a 0a 66 69 6e 69 73 68 5f 74 65  med}}..finish_te
0aa0: 73 74 0a 0a                                      st..