Artifact
d65de7e21c2b933bf17152830eb924356f197c8f:
- File
test/fts3_common.tcl
— part of check-in
[cd34bc1a]
at
2012-03-15 17:45:50
on branch fts4-incr-merge
— Modify incremental merge code to merge nMin segments at a time.
(user:
dan
size: 10104)
0000: 23 20 32 30 30 39 20 4e 6f 76 65 6d 62 65 72 20 # 2009 November
0010: 30 34 0a 23 0a 23 20 54 68 65 20 61 75 74 68 6f 04.#.# The autho
0020: 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70 79 r disclaims copy
0030: 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73 6f right to this so
0040: 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20 70 urce code. In p
0050: 6c 61 63 65 20 6f 66 0a 23 20 61 20 6c 65 67 61 lace of.# a lega
0060: 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65 20 69 l notice, here i
0070: 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a 23 0a s a blessing:.#.
0080: 23 20 20 20 20 4d 61 79 20 79 6f 75 20 64 6f 20 # May you do
0090: 67 6f 6f 64 20 61 6e 64 20 6e 6f 74 20 65 76 69 good and not evi
00a0: 6c 2e 0a 23 20 20 20 20 4d 61 79 20 79 6f 75 20 l..# May you
00b0: 66 69 6e 64 20 66 6f 72 67 69 76 65 6e 65 73 73 find forgiveness
00c0: 20 66 6f 72 20 79 6f 75 72 73 65 6c 66 20 61 6e for yourself an
00d0: 64 20 66 6f 72 67 69 76 65 20 6f 74 68 65 72 73 d forgive others
00e0: 2e 0a 23 20 20 20 20 4d 61 79 20 79 6f 75 20 73 ..# May you s
00f0: 68 61 72 65 20 66 72 65 65 6c 79 2c 20 6e 65 76 hare freely, nev
0100: 65 72 20 74 61 6b 69 6e 67 20 6d 6f 72 65 20 74 er taking more t
0110: 68 61 6e 20 79 6f 75 20 67 69 76 65 2e 0a 23 0a han you give..#.
0120: 23 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a #***************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 0a 23 0a 23 20 54 68 69 ********.#.# Thi
0170: 73 20 66 69 6c 65 20 63 6f 6e 74 61 69 6e 73 20 s file contains
0180: 63 6f 6d 6d 6f 6e 20 63 6f 64 65 20 75 73 65 64 common code used
0190: 20 74 68 65 20 66 74 73 33 20 74 65 73 74 73 2e the fts3 tests.
01a0: 20 41 74 20 6f 6e 65 20 70 6f 69 6e 74 0a 23 20 At one point.#
01b0: 65 71 75 69 76 61 6c 65 6e 74 20 66 75 6e 63 74 equivalent funct
01c0: 69 6f 6e 61 6c 69 74 79 20 77 61 73 20 69 6d 70 ionality was imp
01d0: 6c 65 6d 65 6e 74 65 64 20 69 6e 20 43 20 63 6f lemented in C co
01e0: 64 65 2e 20 42 75 74 20 69 74 20 69 73 20 65 61 de. But it is ea
01f0: 73 69 65 72 0a 23 20 74 6f 20 75 73 65 20 54 63 sier.# to use Tc
0200: 6c 2e 0a 23 0a 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d l..#...#--------
0210: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0220: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0230: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0240: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0250: 2d 0a 23 20 55 53 41 47 45 3a 20 66 74 73 33 5f -.# USAGE: fts3_
0260: 62 75 69 6c 64 5f 64 62 5f 31 20 4e 0a 23 0a 23 build_db_1 N.#.#
0270: 20 42 75 69 6c 64 20 61 20 73 61 6d 70 6c 65 20 Build a sample
0280: 46 54 53 20 74 61 62 6c 65 20 69 6e 20 74 68 65 FTS table in the
0290: 20 64 61 74 61 62 61 73 65 20 6f 70 65 6e 65 64 database opened
02a0: 20 62 79 20 64 61 74 61 62 61 73 65 20 63 6f 6e by database con
02b0: 6e 65 63 74 69 6f 6e 20 0a 23 20 5b 64 62 5d 2e nection .# [db].
02c0: 20 54 68 65 20 6e 61 6d 65 20 6f 66 20 74 68 65 The name of the
02d0: 20 6e 65 77 20 74 61 62 6c 65 20 69 73 20 22 74 new table is "t
02e0: 31 22 2e 0a 23 0a 70 72 6f 63 20 66 74 73 33 5f 1"..#.proc fts3_
02f0: 62 75 69 6c 64 5f 64 62 5f 31 20 7b 6e 7d 20 7b build_db_1 {n} {
0300: 0a 0a 20 20 69 66 20 7b 24 6e 20 3e 20 31 30 30 .. if {$n > 100
0310: 30 30 7d 20 7b 65 72 72 6f 72 20 22 6e 20 6d 75 00} {error "n mu
0320: 73 74 20 62 65 20 3c 3d 20 31 30 30 30 30 22 7d st be <= 10000"}
0330: 0a 0a 20 20 64 62 20 65 76 61 6c 20 7b 20 43 52 .. db eval { CR
0340: 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 EATE VIRTUAL TAB
0350: 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74 73 34 LE t1 USING fts4
0360: 28 78 2c 20 79 29 20 7d 0a 0a 20 20 73 65 74 20 (x, y) }.. set
0370: 78 77 6f 72 64 73 20 5b 6c 69 73 74 20 7a 65 72 xwords [list zer
0380: 6f 20 6f 6e 65 20 74 77 6f 20 74 68 72 65 65 20 o one two three
0390: 66 6f 75 72 20 66 69 76 65 20 73 69 78 20 73 65 four five six se
03a0: 76 65 6e 20 65 69 67 68 74 20 6e 69 6e 65 20 74 ven eight nine t
03b0: 65 6e 5d 0a 20 20 73 65 74 20 79 77 6f 72 64 73 en]. set ywords
03c0: 20 5b 6c 69 73 74 20 61 6c 70 68 61 20 62 65 74 [list alpha bet
03d0: 61 20 67 61 6d 6d 61 20 64 65 6c 74 61 20 65 70 a gamma delta ep
03e0: 73 69 6c 6f 6e 20 7a 65 74 61 20 65 74 61 20 74 silon zeta eta t
03f0: 68 65 74 61 20 69 6f 74 61 20 6b 61 70 70 61 5d heta iota kappa]
0400: 0a 0a 20 20 66 6f 72 20 7b 73 65 74 20 69 20 30 .. for {set i 0
0410: 7d 20 7b 24 69 20 3c 20 24 6e 7d 20 7b 69 6e 63 } {$i < $n} {inc
0420: 72 20 69 7d 20 7b 0a 20 20 20 20 73 65 74 20 78 r i} {. set x
0430: 20 22 22 0a 20 20 20 20 73 65 74 20 79 20 22 22 "". set y ""
0440: 0a 0a 20 20 20 20 73 65 74 20 78 20 5b 6c 69 73 .. set x [lis
0450: 74 5d 0a 20 20 20 20 6c 61 70 70 65 6e 64 20 78 t]. lappend x
0460: 20 5b 6c 69 6e 64 65 78 20 24 78 77 6f 72 64 73 [lindex $xwords
0470: 20 5b 65 78 70 72 20 28 24 69 20 2f 20 31 30 30 [expr ($i / 100
0480: 30 29 20 25 20 31 30 5d 5d 0a 20 20 20 20 6c 61 0) % 10]]. la
0490: 70 70 65 6e 64 20 78 20 5b 6c 69 6e 64 65 78 20 ppend x [lindex
04a0: 24 78 77 6f 72 64 73 20 5b 65 78 70 72 20 28 24 $xwords [expr ($
04b0: 69 20 2f 20 31 30 30 29 20 20 25 20 31 30 5d 5d i / 100) % 10]]
04c0: 0a 20 20 20 20 6c 61 70 70 65 6e 64 20 78 20 5b . lappend x [
04d0: 6c 69 6e 64 65 78 20 24 78 77 6f 72 64 73 20 5b lindex $xwords [
04e0: 65 78 70 72 20 28 24 69 20 2f 20 31 30 29 20 20 expr ($i / 10)
04f0: 20 25 20 31 30 5d 5d 0a 20 20 20 20 6c 61 70 70 % 10]]. lapp
0500: 65 6e 64 20 78 20 5b 6c 69 6e 64 65 78 20 24 78 end x [lindex $x
0510: 77 6f 72 64 73 20 5b 65 78 70 72 20 28 24 69 20 words [expr ($i
0520: 2f 20 31 29 20 20 20 25 20 31 30 5d 5d 0a 0a 20 / 1) % 10]]..
0530: 20 20 20 73 65 74 20 79 20 5b 6c 69 73 74 5d 0a set y [list].
0540: 20 20 20 20 6c 61 70 70 65 6e 64 20 79 20 5b 6c lappend y [l
0550: 69 6e 64 65 78 20 24 79 77 6f 72 64 73 20 5b 65 index $ywords [e
0560: 78 70 72 20 28 24 69 20 2f 20 31 30 30 30 29 20 xpr ($i / 1000)
0570: 25 20 31 30 5d 5d 0a 20 20 20 20 6c 61 70 70 65 % 10]]. lappe
0580: 6e 64 20 79 20 5b 6c 69 6e 64 65 78 20 24 79 77 nd y [lindex $yw
0590: 6f 72 64 73 20 5b 65 78 70 72 20 28 24 69 20 2f ords [expr ($i /
05a0: 20 31 30 30 29 20 20 25 20 31 30 5d 5d 0a 20 20 100) % 10]].
05b0: 20 20 6c 61 70 70 65 6e 64 20 79 20 5b 6c 69 6e lappend y [lin
05c0: 64 65 78 20 24 79 77 6f 72 64 73 20 5b 65 78 70 dex $ywords [exp
05d0: 72 20 28 24 69 20 2f 20 31 30 29 20 20 20 25 20 r ($i / 10) %
05e0: 31 30 5d 5d 0a 20 20 20 20 6c 61 70 70 65 6e 64 10]]. lappend
05f0: 20 79 20 5b 6c 69 6e 64 65 78 20 24 79 77 6f 72 y [lindex $ywor
0600: 64 73 20 5b 65 78 70 72 20 28 24 69 20 2f 20 31 ds [expr ($i / 1
0610: 29 20 20 20 25 20 31 30 5d 5d 0a 0a 20 20 20 20 ) % 10]]..
0620: 64 62 20 65 76 61 6c 20 7b 20 49 4e 53 45 52 54 db eval { INSERT
0630: 20 49 4e 54 4f 20 74 31 28 64 6f 63 69 64 2c 20 INTO t1(docid,
0640: 78 2c 20 79 29 20 56 41 4c 55 45 53 28 24 69 2c x, y) VALUES($i,
0650: 20 24 78 2c 20 24 79 29 20 7d 0a 20 20 7d 0a 7d $x, $y) }. }.}
0660: 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ..#-------------
0670: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0680: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0690: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
06a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 55 ------------.# U
06b0: 53 41 47 45 3a 20 66 74 73 33 5f 62 75 69 6c 64 SAGE: fts3_build
06c0: 5f 64 62 5f 32 20 4e 0a 23 0a 23 20 42 75 69 6c _db_2 N.#.# Buil
06d0: 64 20 61 20 73 61 6d 70 6c 65 20 46 54 53 20 74 d a sample FTS t
06e0: 61 62 6c 65 20 69 6e 20 74 68 65 20 64 61 74 61 able in the data
06f0: 62 61 73 65 20 6f 70 65 6e 65 64 20 62 79 20 64 base opened by d
0700: 61 74 61 62 61 73 65 20 63 6f 6e 6e 65 63 74 69 atabase connecti
0710: 6f 6e 20 0a 23 20 5b 64 62 5d 2e 20 54 68 65 20 on .# [db]. The
0720: 6e 61 6d 65 20 6f 66 20 74 68 65 20 6e 65 77 20 name of the new
0730: 74 61 62 6c 65 20 69 73 20 22 74 32 22 2e 0a 23 table is "t2"..#
0740: 0a 70 72 6f 63 20 66 74 73 33 5f 62 75 69 6c 64 .proc fts3_build
0750: 5f 64 62 5f 32 20 7b 6e 7d 20 7b 0a 0a 20 20 69 _db_2 {n} {.. i
0760: 66 20 7b 24 6e 20 3e 20 31 30 30 30 30 30 7d 20 f {$n > 100000}
0770: 7b 65 72 72 6f 72 20 22 6e 20 6d 75 73 74 20 62 {error "n must b
0780: 65 20 3c 3d 20 31 30 30 30 30 30 22 7d 0a 0a 20 e <= 100000"}..
0790: 20 64 62 20 65 76 61 6c 20 7b 20 43 52 45 41 54 db eval { CREAT
07a0: 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 E VIRTUAL TABLE
07b0: 74 32 20 55 53 49 4e 47 20 66 74 73 34 20 7d 0a t2 USING fts4 }.
07c0: 0a 20 20 73 65 74 20 63 68 61 72 73 20 5b 6c 69 . set chars [li
07d0: 73 74 20 61 20 62 20 63 20 64 20 65 20 66 20 67 st a b c d e f g
07e0: 20 68 20 20 69 20 6a 20 6b 20 6c 20 6d 20 6e 20 h i j k l m n
07f0: 6f 20 70 20 20 71 20 72 20 73 20 74 20 75 20 76 o p q r s t u v
0800: 20 77 20 78 20 20 79 20 7a 20 22 22 5d 0a 0a 20 w x y z ""]..
0810: 20 66 6f 72 20 7b 73 65 74 20 69 20 30 7d 20 7b for {set i 0} {
0820: 24 69 20 3c 20 24 6e 7d 20 7b 69 6e 63 72 20 69 $i < $n} {incr i
0830: 7d 20 7b 0a 20 20 20 20 73 65 74 20 77 6f 72 64 } {. set word
0840: 20 22 22 0a 20 20 20 20 73 65 74 20 6e 43 68 61 "". set nCha
0850: 72 20 5b 6c 6c 65 6e 67 74 68 20 24 63 68 61 72 r [llength $char
0860: 73 5d 0a 20 20 20 20 61 70 70 65 6e 64 20 77 6f s]. append wo
0870: 72 64 20 5b 6c 69 6e 64 65 78 20 24 63 68 61 72 rd [lindex $char
0880: 73 20 5b 65 78 70 72 20 7b 28 24 69 20 2f 20 31 s [expr {($i / 1
0890: 29 20 20 20 25 20 24 6e 43 68 61 72 7d 5d 5d 0a ) % $nChar}]].
08a0: 20 20 20 20 61 70 70 65 6e 64 20 77 6f 72 64 20 append word
08b0: 5b 6c 69 6e 64 65 78 20 24 63 68 61 72 73 20 5b [lindex $chars [
08c0: 65 78 70 72 20 7b 28 24 69 20 2f 20 24 6e 43 68 expr {($i / $nCh
08d0: 61 72 29 20 20 25 20 24 6e 43 68 61 72 7d 5d 5d ar) % $nChar}]]
08e0: 0a 20 20 20 20 61 70 70 65 6e 64 20 77 6f 72 64 . append word
08f0: 20 5b 6c 69 6e 64 65 78 20 24 63 68 61 72 73 20 [lindex $chars
0900: 5b 65 78 70 72 20 7b 28 24 69 20 2f 20 28 24 6e [expr {($i / ($n
0910: 43 68 61 72 2a 24 6e 43 68 61 72 29 29 20 25 20 Char*$nChar)) %
0920: 24 6e 43 68 61 72 7d 5d 5d 0a 0a 20 20 20 20 64 $nChar}]].. d
0930: 62 20 65 76 61 6c 20 7b 20 49 4e 53 45 52 54 20 b eval { INSERT
0940: 49 4e 54 4f 20 74 32 28 64 6f 63 69 64 2c 20 63 INTO t2(docid, c
0950: 6f 6e 74 65 6e 74 29 20 56 41 4c 55 45 53 28 24 ontent) VALUES($
0960: 69 2c 20 24 77 6f 72 64 29 20 7d 0a 20 20 7d 0a i, $word) }. }.
0970: 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d }..#------------
0980: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0990: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
09a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
09b0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 -------------.#
09c0: 55 53 41 47 45 3a 20 66 74 73 33 5f 69 6e 74 65 USAGE: fts3_inte
09d0: 67 72 69 74 79 5f 63 68 65 63 6b 20 54 42 4c 0a grity_check TBL.
09e0: 23 0a 23 20 54 68 69 73 20 70 72 6f 63 20 69 73 #.# This proc is
09f0: 20 75 73 65 64 20 74 6f 20 76 65 72 69 66 79 20 used to verify
0a00: 74 68 61 74 20 74 68 65 20 66 75 6c 6c 2d 74 65 that the full-te
0a10: 78 74 20 69 6e 64 65 78 20 69 73 20 63 6f 6e 73 xt index is cons
0a20: 69 73 74 65 6e 74 20 77 69 74 68 0a 23 20 74 68 istent with.# th
0a30: 65 20 63 6f 6e 74 65 6e 74 73 20 6f 66 20 74 68 e contents of th
0a40: 65 20 66 74 73 33 20 74 61 62 6c 65 2e 20 49 6e e fts3 table. In
0a50: 20 6f 74 68 65 72 20 77 6f 72 64 73 2c 20 69 74 other words, it
0a60: 20 63 68 65 63 6b 73 20 74 68 61 74 20 74 68 65 checks that the
0a70: 0a 23 20 64 61 74 61 20 69 6e 20 74 68 65 20 25 .# data in the %
0a80: 5f 63 6f 6e 74 65 6e 74 73 20 74 61 62 6c 65 20 _contents table
0a90: 6d 61 74 63 68 65 73 20 74 68 61 74 20 69 6e 20 matches that in
0aa0: 74 68 65 20 25 5f 73 65 67 64 69 72 20 61 6e 64 the %_segdir and
0ab0: 20 25 5f 73 65 67 6d 65 6e 74 73 20 0a 23 20 74 %_segments .# t
0ac0: 61 62 6c 65 73 2e 0a 23 0a 23 20 54 68 69 73 20 ables..#.# This
0ad0: 69 73 20 6e 6f 74 20 61 6e 20 65 66 66 69 63 69 is not an effici
0ae0: 65 6e 74 20 70 72 6f 63 65 64 75 72 65 2e 20 49 ent procedure. I
0af0: 74 20 75 73 65 73 20 61 20 6c 6f 74 20 6f 66 20 t uses a lot of
0b00: 6d 65 6d 6f 72 79 20 61 6e 64 20 61 20 6c 6f 74 memory and a lot
0b10: 0a 23 20 6f 66 20 43 50 55 2e 20 42 75 74 20 69 .# of CPU. But i
0b20: 74 20 69 73 20 62 65 74 74 65 72 20 74 68 61 6e t is better than
0b30: 20 6e 6f 74 20 63 68 65 63 6b 69 6e 67 20 61 74 not checking at
0b40: 20 61 6c 6c 2e 0a 23 0a 23 20 54 68 65 20 70 72 all..#.# The pr
0b50: 6f 63 65 64 75 72 65 20 69 73 3a 0a 23 0a 23 20 ocedure is:.#.#
0b60: 20 20 31 29 20 52 65 61 64 20 74 68 65 20 65 6e 1) Read the en
0b70: 74 69 72 65 20 66 75 6c 6c 2d 74 65 78 74 20 69 tire full-text i
0b80: 6e 64 65 78 20 66 72 6f 6d 20 74 68 65 20 25 5f ndex from the %_
0b90: 73 65 67 64 69 72 20 61 6e 64 20 25 5f 73 65 67 segdir and %_seg
0ba0: 6d 65 6e 74 73 0a 23 20 20 20 20 20 20 74 61 62 ments.# tab
0bb0: 6c 65 73 20 69 6e 74 6f 20 6d 65 6d 6f 72 79 2e les into memory.
0bc0: 20 46 6f 72 20 65 61 63 68 20 65 6e 74 72 79 20 For each entry
0bd0: 69 6e 20 74 68 65 20 69 6e 64 65 78 2c 20 74 68 in the index, th
0be0: 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 69 73 0a 23 e following is.#
0bf0: 20 20 20 20 20 20 64 6f 6e 65 3a 0a 23 0a 23 20 done:.#.#
0c00: 20 20 20 20 20 20 20 20 20 73 65 74 20 43 28 24 set C($
0c10: 69 44 6f 63 69 64 2c 24 69 43 6f 6c 2c 24 69 50 iDocid,$iCol,$iP
0c20: 6f 73 69 74 69 6f 6e 29 20 24 7a 54 65 72 6d 0a osition) $zTerm.
0c30: 23 0a 23 20 20 20 32 29 20 49 74 65 72 61 74 65 #.# 2) Iterate
0c40: 20 74 68 72 6f 75 67 68 20 65 61 63 68 20 63 6f through each co
0c50: 6c 75 6d 6e 20 6f 66 20 65 61 63 68 20 72 6f 77 lumn of each row
0c60: 20 6f 66 20 74 68 65 20 25 5f 63 6f 6e 74 65 6e of the %_conten
0c70: 74 20 74 61 62 6c 65 2e 20 0a 23 20 20 20 20 20 t table. .#
0c80: 20 54 6f 6b 65 6e 69 7a 65 20 61 6c 6c 20 64 6f Tokenize all do
0c90: 63 75 6d 65 6e 74 73 2c 20 61 6e 64 20 63 68 65 cuments, and che
0ca0: 63 6b 20 74 68 61 74 20 66 6f 72 20 65 61 63 68 ck that for each
0cb0: 20 74 6f 6b 65 6e 20 74 68 65 72 65 20 69 73 0a token there is.
0cc0: 23 20 20 20 20 20 20 61 20 63 6f 72 72 65 73 70 # a corresp
0cd0: 6f 6e 64 69 6e 67 20 65 6e 74 72 79 20 69 6e 20 onding entry in
0ce0: 74 68 65 20 24 43 20 61 72 72 61 79 2e 20 41 66 the $C array. Af
0cf0: 74 65 72 20 63 68 65 63 6b 69 6e 67 20 61 20 74 ter checking a t
0d00: 6f 6b 65 6e 2c 0a 23 20 20 20 20 20 20 5b 75 6e oken,.# [un
0d10: 73 65 74 5d 20 74 68 65 20 24 43 20 61 72 72 61 set] the $C arra
0d20: 79 20 65 6e 74 72 79 2e 0a 23 0a 23 20 20 20 33 y entry..#.# 3
0d30: 29 20 43 68 65 63 6b 20 74 68 61 74 20 61 72 72 ) Check that arr
0d40: 61 79 20 24 43 20 69 73 20 6e 6f 77 20 65 6d 70 ay $C is now emp
0d50: 74 79 2e 0a 23 20 20 20 20 20 20 0a 23 0a 70 72 ty..# .#.pr
0d60: 6f 63 20 66 74 73 33 5f 69 6e 74 65 67 72 69 74 oc fts3_integrit
0d70: 79 5f 63 68 65 63 6b 20 7b 74 62 6c 7d 20 7b 0a y_check {tbl} {.
0d80: 0a 20 20 66 74 73 33 5f 72 65 61 64 32 20 24 74 . fts3_read2 $t
0d90: 62 6c 20 31 20 41 0a 0a 20 20 66 6f 72 65 61 63 bl 1 A.. foreac
0da0: 68 20 7a 54 65 72 6d 20 5b 61 72 72 61 79 20 6e h zTerm [array n
0db0: 61 6d 65 73 20 41 5d 20 7b 0a 20 20 20 20 23 70 ames A] {. #p
0dc0: 75 74 73 20 24 7a 54 65 72 6d 0a 20 20 20 20 66 uts $zTerm. f
0dd0: 6f 72 65 61 63 68 20 64 6f 63 6c 69 73 74 20 24 oreach doclist $
0de0: 41 28 24 7a 54 65 72 6d 29 20 7b 0a 20 20 20 20 A($zTerm) {.
0df0: 20 20 73 65 74 20 64 6f 63 69 64 20 30 0a 20 20 set docid 0.
0e00: 20 20 20 20 77 68 69 6c 65 20 7b 5b 73 74 72 69 while {[stri
0e10: 6e 67 20 6c 65 6e 67 74 68 20 24 64 6f 63 6c 69 ng length $docli
0e20: 73 74 5d 3e 30 7d 20 7b 0a 20 20 20 20 20 20 20 st]>0} {.
0e30: 20 73 65 74 20 69 43 6f 6c 20 30 0a 20 20 20 20 set iCol 0.
0e40: 20 20 20 20 73 65 74 20 69 50 6f 73 20 30 0a 20 set iPos 0.
0e50: 20 20 20 20 20 20 20 73 65 74 20 6c 50 6f 73 20 set lPos
0e60: 5b 6c 69 73 74 5d 0a 20 20 20 20 20 20 20 20 73 [list]. s
0e70: 65 74 20 6c 43 6f 6c 20 5b 6c 69 73 74 5d 0a 0a et lCol [list]..
0e80: 20 20 20 20 20 20 20 20 23 20 46 69 72 73 74 20 # First
0e90: 76 61 72 69 6e 74 20 6f 66 20 61 20 64 6f 63 6c varint of a docl
0ea0: 69 73 74 2d 65 6e 74 72 79 20 69 73 20 74 68 65 ist-entry is the
0eb0: 20 64 6f 63 69 64 2e 20 44 65 6c 74 61 2d 63 6f docid. Delta-co
0ec0: 6d 70 72 65 73 73 65 64 0a 20 20 20 20 20 20 20 mpressed.
0ed0: 20 23 20 77 69 74 68 20 72 65 73 70 65 63 74 20 # with respect
0ee0: 74 6f 20 74 68 65 20 64 6f 63 69 64 20 6f 66 20 to the docid of
0ef0: 74 68 65 20 70 72 65 76 69 6f 75 73 20 65 6e 74 the previous ent
0f00: 72 79 2e 0a 20 20 20 20 20 20 20 20 23 0a 20 20 ry.. #.
0f10: 20 20 20 20 20 20 69 6e 63 72 20 64 6f 63 69 64 incr docid
0f20: 20 5b 67 6f 62 62 6c 65 5f 76 61 72 69 6e 74 20 [gobble_varint
0f30: 64 6f 63 6c 69 73 74 5d 0a 20 20 20 20 20 20 20 doclist].
0f40: 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73 74 if {[info exist
0f50: 73 20 44 28 24 7a 54 65 72 6d 2c 24 64 6f 63 69 s D($zTerm,$doci
0f60: 64 29 5d 7d 20 7b 0a 20 20 20 20 20 20 20 20 20 d)]} {.
0f70: 20 77 68 69 6c 65 20 7b 5b 73 65 74 20 69 44 65 while {[set iDe
0f80: 6c 74 61 20 5b 67 6f 62 62 6c 65 5f 76 61 72 69 lta [gobble_vari
0f90: 6e 74 20 64 6f 63 6c 69 73 74 5d 5d 20 21 3d 20 nt doclist]] !=
0fa0: 30 7d 20 7b 7d 0a 20 20 20 20 20 20 20 20 20 20 0} {}.
0fb0: 63 6f 6e 74 69 6e 75 65 0a 20 20 20 20 20 20 20 continue.
0fc0: 20 7d 0a 20 20 20 20 20 20 20 20 73 65 74 20 44 }. set D
0fd0: 28 24 7a 54 65 72 6d 2c 24 64 6f 63 69 64 29 20 ($zTerm,$docid)
0fe0: 31 0a 0a 20 20 20 20 20 20 20 20 23 20 47 6f 62 1.. # Gob
0ff0: 62 6c 65 20 76 61 72 69 6e 74 73 20 75 6e 74 69 ble varints unti
1000: 6c 20 74 68 65 20 30 78 30 30 20 74 68 61 74 20 l the 0x00 that
1010: 74 65 72 6d 69 6e 61 74 65 73 20 74 68 65 20 64 terminates the d
1020: 6f 63 6c 69 73 74 2d 65 6e 74 72 79 0a 20 20 20 oclist-entry.
1030: 20 20 20 20 20 23 20 69 73 20 66 6f 75 6e 64 2e # is found.
1040: 0a 20 20 20 20 20 20 20 20 77 68 69 6c 65 20 7b . while {
1050: 5b 73 65 74 20 69 44 65 6c 74 61 20 5b 67 6f 62 [set iDelta [gob
1060: 62 6c 65 5f 76 61 72 69 6e 74 20 64 6f 63 6c 69 ble_varint docli
1070: 73 74 5d 5d 20 3e 20 30 7d 20 7b 0a 20 20 20 20 st]] > 0} {.
1080: 20 20 20 20 20 20 69 66 20 7b 24 69 44 65 6c 74 if {$iDelt
1090: 61 20 3d 3d 20 31 7d 20 7b 0a 20 20 20 20 20 20 a == 1} {.
10a0: 20 20 20 20 20 20 73 65 74 20 69 43 6f 6c 20 5b set iCol [
10b0: 67 6f 62 62 6c 65 5f 76 61 72 69 6e 74 20 64 6f gobble_varint do
10c0: 63 6c 69 73 74 5d 0a 20 20 20 20 20 20 20 20 20 clist].
10d0: 20 20 20 73 65 74 20 69 50 6f 73 20 30 0a 20 20 set iPos 0.
10e0: 20 20 20 20 20 20 20 20 7d 20 65 6c 73 65 20 7b } else {
10f0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 6e 63 . inc
1100: 72 20 69 50 6f 73 20 24 69 44 65 6c 74 61 0a 20 r iPos $iDelta.
1110: 20 20 20 20 20 20 20 20 20 20 20 69 6e 63 72 20 incr
1120: 69 50 6f 73 20 2d 32 0a 20 20 20 20 20 20 20 20 iPos -2.
1130: 20 20 20 20 73 65 74 20 43 28 24 64 6f 63 69 64 set C($docid
1140: 2c 24 69 43 6f 6c 2c 24 69 50 6f 73 29 20 24 7a ,$iCol,$iPos) $z
1150: 54 65 72 6d 0a 20 20 20 20 20 20 20 20 20 20 7d Term. }
1160: 0a 20 20 20 20 20 20 20 20 7d 0a 20 20 20 20 20 . }.
1170: 20 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 }. }. }..
1180: 66 6f 72 65 61 63 68 20 6b 65 79 20 5b 61 72 72 foreach key [arr
1190: 61 79 20 6e 61 6d 65 73 20 43 5d 20 7b 0a 20 20 ay names C] {.
11a0: 20 20 23 70 75 74 73 20 22 24 6b 65 79 20 2d 3e #puts "$key ->
11b0: 20 24 43 28 24 6b 65 79 29 22 0a 20 20 7d 0a 0a $C($key)". }..
11c0: 0a 20 20 64 62 20 65 76 61 6c 20 22 53 45 4c 45 . db eval "SELE
11d0: 43 54 20 2a 20 46 52 4f 4d 20 24 7b 74 62 6c 7d CT * FROM ${tbl}
11e0: 5f 63 6f 6e 74 65 6e 74 22 20 45 20 7b 0a 20 20 _content" E {.
11f0: 20 20 73 65 74 20 69 43 6f 6c 20 30 0a 20 20 20 set iCol 0.
1200: 20 73 65 74 20 69 44 6f 63 20 24 45 28 64 6f 63 set iDoc $E(doc
1210: 69 64 29 0a 20 20 20 20 66 6f 72 65 61 63 68 20 id). foreach
1220: 63 6f 6c 20 5b 6c 72 61 6e 67 65 20 24 45 28 2a col [lrange $E(*
1230: 29 20 31 20 65 6e 64 5d 20 7b 0a 20 20 20 20 20 ) 1 end] {.
1240: 20 73 65 74 20 63 20 24 45 28 24 63 6f 6c 29 0a set c $E($col).
1250: 20 20 20 20 20 20 73 65 74 20 73 71 6c 20 7b 53 set sql {S
1260: 45 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b 65 6e ELECT fts3_token
1270: 69 7a 65 72 5f 74 65 73 74 28 27 73 69 6d 70 6c izer_test('simpl
1280: 65 27 2c 20 24 63 29 7d 0a 0a 20 20 20 20 20 20 e', $c)}..
1290: 66 6f 72 65 61 63 68 20 7b 70 6f 73 20 74 65 72 foreach {pos ter
12a0: 6d 20 64 75 6d 6d 79 7d 20 5b 64 62 20 6f 6e 65 m dummy} [db one
12b0: 20 24 73 71 6c 5d 20 7b 0a 20 20 20 20 20 20 20 $sql] {.
12c0: 20 69 66 20 7b 21 5b 69 6e 66 6f 20 65 78 69 73 if {![info exis
12d0: 74 73 20 43 28 24 69 44 6f 63 2c 24 69 43 6f 6c ts C($iDoc,$iCol
12e0: 2c 24 70 6f 73 29 5d 7d 20 7b 0a 20 20 20 20 20 ,$pos)]} {.
12f0: 20 20 20 20 20 73 65 74 20 65 73 20 22 45 72 72 set es "Err
1300: 6f 72 20 61 74 20 64 6f 63 69 64 3d 24 69 44 6f or at docid=$iDo
1310: 63 20 63 6f 6c 3d 24 69 43 6f 6c 20 70 6f 73 3d c col=$iCol pos=
1320: 24 70 6f 73 2e 20 49 6e 64 65 78 20 69 73 20 6d $pos. Index is m
1330: 69 73 73 69 6e 67 22 0a 20 20 20 20 20 20 20 20 issing".
1340: 20 20 6c 61 70 70 65 6e 64 20 65 72 72 6f 72 73 lappend errors
1350: 20 24 65 73 0a 20 20 20 20 20 20 20 20 7d 20 65 $es. } e
1360: 6c 73 65 20 7b 0a 20 20 20 20 20 20 20 20 20 20 lse {.
1370: 69 66 20 7b 5b 73 74 72 69 6e 67 20 63 6f 6d 70 if {[string comp
1380: 61 72 65 20 24 43 28 24 69 44 6f 63 2c 24 69 43 are $C($iDoc,$iC
1390: 6f 6c 2c 24 70 6f 73 29 20 24 74 65 72 6d 5d 7d ol,$pos) $term]}
13a0: 20 7b 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 {. s
13b0: 65 74 20 20 20 20 65 73 20 22 45 72 72 6f 72 20 et es "Error
13c0: 61 74 20 64 6f 63 69 64 3d 24 69 44 6f 63 20 63 at docid=$iDoc c
13d0: 6f 6c 3d 24 69 43 6f 6c 20 70 6f 73 3d 24 70 6f ol=$iCol pos=$po
13e0: 73 2e 20 49 6e 64 65 78 20 22 0a 20 20 20 20 20 s. Index ".
13f0: 20 20 20 20 20 20 20 61 70 70 65 6e 64 20 65 73 append es
1400: 20 22 68 61 73 20 5c 22 24 43 28 24 69 44 6f 63 "has \"$C($iDoc
1410: 2c 24 69 43 6f 6c 2c 24 70 6f 73 29 5c 22 2c 20 ,$iCol,$pos)\",
1420: 64 6f 63 75 6d 65 6e 74 20 68 61 73 20 5c 22 24 document has \"$
1430: 74 65 72 6d 5c 22 22 0a 20 20 20 20 20 20 20 20 term\"".
1440: 20 20 20 20 6c 61 70 70 65 6e 64 20 65 72 72 6f lappend erro
1450: 72 73 20 24 65 73 0a 20 20 20 20 20 20 20 20 20 rs $es.
1460: 20 7d 0a 20 20 20 20 20 20 20 20 20 20 75 6e 73 }. uns
1470: 65 74 20 43 28 24 69 44 6f 63 2c 24 69 43 6f 6c et C($iDoc,$iCol
1480: 2c 24 70 6f 73 29 0a 20 20 20 20 20 20 20 20 7d ,$pos). }
1490: 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 20 20 69 . }. i
14a0: 6e 63 72 20 69 43 6f 6c 0a 20 20 20 20 7d 0a 20 ncr iCol. }.
14b0: 20 7d 0a 0a 20 20 66 6f 72 65 61 63 68 20 63 20 }.. foreach c
14c0: 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 43 5d 20 [array names C]
14d0: 7b 0a 20 20 20 20 6c 61 70 70 65 6e 64 20 65 72 {. lappend er
14e0: 72 6f 72 73 20 22 42 61 64 20 69 6e 64 65 78 20 rors "Bad index
14f0: 65 6e 74 72 79 3a 20 24 63 20 2d 3e 20 24 43 28 entry: $c -> $C(
1500: 24 63 29 22 0a 20 20 7d 0a 0a 20 20 69 66 20 7b $c)". }.. if {
1510: 5b 69 6e 66 6f 20 65 78 69 73 74 73 20 65 72 72 [info exists err
1520: 6f 72 73 5d 7d 20 7b 20 72 65 74 75 72 6e 20 5b ors]} { return [
1530: 6a 6f 69 6e 20 24 65 72 72 6f 72 73 20 22 5c 6e join $errors "\n
1540: 22 5d 20 7d 0a 20 20 72 65 74 75 72 6e 20 22 6f "] }. return "o
1550: 6b 22 0a 7d 0a 0a 23 20 55 53 41 47 45 3a 20 66 k".}..# USAGE: f
1560: 74 73 33 5f 74 65 72 6d 73 20 54 42 4c 20 57 48 ts3_terms TBL WH
1570: 45 52 45 0a 23 0a 23 20 41 72 67 75 6d 65 6e 74 ERE.#.# Argument
1580: 20 54 42 4c 20 6d 75 73 74 20 62 65 20 74 68 65 TBL must be the
1590: 20 6e 61 6d 65 20 6f 66 20 61 6e 20 46 54 53 33 name of an FTS3
15a0: 20 74 61 62 6c 65 2e 20 41 72 67 75 6d 65 6e 74 table. Argument
15b0: 20 57 48 45 52 45 20 69 73 20 61 6e 0a 23 20 53 WHERE is an.# S
15c0: 51 4c 20 65 78 70 72 65 73 73 69 6f 6e 20 74 68 QL expression th
15d0: 61 74 20 77 69 6c 6c 20 62 65 20 75 73 65 64 20 at will be used
15e0: 61 73 20 74 68 65 20 57 48 45 52 45 20 63 6c 61 as the WHERE cla
15f0: 75 73 65 20 77 68 65 6e 20 73 63 61 6e 6e 69 6e use when scannin
1600: 67 0a 23 20 74 68 65 20 25 5f 73 65 67 64 69 72 g.# the %_segdir
1610: 20 74 61 62 6c 65 2e 20 41 73 20 69 6e 20 74 68 table. As in th
1620: 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 71 75 65 72 e following quer
1630: 79 3a 0a 23 0a 23 20 20 20 22 53 45 4c 45 43 54 y:.#.# "SELECT
1640: 20 2a 20 46 52 4f 4d 20 24 7b 54 42 4c 7d 5f 73 * FROM ${TBL}_s
1650: 65 67 64 69 72 20 57 48 45 52 45 20 24 7b 57 48 egdir WHERE ${WH
1660: 45 52 45 7d 22 0a 23 0a 23 20 54 68 69 73 20 66 ERE}".#.# This f
1670: 75 6e 63 74 69 6f 6e 20 72 65 74 75 72 6e 73 20 unction returns
1680: 61 20 6c 69 73 74 20 6f 66 20 61 6c 6c 20 74 65 a list of all te
1690: 72 6d 73 20 70 72 65 73 65 6e 74 20 69 6e 20 74 rms present in t
16a0: 68 65 20 73 65 67 6d 65 6e 74 73 0a 23 20 73 65 he segments.# se
16b0: 6c 65 63 74 65 64 20 62 79 20 74 68 65 20 73 74 lected by the st
16c0: 61 74 65 6d 65 6e 74 20 61 62 6f 76 65 2e 0a 23 atement above..#
16d0: 0a 70 72 6f 63 20 66 74 73 33 5f 74 65 72 6d 73 .proc fts3_terms
16e0: 20 7b 74 62 6c 20 77 68 65 72 65 7d 20 7b 0a 20 {tbl where} {.
16f0: 20 66 74 73 33 5f 72 65 61 64 20 24 74 62 6c 20 fts3_read $tbl
1700: 24 77 68 65 72 65 20 61 0a 20 20 72 65 74 75 72 $where a. retur
1710: 6e 20 5b 6c 73 6f 72 74 20 5b 61 72 72 61 79 20 n [lsort [array
1720: 6e 61 6d 65 73 20 61 5d 5d 0a 7d 0a 0a 0a 23 20 names a]].}...#
1730: 55 53 41 47 45 3a 20 66 74 73 33 5f 64 6f 63 6c USAGE: fts3_docl
1740: 69 73 74 20 54 42 4c 20 54 45 52 4d 20 57 48 45 ist TBL TERM WHE
1750: 52 45 0a 23 0a 23 20 41 72 67 75 6d 65 6e 74 20 RE.#.# Argument
1760: 54 42 4c 20 6d 75 73 74 20 62 65 20 74 68 65 20 TBL must be the
1770: 6e 61 6d 65 20 6f 66 20 61 6e 20 46 54 53 33 20 name of an FTS3
1780: 74 61 62 6c 65 2e 20 54 45 52 4d 20 69 73 20 61 table. TERM is a
1790: 20 74 65 72 6d 20 74 68 61 74 20 6d 61 79 0a 23 term that may.#
17a0: 20 6f 72 20 6d 61 79 20 6e 6f 74 20 62 65 20 70 or may not be p
17b0: 72 65 73 65 6e 74 20 69 6e 20 74 68 65 20 74 61 resent in the ta
17c0: 62 6c 65 2e 20 41 72 67 75 6d 65 6e 74 20 57 48 ble. Argument WH
17d0: 45 52 45 20 69 73 20 75 73 65 64 20 74 6f 20 73 ERE is used to s
17e0: 65 6c 65 63 74 20 61 20 0a 23 20 73 75 62 73 65 elect a .# subse
17f0: 74 20 6f 66 20 74 68 65 20 62 2d 74 72 65 65 20 t of the b-tree
1800: 73 65 67 6d 65 6e 74 73 20 69 6e 20 74 68 65 20 segments in the
1810: 61 73 73 6f 63 69 61 74 65 64 20 66 75 6c 6c 2d associated full-
1820: 74 65 78 74 20 69 6e 64 65 78 20 61 73 20 0a 23 text index as .#
1830: 20 64 65 73 63 72 69 62 65 64 20 61 62 6f 76 65 described above
1840: 20 66 6f 72 20 5b 66 74 73 33 5f 74 65 72 6d 73 for [fts3_terms
1850: 5d 2e 0a 23 0a 23 20 54 68 69 73 20 66 75 6e 63 ]..#.# This func
1860: 74 69 6f 6e 20 72 65 74 75 72 6e 73 20 74 68 65 tion returns the
1870: 20 72 65 73 75 6c 74 73 20 6f 66 20 6d 65 72 67 results of merg
1880: 69 6e 67 20 74 68 65 20 64 6f 63 6c 69 73 74 73 ing the doclists
1890: 20 61 73 73 6f 63 69 61 74 65 64 0a 23 20 77 69 associated.# wi
18a0: 74 68 20 54 45 52 4d 20 69 6e 20 74 68 65 20 73 th TERM in the s
18b0: 65 6c 65 63 74 65 64 20 73 65 67 6d 65 6e 74 73 elected segments
18c0: 2e 20 45 61 63 68 20 64 6f 63 6c 69 73 74 20 69 . Each doclist i
18d0: 73 20 61 6e 20 65 6c 65 6d 65 6e 74 20 6f 66 20 s an element of
18e0: 74 68 65 0a 23 20 72 65 74 75 72 6e 65 64 20 6c the.# returned l
18f0: 69 73 74 2e 20 45 61 63 68 20 64 6f 63 6c 69 73 ist. Each doclis
1900: 74 20 69 73 20 66 6f 72 6d 61 74 74 65 64 20 61 t is formatted a
1910: 73 20 66 6f 6c 6c 6f 77 73 3a 0a 23 0a 23 20 20 s follows:.#.#
1920: 20 5b 24 64 6f 63 69 64 20 3f 24 63 6f 6c 5b 24 [$docid ?$col[$
1930: 6f 66 66 31 20 24 6f 66 66 32 2e 2e 2e 5d 3f 2e off1 $off2...]?.
1940: 2e 2e 5d 0a 23 0a 23 20 54 68 65 20 66 6f 72 6d ..].#.# The form
1950: 61 74 74 69 6e 67 20 69 73 20 6f 64 64 20 66 6f atting is odd fo
1960: 72 20 61 20 54 63 6c 20 63 6f 6d 6d 61 6e 64 20 r a Tcl command
1970: 69 6e 20 6f 72 64 65 72 20 74 6f 20 62 65 20 63 in order to be c
1980: 6f 6d 70 61 74 69 62 6c 65 20 77 69 74 68 0a 23 ompatible with.#
1990: 20 74 68 65 20 6f 72 69 67 69 6e 61 6c 20 43 2d the original C-
19a0: 6c 61 6e 67 75 61 67 65 20 69 6d 70 6c 65 6d 65 language impleme
19b0: 6e 74 61 74 69 6f 6e 2e 20 49 66 20 61 72 67 75 ntation. If argu
19c0: 6d 65 6e 74 20 57 48 45 52 45 20 69 73 20 22 31 ment WHERE is "1
19d0: 22 2c 20 74 68 65 6e 20 0a 23 20 61 6e 79 20 65 ", then .# any e
19e0: 6d 70 74 79 20 64 6f 63 6c 69 73 74 73 20 61 72 mpty doclists ar
19f0: 65 20 6f 6d 69 74 74 65 64 20 66 72 6f 6d 20 74 e omitted from t
1a00: 68 65 20 72 65 74 75 72 6e 65 64 20 6c 69 73 74 he returned list
1a10: 2e 0a 23 0a 70 72 6f 63 20 66 74 73 33 5f 64 6f ..#.proc fts3_do
1a20: 63 6c 69 73 74 20 7b 74 62 6c 20 74 65 72 6d 20 clist {tbl term
1a30: 77 68 65 72 65 7d 20 7b 0a 20 20 66 74 73 33 5f where} {. fts3_
1a40: 72 65 61 64 20 24 74 62 6c 20 24 77 68 65 72 65 read $tbl $where
1a50: 20 61 0a 0a 0a 20 20 66 6f 72 65 61 63 68 20 64 a... foreach d
1a60: 6f 63 6c 69 73 74 20 24 61 28 24 74 65 72 6d 29 oclist $a($term)
1a70: 20 7b 0a 20 20 20 20 73 65 74 20 64 6f 63 69 64 {. set docid
1a80: 20 30 0a 0a 20 20 20 20 77 68 69 6c 65 20 7b 5b 0.. while {[
1a90: 73 74 72 69 6e 67 20 6c 65 6e 67 74 68 20 24 64 string length $d
1aa0: 6f 63 6c 69 73 74 5d 3e 30 7d 20 7b 0a 20 20 20 oclist]>0} {.
1ab0: 20 20 20 73 65 74 20 69 43 6f 6c 20 30 0a 20 20 set iCol 0.
1ac0: 20 20 20 20 73 65 74 20 69 50 6f 73 20 30 0a 20 set iPos 0.
1ad0: 20 20 20 20 20 73 65 74 20 6c 50 6f 73 20 5b 6c set lPos [l
1ae0: 69 73 74 5d 0a 20 20 20 20 20 20 73 65 74 20 6c ist]. set l
1af0: 43 6f 6c 20 5b 6c 69 73 74 5d 0a 20 20 20 20 20 Col [list].
1b00: 20 69 6e 63 72 20 64 6f 63 69 64 20 5b 67 6f 62 incr docid [gob
1b10: 62 6c 65 5f 76 61 72 69 6e 74 20 64 6f 63 6c 69 ble_varint docli
1b20: 73 74 5d 0a 20 20 0a 20 20 20 20 20 20 77 68 69 st]. . whi
1b30: 6c 65 20 7b 5b 73 65 74 20 69 44 65 6c 74 61 20 le {[set iDelta
1b40: 5b 67 6f 62 62 6c 65 5f 76 61 72 69 6e 74 20 64 [gobble_varint d
1b50: 6f 63 6c 69 73 74 5d 5d 20 3e 20 30 7d 20 7b 0a oclist]] > 0} {.
1b60: 20 20 20 20 20 20 20 20 69 66 20 7b 24 69 44 65 if {$iDe
1b70: 6c 74 61 20 3d 3d 20 31 7d 20 7b 0a 20 20 20 20 lta == 1} {.
1b80: 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c 43 lappend lC
1b90: 6f 6c 20 5b 6c 69 73 74 20 24 69 43 6f 6c 20 24 ol [list $iCol $
1ba0: 6c 50 6f 73 5d 0a 20 20 20 20 20 20 20 20 20 20 lPos].
1bb0: 73 65 74 20 69 50 6f 73 20 30 0a 20 20 20 20 20 set iPos 0.
1bc0: 20 20 20 20 20 73 65 74 20 6c 50 6f 73 20 5b 6c set lPos [l
1bd0: 69 73 74 5d 0a 20 20 20 20 20 20 20 20 20 20 73 ist]. s
1be0: 65 74 20 69 43 6f 6c 20 5b 67 6f 62 62 6c 65 5f et iCol [gobble_
1bf0: 76 61 72 69 6e 74 20 64 6f 63 6c 69 73 74 5d 0a varint doclist].
1c00: 20 20 20 20 20 20 20 20 7d 20 65 6c 73 65 20 7b } else {
1c10: 0a 20 20 20 20 20 20 20 20 20 20 69 6e 63 72 20 . incr
1c20: 69 50 6f 73 20 24 69 44 65 6c 74 61 0a 20 20 20 iPos $iDelta.
1c30: 20 20 20 20 20 20 20 69 6e 63 72 20 69 50 6f 73 incr iPos
1c40: 20 2d 32 0a 20 20 20 20 20 20 20 20 20 20 6c 61 -2. la
1c50: 70 70 65 6e 64 20 6c 50 6f 73 20 24 69 50 6f 73 ppend lPos $iPos
1c60: 0a 20 20 20 20 20 20 20 20 7d 0a 20 20 20 20 20 . }.
1c70: 20 7d 0a 20 20 0a 20 20 20 20 20 20 69 66 20 7b }. . if {
1c80: 5b 6c 6c 65 6e 67 74 68 20 24 6c 50 6f 73 5d 3e [llength $lPos]>
1c90: 30 7d 20 7b 0a 20 20 20 20 20 20 20 20 6c 61 70 0} {. lap
1ca0: 70 65 6e 64 20 6c 43 6f 6c 20 5b 6c 69 73 74 20 pend lCol [list
1cb0: 24 69 43 6f 6c 20 24 6c 50 6f 73 5d 0a 20 20 20 $iCol $lPos].
1cc0: 20 20 20 7d 0a 20 20 0a 20 20 20 20 20 20 69 66 }. . if
1cd0: 20 7b 24 77 68 65 72 65 20 21 3d 20 22 31 22 20 {$where != "1"
1ce0: 7c 7c 20 5b 6c 6c 65 6e 67 74 68 20 24 6c 43 6f || [llength $lCo
1cf0: 6c 5d 3e 30 7d 20 7b 0a 20 20 20 20 20 20 20 20 l]>0} {.
1d00: 73 65 74 20 72 65 74 28 24 64 6f 63 69 64 29 20 set ret($docid)
1d10: 24 6c 43 6f 6c 0a 20 20 20 20 20 20 7d 20 65 6c $lCol. } el
1d20: 73 65 20 7b 0a 20 20 20 20 20 20 20 20 75 6e 73 se {. uns
1d30: 65 74 20 2d 6e 6f 63 6f 6d 70 6c 61 69 6e 20 72 et -nocomplain r
1d40: 65 74 28 24 64 6f 63 69 64 29 0a 20 20 20 20 20 et($docid).
1d50: 20 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 }. }. }..
1d60: 73 65 74 20 6c 44 6f 63 20 5b 6c 69 73 74 5d 0a set lDoc [list].
1d70: 20 20 66 6f 72 65 61 63 68 20 64 6f 63 69 64 20 foreach docid
1d80: 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67 65 72 20 [lsort -integer
1d90: 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 72 65 74 [array names ret
1da0: 5d 5d 20 7b 0a 20 20 20 20 73 65 74 20 6c 43 6f ]] {. set lCo
1db0: 6c 20 5b 6c 69 73 74 5d 0a 20 20 20 20 73 65 74 l [list]. set
1dc0: 20 63 6f 6c 73 20 22 22 0a 20 20 20 20 66 6f 72 cols "". for
1dd0: 65 61 63 68 20 63 6f 6c 20 24 72 65 74 28 24 64 each col $ret($d
1de0: 6f 63 69 64 29 20 7b 0a 20 20 20 20 20 20 66 6f ocid) {. fo
1df0: 72 65 61 63 68 20 7b 69 43 6f 6c 20 6c 50 6f 73 reach {iCol lPos
1e00: 7d 20 24 63 6f 6c 20 7b 7d 0a 20 20 20 20 20 20 } $col {}.
1e10: 61 70 70 65 6e 64 20 63 6f 6c 73 20 22 20 24 69 append cols " $i
1e20: 43 6f 6c 5c 5b 5b 6a 6f 69 6e 20 24 6c 50 6f 73 Col\[[join $lPos
1e30: 20 7b 20 7d 5d 5c 5d 22 0a 20 20 20 20 7d 0a 20 { }]\]". }.
1e40: 20 20 20 6c 61 70 70 65 6e 64 20 6c 44 6f 63 20 lappend lDoc
1e50: 22 5c 5b 24 7b 64 6f 63 69 64 7d 24 7b 63 6f 6c "\[${docid}${col
1e60: 73 7d 5c 5d 22 0a 20 20 7d 0a 0a 20 20 6a 6f 69 s}\]". }.. joi
1e70: 6e 20 24 6c 44 6f 63 20 22 20 22 0a 7d 0a 0a 23 n $lDoc " ".}..#
1e80: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
1e90: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
1ea0: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
1eb0: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
1ec0: 23 23 23 23 23 23 23 23 23 23 0a 0a 70 72 6f 63 ##########..proc
1ed0: 20 67 6f 62 62 6c 65 5f 76 61 72 69 6e 74 20 7b gobble_varint {
1ee0: 76 61 72 6e 61 6d 65 7d 20 7b 0a 20 20 75 70 76 varname} {. upv
1ef0: 61 72 20 24 76 61 72 6e 61 6d 65 20 62 6c 6f 62 ar $varname blob
1f00: 0a 20 20 73 65 74 20 6e 20 5b 72 65 61 64 5f 66 . set n [read_f
1f10: 74 73 33 76 61 72 69 6e 74 20 24 62 6c 6f 62 20 ts3varint $blob
1f20: 72 65 74 5d 0a 20 20 73 65 74 20 62 6c 6f 62 20 ret]. set blob
1f30: 5b 73 74 72 69 6e 67 20 72 61 6e 67 65 20 24 62 [string range $b
1f40: 6c 6f 62 20 24 6e 20 65 6e 64 5d 0a 20 20 72 65 lob $n end]. re
1f50: 74 75 72 6e 20 24 72 65 74 0a 7d 0a 70 72 6f 63 turn $ret.}.proc
1f60: 20 67 6f 62 62 6c 65 5f 73 74 72 69 6e 67 20 7b gobble_string {
1f70: 76 61 72 6e 61 6d 65 20 6e 4c 65 6e 67 74 68 7d varname nLength}
1f80: 20 7b 0a 20 20 75 70 76 61 72 20 24 76 61 72 6e {. upvar $varn
1f90: 61 6d 65 20 62 6c 6f 62 0a 20 20 73 65 74 20 72 ame blob. set r
1fa0: 65 74 20 5b 73 74 72 69 6e 67 20 72 61 6e 67 65 et [string range
1fb0: 20 24 62 6c 6f 62 20 30 20 5b 65 78 70 72 20 24 $blob 0 [expr $
1fc0: 6e 4c 65 6e 67 74 68 2d 31 5d 5d 0a 20 20 73 65 nLength-1]]. se
1fd0: 74 20 62 6c 6f 62 20 5b 73 74 72 69 6e 67 20 72 t blob [string r
1fe0: 61 6e 67 65 20 24 62 6c 6f 62 20 24 6e 4c 65 6e ange $blob $nLen
1ff0: 67 74 68 20 65 6e 64 5d 0a 20 20 72 65 74 75 72 gth end]. retur
2000: 6e 20 24 72 65 74 0a 7d 0a 0a 23 20 54 68 65 20 n $ret.}..# The
2010: 61 72 67 75 6d 65 6e 74 20 69 73 20 61 20 62 6c argument is a bl
2020: 6f 62 20 6f 66 20 64 61 74 61 20 72 65 70 72 65 ob of data repre
2030: 73 65 6e 74 69 6e 67 20 61 6e 20 46 54 53 33 20 senting an FTS3
2040: 73 65 67 6d 65 6e 74 20 6c 65 61 66 2e 20 0a 23 segment leaf. .#
2050: 20 52 65 74 75 72 6e 20 61 20 6c 69 73 74 20 63 Return a list c
2060: 6f 6e 73 69 73 74 69 6e 67 20 6f 66 20 61 6c 74 onsisting of alt
2070: 65 72 6e 61 74 69 6e 67 20 74 65 72 6d 73 20 28 ernating terms (
2080: 73 74 72 69 6e 67 73 29 20 61 6e 64 20 64 6f 63 strings) and doc
2090: 6c 69 73 74 73 0a 23 20 28 62 6c 6f 62 73 20 6f lists.# (blobs o
20a0: 66 20 64 61 74 61 29 2e 0a 23 0a 70 72 6f 63 20 f data)..#.proc
20b0: 66 74 73 33 5f 72 65 61 64 6c 65 61 66 20 7b 62 fts3_readleaf {b
20c0: 6c 6f 62 7d 20 7b 0a 20 20 73 65 74 20 7a 50 72 lob} {. set zPr
20d0: 65 76 20 22 22 0a 20 20 73 65 74 20 74 65 72 6d ev "". set term
20e0: 73 20 5b 6c 69 73 74 5d 0a 0a 20 20 77 68 69 6c s [list].. whil
20f0: 65 20 7b 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74 e {[string lengt
2100: 68 20 24 62 6c 6f 62 5d 20 3e 20 30 7d 20 7b 0a h $blob] > 0} {.
2110: 20 20 20 20 73 65 74 20 6e 50 72 65 66 69 78 20 set nPrefix
2120: 5b 67 6f 62 62 6c 65 5f 76 61 72 69 6e 74 20 62 [gobble_varint b
2130: 6c 6f 62 5d 0a 20 20 20 20 73 65 74 20 6e 53 75 lob]. set nSu
2140: 66 66 69 78 20 5b 67 6f 62 62 6c 65 5f 76 61 72 ffix [gobble_var
2150: 69 6e 74 20 62 6c 6f 62 5d 0a 0a 20 20 20 20 73 int blob].. s
2160: 65 74 20 7a 54 65 72 6d 20 5b 73 74 72 69 6e 67 et zTerm [string
2170: 20 72 61 6e 67 65 20 24 7a 50 72 65 76 20 30 20 range $zPrev 0
2180: 5b 65 78 70 72 20 24 6e 50 72 65 66 69 78 2d 31 [expr $nPrefix-1
2190: 5d 5d 0a 20 20 20 20 61 70 70 65 6e 64 20 7a 54 ]]. append zT
21a0: 65 72 6d 20 5b 67 6f 62 62 6c 65 5f 73 74 72 69 erm [gobble_stri
21b0: 6e 67 20 62 6c 6f 62 20 24 6e 53 75 66 66 69 78 ng blob $nSuffix
21c0: 5d 0a 20 20 20 20 73 65 74 20 6e 44 6f 63 6c 69 ]. set nDocli
21d0: 73 74 20 5b 67 6f 62 62 6c 65 5f 76 61 72 69 6e st [gobble_varin
21e0: 74 20 62 6c 6f 62 5d 0a 20 20 20 20 73 65 74 20 t blob]. set
21f0: 64 6f 63 6c 69 73 74 20 5b 67 6f 62 62 6c 65 5f doclist [gobble_
2200: 73 74 72 69 6e 67 20 62 6c 6f 62 20 24 6e 44 6f string blob $nDo
2210: 63 6c 69 73 74 5d 0a 0a 20 20 20 20 6c 61 70 70 clist].. lapp
2220: 65 6e 64 20 74 65 72 6d 73 20 24 7a 54 65 72 6d end terms $zTerm
2230: 20 24 64 6f 63 6c 69 73 74 0a 20 20 20 20 73 65 $doclist. se
2240: 74 20 7a 50 72 65 76 20 24 7a 54 65 72 6d 0a 20 t zPrev $zTerm.
2250: 20 7d 0a 0a 20 20 72 65 74 75 72 6e 20 24 74 65 }.. return $te
2260: 72 6d 73 0a 7d 0a 0a 70 72 6f 63 20 66 74 73 33 rms.}..proc fts3
2270: 5f 72 65 61 64 32 20 7b 74 62 6c 20 77 68 65 72 _read2 {tbl wher
2280: 65 20 76 61 72 6e 61 6d 65 7d 20 7b 0a 20 20 75 e varname} {. u
2290: 70 76 61 72 20 24 76 61 72 6e 61 6d 65 20 61 0a pvar $varname a.
22a0: 20 20 61 72 72 61 79 20 75 6e 73 65 74 20 61 0a array unset a.
22b0: 20 20 64 62 20 65 76 61 6c 20 22 20 53 45 4c 45 db eval " SELE
22c0: 43 54 20 73 74 61 72 74 5f 62 6c 6f 63 6b 2c 20 CT start_block,
22d0: 6c 65 61 76 65 73 5f 65 6e 64 5f 62 6c 6f 63 6b leaves_end_block
22e0: 2c 20 72 6f 6f 74 20 0a 20 20 20 20 20 20 20 20 , root .
22f0: 20 20 20 20 46 52 4f 4d 20 24 7b 74 62 6c 7d 5f FROM ${tbl}_
2300: 73 65 67 64 69 72 20 57 48 45 52 45 20 24 77 68 segdir WHERE $wh
2310: 65 72 65 0a 20 20 20 20 20 20 20 20 20 20 20 20 ere.
2320: 4f 52 44 45 52 20 42 59 20 6c 65 76 65 6c 20 41 ORDER BY level A
2330: 53 43 2c 20 69 64 78 20 44 45 53 43 0a 20 20 22 SC, idx DESC. "
2340: 20 7b 0a 20 20 20 20 73 65 74 20 63 20 30 0a 20 {. set c 0.
2350: 20 20 20 62 69 6e 61 72 79 20 73 63 61 6e 20 24 binary scan $
2360: 72 6f 6f 74 20 63 20 63 0a 20 20 20 20 69 66 20 root c c. if
2370: 7b 24 63 3d 3d 30 7d 20 7b 0a 20 20 20 20 20 20 {$c==0} {.
2380: 66 6f 72 65 61 63 68 20 7b 74 20 64 7d 20 5b 66 foreach {t d} [f
2390: 74 73 33 5f 72 65 61 64 6c 65 61 66 20 24 72 6f ts3_readleaf $ro
23a0: 6f 74 5d 20 7b 20 6c 61 70 70 65 6e 64 20 61 28 ot] { lappend a(
23b0: 24 74 29 20 24 64 20 7d 0a 20 20 20 20 7d 20 65 $t) $d }. } e
23c0: 6c 73 65 20 7b 0a 20 20 20 20 20 20 64 62 20 65 lse {. db e
23d0: 76 61 6c 20 22 20 53 45 4c 45 43 54 20 62 6c 6f val " SELECT blo
23e0: 63 6b 20 0a 20 20 20 20 20 20 20 20 20 20 20 20 ck .
23f0: 20 20 20 20 46 52 4f 4d 20 24 7b 74 62 6c 7d 5f FROM ${tbl}_
2400: 73 65 67 6d 65 6e 74 73 20 0a 20 20 20 20 20 20 segments .
2410: 20 20 20 20 20 20 20 20 20 20 57 48 45 52 45 20 WHERE
2420: 62 6c 6f 63 6b 69 64 3e 3d 24 73 74 61 72 74 5f blockid>=$start_
2430: 62 6c 6f 63 6b 20 41 4e 44 20 62 6c 6f 63 6b 69 block AND blocki
2440: 64 3c 3d 24 6c 65 61 76 65 73 5f 65 6e 64 5f 62 d<=$leaves_end_b
2450: 6c 6f 63 6b 0a 20 20 20 20 20 20 20 20 20 20 20 lock.
2460: 20 20 20 20 20 4f 52 44 45 52 20 42 59 20 62 6c ORDER BY bl
2470: 6f 63 6b 69 64 0a 20 20 20 20 20 20 22 20 7b 0a ockid. " {.
2480: 20 20 20 20 20 20 20 20 66 6f 72 65 61 63 68 20 foreach
2490: 7b 74 20 64 7d 20 5b 66 74 73 33 5f 72 65 61 64 {t d} [fts3_read
24a0: 6c 65 61 66 20 24 62 6c 6f 63 6b 5d 20 7b 20 6c leaf $block] { l
24b0: 61 70 70 65 6e 64 20 61 28 24 74 29 20 24 64 20 append a($t) $d
24c0: 7d 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a }. }. }.
24d0: 20 20 7d 0a 7d 0a 0a 70 72 6f 63 20 66 74 73 33 }.}..proc fts3
24e0: 5f 72 65 61 64 20 7b 74 62 6c 20 77 68 65 72 65 _read {tbl where
24f0: 20 76 61 72 6e 61 6d 65 7d 20 7b 0a 20 20 75 70 varname} {. up
2500: 76 61 72 20 24 76 61 72 6e 61 6d 65 20 61 0a 20 var $varname a.
2510: 20 61 72 72 61 79 20 75 6e 73 65 74 20 61 0a 20 array unset a.
2520: 20 64 62 20 65 76 61 6c 20 22 20 53 45 4c 45 43 db eval " SELEC
2530: 54 20 73 74 61 72 74 5f 62 6c 6f 63 6b 2c 20 6c T start_block, l
2540: 65 61 76 65 73 5f 65 6e 64 5f 62 6c 6f 63 6b 2c eaves_end_block,
2550: 20 72 6f 6f 74 20 0a 20 20 20 20 20 20 20 20 20 root .
2560: 20 20 20 46 52 4f 4d 20 24 7b 74 62 6c 7d 5f 73 FROM ${tbl}_s
2570: 65 67 64 69 72 20 57 48 45 52 45 20 24 77 68 65 egdir WHERE $whe
2580: 72 65 0a 20 20 20 20 20 20 20 20 20 20 20 20 4f re. O
2590: 52 44 45 52 20 42 59 20 6c 65 76 65 6c 20 44 45 RDER BY level DE
25a0: 53 43 2c 20 69 64 78 20 41 53 43 0a 20 20 22 20 SC, idx ASC. "
25b0: 7b 0a 20 20 20 20 69 66 20 7b 24 73 74 61 72 74 {. if {$start
25c0: 5f 62 6c 6f 63 6b 20 3d 3d 20 30 7d 20 7b 0a 20 _block == 0} {.
25d0: 20 20 20 20 20 66 6f 72 65 61 63 68 20 7b 74 20 foreach {t
25e0: 64 7d 20 5b 66 74 73 33 5f 72 65 61 64 6c 65 61 d} [fts3_readlea
25f0: 66 20 24 72 6f 6f 74 5d 20 7b 20 6c 61 70 70 65 f $root] { lappe
2600: 6e 64 20 61 28 24 74 29 20 24 64 20 7d 0a 20 20 nd a($t) $d }.
2610: 20 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 20 } else {.
2620: 20 64 62 20 65 76 61 6c 20 22 20 53 45 4c 45 43 db eval " SELEC
2630: 54 20 62 6c 6f 63 6b 20 0a 20 20 20 20 20 20 20 T block .
2640: 20 20 20 20 20 20 20 20 20 46 52 4f 4d 20 24 7b FROM ${
2650: 74 62 6c 7d 5f 73 65 67 6d 65 6e 74 73 20 0a 20 tbl}_segments .
2660: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 57 W
2670: 48 45 52 45 20 62 6c 6f 63 6b 69 64 3e 3d 24 73 HERE blockid>=$s
2680: 74 61 72 74 5f 62 6c 6f 63 6b 20 41 4e 44 20 62 tart_block AND b
2690: 6c 6f 63 6b 69 64 3c 24 6c 65 61 76 65 73 5f 65 lockid<$leaves_e
26a0: 6e 64 5f 62 6c 6f 63 6b 0a 20 20 20 20 20 20 20 nd_block.
26b0: 20 20 20 20 20 20 20 20 20 4f 52 44 45 52 20 42 ORDER B
26c0: 59 20 62 6c 6f 63 6b 69 64 0a 20 20 20 20 20 20 Y blockid.
26d0: 22 20 7b 0a 20 20 20 20 20 20 20 20 66 6f 72 65 " {. fore
26e0: 61 63 68 20 7b 74 20 64 7d 20 5b 66 74 73 33 5f ach {t d} [fts3_
26f0: 72 65 61 64 6c 65 61 66 20 24 62 6c 6f 63 6b 5d readleaf $block]
2700: 20 7b 20 6c 61 70 70 65 6e 64 20 61 28 24 74 29 { lappend a($t)
2710: 20 24 64 20 7d 0a 0a 20 20 20 20 20 20 7d 0a 20 $d }.. }.
2720: 20 20 20 7d 0a 20 20 7d 0a 7d 0a 0a 23 23 23 23 }. }.}..####
2730: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
2740: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
2750: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
2760: 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 23 ################
2770: 23 23 23 23 23 23 0a 0a ######..