/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact 4c677f3b797acde90ba1b7730eca6a32e7def742:


0000: 2f 2a 0a 2a 2a 20 32 30 31 34 20 4d 61 79 20 33  /*.** 2014 May 3
0010: 31 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  1.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2f 0a 23 69 66 6e  *****.**.*/.#ifn
0180: 64 65 66 20 5f 46 54 53 35 49 4e 54 5f 48 0a 23  def _FTS5INT_H.#
0190: 64 65 66 69 6e 65 20 5f 46 54 53 35 49 4e 54 5f  define _FTS5INT_
01a0: 48 0a 0a 23 69 6e 63 6c 75 64 65 20 22 66 74 73  H..#include "fts
01b0: 35 2e 68 22 0a 0a 23 69 6e 63 6c 75 64 65 20 3c  5.h"..#include <
01c0: 73 74 72 69 6e 67 2e 68 3e 0a 23 69 6e 63 6c 75  string.h>.#inclu
01d0: 64 65 20 3c 61 73 73 65 72 74 2e 68 3e 0a 0a 23  de <assert.h>..#
01e0: 69 66 6e 64 65 66 20 53 51 4c 49 54 45 5f 41 4d  ifndef SQLITE_AM
01f0: 41 4c 47 41 4d 41 54 49 4f 4e 0a 0a 74 79 70 65  ALGAMATION..type
0200: 64 65 66 20 75 6e 73 69 67 6e 65 64 20 63 68 61  def unsigned cha
0210: 72 20 20 75 38 3b 0a 74 79 70 65 64 65 66 20 75  r  u8;.typedef u
0220: 6e 73 69 67 6e 65 64 20 69 6e 74 20 20 20 75 33  nsigned int   u3
0230: 32 3b 0a 74 79 70 65 64 65 66 20 75 6e 73 69 67  2;.typedef unsig
0240: 6e 65 64 20 73 68 6f 72 74 20 75 31 36 3b 0a 74  ned short u16;.t
0250: 79 70 65 64 65 66 20 73 71 6c 69 74 65 33 5f 69  ypedef sqlite3_i
0260: 6e 74 36 34 20 69 36 34 3b 0a 74 79 70 65 64 65  nt64 i64;.typede
0270: 66 20 73 71 6c 69 74 65 33 5f 75 69 6e 74 36 34  f sqlite3_uint64
0280: 20 75 36 34 3b 0a 0a 23 64 65 66 69 6e 65 20 41   u64;..#define A
0290: 72 72 61 79 53 69 7a 65 28 78 29 20 28 73 69 7a  rraySize(x) (siz
02a0: 65 6f 66 28 78 29 20 2f 20 73 69 7a 65 6f 66 28  eof(x) / sizeof(
02b0: 78 5b 30 5d 29 29 0a 0a 23 64 65 66 69 6e 65 20  x[0]))..#define 
02c0: 74 65 73 74 63 61 73 65 28 78 29 0a 23 64 65 66  testcase(x).#def
02d0: 69 6e 65 20 41 4c 57 41 59 53 28 78 29 20 31 0a  ine ALWAYS(x) 1.
02e0: 23 64 65 66 69 6e 65 20 4e 45 56 45 52 28 78 29  #define NEVER(x)
02f0: 20 30 0a 0a 23 64 65 66 69 6e 65 20 4d 49 4e 28   0..#define MIN(
0300: 78 2c 79 29 20 28 28 28 78 29 20 3c 20 28 79 29  x,y) (((x) < (y)
0310: 29 20 3f 20 28 78 29 20 3a 20 28 79 29 29 0a 0a  ) ? (x) : (y))..
0320: 23 65 6e 64 69 66 0a 0a 0a 2f 2a 0a 2a 2a 20 4d  #endif.../*.** M
0330: 61 78 69 6d 75 6d 20 6e 75 6d 62 65 72 20 6f 66  aximum number of
0340: 20 70 72 65 66 69 78 20 69 6e 64 65 78 65 73 20   prefix indexes 
0350: 6f 6e 20 73 69 6e 67 6c 65 20 46 54 53 35 20 74  on single FTS5 t
0360: 61 62 6c 65 2e 20 54 68 69 73 20 6d 75 73 74 20  able. This must 
0370: 62 65 0a 2a 2a 20 6c 65 73 73 20 74 68 61 6e 20  be.** less than 
0380: 33 32 2e 20 49 66 20 69 74 20 69 73 20 73 65 74  32. If it is set
0390: 20 74 6f 20 61 6e 79 74 68 69 6e 67 20 6c 61 72   to anything lar
03a0: 67 65 20 74 68 61 6e 20 74 68 61 74 2c 20 61 6e  ge than that, an
03b0: 20 23 65 72 72 6f 72 0a 2a 2a 20 64 69 72 65 63   #error.** direc
03c0: 74 69 76 65 20 69 6e 20 66 74 73 35 5f 69 6e 64  tive in fts5_ind
03d0: 65 78 2e 63 20 77 69 6c 6c 20 63 61 75 73 65 20  ex.c will cause 
03e0: 74 68 65 20 62 75 69 6c 64 20 74 6f 20 66 61 69  the build to fai
03f0: 6c 2e 0a 2a 2f 0a 23 64 65 66 69 6e 65 20 46 54  l..*/.#define FT
0400: 53 35 5f 4d 41 58 5f 50 52 45 46 49 58 5f 49 4e  S5_MAX_PREFIX_IN
0410: 44 45 58 45 53 20 33 31 0a 0a 23 64 65 66 69 6e  DEXES 31..#defin
0420: 65 20 46 54 53 35 5f 44 45 46 41 55 4c 54 5f 4e  e FTS5_DEFAULT_N
0430: 45 41 52 44 49 53 54 20 31 30 0a 23 64 65 66 69  EARDIST 10.#defi
0440: 6e 65 20 46 54 53 35 5f 44 45 46 41 55 4c 54 5f  ne FTS5_DEFAULT_
0450: 52 41 4e 4b 20 20 20 20 20 22 62 6d 32 35 22 0a  RANK     "bm25".
0460: 0a 2f 2a 20 4e 61 6d 65 20 6f 66 20 72 61 6e 6b  ./* Name of rank
0470: 20 61 6e 64 20 72 6f 77 69 64 20 63 6f 6c 75 6d   and rowid colum
0480: 6e 73 20 2a 2f 0a 23 64 65 66 69 6e 65 20 46 54  ns */.#define FT
0490: 53 35 5f 52 41 4e 4b 5f 4e 41 4d 45 20 22 72 61  S5_RANK_NAME "ra
04a0: 6e 6b 22 0a 23 64 65 66 69 6e 65 20 46 54 53 35  nk".#define FTS5
04b0: 5f 52 4f 57 49 44 5f 4e 41 4d 45 20 22 72 6f 77  _ROWID_NAME "row
04c0: 69 64 22 0a 0a 23 69 66 64 65 66 20 53 51 4c 49  id"..#ifdef SQLI
04d0: 54 45 5f 44 45 42 55 47 0a 23 20 64 65 66 69 6e  TE_DEBUG.# defin
04e0: 65 20 46 54 53 35 5f 43 4f 52 52 55 50 54 20 73  e FTS5_CORRUPT s
04f0: 71 6c 69 74 65 33 46 74 73 35 43 6f 72 72 75 70  qlite3Fts5Corrup
0500: 74 28 29 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  t().int sqlite3F
0510: 74 73 35 43 6f 72 72 75 70 74 28 76 6f 69 64 29  ts5Corrupt(void)
0520: 3b 0a 23 65 6c 73 65 0a 23 20 64 65 66 69 6e 65  ;.#else.# define
0530: 20 46 54 53 35 5f 43 4f 52 52 55 50 54 20 53 51   FTS5_CORRUPT SQ
0540: 4c 49 54 45 5f 43 4f 52 52 55 50 54 5f 56 54 41  LITE_CORRUPT_VTA
0550: 42 0a 23 65 6e 64 69 66 0a 0a 2f 2a 0a 2a 2a 20  B.#endif../*.** 
0560: 54 68 65 20 61 73 73 65 72 74 5f 6e 63 28 29 20  The assert_nc() 
0570: 6d 61 63 72 6f 20 69 73 20 73 69 6d 69 6c 61 72  macro is similar
0580: 20 74 6f 20 74 68 65 20 61 73 73 65 72 74 28 29   to the assert()
0590: 20 6d 61 63 72 6f 2c 20 65 78 63 65 70 74 20 74   macro, except t
05a0: 68 61 74 20 69 74 0a 2a 2a 20 69 73 20 75 73 65  hat it.** is use
05b0: 64 20 66 6f 72 20 61 73 73 65 72 74 28 29 20 63  d for assert() c
05c0: 6f 6e 64 69 74 69 6f 6e 73 20 74 68 61 74 20 61  onditions that a
05d0: 72 65 20 74 72 75 65 20 6f 6e 6c 79 20 69 66 20  re true only if 
05e0: 69 74 20 63 61 6e 20 62 65 20 0a 2a 2a 20 67 75  it can be .** gu
05f0: 72 61 6e 74 65 65 64 20 74 68 61 74 20 74 68 65  ranteed that the
0600: 20 64 61 74 61 62 61 73 65 20 69 73 20 6e 6f 74   database is not
0610: 20 63 6f 72 72 75 70 74 2e 0a 2a 2f 0a 23 69 66   corrupt..*/.#if
0620: 64 65 66 20 53 51 4c 49 54 45 5f 44 45 42 55 47  def SQLITE_DEBUG
0630: 0a 65 78 74 65 72 6e 20 69 6e 74 20 73 71 6c 69  .extern int sqli
0640: 74 65 33 5f 66 74 73 35 5f 6d 61 79 5f 62 65 5f  te3_fts5_may_be_
0650: 63 6f 72 72 75 70 74 3b 0a 23 20 64 65 66 69 6e  corrupt;.# defin
0660: 65 20 61 73 73 65 72 74 5f 6e 63 28 78 29 20 61  e assert_nc(x) a
0670: 73 73 65 72 74 28 73 71 6c 69 74 65 33 5f 66 74  ssert(sqlite3_ft
0680: 73 35 5f 6d 61 79 5f 62 65 5f 63 6f 72 72 75 70  s5_may_be_corrup
0690: 74 20 7c 7c 20 28 78 29 29 0a 23 65 6c 73 65 0a  t || (x)).#else.
06a0: 23 20 64 65 66 69 6e 65 20 61 73 73 65 72 74 5f  # define assert_
06b0: 6e 63 28 78 29 20 61 73 73 65 72 74 28 78 29 0a  nc(x) assert(x).
06c0: 23 65 6e 64 69 66 0a 0a 74 79 70 65 64 65 66 20  #endif..typedef 
06d0: 73 74 72 75 63 74 20 46 74 73 35 47 6c 6f 62 61  struct Fts5Globa
06e0: 6c 20 46 74 73 35 47 6c 6f 62 61 6c 3b 0a 0a 2f  l Fts5Global;../
06f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0700: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0710: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0720: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0730: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 49 6e  **********.** In
0740: 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65 20  terface to code 
0750: 69 6e 20 66 74 73 35 5f 63 6f 6e 66 69 67 2e 63  in fts5_config.c
0760: 2e 20 66 74 73 35 5f 63 6f 6e 66 69 67 2e 63 20  . fts5_config.c 
0770: 63 6f 6e 74 61 69 6e 73 20 63 6f 6e 74 61 69 6e  contains contain
0780: 73 20 63 6f 64 65 0a 2a 2a 20 74 6f 20 70 61 72  s code.** to par
0790: 73 65 20 74 68 65 20 61 72 67 75 6d 65 6e 74 73  se the arguments
07a0: 20 70 61 73 73 65 64 20 74 6f 20 74 68 65 20 43   passed to the C
07b0: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
07c0: 42 4c 45 20 73 74 61 74 65 6d 65 6e 74 2e 0a 2a  BLE statement..*
07d0: 2f 0a 0a 74 79 70 65 64 65 66 20 73 74 72 75 63  /..typedef struc
07e0: 74 20 46 74 73 35 43 6f 6e 66 69 67 20 46 74 73  t Fts5Config Fts
07f0: 35 43 6f 6e 66 69 67 3b 0a 0a 2f 2a 0a 2a 2a 20  5Config;../*.** 
0800: 41 6e 20 69 6e 73 74 61 6e 63 65 20 6f 66 20 74  An instance of t
0810: 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 73 74 72  he following str
0820: 75 63 74 75 72 65 20 65 6e 63 6f 64 65 73 20 61  ucture encodes a
0830: 6c 6c 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 20 74  ll information t
0840: 68 61 74 20 63 61 6e 0a 2a 2a 20 62 65 20 67 6c  hat can.** be gl
0850: 65 61 6e 65 64 20 66 72 6f 6d 20 74 68 65 20 43  eaned from the C
0860: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
0870: 42 4c 45 20 73 74 61 74 65 6d 65 6e 74 2e 0a 2a  BLE statement..*
0880: 2a 0a 2a 2a 20 41 6e 64 20 61 6c 6c 20 69 6e 66  *.** And all inf
0890: 6f 72 6d 61 74 69 6f 6e 20 6c 6f 61 64 65 64 20  ormation loaded 
08a0: 66 72 6f 6d 20 74 68 65 20 25 5f 63 6f 6e 66 69  from the %_confi
08b0: 67 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 6e  g table..**.** n
08c0: 41 75 74 6f 6d 65 72 67 65 3a 0a 2a 2a 20 20 20  Automerge:.**   
08d0: 54 68 65 20 6d 69 6e 69 6d 75 6d 20 6e 75 6d 62  The minimum numb
08e0: 65 72 20 6f 66 20 73 65 67 6d 65 6e 74 73 20 74  er of segments t
08f0: 68 61 74 20 61 6e 20 61 75 74 6f 2d 6d 65 72 67  hat an auto-merg
0900: 65 20 6f 70 65 72 61 74 69 6f 6e 20 73 68 6f 75  e operation shou
0910: 6c 64 0a 2a 2a 20 20 20 61 74 74 65 6d 70 74 20  ld.**   attempt 
0920: 74 6f 20 6d 65 72 67 65 20 74 6f 67 65 74 68 65  to merge togethe
0930: 72 2e 20 41 20 76 61 6c 75 65 20 6f 66 20 31 20  r. A value of 1 
0940: 73 65 74 73 20 74 68 65 20 6f 62 6a 65 63 74 20  sets the object 
0950: 74 6f 20 75 73 65 20 74 68 65 20 0a 2a 2a 20 20  to use the .**  
0960: 20 63 6f 6d 70 69 6c 65 20 74 69 6d 65 20 64 65   compile time de
0970: 66 61 75 6c 74 2e 20 5a 65 72 6f 20 64 69 73 61  fault. Zero disa
0980: 62 6c 65 73 20 61 75 74 6f 2d 6d 65 72 67 65 20  bles auto-merge 
0990: 61 6c 74 6f 67 65 74 68 65 72 2e 0a 2a 2a 0a 2a  altogether..**.*
09a0: 2a 20 7a 43 6f 6e 74 65 6e 74 3a 0a 2a 2a 0a 2a  * zContent:.**.*
09b0: 2a 20 7a 43 6f 6e 74 65 6e 74 52 6f 77 69 64 3a  * zContentRowid:
09c0: 0a 2a 2a 20 20 20 54 68 65 20 76 61 6c 75 65 20  .**   The value 
09d0: 6f 66 20 74 68 65 20 63 6f 6e 74 65 6e 74 5f 72  of the content_r
09e0: 6f 77 69 64 3d 20 6f 70 74 69 6f 6e 2c 20 69 66  owid= option, if
09f0: 20 6f 6e 65 20 77 61 73 20 73 70 65 63 69 66 69   one was specifi
0a00: 65 64 2e 20 4f 72 20 0a 2a 2a 20 20 20 74 68 65  ed. Or .**   the
0a10: 20 73 74 72 69 6e 67 20 22 72 6f 77 69 64 22 20   string "rowid" 
0a20: 6f 74 68 65 72 77 69 73 65 2e 20 54 68 69 73 20  otherwise. This 
0a30: 74 65 78 74 20 69 73 20 6e 6f 74 20 71 75 6f 74  text is not quot
0a40: 65 64 20 2d 20 69 66 20 69 74 20 69 73 0a 2a 2a  ed - if it is.**
0a50: 20 20 20 75 73 65 64 20 61 73 20 70 61 72 74 20     used as part 
0a60: 6f 66 20 61 6e 20 53 51 4c 20 73 74 61 74 65 6d  of an SQL statem
0a70: 65 6e 74 20 69 74 20 6e 65 65 64 73 20 74 6f 20  ent it needs to 
0a80: 62 65 20 71 75 6f 74 65 64 20 61 70 70 72 6f 70  be quoted approp
0a90: 72 69 61 74 65 6c 79 2e 0a 2a 2a 0a 2a 2a 20 7a  riately..**.** z
0aa0: 43 6f 6e 74 65 6e 74 45 78 70 72 6c 69 73 74 3a  ContentExprlist:
0ab0: 0a 2a 2a 0a 2a 2a 20 70 7a 45 72 72 6d 73 67 3a  .**.** pzErrmsg:
0ac0: 0a 2a 2a 20 20 20 54 68 69 73 20 65 78 69 73 74  .**   This exist
0ad0: 73 20 69 6e 20 6f 72 64 65 72 20 74 6f 20 61 6c  s in order to al
0ae0: 6c 6f 77 20 74 68 65 20 66 74 73 35 5f 69 6e 64  low the fts5_ind
0af0: 65 78 2e 63 20 6d 6f 64 75 6c 65 20 74 6f 20 72  ex.c module to r
0b00: 65 74 75 72 6e 20 61 20 0a 2a 2a 20 20 20 64 65  eturn a .**   de
0b10: 63 65 6e 74 20 65 72 72 6f 72 20 6d 65 73 73 61  cent error messa
0b20: 67 65 20 69 66 20 69 74 20 65 6e 63 6f 75 6e 74  ge if it encount
0b30: 65 72 73 20 61 20 66 69 6c 65 2d 66 6f 72 6d 61  ers a file-forma
0b40: 74 20 76 65 72 73 69 6f 6e 20 69 74 20 64 6f 65  t version it doe
0b50: 73 0a 2a 2a 20 20 20 6e 6f 74 20 75 6e 64 65 72  s.**   not under
0b60: 73 74 61 6e 64 2e 0a 2a 2a 0a 2a 2f 0a 73 74 72  stand..**.*/.str
0b70: 75 63 74 20 46 74 73 35 43 6f 6e 66 69 67 20 7b  uct Fts5Config {
0b80: 0a 20 20 73 71 6c 69 74 65 33 20 2a 64 62 3b 20  .  sqlite3 *db; 
0b90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ba0: 20 20 20 2f 2a 20 44 61 74 61 62 61 73 65 20 68     /* Database h
0bb0: 61 6e 64 6c 65 20 2a 2f 0a 20 20 63 68 61 72 20  andle */.  char 
0bc0: 2a 7a 44 62 3b 20 20 20 20 20 20 20 20 20 20 20  *zDb;           
0bd0: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 44 61             /* Da
0be0: 74 61 62 61 73 65 20 68 6f 6c 64 69 6e 67 20 46  tabase holding F
0bf0: 54 53 20 69 6e 64 65 78 20 28 65 2e 67 2e 20 22  TS index (e.g. "
0c00: 6d 61 69 6e 22 29 20 2a 2f 0a 20 20 63 68 61 72  main") */.  char
0c10: 20 2a 7a 4e 61 6d 65 3b 20 20 20 20 20 20 20 20   *zName;        
0c20: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4e              /* N
0c30: 61 6d 65 20 6f 66 20 46 54 53 20 69 6e 64 65 78  ame of FTS index
0c40: 20 2a 2f 0a 20 20 69 6e 74 20 6e 43 6f 6c 3b 20   */.  int nCol; 
0c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c60: 20 20 20 20 20 20 2f 2a 20 4e 75 6d 62 65 72 20        /* Number 
0c70: 6f 66 20 63 6f 6c 75 6d 6e 73 20 2a 2f 0a 20 20  of columns */.  
0c80: 63 68 61 72 20 2a 2a 61 7a 43 6f 6c 3b 20 20 20  char **azCol;   
0c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ca0: 2f 2a 20 43 6f 6c 75 6d 6e 20 6e 61 6d 65 73 20  /* Column names 
0cb0: 2a 2f 0a 20 20 75 38 20 2a 61 62 55 6e 69 6e 64  */.  u8 *abUnind
0cc0: 65 78 65 64 3b 20 20 20 20 20 20 20 20 20 20 20  exed;           
0cd0: 20 20 20 20 20 2f 2a 20 54 72 75 65 20 66 6f 72       /* True for
0ce0: 20 75 6e 69 6e 64 65 78 65 64 20 63 6f 6c 75 6d   unindexed colum
0cf0: 6e 73 20 2a 2f 0a 20 20 69 6e 74 20 6e 50 72 65  ns */.  int nPre
0d00: 66 69 78 3b 20 20 20 20 20 20 20 20 20 20 20 20  fix;            
0d10: 20 20 20 20 20 20 20 20 2f 2a 20 4e 75 6d 62 65          /* Numbe
0d20: 72 20 6f 66 20 70 72 65 66 69 78 20 69 6e 64 65  r of prefix inde
0d30: 78 65 73 20 2a 2f 0a 20 20 69 6e 74 20 2a 61 50  xes */.  int *aP
0d40: 72 65 66 69 78 3b 20 20 20 20 20 20 20 20 20 20  refix;          
0d50: 20 20 20 20 20 20 20 20 20 2f 2a 20 53 69 7a 65           /* Size
0d60: 73 20 69 6e 20 62 79 74 65 73 20 6f 66 20 6e 50  s in bytes of nP
0d70: 72 65 66 69 78 20 70 72 65 66 69 78 20 69 6e 64  refix prefix ind
0d80: 65 78 65 73 20 2a 2f 0a 20 20 69 6e 74 20 65 43  exes */.  int eC
0d90: 6f 6e 74 65 6e 74 3b 20 20 20 20 20 20 20 20 20  ontent;         
0da0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 41 6e 20            /* An 
0db0: 46 54 53 35 5f 43 4f 4e 54 45 4e 54 20 76 61 6c  FTS5_CONTENT val
0dc0: 75 65 20 2a 2f 0a 20 20 63 68 61 72 20 2a 7a 43  ue */.  char *zC
0dd0: 6f 6e 74 65 6e 74 3b 20 20 20 20 20 20 20 20 20  ontent;         
0de0: 20 20 20 20 20 20 20 20 2f 2a 20 63 6f 6e 74 65          /* conte
0df0: 6e 74 20 74 61 62 6c 65 20 2a 2f 20 0a 20 20 63  nt table */ .  c
0e00: 68 61 72 20 2a 7a 43 6f 6e 74 65 6e 74 52 6f 77  har *zContentRow
0e10: 69 64 3b 20 20 20 20 20 20 20 20 20 20 20 20 2f  id;            /
0e20: 2a 20 22 63 6f 6e 74 65 6e 74 5f 72 6f 77 69 64  * "content_rowid
0e30: 3d 22 20 6f 70 74 69 6f 6e 20 76 61 6c 75 65 20  =" option value 
0e40: 2a 2f 20 0a 20 20 63 68 61 72 20 2a 7a 43 6f 6e  */ .  char *zCon
0e50: 74 65 6e 74 45 78 70 72 6c 69 73 74 3b 0a 20 20  tentExprlist;.  
0e60: 46 74 73 35 54 6f 6b 65 6e 69 7a 65 72 20 2a 70  Fts5Tokenizer *p
0e70: 54 6f 6b 3b 0a 20 20 66 74 73 35 5f 74 6f 6b 65  Tok;.  fts5_toke
0e80: 6e 69 7a 65 72 20 2a 70 54 6f 6b 41 70 69 3b 0a  nizer *pTokApi;.
0e90: 0a 20 20 2f 2a 20 56 61 6c 75 65 73 20 6c 6f 61  .  /* Values loa
0ea0: 64 65 64 20 66 72 6f 6d 20 74 68 65 20 25 5f 63  ded from the %_c
0eb0: 6f 6e 66 69 67 20 74 61 62 6c 65 20 2a 2f 0a 20  onfig table */. 
0ec0: 20 69 6e 74 20 69 43 6f 6f 6b 69 65 3b 20 20 20   int iCookie;   
0ed0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ee0: 20 2f 2a 20 49 6e 63 72 65 6d 65 6e 74 65 64 20   /* Incremented 
0ef0: 77 68 65 6e 20 25 5f 63 6f 6e 66 69 67 20 69 73  when %_config is
0f00: 20 6d 6f 64 69 66 69 65 64 20 2a 2f 0a 20 20 69   modified */.  i
0f10: 6e 74 20 70 67 73 7a 3b 20 20 20 20 20 20 20 20  nt pgsz;        
0f20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f                 /
0f30: 2a 20 41 70 70 72 6f 78 69 6d 61 74 65 20 70 61  * Approximate pa
0f40: 67 65 20 73 69 7a 65 20 75 73 65 64 20 69 6e 20  ge size used in 
0f50: 25 5f 64 61 74 61 20 2a 2f 0a 20 20 69 6e 74 20  %_data */.  int 
0f60: 6e 41 75 74 6f 6d 65 72 67 65 3b 20 20 20 20 20  nAutomerge;     
0f70: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 27              /* '
0f80: 61 75 74 6f 6d 65 72 67 65 27 20 73 65 74 74 69  automerge' setti
0f90: 6e 67 20 2a 2f 0a 20 20 69 6e 74 20 6e 43 72 69  ng */.  int nCri
0fa0: 73 69 73 4d 65 72 67 65 3b 20 20 20 20 20 20 20  sisMerge;       
0fb0: 20 20 20 20 20 20 20 20 2f 2a 20 4d 61 78 69 6d          /* Maxim
0fc0: 75 6d 20 61 6c 6c 6f 77 65 64 20 73 65 67 6d 65  um allowed segme
0fd0: 6e 74 73 20 70 65 72 20 6c 65 76 65 6c 20 2a 2f  nts per level */
0fe0: 0a 20 20 63 68 61 72 20 2a 7a 52 61 6e 6b 3b 20  .  char *zRank; 
0ff0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1000: 20 20 20 2f 2a 20 4e 61 6d 65 20 6f 66 20 72 61     /* Name of ra
1010: 6e 6b 20 66 75 6e 63 74 69 6f 6e 20 2a 2f 0a 20  nk function */. 
1020: 20 63 68 61 72 20 2a 7a 52 61 6e 6b 41 72 67 73   char *zRankArgs
1030: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
1040: 20 2f 2a 20 41 72 67 75 6d 65 6e 74 73 20 74 6f   /* Arguments to
1050: 20 72 61 6e 6b 20 66 75 6e 63 74 69 6f 6e 20 2a   rank function *
1060: 2f 0a 0a 20 20 2f 2a 20 49 66 20 6e 6f 6e 2d 4e  /..  /* If non-N
1070: 55 4c 4c 2c 20 70 6f 69 6e 74 73 20 74 6f 20 73  ULL, points to s
1080: 71 6c 69 74 65 33 5f 76 74 61 62 2e 62 61 73 65  qlite3_vtab.base
1090: 2e 7a 45 72 72 6d 73 67 2e 20 4f 66 74 65 6e 20  .zErrmsg. Often 
10a0: 4e 55 4c 4c 2e 20 2a 2f 0a 20 20 63 68 61 72 20  NULL. */.  char 
10b0: 2a 2a 70 7a 45 72 72 6d 73 67 3b 0a 7d 3b 0a 0a  **pzErrmsg;.};..
10c0: 2f 2a 20 43 75 72 72 65 6e 74 20 65 78 70 65 63  /* Current expec
10d0: 74 65 64 20 76 61 6c 75 65 20 6f 66 20 25 5f 63  ted value of %_c
10e0: 6f 6e 66 69 67 20 74 61 62 6c 65 20 27 76 65 72  onfig table 'ver
10f0: 73 69 6f 6e 27 20 66 69 65 6c 64 20 2a 2f 0a 23  sion' field */.#
1100: 64 65 66 69 6e 65 20 46 54 53 35 5f 43 55 52 52  define FTS5_CURR
1110: 45 4e 54 5f 56 45 52 53 49 4f 4e 20 32 0a 0a 23  ENT_VERSION 2..#
1120: 64 65 66 69 6e 65 20 46 54 53 35 5f 43 4f 4e 54  define FTS5_CONT
1130: 45 4e 54 5f 4e 4f 52 4d 41 4c 20 20 20 30 0a 23  ENT_NORMAL   0.#
1140: 64 65 66 69 6e 65 20 46 54 53 35 5f 43 4f 4e 54  define FTS5_CONT
1150: 45 4e 54 5f 4e 4f 4e 45 20 20 20 20 20 31 0a 23  ENT_NONE     1.#
1160: 64 65 66 69 6e 65 20 46 54 53 35 5f 43 4f 4e 54  define FTS5_CONT
1170: 45 4e 54 5f 45 58 54 45 52 4e 41 4c 20 32 0a 0a  ENT_EXTERNAL 2..
1180: 0a 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74  ...int sqlite3Ft
1190: 73 35 43 6f 6e 66 69 67 50 61 72 73 65 28 0a 20  s5ConfigParse(. 
11a0: 20 20 20 46 74 73 35 47 6c 6f 62 61 6c 2a 2c 20     Fts5Global*, 
11b0: 73 71 6c 69 74 65 33 2a 2c 20 69 6e 74 2c 20 63  sqlite3*, int, c
11c0: 6f 6e 73 74 20 63 68 61 72 20 2a 2a 2c 20 46 74  onst char **, Ft
11d0: 73 35 43 6f 6e 66 69 67 2a 2a 2c 20 63 68 61 72  s5Config**, char
11e0: 2a 2a 0a 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74  **.);.void sqlit
11f0: 65 33 46 74 73 35 43 6f 6e 66 69 67 46 72 65 65  e3Fts5ConfigFree
1200: 28 46 74 73 35 43 6f 6e 66 69 67 2a 29 3b 0a 0a  (Fts5Config*);..
1210: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 43  int sqlite3Fts5C
1220: 6f 6e 66 69 67 44 65 63 6c 61 72 65 56 74 61 62  onfigDeclareVtab
1230: 28 46 74 73 35 43 6f 6e 66 69 67 20 2a 70 43 6f  (Fts5Config *pCo
1240: 6e 66 69 67 29 3b 0a 0a 69 6e 74 20 73 71 6c 69  nfig);..int sqli
1250: 74 65 33 46 74 73 35 54 6f 6b 65 6e 69 7a 65 28  te3Fts5Tokenize(
1260: 0a 20 20 46 74 73 35 43 6f 6e 66 69 67 20 2a 70  .  Fts5Config *p
1270: 43 6f 6e 66 69 67 2c 20 20 20 20 20 20 20 20 20  Config,         
1280: 20 20 20 2f 2a 20 46 54 53 35 20 43 6f 6e 66 69     /* FTS5 Confi
1290: 67 75 72 61 74 69 6f 6e 20 6f 62 6a 65 63 74 20  guration object 
12a0: 2a 2f 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20  */.  const char 
12b0: 2a 70 54 65 78 74 2c 20 69 6e 74 20 6e 54 65 78  *pText, int nTex
12c0: 74 2c 20 20 20 2f 2a 20 54 65 78 74 20 74 6f 20  t,   /* Text to 
12d0: 74 6f 6b 65 6e 69 7a 65 20 2a 2f 0a 20 20 76 6f  tokenize */.  vo
12e0: 69 64 20 2a 70 43 74 78 2c 20 20 20 20 20 20 20  id *pCtx,       
12f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
1300: 20 43 6f 6e 74 65 78 74 20 70 61 73 73 65 64 20   Context passed 
1310: 74 6f 20 78 54 6f 6b 65 6e 28 29 20 2a 2f 0a 20  to xToken() */. 
1320: 20 69 6e 74 20 28 2a 78 54 6f 6b 65 6e 29 28 76   int (*xToken)(v
1330: 6f 69 64 2a 2c 20 63 6f 6e 73 74 20 63 68 61 72  oid*, const char
1340: 2a 2c 20 69 6e 74 2c 20 69 6e 74 2c 20 69 6e 74  *, int, int, int
1350: 29 20 20 20 20 2f 2a 20 43 61 6c 6c 62 61 63 6b  )    /* Callback
1360: 20 2a 2f 0a 29 3b 0a 0a 76 6f 69 64 20 73 71 6c   */.);..void sql
1370: 69 74 65 33 46 74 73 35 44 65 71 75 6f 74 65 28  ite3Fts5Dequote(
1380: 63 68 61 72 20 2a 7a 29 3b 0a 0a 2f 2a 20 4c 6f  char *z);../* Lo
1390: 61 64 20 74 68 65 20 63 6f 6e 74 65 6e 74 73 20  ad the contents 
13a0: 6f 66 20 74 68 65 20 25 5f 63 6f 6e 66 69 67 20  of the %_config 
13b0: 74 61 62 6c 65 20 2a 2f 0a 69 6e 74 20 73 71 6c  table */.int sql
13c0: 69 74 65 33 46 74 73 35 43 6f 6e 66 69 67 4c 6f  ite3Fts5ConfigLo
13d0: 61 64 28 46 74 73 35 43 6f 6e 66 69 67 2a 2c 20  ad(Fts5Config*, 
13e0: 69 6e 74 29 3b 0a 0a 2f 2a 20 53 65 74 20 74 68  int);../* Set th
13f0: 65 20 76 61 6c 75 65 20 6f 66 20 61 20 73 69 6e  e value of a sin
1400: 67 6c 65 20 63 6f 6e 66 69 67 20 61 74 74 72 69  gle config attri
1410: 62 75 74 65 20 2a 2f 0a 69 6e 74 20 73 71 6c 69  bute */.int sqli
1420: 74 65 33 46 74 73 35 43 6f 6e 66 69 67 53 65 74  te3Fts5ConfigSet
1430: 56 61 6c 75 65 28 46 74 73 35 43 6f 6e 66 69 67  Value(Fts5Config
1440: 2a 2c 20 63 6f 6e 73 74 20 63 68 61 72 2a 2c 20  *, const char*, 
1450: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 2a 2c 20  sqlite3_value*, 
1460: 69 6e 74 2a 29 3b 0a 0a 69 6e 74 20 73 71 6c 69  int*);..int sqli
1470: 74 65 33 46 74 73 35 43 6f 6e 66 69 67 50 61 72  te3Fts5ConfigPar
1480: 73 65 52 61 6e 6b 28 63 6f 6e 73 74 20 63 68 61  seRank(const cha
1490: 72 2a 2c 20 63 68 61 72 2a 2a 2c 20 63 68 61 72  r*, char**, char
14a0: 2a 2a 29 3b 0a 0a 2f 2a 0a 2a 2a 20 45 6e 64 20  **);../*.** End 
14b0: 6f 66 20 69 6e 74 65 72 66 61 63 65 20 74 6f 20  of interface to 
14c0: 63 6f 64 65 20 69 6e 20 66 74 73 35 5f 63 6f 6e  code in fts5_con
14d0: 66 69 67 2e 63 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  fig.c..*********
14e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
14f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1500: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1510: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1520: 2a 2f 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  */../***********
1530: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1540: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1550: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1560: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a  ***************.
1570: 2a 2a 20 49 6e 74 65 72 66 61 63 65 20 74 6f 20  ** Interface to 
1580: 63 6f 64 65 20 69 6e 20 66 74 73 35 5f 62 75 66  code in fts5_buf
1590: 66 65 72 2e 63 2e 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a  fer.c..*/../*.**
15a0: 20 42 75 66 66 65 72 20 6f 62 6a 65 63 74 20 66   Buffer object f
15b0: 6f 72 20 74 68 65 20 69 6e 63 72 65 6d 65 6e 74  or the increment
15c0: 61 6c 20 62 75 69 6c 64 69 6e 67 20 6f 66 20 73  al building of s
15d0: 74 72 69 6e 67 20 64 61 74 61 2e 0a 2a 2f 0a 74  tring data..*/.t
15e0: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
15f0: 73 35 42 75 66 66 65 72 20 46 74 73 35 42 75 66  s5Buffer Fts5Buf
1600: 66 65 72 3b 0a 73 74 72 75 63 74 20 46 74 73 35  fer;.struct Fts5
1610: 42 75 66 66 65 72 20 7b 0a 20 20 75 38 20 2a 70  Buffer {.  u8 *p
1620: 3b 0a 20 20 69 6e 74 20 6e 3b 0a 20 20 69 6e 74  ;.  int n;.  int
1630: 20 6e 53 70 61 63 65 3b 0a 7d 3b 0a 0a 69 6e 74   nSpace;.};..int
1640: 20 73 71 6c 69 74 65 33 46 74 73 35 42 75 66 66   sqlite3Fts5Buff
1650: 65 72 47 72 6f 77 28 69 6e 74 2a 2c 20 46 74 73  erGrow(int*, Fts
1660: 35 42 75 66 66 65 72 2a 2c 20 69 6e 74 29 3b 0a  5Buffer*, int);.
1670: 76 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 35  void sqlite3Fts5
1680: 42 75 66 66 65 72 41 70 70 65 6e 64 56 61 72 69  BufferAppendVari
1690: 6e 74 28 69 6e 74 2a 2c 20 46 74 73 35 42 75 66  nt(int*, Fts5Buf
16a0: 66 65 72 2a 2c 20 69 36 34 29 3b 0a 76 6f 69 64  fer*, i64);.void
16b0: 20 73 71 6c 69 74 65 33 46 74 73 35 42 75 66 66   sqlite3Fts5Buff
16c0: 65 72 41 70 70 65 6e 64 42 6c 6f 62 28 69 6e 74  erAppendBlob(int
16d0: 2a 2c 20 46 74 73 35 42 75 66 66 65 72 2a 2c 20  *, Fts5Buffer*, 
16e0: 69 6e 74 2c 20 63 6f 6e 73 74 20 75 38 2a 29 3b  int, const u8*);
16f0: 0a 76 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73  .void sqlite3Fts
1700: 35 42 75 66 66 65 72 41 70 70 65 6e 64 53 74 72  5BufferAppendStr
1710: 69 6e 67 28 69 6e 74 20 2a 2c 20 46 74 73 35 42  ing(int *, Fts5B
1720: 75 66 66 65 72 2a 2c 20 63 6f 6e 73 74 20 63 68  uffer*, const ch
1730: 61 72 2a 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74  ar*);.void sqlit
1740: 65 33 46 74 73 35 42 75 66 66 65 72 46 72 65 65  e3Fts5BufferFree
1750: 28 46 74 73 35 42 75 66 66 65 72 2a 29 3b 0a 76  (Fts5Buffer*);.v
1760: 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 35 42  oid sqlite3Fts5B
1770: 75 66 66 65 72 5a 65 72 6f 28 46 74 73 35 42 75  ufferZero(Fts5Bu
1780: 66 66 65 72 2a 29 3b 0a 76 6f 69 64 20 73 71 6c  ffer*);.void sql
1790: 69 74 65 33 46 74 73 35 42 75 66 66 65 72 53 65  ite3Fts5BufferSe
17a0: 74 28 69 6e 74 2a 2c 20 46 74 73 35 42 75 66 66  t(int*, Fts5Buff
17b0: 65 72 2a 2c 20 69 6e 74 2c 20 63 6f 6e 73 74 20  er*, int, const 
17c0: 75 38 2a 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74  u8*);.void sqlit
17d0: 65 33 46 74 73 35 42 75 66 66 65 72 41 70 70 65  e3Fts5BufferAppe
17e0: 6e 64 50 72 69 6e 74 66 28 69 6e 74 20 2a 2c 20  ndPrintf(int *, 
17f0: 46 74 73 35 42 75 66 66 65 72 2a 2c 20 63 68 61  Fts5Buffer*, cha
1800: 72 20 2a 7a 46 6d 74 2c 20 2e 2e 2e 29 3b 0a 76  r *zFmt, ...);.v
1810: 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 35 42  oid sqlite3Fts5B
1820: 75 66 66 65 72 41 70 70 65 6e 64 33 32 28 69 6e  ufferAppend32(in
1830: 74 2a 2c 20 46 74 73 35 42 75 66 66 65 72 2a 2c  t*, Fts5Buffer*,
1840: 20 69 6e 74 29 3b 0a 0a 23 64 65 66 69 6e 65 20   int);..#define 
1850: 66 74 73 35 42 75 66 66 65 72 5a 65 72 6f 28 78  fts5BufferZero(x
1860: 29 20 20 20 20 20 20 20 20 20 20 20 20 20 73 71  )             sq
1870: 6c 69 74 65 33 46 74 73 35 42 75 66 66 65 72 5a  lite3Fts5BufferZ
1880: 65 72 6f 28 78 29 0a 23 64 65 66 69 6e 65 20 66  ero(x).#define f
1890: 74 73 35 42 75 66 66 65 72 47 72 6f 77 28 61 2c  ts5BufferGrow(a,
18a0: 62 2c 63 29 20 20 20 20 20 20 20 20 20 73 71 6c  b,c)         sql
18b0: 69 74 65 33 46 74 73 35 42 75 66 66 65 72 47 72  ite3Fts5BufferGr
18c0: 6f 77 28 61 2c 62 2c 63 29 0a 23 64 65 66 69 6e  ow(a,b,c).#defin
18d0: 65 20 66 74 73 35 42 75 66 66 65 72 41 70 70 65  e fts5BufferAppe
18e0: 6e 64 56 61 72 69 6e 74 28 61 2c 62 2c 63 29 20  ndVarint(a,b,c) 
18f0: 73 71 6c 69 74 65 33 46 74 73 35 42 75 66 66 65  sqlite3Fts5Buffe
1900: 72 41 70 70 65 6e 64 56 61 72 69 6e 74 28 61 2c  rAppendVarint(a,
1910: 62 2c 63 29 0a 23 64 65 66 69 6e 65 20 66 74 73  b,c).#define fts
1920: 35 42 75 66 66 65 72 46 72 65 65 28 61 29 20 20  5BufferFree(a)  
1930: 20 20 20 20 20 20 20 20 20 20 20 73 71 6c 69 74             sqlit
1940: 65 33 46 74 73 35 42 75 66 66 65 72 46 72 65 65  e3Fts5BufferFree
1950: 28 61 29 0a 23 64 65 66 69 6e 65 20 66 74 73 35  (a).#define fts5
1960: 42 75 66 66 65 72 41 70 70 65 6e 64 42 6c 6f 62  BufferAppendBlob
1970: 28 61 2c 62 2c 63 2c 64 29 20 73 71 6c 69 74 65  (a,b,c,d) sqlite
1980: 33 46 74 73 35 42 75 66 66 65 72 41 70 70 65 6e  3Fts5BufferAppen
1990: 64 42 6c 6f 62 28 61 2c 62 2c 63 2c 64 29 0a 23  dBlob(a,b,c,d).#
19a0: 64 65 66 69 6e 65 20 66 74 73 35 42 75 66 66 65  define fts5Buffe
19b0: 72 53 65 74 28 61 2c 62 2c 63 2c 64 29 20 20 20  rSet(a,b,c,d)   
19c0: 20 20 20 20 20 73 71 6c 69 74 65 33 46 74 73 35       sqlite3Fts5
19d0: 42 75 66 66 65 72 53 65 74 28 61 2c 62 2c 63 2c  BufferSet(a,b,c,
19e0: 64 29 0a 23 64 65 66 69 6e 65 20 66 74 73 35 42  d).#define fts5B
19f0: 75 66 66 65 72 41 70 70 65 6e 64 33 32 28 61 2c  ufferAppend32(a,
1a00: 62 2c 63 29 20 20 20 20 20 73 71 6c 69 74 65 33  b,c)     sqlite3
1a10: 46 74 73 35 42 75 66 66 65 72 41 70 70 65 6e 64  Fts5BufferAppend
1a20: 33 32 28 61 2c 62 2c 63 29 0a 0a 2f 2a 20 57 72  32(a,b,c)../* Wr
1a30: 69 74 65 20 61 6e 64 20 64 65 63 6f 64 65 20 62  ite and decode b
1a40: 69 67 2d 65 6e 64 69 61 6e 20 33 32 2d 62 69 74  ig-endian 32-bit
1a50: 20 69 6e 74 65 67 65 72 20 76 61 6c 75 65 73 20   integer values 
1a60: 2a 2f 0a 76 6f 69 64 20 73 71 6c 69 74 65 33 46  */.void sqlite3F
1a70: 74 73 35 50 75 74 33 32 28 75 38 2a 2c 20 69 6e  ts5Put32(u8*, in
1a80: 74 29 3b 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  t);.int sqlite3F
1a90: 74 73 35 47 65 74 33 32 28 63 6f 6e 73 74 20 75  ts5Get32(const u
1aa0: 38 2a 29 3b 0a 0a 23 64 65 66 69 6e 65 20 46 54  8*);..#define FT
1ab0: 53 35 5f 50 4f 53 32 43 4f 4c 55 4d 4e 28 69 50  S5_POS2COLUMN(iP
1ac0: 6f 73 29 20 28 69 6e 74 29 28 69 50 6f 73 20 3e  os) (int)(iPos >
1ad0: 3e 20 33 32 29 0a 23 64 65 66 69 6e 65 20 46 54  > 32).#define FT
1ae0: 53 35 5f 50 4f 53 32 4f 46 46 53 45 54 28 69 50  S5_POS2OFFSET(iP
1af0: 6f 73 29 20 28 69 6e 74 29 28 69 50 6f 73 20 26  os) (int)(iPos &
1b00: 20 30 78 46 46 46 46 46 46 46 46 29 0a 0a 74 79   0xFFFFFFFF)..ty
1b10: 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74 73  pedef struct Fts
1b20: 35 50 6f 73 6c 69 73 74 52 65 61 64 65 72 20 46  5PoslistReader F
1b30: 74 73 35 50 6f 73 6c 69 73 74 52 65 61 64 65 72  ts5PoslistReader
1b40: 3b 0a 73 74 72 75 63 74 20 46 74 73 35 50 6f 73  ;.struct Fts5Pos
1b50: 6c 69 73 74 52 65 61 64 65 72 20 7b 0a 20 20 2f  listReader {.  /
1b60: 2a 20 56 61 72 69 61 62 6c 65 73 20 75 73 65 64  * Variables used
1b70: 20 6f 6e 6c 79 20 62 79 20 73 71 6c 69 74 65 33   only by sqlite3
1b80: 46 74 73 35 50 6f 73 6c 69 73 74 49 74 65 72 58  Fts5PoslistIterX
1b90: 58 58 28 29 20 66 75 6e 63 74 69 6f 6e 73 2e 20  XX() functions. 
1ba0: 2a 2f 0a 20 20 69 6e 74 20 69 43 6f 6c 3b 20 20  */.  int iCol;  
1bb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1bc0: 20 20 20 20 20 2f 2a 20 49 66 20 28 69 43 6f 6c       /* If (iCol
1bd0: 3e 3d 30 29 2c 20 74 68 69 73 20 63 6f 6c 75 6d  >=0), this colum
1be0: 6e 20 6f 6e 6c 79 20 2a 2f 0a 20 20 63 6f 6e 73  n only */.  cons
1bf0: 74 20 75 38 20 2a 61 3b 20 20 20 20 20 20 20 20  t u8 *a;        
1c00: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 50              /* P
1c10: 6f 73 69 74 69 6f 6e 20 6c 69 73 74 20 74 6f 20  osition list to 
1c20: 69 74 65 72 61 74 65 20 74 68 72 6f 75 67 68 20  iterate through 
1c30: 2a 2f 0a 20 20 69 6e 74 20 6e 3b 20 20 20 20 20  */.  int n;     
1c40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c50: 20 20 20 20 20 2f 2a 20 53 69 7a 65 20 6f 66 20       /* Size of 
1c60: 62 75 66 66 65 72 20 61 74 20 61 5b 5d 20 69 6e  buffer at a[] in
1c70: 20 62 79 74 65 73 20 2a 2f 0a 20 20 69 6e 74 20   bytes */.  int 
1c80: 69 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  i;              
1c90: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 43              /* C
1ca0: 75 72 72 65 6e 74 20 6f 66 66 73 65 74 20 69 6e  urrent offset in
1cb0: 20 61 5b 5d 20 2a 2f 0a 0a 20 20 2f 2a 20 4f 75   a[] */..  /* Ou
1cc0: 74 70 75 74 20 76 61 72 69 61 62 6c 65 73 20 2a  tput variables *
1cd0: 2f 0a 20 20 69 6e 74 20 62 45 6f 66 3b 20 20 20  /.  int bEof;   
1ce0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1cf0: 20 20 20 20 2f 2a 20 53 65 74 20 74 6f 20 74 72      /* Set to tr
1d00: 75 65 20 61 74 20 45 4f 46 20 2a 2f 0a 20 20 69  ue at EOF */.  i
1d10: 36 34 20 69 50 6f 73 3b 20 20 20 20 20 20 20 20  64 iPos;        
1d20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f                 /
1d30: 2a 20 28 69 43 6f 6c 3c 3c 33 32 29 20 2b 20 69  * (iCol<<32) + i
1d40: 50 6f 73 20 2a 2f 0a 7d 3b 0a 69 6e 74 20 73 71  Pos */.};.int sq
1d50: 6c 69 74 65 33 46 74 73 35 50 6f 73 6c 69 73 74  lite3Fts5Poslist
1d60: 52 65 61 64 65 72 49 6e 69 74 28 0a 20 20 69 6e  ReaderInit(.  in
1d70: 74 20 69 43 6f 6c 2c 20 20 20 20 20 20 20 20 20  t iCol,         
1d80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
1d90: 20 49 66 20 28 69 43 6f 6c 3e 3d 30 29 2c 20 74   If (iCol>=0), t
1da0: 68 69 73 20 63 6f 6c 75 6d 6e 20 6f 6e 6c 79 20  his column only 
1db0: 2a 2f 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a 61  */.  const u8 *a
1dc0: 2c 20 69 6e 74 20 6e 2c 20 20 20 20 20 20 20 20  , int n,        
1dd0: 20 20 20 20 20 2f 2a 20 50 6f 73 6c 69 73 74 20       /* Poslist 
1de0: 62 75 66 66 65 72 20 74 6f 20 69 74 65 72 61 74  buffer to iterat
1df0: 65 20 74 68 72 6f 75 67 68 20 2a 2f 0a 20 20 46  e through */.  F
1e00: 74 73 35 50 6f 73 6c 69 73 74 52 65 61 64 65 72  ts5PoslistReader
1e10: 20 2a 70 49 74 65 72 20 20 20 20 20 20 20 20 2f   *pIter        /
1e20: 2a 20 49 74 65 72 61 74 6f 72 20 6f 62 6a 65 63  * Iterator objec
1e30: 74 20 74 6f 20 69 6e 69 74 69 61 6c 69 7a 65 20  t to initialize 
1e40: 2a 2f 0a 29 3b 0a 69 6e 74 20 73 71 6c 69 74 65  */.);.int sqlite
1e50: 33 46 74 73 35 50 6f 73 6c 69 73 74 52 65 61 64  3Fts5PoslistRead
1e60: 65 72 4e 65 78 74 28 46 74 73 35 50 6f 73 6c 69  erNext(Fts5Posli
1e70: 73 74 52 65 61 64 65 72 2a 29 3b 0a 0a 74 79 70  stReader*);..typ
1e80: 65 64 65 66 20 73 74 72 75 63 74 20 46 74 73 35  edef struct Fts5
1e90: 50 6f 73 6c 69 73 74 57 72 69 74 65 72 20 46 74  PoslistWriter Ft
1ea0: 73 35 50 6f 73 6c 69 73 74 57 72 69 74 65 72 3b  s5PoslistWriter;
1eb0: 0a 73 74 72 75 63 74 20 46 74 73 35 50 6f 73 6c  .struct Fts5Posl
1ec0: 69 73 74 57 72 69 74 65 72 20 7b 0a 20 20 69 36  istWriter {.  i6
1ed0: 34 20 69 50 72 65 76 3b 0a 7d 3b 0a 69 6e 74 20  4 iPrev;.};.int 
1ee0: 73 71 6c 69 74 65 33 46 74 73 35 50 6f 73 6c 69  sqlite3Fts5Posli
1ef0: 73 74 57 72 69 74 65 72 41 70 70 65 6e 64 28 46  stWriterAppend(F
1f00: 74 73 35 42 75 66 66 65 72 2a 2c 20 46 74 73 35  ts5Buffer*, Fts5
1f10: 50 6f 73 6c 69 73 74 57 72 69 74 65 72 2a 2c 20  PoslistWriter*, 
1f20: 69 36 34 29 3b 0a 0a 69 6e 74 20 73 71 6c 69 74  i64);..int sqlit
1f30: 65 33 46 74 73 35 50 6f 73 6c 69 73 74 4e 65 78  e3Fts5PoslistNex
1f40: 74 36 34 28 0a 20 20 63 6f 6e 73 74 20 75 38 20  t64(.  const u8 
1f50: 2a 61 2c 20 69 6e 74 20 6e 2c 20 20 20 20 20 20  *a, int n,      
1f60: 20 20 20 20 20 20 20 2f 2a 20 42 75 66 66 65 72         /* Buffer
1f70: 20 63 6f 6e 74 61 69 6e 69 6e 67 20 70 6f 73 6c   containing posl
1f80: 69 73 74 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 69  ist */.  int *pi
1f90: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
1fa0: 20 20 20 20 20 20 20 20 20 2f 2a 20 49 4e 2f 4f           /* IN/O
1fb0: 55 54 3a 20 4f 66 66 73 65 74 20 77 69 74 68 69  UT: Offset withi
1fc0: 6e 20 61 5b 5d 20 2a 2f 0a 20 20 69 36 34 20 2a  n a[] */.  i64 *
1fd0: 70 69 4f 66 66 20 20 20 20 20 20 20 20 20 20 20  piOff           
1fe0: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 49 4e             /* IN
1ff0: 2f 4f 55 54 3a 20 43 75 72 72 65 6e 74 20 6f 66  /OUT: Current of
2000: 66 73 65 74 20 2a 2f 0a 29 3b 0a 0a 2f 2a 20 4d  fset */.);../* M
2010: 61 6c 6c 6f 63 20 75 74 69 6c 69 74 79 20 2a 2f  alloc utility */
2020: 0a 76 6f 69 64 20 2a 73 71 6c 69 74 65 33 46 74  .void *sqlite3Ft
2030: 73 35 4d 61 6c 6c 6f 63 5a 65 72 6f 28 69 6e 74  s5MallocZero(int
2040: 20 2a 70 52 63 2c 20 69 6e 74 20 6e 42 79 74 65   *pRc, int nByte
2050: 29 3b 0a 63 68 61 72 20 2a 73 71 6c 69 74 65 33  );.char *sqlite3
2060: 46 74 73 35 53 74 72 6e 64 75 70 28 69 6e 74 20  Fts5Strndup(int 
2070: 2a 70 52 63 2c 20 63 6f 6e 73 74 20 63 68 61 72  *pRc, const char
2080: 20 2a 70 49 6e 2c 20 69 6e 74 20 6e 49 6e 29 3b   *pIn, int nIn);
2090: 0a 0a 2f 2a 20 43 68 61 72 61 63 74 65 72 20 73  ../* Character s
20a0: 65 74 20 74 65 73 74 73 20 28 6c 69 6b 65 20 69  et tests (like i
20b0: 73 73 70 61 63 65 28 29 2c 20 69 73 61 6c 70 68  sspace(), isalph
20c0: 61 28 29 20 65 74 63 2e 29 20 2a 2f 0a 69 6e 74  a() etc.) */.int
20d0: 20 73 71 6c 69 74 65 33 46 74 73 35 49 73 42 61   sqlite3Fts5IsBa
20e0: 72 65 77 6f 72 64 28 63 68 61 72 20 74 29 3b 0a  reword(char t);.
20f0: 0a 2f 2a 0a 2a 2a 20 45 6e 64 20 6f 66 20 69 6e  ./*.** End of in
2100: 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65 20  terface to code 
2110: 69 6e 20 66 74 73 35 5f 62 75 66 66 65 72 2e 63  in fts5_buffer.c
2120: 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ..**************
2130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f  ************/../
2170: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2180: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2190: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
21a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
21b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 49 6e  **********.** In
21c0: 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65 20  terface to code 
21d0: 69 6e 20 66 74 73 35 5f 69 6e 64 65 78 2e 63 2e  in fts5_index.c.
21e0: 20 66 74 73 35 5f 69 6e 64 65 78 2e 63 20 63 6f   fts5_index.c co
21f0: 6e 74 61 69 6e 73 20 63 6f 6e 74 61 69 6e 73 20  ntains contains 
2200: 63 6f 64 65 0a 2a 2a 20 74 6f 20 61 63 63 65 73  code.** to acces
2210: 73 20 74 68 65 20 64 61 74 61 20 73 74 6f 72 65  s the data store
2220: 64 20 69 6e 20 74 68 65 20 25 5f 64 61 74 61 20  d in the %_data 
2230: 74 61 62 6c 65 2e 0a 2a 2f 0a 0a 74 79 70 65 64  table..*/..typed
2240: 65 66 20 73 74 72 75 63 74 20 46 74 73 35 49 6e  ef struct Fts5In
2250: 64 65 78 20 46 74 73 35 49 6e 64 65 78 3b 0a 74  dex Fts5Index;.t
2260: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
2270: 73 35 49 6e 64 65 78 49 74 65 72 20 46 74 73 35  s5IndexIter Fts5
2280: 49 6e 64 65 78 49 74 65 72 3b 0a 0a 2f 2a 0a 2a  IndexIter;../*.*
2290: 2a 20 56 61 6c 75 65 73 20 75 73 65 64 20 61 73  * Values used as
22a0: 20 70 61 72 74 20 6f 66 20 74 68 65 20 66 6c 61   part of the fla
22b0: 67 73 20 61 72 67 75 6d 65 6e 74 20 70 61 73 73  gs argument pass
22c0: 65 64 20 74 6f 20 49 6e 64 65 78 51 75 65 72 79  ed to IndexQuery
22d0: 28 29 2e 0a 2a 2f 0a 23 64 65 66 69 6e 65 20 46  ()..*/.#define F
22e0: 54 53 35 49 4e 44 45 58 5f 51 55 45 52 59 5f 50  TS5INDEX_QUERY_P
22f0: 52 45 46 49 58 20 20 20 20 20 30 78 30 30 30 31  REFIX     0x0001
2300: 20 20 20 2f 2a 20 50 72 65 66 69 78 20 71 75 65     /* Prefix que
2310: 72 79 20 2a 2f 0a 23 64 65 66 69 6e 65 20 46 54  ry */.#define FT
2320: 53 35 49 4e 44 45 58 5f 51 55 45 52 59 5f 44 45  S5INDEX_QUERY_DE
2330: 53 43 20 20 20 20 20 20 20 30 78 30 30 30 32 20  SC       0x0002 
2340: 20 20 2f 2a 20 44 6f 63 73 20 69 6e 20 64 65 73    /* Docs in des
2350: 63 65 6e 64 69 6e 67 20 72 6f 77 69 64 20 6f 72  cending rowid or
2360: 64 65 72 20 2a 2f 0a 23 64 65 66 69 6e 65 20 46  der */.#define F
2370: 54 53 35 49 4e 44 45 58 5f 51 55 45 52 59 5f 54  TS5INDEX_QUERY_T
2380: 45 53 54 5f 4e 4f 49 44 58 20 30 78 30 30 30 34  EST_NOIDX 0x0004
2390: 20 20 20 2f 2a 20 44 6f 20 6e 6f 74 20 75 73 65     /* Do not use
23a0: 20 70 72 65 66 69 78 20 69 6e 64 65 78 20 2a 2f   prefix index */
23b0: 0a 23 64 65 66 69 6e 65 20 46 54 53 35 49 4e 44  .#define FTS5IND
23c0: 45 58 5f 51 55 45 52 59 5f 53 43 41 4e 20 20 20  EX_QUERY_SCAN   
23d0: 20 20 20 20 30 78 30 30 30 38 20 20 20 2f 2a 20      0x0008   /* 
23e0: 53 63 61 6e 20 71 75 65 72 79 20 28 66 74 73 35  Scan query (fts5
23f0: 76 6f 63 61 62 29 20 2a 2f 0a 0a 2f 2a 0a 2a 2a  vocab) */../*.**
2400: 20 43 72 65 61 74 65 2f 64 65 73 74 72 6f 79 20   Create/destroy 
2410: 61 6e 20 46 74 73 35 49 6e 64 65 78 20 6f 62 6a  an Fts5Index obj
2420: 65 63 74 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69  ect..*/.int sqli
2430: 74 65 33 46 74 73 35 49 6e 64 65 78 4f 70 65 6e  te3Fts5IndexOpen
2440: 28 46 74 73 35 43 6f 6e 66 69 67 20 2a 70 43 6f  (Fts5Config *pCo
2450: 6e 66 69 67 2c 20 69 6e 74 20 62 43 72 65 61 74  nfig, int bCreat
2460: 65 2c 20 46 74 73 35 49 6e 64 65 78 2a 2a 2c 20  e, Fts5Index**, 
2470: 63 68 61 72 2a 2a 29 3b 0a 69 6e 74 20 73 71 6c  char**);.int sql
2480: 69 74 65 33 46 74 73 35 49 6e 64 65 78 43 6c 6f  ite3Fts5IndexClo
2490: 73 65 28 46 74 73 35 49 6e 64 65 78 20 2a 70 29  se(Fts5Index *p)
24a0: 3b 0a 0a 2f 2a 0a 2a 2a 20 66 6f 72 28 0a 2a 2a  ;../*.** for(.**
24b0: 20 20 20 70 49 74 65 72 20 3d 20 73 71 6c 69 74     pIter = sqlit
24c0: 65 33 46 74 73 35 49 6e 64 65 78 51 75 65 72 79  e3Fts5IndexQuery
24d0: 28 70 2c 20 22 74 6f 6b 65 6e 22 2c 20 35 2c 20  (p, "token", 5, 
24e0: 30 29 3b 0a 2a 2a 20 20 20 30 3d 3d 73 71 6c 69  0);.**   0==sqli
24f0: 74 65 33 46 74 73 35 49 74 65 72 45 6f 66 28 70  te3Fts5IterEof(p
2500: 49 74 65 72 29 3b 0a 2a 2a 20 20 20 73 71 6c 69  Iter);.**   sqli
2510: 74 65 33 46 74 73 35 49 74 65 72 4e 65 78 74 28  te3Fts5IterNext(
2520: 70 49 74 65 72 29 0a 2a 2a 20 29 7b 0a 2a 2a 20  pIter).** ){.** 
2530: 20 20 69 36 34 20 69 52 6f 77 69 64 20 3d 20 73    i64 iRowid = s
2540: 71 6c 69 74 65 33 46 74 73 35 49 74 65 72 52 6f  qlite3Fts5IterRo
2550: 77 69 64 28 70 49 74 65 72 29 3b 0a 2a 2a 20 7d  wid(pIter);.** }
2560: 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 4f 70 65 6e 20  .*/../*.** Open 
2570: 61 20 6e 65 77 20 69 74 65 72 61 74 6f 72 20 74  a new iterator t
2580: 6f 20 69 74 65 72 61 74 65 20 74 68 6f 75 67 68  o iterate though
2590: 20 61 6c 6c 20 64 6f 63 69 64 73 20 74 68 61 74   all docids that
25a0: 20 6d 61 74 63 68 20 74 68 65 20 0a 2a 2a 20 73   match the .** s
25b0: 70 65 63 69 66 69 65 64 20 74 6f 6b 65 6e 20 6f  pecified token o
25c0: 72 20 74 6f 6b 65 6e 20 70 72 65 66 69 78 2e 0a  r token prefix..
25d0: 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74  */.int sqlite3Ft
25e0: 73 35 49 6e 64 65 78 51 75 65 72 79 28 0a 20 20  s5IndexQuery(.  
25f0: 46 74 73 35 49 6e 64 65 78 20 2a 70 2c 20 20 20  Fts5Index *p,   
2600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2610: 2f 2a 20 46 54 53 20 69 6e 64 65 78 20 74 6f 20  /* FTS index to 
2620: 71 75 65 72 79 20 2a 2f 0a 20 20 63 6f 6e 73 74  query */.  const
2630: 20 63 68 61 72 20 2a 70 54 6f 6b 65 6e 2c 20 69   char *pToken, i
2640: 6e 74 20 6e 54 6f 6b 65 6e 2c 20 2f 2a 20 54 6f  nt nToken, /* To
2650: 6b 65 6e 20 28 6f 72 20 70 72 65 66 69 78 29 20  ken (or prefix) 
2660: 74 6f 20 71 75 65 72 79 20 66 6f 72 20 2a 2f 0a  to query for */.
2670: 20 20 69 6e 74 20 66 6c 61 67 73 2c 20 20 20 20    int flags,    
2680: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2690: 20 20 2f 2a 20 4d 61 73 6b 20 6f 66 20 46 54 53    /* Mask of FTS
26a0: 35 49 4e 44 45 58 5f 51 55 45 52 59 5f 58 20 66  5INDEX_QUERY_X f
26b0: 6c 61 67 73 20 2a 2f 0a 20 20 46 74 73 35 49 6e  lags */.  Fts5In
26c0: 64 65 78 49 74 65 72 20 2a 2a 70 70 49 74 65 72  dexIter **ppIter
26d0: 0a 29 3b 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 76  .);../*.** The v
26e0: 61 72 69 6f 75 73 20 6f 70 65 72 61 74 69 6f 6e  arious operation
26f0: 73 20 6f 6e 20 6f 70 65 6e 20 74 6f 6b 65 6e 20  s on open token 
2700: 6f 72 20 74 6f 6b 65 6e 20 70 72 65 66 69 78 20  or token prefix 
2710: 69 74 65 72 61 74 6f 72 73 20 6f 70 65 6e 65 64  iterators opened
2720: 0a 2a 2a 20 75 73 69 6e 67 20 73 71 6c 69 74 65  .** using sqlite
2730: 33 46 74 73 35 49 6e 64 65 78 51 75 65 72 79 28  3Fts5IndexQuery(
2740: 29 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65  )..*/.int sqlite
2750: 33 46 74 73 35 49 74 65 72 45 6f 66 28 46 74 73  3Fts5IterEof(Fts
2760: 35 49 6e 64 65 78 49 74 65 72 2a 29 3b 0a 69 6e  5IndexIter*);.in
2770: 74 20 73 71 6c 69 74 65 33 46 74 73 35 49 74 65  t sqlite3Fts5Ite
2780: 72 4e 65 78 74 28 46 74 73 35 49 6e 64 65 78 49  rNext(Fts5IndexI
2790: 74 65 72 2a 29 3b 0a 69 6e 74 20 73 71 6c 69 74  ter*);.int sqlit
27a0: 65 33 46 74 73 35 49 74 65 72 4e 65 78 74 46 72  e3Fts5IterNextFr
27b0: 6f 6d 28 46 74 73 35 49 6e 64 65 78 49 74 65 72  om(Fts5IndexIter
27c0: 2a 2c 20 69 36 34 20 69 4d 61 74 63 68 29 3b 0a  *, i64 iMatch);.
27d0: 69 36 34 20 73 71 6c 69 74 65 33 46 74 73 35 49  i64 sqlite3Fts5I
27e0: 74 65 72 52 6f 77 69 64 28 46 74 73 35 49 6e 64  terRowid(Fts5Ind
27f0: 65 78 49 74 65 72 2a 29 3b 0a 69 6e 74 20 73 71  exIter*);.int sq
2800: 6c 69 74 65 33 46 74 73 35 49 74 65 72 50 6f 73  lite3Fts5IterPos
2810: 6c 69 73 74 28 46 74 73 35 49 6e 64 65 78 49 74  list(Fts5IndexIt
2820: 65 72 2a 2c 20 63 6f 6e 73 74 20 75 38 20 2a 2a  er*, const u8 **
2830: 70 70 2c 20 69 6e 74 20 2a 70 6e 2c 20 69 36 34  pp, int *pn, i64
2840: 20 2a 70 69 29 3b 0a 69 6e 74 20 73 71 6c 69 74   *pi);.int sqlit
2850: 65 33 46 74 73 35 49 74 65 72 50 6f 73 6c 69 73  e3Fts5IterPoslis
2860: 74 42 75 66 66 65 72 28 46 74 73 35 49 6e 64 65  tBuffer(Fts5Inde
2870: 78 49 74 65 72 20 2a 70 49 74 65 72 2c 20 46 74  xIter *pIter, Ft
2880: 73 35 42 75 66 66 65 72 20 2a 70 42 75 66 29 3b  s5Buffer *pBuf);
2890: 0a 0a 2f 2a 0a 2a 2a 20 43 6c 6f 73 65 20 61 6e  ../*.** Close an
28a0: 20 69 74 65 72 61 74 6f 72 20 6f 70 65 6e 65 64   iterator opened
28b0: 20 62 79 20 73 71 6c 69 74 65 33 46 74 73 35 49   by sqlite3Fts5I
28c0: 6e 64 65 78 51 75 65 72 79 28 29 2e 0a 2a 2f 0a  ndexQuery()..*/.
28d0: 76 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 35  void sqlite3Fts5
28e0: 49 74 65 72 43 6c 6f 73 65 28 46 74 73 35 49 6e  IterClose(Fts5In
28f0: 64 65 78 49 74 65 72 2a 29 3b 0a 0a 2f 2a 0a 2a  dexIter*);../*.*
2900: 2a 20 54 68 69 73 20 69 6e 74 65 72 66 61 63 65  * This interface
2910: 20 69 73 20 75 73 65 64 20 62 79 20 74 68 65 20   is used by the 
2920: 66 74 73 35 76 6f 63 61 62 20 6d 6f 64 75 6c 65  fts5vocab module
2930: 2e 0a 2a 2f 0a 63 6f 6e 73 74 20 63 68 61 72 20  ..*/.const char 
2940: 2a 73 71 6c 69 74 65 33 46 74 73 35 49 74 65 72  *sqlite3Fts5Iter
2950: 54 65 72 6d 28 46 74 73 35 49 6e 64 65 78 49 74  Term(Fts5IndexIt
2960: 65 72 2a 2c 20 69 6e 74 2a 29 3b 0a 69 6e 74 20  er*, int*);.int 
2970: 73 71 6c 69 74 65 33 46 74 73 35 49 74 65 72 4e  sqlite3Fts5IterN
2980: 65 78 74 53 63 61 6e 28 46 74 73 35 49 6e 64 65  extScan(Fts5Inde
2990: 78 49 74 65 72 2a 29 3b 0a 0a 0a 2f 2a 0a 2a 2a  xIter*);.../*.**
29a0: 20 49 6e 73 65 72 74 20 6f 72 20 72 65 6d 6f 76   Insert or remov
29b0: 65 20 64 61 74 61 20 74 6f 20 6f 72 20 66 72 6f  e data to or fro
29c0: 6d 20 74 68 65 20 69 6e 64 65 78 2e 20 45 61 63  m the index. Eac
29d0: 68 20 74 69 6d 65 20 61 20 64 6f 63 75 6d 65 6e  h time a documen
29e0: 74 20 69 73 20 0a 2a 2a 20 61 64 64 65 64 20 74  t is .** added t
29f0: 6f 20 6f 72 20 72 65 6d 6f 76 65 64 20 66 72 6f  o or removed fro
2a00: 6d 20 74 68 65 20 69 6e 64 65 78 2c 20 74 68 69  m the index, thi
2a10: 73 20 66 75 6e 63 74 69 6f 6e 20 69 73 20 63 61  s function is ca
2a20: 6c 6c 65 64 20 6f 6e 65 20 6f 72 20 6d 6f 72 65  lled one or more
2a30: 0a 2a 2a 20 74 69 6d 65 73 2e 0a 2a 2a 0a 2a 2a  .** times..**.**
2a40: 20 46 6f 72 20 61 6e 20 69 6e 73 65 72 74 2c 20   For an insert, 
2a50: 69 74 20 6d 75 73 74 20 62 65 20 63 61 6c 6c 65  it must be calle
2a60: 64 20 6f 6e 63 65 20 66 6f 72 20 65 61 63 68 20  d once for each 
2a70: 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20 6e 65 77  token in the new
2a80: 20 64 6f 63 75 6d 65 6e 74 2e 0a 2a 2a 20 49 66   document..** If
2a90: 20 74 68 65 20 6f 70 65 72 61 74 69 6f 6e 20 69   the operation i
2aa0: 73 20 61 20 64 65 6c 65 74 65 2c 20 69 74 20 6d  s a delete, it m
2ab0: 75 73 74 20 62 65 20 63 61 6c 6c 65 64 20 28 61  ust be called (a
2ac0: 74 20 6c 65 61 73 74 29 20 6f 6e 63 65 20 66 6f  t least) once fo
2ad0: 72 20 65 61 63 68 0a 2a 2a 20 75 6e 69 71 75 65  r each.** unique
2ae0: 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20 64 6f   token in the do
2af0: 63 75 6d 65 6e 74 20 77 69 74 68 20 61 6e 20 69  cument with an i
2b00: 43 6f 6c 20 76 61 6c 75 65 20 6c 65 73 73 20 74  Col value less t
2b10: 68 61 6e 20 7a 65 72 6f 2e 20 54 68 65 20 69 50  han zero. The iP
2b20: 6f 73 0a 2a 2a 20 61 72 67 75 6d 65 6e 74 20 69  os.** argument i
2b30: 73 20 69 67 6e 6f 72 65 64 20 66 6f 72 20 61 20  s ignored for a 
2b40: 64 65 6c 65 74 65 2e 0a 2a 2f 0a 69 6e 74 20 73  delete..*/.int s
2b50: 71 6c 69 74 65 33 46 74 73 35 49 6e 64 65 78 57  qlite3Fts5IndexW
2b60: 72 69 74 65 28 0a 20 20 46 74 73 35 49 6e 64 65  rite(.  Fts5Inde
2b70: 78 20 2a 70 2c 20 20 20 20 20 20 20 20 20 20 20  x *p,           
2b80: 20 20 20 20 20 20 20 20 2f 2a 20 49 6e 64 65 78          /* Index
2b90: 20 74 6f 20 77 72 69 74 65 20 74 6f 20 2a 2f 0a   to write to */.
2ba0: 20 20 69 6e 74 20 69 43 6f 6c 2c 20 20 20 20 20    int iCol,     
2bb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2bc0: 20 20 2f 2a 20 43 6f 6c 75 6d 6e 20 74 6f 6b 65    /* Column toke
2bd0: 6e 20 61 70 70 65 61 72 73 20 69 6e 20 28 2d 76  n appears in (-v
2be0: 65 20 2d 3e 20 64 65 6c 65 74 65 29 20 2a 2f 0a  e -> delete) */.
2bf0: 20 20 69 6e 74 20 69 50 6f 73 2c 20 20 20 20 20    int iPos,     
2c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2c10: 20 20 2f 2a 20 50 6f 73 69 74 69 6f 6e 20 6f 66    /* Position of
2c20: 20 74 6f 6b 65 6e 20 77 69 74 68 69 6e 20 63 6f   token within co
2c30: 6c 75 6d 6e 20 2a 2f 0a 20 20 63 6f 6e 73 74 20  lumn */.  const 
2c40: 63 68 61 72 20 2a 70 54 6f 6b 65 6e 2c 20 69 6e  char *pToken, in
2c50: 74 20 6e 54 6f 6b 65 6e 20 20 2f 2a 20 54 6f 6b  t nToken  /* Tok
2c60: 65 6e 20 74 6f 20 61 64 64 20 6f 72 20 72 65 6d  en to add or rem
2c70: 6f 76 65 20 74 6f 20 6f 72 20 66 72 6f 6d 20 69  ove to or from i
2c80: 6e 64 65 78 20 2a 2f 0a 29 3b 0a 0a 2f 2a 0a 2a  ndex */.);../*.*
2c90: 2a 20 49 6e 64 69 63 61 74 65 20 74 68 61 74 20  * Indicate that 
2ca0: 73 75 62 73 65 71 75 65 6e 74 20 63 61 6c 6c 73  subsequent calls
2cb0: 20 74 6f 20 73 71 6c 69 74 65 33 46 74 73 35 49   to sqlite3Fts5I
2cc0: 6e 64 65 78 57 72 69 74 65 28 29 20 70 65 72 74  ndexWrite() pert
2cd0: 61 69 6e 20 74 6f 0a 2a 2a 20 64 6f 63 75 6d 65  ain to.** docume
2ce0: 6e 74 20 69 44 6f 63 69 64 2e 0a 2a 2f 0a 69 6e  nt iDocid..*/.in
2cf0: 74 20 73 71 6c 69 74 65 33 46 74 73 35 49 6e 64  t sqlite3Fts5Ind
2d00: 65 78 42 65 67 69 6e 57 72 69 74 65 28 0a 20 20  exBeginWrite(.  
2d10: 46 74 73 35 49 6e 64 65 78 20 2a 70 2c 20 20 20  Fts5Index *p,   
2d20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2d30: 2f 2a 20 49 6e 64 65 78 20 74 6f 20 77 72 69 74  /* Index to writ
2d40: 65 20 74 6f 20 2a 2f 0a 20 20 69 36 34 20 69 44  e to */.  i64 iD
2d50: 6f 63 69 64 20 20 20 20 20 20 20 20 20 20 20 20  ocid            
2d60: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 44 6f 63            /* Doc
2d70: 69 64 20 74 6f 20 61 64 64 20 6f 72 20 72 65 6d  id to add or rem
2d80: 6f 76 65 20 64 61 74 61 20 66 72 6f 6d 20 2a 2f  ove data from */
2d90: 0a 29 3b 0a 0a 2f 2a 0a 2a 2a 20 46 6c 75 73 68  .);../*.** Flush
2da0: 20 61 6e 79 20 64 61 74 61 20 73 74 6f 72 65 64   any data stored
2db0: 20 69 6e 20 74 68 65 20 69 6e 2d 6d 65 6d 6f 72   in the in-memor
2dc0: 79 20 68 61 73 68 20 74 61 62 6c 65 73 20 74 6f  y hash tables to
2dd0: 20 74 68 65 20 64 61 74 61 62 61 73 65 2e 0a 2a   the database..*
2de0: 2a 20 49 66 20 74 68 65 20 62 43 6f 6d 6d 69 74  * If the bCommit
2df0: 20 66 6c 61 67 20 69 73 20 74 72 75 65 2c 20 61   flag is true, a
2e00: 6c 73 6f 20 63 6c 6f 73 65 20 61 6e 79 20 6f 70  lso close any op
2e10: 65 6e 20 62 6c 6f 62 20 68 61 6e 64 6c 65 73 2e  en blob handles.
2e20: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  .*/.int sqlite3F
2e30: 74 73 35 49 6e 64 65 78 53 79 6e 63 28 46 74 73  ts5IndexSync(Fts
2e40: 35 49 6e 64 65 78 20 2a 70 2c 20 69 6e 74 20 62  5Index *p, int b
2e50: 43 6f 6d 6d 69 74 29 3b 0a 0a 2f 2a 0a 2a 2a 20  Commit);../*.** 
2e60: 44 69 73 63 61 72 64 20 61 6e 79 20 64 61 74 61  Discard any data
2e70: 20 73 74 6f 72 65 64 20 69 6e 20 74 68 65 20 69   stored in the i
2e80: 6e 2d 6d 65 6d 6f 72 79 20 68 61 73 68 20 74 61  n-memory hash ta
2e90: 62 6c 65 73 2e 20 44 6f 20 6e 6f 74 20 77 72 69  bles. Do not wri
2ea0: 74 65 20 69 74 0a 2a 2a 20 74 6f 20 74 68 65 20  te it.** to the 
2eb0: 64 61 74 61 62 61 73 65 2e 20 41 64 64 69 74 69  database. Additi
2ec0: 6f 6e 61 6c 6c 79 2c 20 61 73 73 75 6d 65 20 74  onally, assume t
2ed0: 68 61 74 20 74 68 65 20 63 6f 6e 74 65 6e 74 73  hat the contents
2ee0: 20 6f 66 20 74 68 65 20 25 5f 64 61 74 61 0a 2a   of the %_data.*
2ef0: 2a 20 74 61 62 6c 65 20 6d 61 79 20 68 61 76 65  * table may have
2f00: 20 63 68 61 6e 67 65 64 20 6f 6e 20 64 69 73 6b   changed on disk
2f10: 2e 20 53 6f 20 61 6e 79 20 69 6e 2d 6d 65 6d 6f  . So any in-memo
2f20: 72 79 20 63 61 63 68 65 73 20 6f 66 20 25 5f 64  ry caches of %_d
2f30: 61 74 61 20 0a 2a 2a 20 72 65 63 6f 72 64 73 20  ata .** records 
2f40: 6d 75 73 74 20 62 65 20 69 6e 76 61 6c 69 64 61  must be invalida
2f50: 74 65 64 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69  ted..*/.int sqli
2f60: 74 65 33 46 74 73 35 49 6e 64 65 78 52 6f 6c 6c  te3Fts5IndexRoll
2f70: 62 61 63 6b 28 46 74 73 35 49 6e 64 65 78 20 2a  back(Fts5Index *
2f80: 70 29 3b 0a 0a 2f 2a 0a 2a 2a 20 52 65 74 72 69  p);../*.** Retri
2f90: 65 76 65 20 61 6e 64 20 63 6c 65 61 72 20 74 68  eve and clear th
2fa0: 65 20 63 75 72 72 65 6e 74 20 65 72 72 6f 72 20  e current error 
2fb0: 63 6f 64 65 2c 20 72 65 73 70 65 63 74 69 76 65  code, respective
2fc0: 6c 79 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74  ly..*/.int sqlit
2fd0: 65 33 46 74 73 35 49 6e 64 65 78 45 72 72 63 6f  e3Fts5IndexErrco
2fe0: 64 65 28 46 74 73 35 49 6e 64 65 78 2a 29 3b 0a  de(Fts5Index*);.
2ff0: 76 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 35  void sqlite3Fts5
3000: 49 6e 64 65 78 52 65 73 65 74 28 46 74 73 35 49  IndexReset(Fts5I
3010: 6e 64 65 78 2a 29 3b 0a 0a 2f 2a 0a 2a 2a 20 47  ndex*);../*.** G
3020: 65 74 20 6f 72 20 73 65 74 20 74 68 65 20 22 61  et or set the "a
3030: 76 65 72 61 67 65 73 22 20 72 65 63 6f 72 64 2e  verages" record.
3040: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  .*/.int sqlite3F
3050: 74 73 35 49 6e 64 65 78 47 65 74 41 76 65 72 61  ts5IndexGetAvera
3060: 67 65 73 28 46 74 73 35 49 6e 64 65 78 20 2a 70  ges(Fts5Index *p
3070: 2c 20 46 74 73 35 42 75 66 66 65 72 20 2a 70 42  , Fts5Buffer *pB
3080: 75 66 29 3b 0a 69 6e 74 20 73 71 6c 69 74 65 33  uf);.int sqlite3
3090: 46 74 73 35 49 6e 64 65 78 53 65 74 41 76 65 72  Fts5IndexSetAver
30a0: 61 67 65 73 28 46 74 73 35 49 6e 64 65 78 20 2a  ages(Fts5Index *
30b0: 70 2c 20 63 6f 6e 73 74 20 75 38 2a 2c 20 69 6e  p, const u8*, in
30c0: 74 29 3b 0a 0a 2f 2a 0a 2a 2a 20 46 75 6e 63 74  t);../*.** Funct
30d0: 69 6f 6e 73 20 63 61 6c 6c 65 64 20 62 79 20 74  ions called by t
30e0: 68 65 20 73 74 6f 72 61 67 65 20 6d 6f 64 75 6c  he storage modul
30f0: 65 20 61 73 20 70 61 72 74 20 6f 66 20 69 6e 74  e as part of int
3100: 65 67 72 69 74 79 2d 63 68 65 63 6b 2e 0a 2a 2f  egrity-check..*/
3110: 0a 75 36 34 20 73 71 6c 69 74 65 33 46 74 73 35  .u64 sqlite3Fts5
3120: 49 6e 64 65 78 43 6b 73 75 6d 28 46 74 73 35 43  IndexCksum(Fts5C
3130: 6f 6e 66 69 67 2a 2c 69 36 34 2c 69 6e 74 2c 69  onfig*,i64,int,i
3140: 6e 74 2c 63 6f 6e 73 74 20 63 68 61 72 2a 2c 69  nt,const char*,i
3150: 6e 74 29 3b 0a 69 6e 74 20 73 71 6c 69 74 65 33  nt);.int sqlite3
3160: 46 74 73 35 49 6e 64 65 78 49 6e 74 65 67 72 69  Fts5IndexIntegri
3170: 74 79 43 68 65 63 6b 28 46 74 73 35 49 6e 64 65  tyCheck(Fts5Inde
3180: 78 2a 2c 20 75 36 34 20 63 6b 73 75 6d 29 3b 0a  x*, u64 cksum);.
3190: 0a 2f 2a 20 0a 2a 2a 20 43 61 6c 6c 65 64 20 64  ./* .** Called d
31a0: 75 72 69 6e 67 20 76 69 72 74 75 61 6c 20 6d 6f  uring virtual mo
31b0: 64 75 6c 65 20 69 6e 69 74 69 61 6c 69 7a 61 74  dule initializat
31c0: 69 6f 6e 20 74 6f 20 72 65 67 69 73 74 65 72 20  ion to register 
31d0: 55 44 46 20 0a 2a 2a 20 66 74 73 35 5f 64 65 63  UDF .** fts5_dec
31e0: 6f 64 65 28 29 20 77 69 74 68 20 53 51 4c 69 74  ode() with SQLit
31f0: 65 20 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65  e .*/.int sqlite
3200: 33 46 74 73 35 49 6e 64 65 78 49 6e 69 74 28 73  3Fts5IndexInit(s
3210: 71 6c 69 74 65 33 2a 29 3b 0a 0a 69 6e 74 20 73  qlite3*);..int s
3220: 71 6c 69 74 65 33 46 74 73 35 49 6e 64 65 78 53  qlite3Fts5IndexS
3230: 65 74 43 6f 6f 6b 69 65 28 46 74 73 35 49 6e 64  etCookie(Fts5Ind
3240: 65 78 2a 2c 20 69 6e 74 29 3b 0a 0a 2f 2a 0a 2a  ex*, int);../*.*
3250: 2a 20 52 65 74 75 72 6e 20 74 68 65 20 74 6f 74  * Return the tot
3260: 61 6c 20 6e 75 6d 62 65 72 20 6f 66 20 65 6e 74  al number of ent
3270: 72 69 65 73 20 72 65 61 64 20 66 72 6f 6d 20 74  ries read from t
3280: 68 65 20 25 5f 64 61 74 61 20 74 61 62 6c 65 20  he %_data table 
3290: 62 79 20 0a 2a 2a 20 74 68 69 73 20 63 6f 6e 6e  by .** this conn
32a0: 65 63 74 69 6f 6e 20 73 69 6e 63 65 20 69 74 20  ection since it 
32b0: 77 61 73 20 63 72 65 61 74 65 64 2e 0a 2a 2f 0a  was created..*/.
32c0: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 49  int sqlite3Fts5I
32d0: 6e 64 65 78 52 65 61 64 73 28 46 74 73 35 49 6e  ndexReads(Fts5In
32e0: 64 65 78 20 2a 70 29 3b 0a 0a 69 6e 74 20 73 71  dex *p);..int sq
32f0: 6c 69 74 65 33 46 74 73 35 49 6e 64 65 78 52 65  lite3Fts5IndexRe
3300: 69 6e 69 74 28 46 74 73 35 49 6e 64 65 78 20 2a  init(Fts5Index *
3310: 70 29 3b 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  p);.int sqlite3F
3320: 74 73 35 49 6e 64 65 78 4f 70 74 69 6d 69 7a 65  ts5IndexOptimize
3330: 28 46 74 73 35 49 6e 64 65 78 20 2a 70 29 3b 0a  (Fts5Index *p);.
3340: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 49  int sqlite3Fts5I
3350: 6e 64 65 78 4d 65 72 67 65 28 46 74 73 35 49 6e  ndexMerge(Fts5In
3360: 64 65 78 20 2a 70 2c 20 69 6e 74 20 6e 4d 65 72  dex *p, int nMer
3370: 67 65 29 3b 0a 0a 69 6e 74 20 73 71 6c 69 74 65  ge);..int sqlite
3380: 33 46 74 73 35 49 6e 64 65 78 4c 6f 61 64 43 6f  3Fts5IndexLoadCo
3390: 6e 66 69 67 28 46 74 73 35 49 6e 64 65 78 20 2a  nfig(Fts5Index *
33a0: 70 29 3b 0a 0a 2f 2a 0a 2a 2a 20 45 6e 64 20 6f  p);../*.** End o
33b0: 66 20 69 6e 74 65 72 66 61 63 65 20 74 6f 20 63  f interface to c
33c0: 6f 64 65 20 69 6e 20 66 74 73 35 5f 69 6e 64 65  ode in fts5_inde
33d0: 78 2e 63 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  x.c..***********
33e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
33f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3400: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3410: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f  ***************/
3420: 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ../*************
3430: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3440: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3450: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3460: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a  *************.**
3470: 20 49 6e 74 65 72 66 61 63 65 20 74 6f 20 63 6f   Interface to co
3480: 64 65 20 69 6e 20 66 74 73 35 5f 76 61 72 69 6e  de in fts5_varin
3490: 74 2e 63 2e 20 0a 2a 2f 0a 69 6e 74 20 73 71 6c  t.c. .*/.int sql
34a0: 69 74 65 33 46 74 73 35 47 65 74 56 61 72 69 6e  ite3Fts5GetVarin
34b0: 74 33 32 28 63 6f 6e 73 74 20 75 6e 73 69 67 6e  t32(const unsign
34c0: 65 64 20 63 68 61 72 20 2a 70 2c 20 75 33 32 20  ed char *p, u32 
34d0: 2a 76 29 3b 0a 69 6e 74 20 73 71 6c 69 74 65 33  *v);.int sqlite3
34e0: 46 74 73 35 47 65 74 56 61 72 69 6e 74 4c 65 6e  Fts5GetVarintLen
34f0: 28 75 33 32 20 69 56 61 6c 29 3b 0a 75 38 20 73  (u32 iVal);.u8 s
3500: 71 6c 69 74 65 33 46 74 73 35 47 65 74 56 61 72  qlite3Fts5GetVar
3510: 69 6e 74 28 63 6f 6e 73 74 20 75 6e 73 69 67 6e  int(const unsign
3520: 65 64 20 63 68 61 72 2a 2c 20 75 36 34 2a 29 3b  ed char*, u64*);
3530: 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35  .int sqlite3Fts5
3540: 50 75 74 56 61 72 69 6e 74 28 75 6e 73 69 67 6e  PutVarint(unsign
3550: 65 64 20 63 68 61 72 20 2a 70 2c 20 75 36 34 20  ed char *p, u64 
3560: 76 29 3b 0a 0a 23 64 65 66 69 6e 65 20 66 74 73  v);..#define fts
3570: 35 47 65 74 56 61 72 69 6e 74 33 32 28 61 2c 62  5GetVarint32(a,b
3580: 29 20 73 71 6c 69 74 65 33 46 74 73 35 47 65 74  ) sqlite3Fts5Get
3590: 56 61 72 69 6e 74 33 32 28 61 2c 28 75 33 32 2a  Varint32(a,(u32*
35a0: 29 26 62 29 0a 23 64 65 66 69 6e 65 20 66 74 73  )&b).#define fts
35b0: 35 47 65 74 56 61 72 69 6e 74 20 20 20 20 73 71  5GetVarint    sq
35c0: 6c 69 74 65 33 46 74 73 35 47 65 74 56 61 72 69  lite3Fts5GetVari
35d0: 6e 74 0a 0a 2f 2a 0a 2a 2a 20 45 6e 64 20 6f 66  nt../*.** End of
35e0: 20 69 6e 74 65 72 66 61 63 65 20 74 6f 20 63 6f   interface to co
35f0: 64 65 20 69 6e 20 66 74 73 35 5f 76 61 72 69 6e  de in fts5_varin
3600: 74 2e 63 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  t.c..***********
3610: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3620: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3630: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3640: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f  ***************/
3650: 0a 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  .../************
3660: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3670: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3680: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3690: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a  **************.*
36a0: 2a 20 49 6e 74 65 72 66 61 63 65 20 74 6f 20 63  * Interface to c
36b0: 6f 64 65 20 69 6e 20 66 74 73 35 2e 63 2e 20 0a  ode in fts5.c. .
36c0: 2a 2f 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  */..int sqlite3F
36d0: 74 73 35 47 65 74 54 6f 6b 65 6e 69 7a 65 72 28  ts5GetTokenizer(
36e0: 0a 20 20 46 74 73 35 47 6c 6f 62 61 6c 2a 2c 20  .  Fts5Global*, 
36f0: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 2a  .  const char **
3700: 61 7a 41 72 67 2c 0a 20 20 69 6e 74 20 6e 41 72  azArg,.  int nAr
3710: 67 2c 0a 20 20 46 74 73 35 54 6f 6b 65 6e 69 7a  g,.  Fts5Tokeniz
3720: 65 72 2a 2a 2c 0a 20 20 66 74 73 35 5f 74 6f 6b  er**,.  fts5_tok
3730: 65 6e 69 7a 65 72 2a 2a 2c 0a 20 20 63 68 61 72  enizer**,.  char
3740: 20 2a 2a 70 7a 45 72 72 0a 29 3b 0a 0a 46 74 73   **pzErr.);..Fts
3750: 35 49 6e 64 65 78 20 2a 73 71 6c 69 74 65 33 46  5Index *sqlite3F
3760: 74 73 35 49 6e 64 65 78 46 72 6f 6d 43 73 72 69  ts5IndexFromCsri
3770: 64 28 46 74 73 35 47 6c 6f 62 61 6c 2a 2c 20 69  d(Fts5Global*, i
3780: 36 34 2c 20 69 6e 74 2a 29 3b 0a 0a 2f 2a 0a 2a  64, int*);../*.*
3790: 2a 20 45 6e 64 20 6f 66 20 69 6e 74 65 72 66 61  * End of interfa
37a0: 63 65 20 74 6f 20 63 6f 64 65 20 69 6e 20 66 74  ce to code in ft
37b0: 73 35 2e 63 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  s5.c..**********
37c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
37d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
37e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
37f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3800: 2f 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  /../************
3810: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3820: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3830: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3840: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a  **************.*
3850: 2a 20 49 6e 74 65 72 66 61 63 65 20 74 6f 20 63  * Interface to c
3860: 6f 64 65 20 69 6e 20 66 74 73 35 5f 68 61 73 68  ode in fts5_hash
3870: 2e 63 2e 20 0a 2a 2f 0a 74 79 70 65 64 65 66 20  .c. .*/.typedef 
3880: 73 74 72 75 63 74 20 46 74 73 35 48 61 73 68 20  struct Fts5Hash 
3890: 46 74 73 35 48 61 73 68 3b 0a 0a 2f 2a 0a 2a 2a  Fts5Hash;../*.**
38a0: 20 43 72 65 61 74 65 20 61 20 68 61 73 68 20 74   Create a hash t
38b0: 61 62 6c 65 2c 20 66 72 65 65 20 61 20 68 61 73  able, free a has
38c0: 68 20 74 61 62 6c 65 2e 0a 2a 2f 0a 69 6e 74 20  h table..*/.int 
38d0: 73 71 6c 69 74 65 33 46 74 73 35 48 61 73 68 4e  sqlite3Fts5HashN
38e0: 65 77 28 46 74 73 35 48 61 73 68 2a 2a 2c 20 69  ew(Fts5Hash**, i
38f0: 6e 74 20 2a 70 6e 53 69 7a 65 29 3b 0a 76 6f 69  nt *pnSize);.voi
3900: 64 20 73 71 6c 69 74 65 33 46 74 73 35 48 61 73  d sqlite3Fts5Has
3910: 68 46 72 65 65 28 46 74 73 35 48 61 73 68 2a 29  hFree(Fts5Hash*)
3920: 3b 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74  ;..int sqlite3Ft
3930: 73 35 48 61 73 68 57 72 69 74 65 28 0a 20 20 46  s5HashWrite(.  F
3940: 74 73 35 48 61 73 68 2a 2c 0a 20 20 69 36 34 20  ts5Hash*,.  i64 
3950: 69 52 6f 77 69 64 2c 20 20 20 20 20 20 20 20 20  iRowid,         
3960: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 52              /* R
3970: 6f 77 69 64 20 66 6f 72 20 74 68 69 73 20 65 6e  owid for this en
3980: 74 72 79 20 2a 2f 0a 20 20 69 6e 74 20 69 43 6f  try */.  int iCo
3990: 6c 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20  l,              
39a0: 20 20 20 20 20 20 20 20 20 2f 2a 20 43 6f 6c 75           /* Colu
39b0: 6d 6e 20 74 6f 6b 65 6e 20 61 70 70 65 61 72 73  mn token appears
39c0: 20 69 6e 20 28 2d 76 65 20 2d 3e 20 64 65 6c 65   in (-ve -> dele
39d0: 74 65 29 20 2a 2f 0a 20 20 69 6e 74 20 69 50 6f  te) */.  int iPo
39e0: 73 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20  s,              
39f0: 20 20 20 20 20 20 20 20 20 2f 2a 20 50 6f 73 69           /* Posi
3a00: 74 69 6f 6e 20 6f 66 20 74 6f 6b 65 6e 20 77 69  tion of token wi
3a10: 74 68 69 6e 20 63 6f 6c 75 6d 6e 20 2a 2f 0a 20  thin column */. 
3a20: 20 63 68 61 72 20 62 42 79 74 65 2c 0a 20 20 63   char bByte,.  c
3a30: 6f 6e 73 74 20 63 68 61 72 20 2a 70 54 6f 6b 65  onst char *pToke
3a40: 6e 2c 20 69 6e 74 20 6e 54 6f 6b 65 6e 20 20 2f  n, int nToken  /
3a50: 2a 20 54 6f 6b 65 6e 20 74 6f 20 61 64 64 20 6f  * Token to add o
3a60: 72 20 72 65 6d 6f 76 65 20 74 6f 20 6f 72 20 66  r remove to or f
3a70: 72 6f 6d 20 69 6e 64 65 78 20 2a 2f 0a 29 3b 0a  rom index */.);.
3a80: 0a 2f 2a 0a 2a 2a 20 45 6d 70 74 79 20 28 62 75  ./*.** Empty (bu
3a90: 74 20 64 6f 20 6e 6f 74 20 64 65 6c 65 74 65 29  t do not delete)
3aa0: 20 61 20 68 61 73 68 20 74 61 62 6c 65 2e 0a 2a   a hash table..*
3ab0: 2f 0a 76 6f 69 64 20 73 71 6c 69 74 65 33 46 74  /.void sqlite3Ft
3ac0: 73 35 48 61 73 68 43 6c 65 61 72 28 46 74 73 35  s5HashClear(Fts5
3ad0: 48 61 73 68 2a 29 3b 0a 0a 69 6e 74 20 73 71 6c  Hash*);..int sql
3ae0: 69 74 65 33 46 74 73 35 48 61 73 68 51 75 65 72  ite3Fts5HashQuer
3af0: 79 28 0a 20 20 46 74 73 35 48 61 73 68 2a 2c 20  y(.  Fts5Hash*, 
3b00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3b10: 20 20 20 20 20 2f 2a 20 48 61 73 68 20 74 61 62       /* Hash tab
3b20: 6c 65 20 74 6f 20 71 75 65 72 79 20 2a 2f 0a 20  le to query */. 
3b30: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 70 54 65   const char *pTe
3b40: 72 6d 2c 20 69 6e 74 20 6e 54 65 72 6d 2c 20 20  rm, int nTerm,  
3b50: 20 2f 2a 20 51 75 65 72 79 20 74 65 72 6d 20 2a   /* Query term *
3b60: 2f 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a 2a 70  /.  const u8 **p
3b70: 70 44 6f 63 6c 69 73 74 2c 20 20 20 20 20 20 20  pDoclist,       
3b80: 20 20 20 20 2f 2a 20 4f 55 54 3a 20 50 6f 69 6e      /* OUT: Poin
3b90: 74 65 72 20 74 6f 20 64 6f 63 6c 69 73 74 20 66  ter to doclist f
3ba0: 6f 72 20 70 54 65 72 6d 20 2a 2f 0a 20 20 69 6e  or pTerm */.  in
3bb0: 74 20 2a 70 6e 44 6f 63 6c 69 73 74 20 20 20 20  t *pnDoclist    
3bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
3bd0: 20 4f 55 54 3a 20 53 69 7a 65 20 6f 66 20 64 6f   OUT: Size of do
3be0: 63 6c 69 73 74 20 69 6e 20 62 79 74 65 73 20 2a  clist in bytes *
3bf0: 2f 0a 29 3b 0a 0a 69 6e 74 20 73 71 6c 69 74 65  /.);..int sqlite
3c00: 33 46 74 73 35 48 61 73 68 53 63 61 6e 49 6e 69  3Fts5HashScanIni
3c10: 74 28 0a 20 20 46 74 73 35 48 61 73 68 2a 2c 20  t(.  Fts5Hash*, 
3c20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3c30: 20 20 20 20 20 2f 2a 20 48 61 73 68 20 74 61 62       /* Hash tab
3c40: 6c 65 20 74 6f 20 71 75 65 72 79 20 2a 2f 0a 20  le to query */. 
3c50: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 70 54 65   const char *pTe
3c60: 72 6d 2c 20 69 6e 74 20 6e 54 65 72 6d 20 20 20  rm, int nTerm   
3c70: 20 2f 2a 20 51 75 65 72 79 20 70 72 65 66 69 78   /* Query prefix
3c80: 20 2a 2f 0a 29 3b 0a 76 6f 69 64 20 73 71 6c 69   */.);.void sqli
3c90: 74 65 33 46 74 73 35 48 61 73 68 53 63 61 6e 4e  te3Fts5HashScanN
3ca0: 65 78 74 28 46 74 73 35 48 61 73 68 2a 29 3b 0a  ext(Fts5Hash*);.
3cb0: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 48  int sqlite3Fts5H
3cc0: 61 73 68 53 63 61 6e 45 6f 66 28 46 74 73 35 48  ashScanEof(Fts5H
3cd0: 61 73 68 2a 29 3b 0a 76 6f 69 64 20 73 71 6c 69  ash*);.void sqli
3ce0: 74 65 33 46 74 73 35 48 61 73 68 53 63 61 6e 45  te3Fts5HashScanE
3cf0: 6e 74 72 79 28 46 74 73 35 48 61 73 68 20 2a 2c  ntry(Fts5Hash *,
3d00: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 2a  .  const char **
3d10: 70 7a 54 65 72 6d 2c 20 20 20 20 20 20 20 20 20  pzTerm,         
3d20: 20 20 20 2f 2a 20 4f 55 54 3a 20 74 65 72 6d 20     /* OUT: term 
3d30: 28 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65 64 29  (nul-terminated)
3d40: 20 2a 2f 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a   */.  const u8 *
3d50: 2a 70 70 44 6f 63 6c 69 73 74 2c 20 20 20 20 20  *ppDoclist,     
3d60: 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 70 6f        /* OUT: po
3d70: 69 6e 74 65 72 20 74 6f 20 64 6f 63 6c 69 73 74  inter to doclist
3d80: 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 6e 44 6f 63   */.  int *pnDoc
3d90: 6c 69 73 74 20 20 20 20 20 20 20 20 20 20 20 20  list            
3da0: 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 73 69        /* OUT: si
3db0: 7a 65 20 6f 66 20 64 6f 63 6c 69 73 74 20 69 6e  ze of doclist in
3dc0: 20 62 79 74 65 73 20 2a 2f 0a 29 3b 0a 0a 0a 2f   bytes */.);.../
3dd0: 2a 0a 2a 2a 20 45 6e 64 20 6f 66 20 69 6e 74 65  *.** End of inte
3de0: 72 66 61 63 65 20 74 6f 20 63 6f 64 65 20 69 6e  rface to code in
3df0: 20 66 74 73 35 5f 68 61 73 68 2e 63 2e 0a 2a 2a   fts5_hash.c..**
3e00: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e10: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e20: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e30: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e40: 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f 2a 2a 2a 2a  ********/../****
3e50: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e60: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e70: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e80: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3e90: 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 49 6e 74 65 72 66  ******.** Interf
3ea0: 61 63 65 20 74 6f 20 63 6f 64 65 20 69 6e 20 66  ace to code in f
3eb0: 74 73 35 5f 73 74 6f 72 61 67 65 2e 63 2e 20 66  ts5_storage.c. f
3ec0: 74 73 35 5f 73 74 6f 72 61 67 65 2e 63 20 63 6f  ts5_storage.c co
3ed0: 6e 74 61 69 6e 73 20 63 6f 6e 74 61 69 6e 73 20  ntains contains 
3ee0: 0a 2a 2a 20 63 6f 64 65 20 74 6f 20 61 63 63 65  .** code to acce
3ef0: 73 73 20 74 68 65 20 64 61 74 61 20 73 74 6f 72  ss the data stor
3f00: 65 64 20 69 6e 20 74 68 65 20 25 5f 63 6f 6e 74  ed in the %_cont
3f10: 65 6e 74 20 61 6e 64 20 25 5f 64 6f 63 73 69 7a  ent and %_docsiz
3f20: 65 20 74 61 62 6c 65 73 2e 0a 2a 2f 0a 0a 23 64  e tables..*/..#d
3f30: 65 66 69 6e 65 20 46 54 53 35 5f 53 54 4d 54 5f  efine FTS5_STMT_
3f40: 53 43 41 4e 5f 41 53 43 20 20 30 20 20 20 20 20  SCAN_ASC  0     
3f50: 2f 2a 20 53 45 4c 45 43 54 20 72 6f 77 69 64 2c  /* SELECT rowid,
3f60: 20 2a 20 46 52 4f 4d 20 2e 2e 2e 20 4f 52 44 45   * FROM ... ORDE
3f70: 52 20 42 59 20 31 20 41 53 43 20 2a 2f 0a 23 64  R BY 1 ASC */.#d
3f80: 65 66 69 6e 65 20 46 54 53 35 5f 53 54 4d 54 5f  efine FTS5_STMT_
3f90: 53 43 41 4e 5f 44 45 53 43 20 31 20 20 20 20 20  SCAN_DESC 1     
3fa0: 2f 2a 20 53 45 4c 45 43 54 20 72 6f 77 69 64 2c  /* SELECT rowid,
3fb0: 20 2a 20 46 52 4f 4d 20 2e 2e 2e 20 4f 52 44 45   * FROM ... ORDE
3fc0: 52 20 42 59 20 31 20 44 45 53 43 20 2a 2f 0a 23  R BY 1 DESC */.#
3fd0: 64 65 66 69 6e 65 20 46 54 53 35 5f 53 54 4d 54  define FTS5_STMT
3fe0: 5f 4c 4f 4f 4b 55 50 20 20 20 20 32 20 20 20 20  _LOOKUP    2    
3ff0: 20 2f 2a 20 53 45 4c 45 43 54 20 72 6f 77 69 64   /* SELECT rowid
4000: 2c 20 2a 20 46 52 4f 4d 20 2e 2e 2e 20 57 48 45  , * FROM ... WHE
4010: 52 45 20 72 6f 77 69 64 3d 3f 20 2a 2f 0a 0a 74  RE rowid=? */..t
4020: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
4030: 73 35 53 74 6f 72 61 67 65 20 46 74 73 35 53 74  s5Storage Fts5St
4040: 6f 72 61 67 65 3b 0a 0a 69 6e 74 20 73 71 6c 69  orage;..int sqli
4050: 74 65 33 46 74 73 35 53 74 6f 72 61 67 65 4f 70  te3Fts5StorageOp
4060: 65 6e 28 46 74 73 35 43 6f 6e 66 69 67 2a 2c 20  en(Fts5Config*, 
4070: 46 74 73 35 49 6e 64 65 78 2a 2c 20 69 6e 74 2c  Fts5Index*, int,
4080: 20 46 74 73 35 53 74 6f 72 61 67 65 2a 2a 2c 20   Fts5Storage**, 
4090: 63 68 61 72 2a 2a 29 3b 0a 69 6e 74 20 73 71 6c  char**);.int sql
40a0: 69 74 65 33 46 74 73 35 53 74 6f 72 61 67 65 43  ite3Fts5StorageC
40b0: 6c 6f 73 65 28 46 74 73 35 53 74 6f 72 61 67 65  lose(Fts5Storage
40c0: 20 2a 70 29 3b 0a 0a 69 6e 74 20 73 71 6c 69 74   *p);..int sqlit
40d0: 65 33 46 74 73 35 44 72 6f 70 41 6c 6c 28 46 74  e3Fts5DropAll(Ft
40e0: 73 35 43 6f 6e 66 69 67 2a 29 3b 0a 69 6e 74 20  s5Config*);.int 
40f0: 73 71 6c 69 74 65 33 46 74 73 35 43 72 65 61 74  sqlite3Fts5Creat
4100: 65 54 61 62 6c 65 28 46 74 73 35 43 6f 6e 66 69  eTable(Fts5Confi
4110: 67 2a 2c 20 63 6f 6e 73 74 20 63 68 61 72 2a 2c  g*, const char*,
4120: 20 63 6f 6e 73 74 20 63 68 61 72 2a 2c 20 69 6e   const char*, in
4130: 74 2c 20 63 68 61 72 20 2a 2a 29 3b 0a 0a 69 6e  t, char **);..in
4140: 74 20 73 71 6c 69 74 65 33 46 74 73 35 53 74 6f  t sqlite3Fts5Sto
4150: 72 61 67 65 44 65 6c 65 74 65 28 46 74 73 35 53  rageDelete(Fts5S
4160: 74 6f 72 61 67 65 20 2a 70 2c 20 69 36 34 29 3b  torage *p, i64);
4170: 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35  .int sqlite3Fts5
4180: 53 74 6f 72 61 67 65 49 6e 73 65 72 74 28 46 74  StorageInsert(Ft
4190: 73 35 53 74 6f 72 61 67 65 20 2a 70 2c 20 73 71  s5Storage *p, sq
41a0: 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a 2a 61 70  lite3_value **ap
41b0: 56 61 6c 2c 20 69 6e 74 2c 20 69 36 34 2a 29 3b  Val, int, i64*);
41c0: 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73  ..int sqlite3Fts
41d0: 35 53 74 6f 72 61 67 65 49 6e 74 65 67 72 69 74  5StorageIntegrit
41e0: 79 28 46 74 73 35 53 74 6f 72 61 67 65 20 2a 70  y(Fts5Storage *p
41f0: 29 3b 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  );..int sqlite3F
4200: 74 73 35 53 74 6f 72 61 67 65 53 74 6d 74 28 46  ts5StorageStmt(F
4210: 74 73 35 53 74 6f 72 61 67 65 20 2a 70 2c 20 69  ts5Storage *p, i
4220: 6e 74 20 65 53 74 6d 74 2c 20 73 71 6c 69 74 65  nt eStmt, sqlite
4230: 33 5f 73 74 6d 74 2a 2a 2c 20 63 68 61 72 2a 2a  3_stmt**, char**
4240: 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74 65 33 46  );.void sqlite3F
4250: 74 73 35 53 74 6f 72 61 67 65 53 74 6d 74 52 65  ts5StorageStmtRe
4260: 6c 65 61 73 65 28 46 74 73 35 53 74 6f 72 61 67  lease(Fts5Storag
4270: 65 20 2a 70 2c 20 69 6e 74 20 65 53 74 6d 74 2c  e *p, int eStmt,
4280: 20 73 71 6c 69 74 65 33 5f 73 74 6d 74 2a 29 3b   sqlite3_stmt*);
4290: 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73  ..int sqlite3Fts
42a0: 35 53 74 6f 72 61 67 65 44 6f 63 73 69 7a 65 28  5StorageDocsize(
42b0: 46 74 73 35 53 74 6f 72 61 67 65 20 2a 70 2c 20  Fts5Storage *p, 
42c0: 69 36 34 20 69 52 6f 77 69 64 2c 20 69 6e 74 20  i64 iRowid, int 
42d0: 2a 61 43 6f 6c 29 3b 0a 69 6e 74 20 73 71 6c 69  *aCol);.int sqli
42e0: 74 65 33 46 74 73 35 53 74 6f 72 61 67 65 53 69  te3Fts5StorageSi
42f0: 7a 65 28 46 74 73 35 53 74 6f 72 61 67 65 20 2a  ze(Fts5Storage *
4300: 70 2c 20 69 6e 74 20 69 43 6f 6c 2c 20 69 36 34  p, int iCol, i64
4310: 20 2a 70 6e 41 76 67 29 3b 0a 69 6e 74 20 73 71   *pnAvg);.int sq
4320: 6c 69 74 65 33 46 74 73 35 53 74 6f 72 61 67 65  lite3Fts5Storage
4330: 52 6f 77 43 6f 75 6e 74 28 46 74 73 35 53 74 6f  RowCount(Fts5Sto
4340: 72 61 67 65 20 2a 70 2c 20 69 36 34 20 2a 70 6e  rage *p, i64 *pn
4350: 52 6f 77 29 3b 0a 0a 69 6e 74 20 73 71 6c 69 74  Row);..int sqlit
4360: 65 33 46 74 73 35 53 74 6f 72 61 67 65 53 79 6e  e3Fts5StorageSyn
4370: 63 28 46 74 73 35 53 74 6f 72 61 67 65 20 2a 70  c(Fts5Storage *p
4380: 2c 20 69 6e 74 20 62 43 6f 6d 6d 69 74 29 3b 0a  , int bCommit);.
4390: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 53  int sqlite3Fts5S
43a0: 74 6f 72 61 67 65 52 6f 6c 6c 62 61 63 6b 28 46  torageRollback(F
43b0: 74 73 35 53 74 6f 72 61 67 65 20 2a 70 29 3b 0a  ts5Storage *p);.
43c0: 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35  .int sqlite3Fts5
43d0: 53 74 6f 72 61 67 65 43 6f 6e 66 69 67 56 61 6c  StorageConfigVal
43e0: 75 65 28 0a 20 20 20 20 46 74 73 35 53 74 6f 72  ue(.    Fts5Stor
43f0: 61 67 65 20 2a 70 2c 20 63 6f 6e 73 74 20 63 68  age *p, const ch
4400: 61 72 2a 2c 20 73 71 6c 69 74 65 33 5f 76 61 6c  ar*, sqlite3_val
4410: 75 65 2a 2c 20 69 6e 74 0a 29 3b 0a 0a 69 6e 74  ue*, int.);..int
4420: 20 73 71 6c 69 74 65 33 46 74 73 35 53 74 6f 72   sqlite3Fts5Stor
4430: 61 67 65 53 70 65 63 69 61 6c 44 65 6c 65 74 65  ageSpecialDelete
4440: 28 46 74 73 35 53 74 6f 72 61 67 65 20 2a 70 2c  (Fts5Storage *p,
4450: 20 69 36 34 20 69 44 65 6c 2c 20 73 71 6c 69 74   i64 iDel, sqlit
4460: 65 33 5f 76 61 6c 75 65 2a 2a 29 3b 0a 0a 69 6e  e3_value**);..in
4470: 74 20 73 71 6c 69 74 65 33 46 74 73 35 53 74 6f  t sqlite3Fts5Sto
4480: 72 61 67 65 44 65 6c 65 74 65 41 6c 6c 28 46 74  rageDeleteAll(Ft
4490: 73 35 53 74 6f 72 61 67 65 20 2a 70 29 3b 0a 69  s5Storage *p);.i
44a0: 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 53 74  nt sqlite3Fts5St
44b0: 6f 72 61 67 65 52 65 62 75 69 6c 64 28 46 74 73  orageRebuild(Fts
44c0: 35 53 74 6f 72 61 67 65 20 2a 70 29 3b 0a 69 6e  5Storage *p);.in
44d0: 74 20 73 71 6c 69 74 65 33 46 74 73 35 53 74 6f  t sqlite3Fts5Sto
44e0: 72 61 67 65 4f 70 74 69 6d 69 7a 65 28 46 74 73  rageOptimize(Fts
44f0: 35 53 74 6f 72 61 67 65 20 2a 70 29 3b 0a 69 6e  5Storage *p);.in
4500: 74 20 73 71 6c 69 74 65 33 46 74 73 35 53 74 6f  t sqlite3Fts5Sto
4510: 72 61 67 65 4d 65 72 67 65 28 46 74 73 35 53 74  rageMerge(Fts5St
4520: 6f 72 61 67 65 20 2a 70 2c 20 69 6e 74 20 6e 4d  orage *p, int nM
4530: 65 72 67 65 29 3b 0a 0a 2f 2a 0a 2a 2a 20 45 6e  erge);../*.** En
4540: 64 20 6f 66 20 69 6e 74 65 72 66 61 63 65 20 74  d of interface t
4550: 6f 20 63 6f 64 65 20 69 6e 20 66 74 73 35 5f 73  o code in fts5_s
4560: 74 6f 72 61 67 65 2e 63 2e 0a 2a 2a 2a 2a 2a 2a  torage.c..******
4570: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
4580: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
4590: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
45a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
45b0: 2a 2a 2a 2a 2f 0a 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a  ****/.../*******
45c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
45d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
45e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
45f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
4600: 2a 2a 2a 0a 2a 2a 20 49 6e 74 65 72 66 61 63 65  ***.** Interface
4610: 20 74 6f 20 63 6f 64 65 20 69 6e 20 66 74 73 35   to code in fts5
4620: 5f 65 78 70 72 2e 63 2e 20 0a 2a 2f 0a 74 79 70  _expr.c. .*/.typ
4630: 65 64 65 66 20 73 74 72 75 63 74 20 46 74 73 35  edef struct Fts5
4640: 45 78 70 72 20 46 74 73 35 45 78 70 72 3b 0a 74  Expr Fts5Expr;.t
4650: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
4660: 73 35 45 78 70 72 4e 6f 64 65 20 46 74 73 35 45  s5ExprNode Fts5E
4670: 78 70 72 4e 6f 64 65 3b 0a 74 79 70 65 64 65 66  xprNode;.typedef
4680: 20 73 74 72 75 63 74 20 46 74 73 35 50 61 72 73   struct Fts5Pars
4690: 65 20 46 74 73 35 50 61 72 73 65 3b 0a 74 79 70  e Fts5Parse;.typ
46a0: 65 64 65 66 20 73 74 72 75 63 74 20 46 74 73 35  edef struct Fts5
46b0: 54 6f 6b 65 6e 20 46 74 73 35 54 6f 6b 65 6e 3b  Token Fts5Token;
46c0: 0a 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20  .typedef struct 
46d0: 46 74 73 35 45 78 70 72 50 68 72 61 73 65 20 46  Fts5ExprPhrase F
46e0: 74 73 35 45 78 70 72 50 68 72 61 73 65 3b 0a 74  ts5ExprPhrase;.t
46f0: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
4700: 73 35 45 78 70 72 4e 65 61 72 73 65 74 20 46 74  s5ExprNearset Ft
4710: 73 35 45 78 70 72 4e 65 61 72 73 65 74 3b 0a 74  s5ExprNearset;.t
4720: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
4730: 73 35 45 78 70 72 43 6f 6c 73 65 74 20 46 74 73  s5ExprColset Fts
4740: 35 45 78 70 72 43 6f 6c 73 65 74 3b 0a 0a 73 74  5ExprColset;..st
4750: 72 75 63 74 20 46 74 73 35 54 6f 6b 65 6e 20 7b  ruct Fts5Token {
4760: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 70  .  const char *p
4770: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
4780: 20 20 20 2f 2a 20 54 6f 6b 65 6e 20 74 65 78 74     /* Token text
4790: 20 28 6e 6f 74 20 4e 55 4c 4c 20 74 65 72 6d 69   (not NULL termi
47a0: 6e 61 74 65 64 29 20 2a 2f 0a 20 20 69 6e 74 20  nated) */.  int 
47b0: 6e 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  n;              
47c0: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 53              /* S
47d0: 69 7a 65 20 6f 66 20 62 75 66 66 65 72 20 70 20  ize of buffer p 
47e0: 69 6e 20 62 79 74 65 73 20 2a 2f 0a 7d 3b 0a 0a  in bytes */.};..
47f0: 2f 2a 20 50 61 72 73 65 20 61 20 4d 41 54 43 48  /* Parse a MATCH
4800: 20 65 78 70 72 65 73 73 69 6f 6e 2e 20 2a 2f 0a   expression. */.
4810: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 45  int sqlite3Fts5E
4820: 78 70 72 4e 65 77 28 0a 20 20 46 74 73 35 43 6f  xprNew(.  Fts5Co
4830: 6e 66 69 67 20 2a 70 43 6f 6e 66 69 67 2c 20 0a  nfig *pConfig, .
4840: 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 45    const char *zE
4850: 78 70 72 2c 0a 20 20 46 74 73 35 45 78 70 72 20  xpr,.  Fts5Expr 
4860: 2a 2a 70 70 4e 65 77 2c 20 0a 20 20 63 68 61 72  **ppNew, .  char
4870: 20 2a 2a 70 7a 45 72 72 0a 29 3b 0a 0a 2f 2a 0a   **pzErr.);../*.
4880: 2a 2a 20 66 6f 72 28 72 63 20 3d 20 73 71 6c 69  ** for(rc = sqli
4890: 74 65 33 46 74 73 35 45 78 70 72 46 69 72 73 74  te3Fts5ExprFirst
48a0: 28 70 45 78 70 72 2c 20 70 49 64 78 2c 20 62 44  (pExpr, pIdx, bD
48b0: 65 73 63 29 3b 0a 2a 2a 20 20 20 20 20 72 63 3d  esc);.**     rc=
48c0: 3d 53 51 4c 49 54 45 5f 4f 4b 20 26 26 20 30 3d  =SQLITE_OK && 0=
48d0: 3d 73 71 6c 69 74 65 33 46 74 73 35 45 78 70 72  =sqlite3Fts5Expr
48e0: 45 6f 66 28 70 45 78 70 72 29 3b 0a 2a 2a 20 20  Eof(pExpr);.**  
48f0: 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 46     rc = sqlite3F
4900: 74 73 35 45 78 70 72 4e 65 78 74 28 70 45 78 70  ts5ExprNext(pExp
4910: 72 29 0a 2a 2a 20 29 7b 0a 2a 2a 20 20 20 2f 2f  r).** ){.**   //
4920: 20 54 68 65 20 64 6f 63 75 6d 65 6e 74 20 77 69   The document wi
4930: 74 68 20 72 6f 77 69 64 20 69 52 6f 77 69 64 20  th rowid iRowid 
4940: 6d 61 74 63 68 65 73 20 74 68 65 20 65 78 70 72  matches the expr
4950: 65 73 73 69 6f 6e 21 0a 2a 2a 20 20 20 69 36 34  ession!.**   i64
4960: 20 69 52 6f 77 69 64 20 3d 20 73 71 6c 69 74 65   iRowid = sqlite
4970: 33 46 74 73 35 45 78 70 72 52 6f 77 69 64 28 70  3Fts5ExprRowid(p
4980: 45 78 70 72 29 3b 0a 2a 2a 20 7d 0a 2a 2f 0a 69  Expr);.** }.*/.i
4990: 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 45 78  nt sqlite3Fts5Ex
49a0: 70 72 46 69 72 73 74 28 46 74 73 35 45 78 70 72  prFirst(Fts5Expr
49b0: 2a 2c 20 46 74 73 35 49 6e 64 65 78 20 2a 70 49  *, Fts5Index *pI
49c0: 64 78 2c 20 69 6e 74 20 62 44 65 73 63 29 3b 0a  dx, int bDesc);.
49d0: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 45  int sqlite3Fts5E
49e0: 78 70 72 4e 65 78 74 28 46 74 73 35 45 78 70 72  xprNext(Fts5Expr
49f0: 2a 29 3b 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  *);.int sqlite3F
4a00: 74 73 35 45 78 70 72 45 6f 66 28 46 74 73 35 45  ts5ExprEof(Fts5E
4a10: 78 70 72 2a 29 3b 0a 69 36 34 20 73 71 6c 69 74  xpr*);.i64 sqlit
4a20: 65 33 46 74 73 35 45 78 70 72 52 6f 77 69 64 28  e3Fts5ExprRowid(
4a30: 46 74 73 35 45 78 70 72 2a 29 3b 0a 0a 76 6f 69  Fts5Expr*);..voi
4a40: 64 20 73 71 6c 69 74 65 33 46 74 73 35 45 78 70  d sqlite3Fts5Exp
4a50: 72 46 72 65 65 28 46 74 73 35 45 78 70 72 2a 29  rFree(Fts5Expr*)
4a60: 3b 0a 0a 2f 2a 20 43 61 6c 6c 65 64 20 64 75 72  ;../* Called dur
4a70: 69 6e 67 20 73 74 61 72 74 75 70 20 74 6f 20 72  ing startup to r
4a80: 65 67 69 73 74 65 72 20 61 20 55 44 46 20 77 69  egister a UDF wi
4a90: 74 68 20 53 51 4c 69 74 65 20 2a 2f 0a 69 6e 74  th SQLite */.int
4aa0: 20 73 71 6c 69 74 65 33 46 74 73 35 45 78 70 72   sqlite3Fts5Expr
4ab0: 49 6e 69 74 28 46 74 73 35 47 6c 6f 62 61 6c 2a  Init(Fts5Global*
4ac0: 2c 20 73 71 6c 69 74 65 33 2a 29 3b 0a 0a 69 6e  , sqlite3*);..in
4ad0: 74 20 73 71 6c 69 74 65 33 46 74 73 35 45 78 70  t sqlite3Fts5Exp
4ae0: 72 50 68 72 61 73 65 43 6f 75 6e 74 28 46 74 73  rPhraseCount(Fts
4af0: 35 45 78 70 72 2a 29 3b 0a 69 6e 74 20 73 71 6c  5Expr*);.int sql
4b00: 69 74 65 33 46 74 73 35 45 78 70 72 50 68 72 61  ite3Fts5ExprPhra
4b10: 73 65 53 69 7a 65 28 46 74 73 35 45 78 70 72 2a  seSize(Fts5Expr*
4b20: 2c 20 69 6e 74 20 69 50 68 72 61 73 65 29 3b 0a  , int iPhrase);.
4b30: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 45  int sqlite3Fts5E
4b40: 78 70 72 50 6f 73 6c 69 73 74 28 46 74 73 35 45  xprPoslist(Fts5E
4b50: 78 70 72 2a 2c 20 69 6e 74 2c 20 63 6f 6e 73 74  xpr*, int, const
4b60: 20 75 38 20 2a 2a 29 3b 0a 0a 69 6e 74 20 73 71   u8 **);..int sq
4b70: 6c 69 74 65 33 46 74 73 35 45 78 70 72 50 68 72  lite3Fts5ExprPhr
4b80: 61 73 65 45 78 70 72 28 46 74 73 35 43 6f 6e 66  aseExpr(Fts5Conf
4b90: 69 67 2a 2c 20 46 74 73 35 45 78 70 72 2a 2c 20  ig*, Fts5Expr*, 
4ba0: 69 6e 74 2c 20 46 74 73 35 45 78 70 72 2a 2a 29  int, Fts5Expr**)
4bb0: 3b 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ;../************
4bc0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
4bd0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a  ***************.
4be0: 2a 2a 20 54 68 65 20 66 74 73 35 5f 65 78 70 72  ** The fts5_expr
4bf0: 2e 63 20 41 50 49 20 61 62 6f 76 65 20 74 68 69  .c API above thi
4c00: 73 20 70 6f 69 6e 74 20 69 73 20 75 73 65 64 20  s point is used 
4c10: 62 79 20 74 68 65 20 6f 74 68 65 72 20 68 61 6e  by the other han
4c20: 64 2d 77 72 69 74 74 65 6e 0a 2a 2a 20 43 20 63  d-written.** C c
4c30: 6f 64 65 20 69 6e 20 74 68 69 73 20 6d 6f 64 75  ode in this modu
4c40: 6c 65 2e 20 54 68 65 20 69 6e 74 65 72 66 61 63  le. The interfac
4c50: 65 73 20 62 65 6c 6f 77 20 74 68 69 73 20 70 6f  es below this po
4c60: 69 6e 74 20 61 72 65 20 63 61 6c 6c 65 64 20 62  int are called b
4c70: 79 0a 2a 2a 20 74 68 65 20 70 61 72 73 65 72 20  y.** the parser 
4c80: 63 6f 64 65 20 69 6e 20 66 74 73 35 70 61 72 73  code in fts5pars
4c90: 65 2e 79 2e 20 20 2a 2f 0a 0a 76 6f 69 64 20 73  e.y.  */..void s
4ca0: 71 6c 69 74 65 33 46 74 73 35 50 61 72 73 65 45  qlite3Fts5ParseE
4cb0: 72 72 6f 72 28 46 74 73 35 50 61 72 73 65 20 2a  rror(Fts5Parse *
4cc0: 70 50 61 72 73 65 2c 20 63 6f 6e 73 74 20 63 68  pParse, const ch
4cd0: 61 72 20 2a 7a 46 6d 74 2c 20 2e 2e 2e 29 3b 0a  ar *zFmt, ...);.
4ce0: 0a 46 74 73 35 45 78 70 72 4e 6f 64 65 20 2a 73  .Fts5ExprNode *s
4cf0: 71 6c 69 74 65 33 46 74 73 35 50 61 72 73 65 4e  qlite3Fts5ParseN
4d00: 6f 64 65 28 0a 20 20 46 74 73 35 50 61 72 73 65  ode(.  Fts5Parse
4d10: 20 2a 70 50 61 72 73 65 2c 0a 20 20 69 6e 74 20   *pParse,.  int 
4d20: 65 54 79 70 65 2c 0a 20 20 46 74 73 35 45 78 70  eType,.  Fts5Exp
4d30: 72 4e 6f 64 65 20 2a 70 4c 65 66 74 2c 0a 20 20  rNode *pLeft,.  
4d40: 46 74 73 35 45 78 70 72 4e 6f 64 65 20 2a 70 52  Fts5ExprNode *pR
4d50: 69 67 68 74 2c 0a 20 20 46 74 73 35 45 78 70 72  ight,.  Fts5Expr
4d60: 4e 65 61 72 73 65 74 20 2a 70 4e 65 61 72 0a 29  Nearset *pNear.)
4d70: 3b 0a 0a 46 74 73 35 45 78 70 72 50 68 72 61 73  ;..Fts5ExprPhras
4d80: 65 20 2a 73 71 6c 69 74 65 33 46 74 73 35 50 61  e *sqlite3Fts5Pa
4d90: 72 73 65 54 65 72 6d 28 0a 20 20 46 74 73 35 50  rseTerm(.  Fts5P
4da0: 61 72 73 65 20 2a 70 50 61 72 73 65 2c 20 0a 20  arse *pParse, . 
4db0: 20 46 74 73 35 45 78 70 72 50 68 72 61 73 65 20   Fts5ExprPhrase 
4dc0: 2a 70 50 68 72 61 73 65 2c 20 0a 20 20 46 74 73  *pPhrase, .  Fts
4dd0: 35 54 6f 6b 65 6e 20 2a 70 54 6f 6b 65 6e 2c 0a  5Token *pToken,.
4de0: 20 20 69 6e 74 20 62 50 72 65 66 69 78 0a 29 3b    int bPrefix.);
4df0: 0a 0a 46 74 73 35 45 78 70 72 4e 65 61 72 73 65  ..Fts5ExprNearse
4e00: 74 20 2a 73 71 6c 69 74 65 33 46 74 73 35 50 61  t *sqlite3Fts5Pa
4e10: 72 73 65 4e 65 61 72 73 65 74 28 0a 20 20 46 74  rseNearset(.  Ft
4e20: 73 35 50 61 72 73 65 2a 2c 20 0a 20 20 46 74 73  s5Parse*, .  Fts
4e30: 35 45 78 70 72 4e 65 61 72 73 65 74 2a 2c 0a 20  5ExprNearset*,. 
4e40: 20 46 74 73 35 45 78 70 72 50 68 72 61 73 65 2a   Fts5ExprPhrase*
4e50: 20 0a 29 3b 0a 0a 46 74 73 35 45 78 70 72 43 6f   .);..Fts5ExprCo
4e60: 6c 73 65 74 20 2a 73 71 6c 69 74 65 33 46 74 73  lset *sqlite3Fts
4e70: 35 50 61 72 73 65 43 6f 6c 73 65 74 28 0a 20 20  5ParseColset(.  
4e80: 46 74 73 35 50 61 72 73 65 2a 2c 20 0a 20 20 46  Fts5Parse*, .  F
4e90: 74 73 35 45 78 70 72 43 6f 6c 73 65 74 2a 2c 20  ts5ExprColset*, 
4ea0: 0a 20 20 46 74 73 35 54 6f 6b 65 6e 20 2a 0a 29  .  Fts5Token *.)
4eb0: 3b 0a 0a 76 6f 69 64 20 73 71 6c 69 74 65 33 46  ;..void sqlite3F
4ec0: 74 73 35 50 61 72 73 65 50 68 72 61 73 65 46 72  ts5ParsePhraseFr
4ed0: 65 65 28 46 74 73 35 45 78 70 72 50 68 72 61 73  ee(Fts5ExprPhras
4ee0: 65 2a 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74 65  e*);.void sqlite
4ef0: 33 46 74 73 35 50 61 72 73 65 4e 65 61 72 73 65  3Fts5ParseNearse
4f00: 74 46 72 65 65 28 46 74 73 35 45 78 70 72 4e 65  tFree(Fts5ExprNe
4f10: 61 72 73 65 74 2a 29 3b 0a 76 6f 69 64 20 73 71  arset*);.void sq
4f20: 6c 69 74 65 33 46 74 73 35 50 61 72 73 65 4e 6f  lite3Fts5ParseNo
4f30: 64 65 46 72 65 65 28 46 74 73 35 45 78 70 72 4e  deFree(Fts5ExprN
4f40: 6f 64 65 2a 29 3b 0a 0a 76 6f 69 64 20 73 71 6c  ode*);..void sql
4f50: 69 74 65 33 46 74 73 35 50 61 72 73 65 53 65 74  ite3Fts5ParseSet
4f60: 44 69 73 74 61 6e 63 65 28 46 74 73 35 50 61 72  Distance(Fts5Par
4f70: 73 65 2a 2c 20 46 74 73 35 45 78 70 72 4e 65 61  se*, Fts5ExprNea
4f80: 72 73 65 74 2a 2c 20 46 74 73 35 54 6f 6b 65 6e  rset*, Fts5Token
4f90: 2a 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74 65 33  *);.void sqlite3
4fa0: 46 74 73 35 50 61 72 73 65 53 65 74 43 6f 6c 73  Fts5ParseSetCols
4fb0: 65 74 28 46 74 73 35 50 61 72 73 65 2a 2c 20 46  et(Fts5Parse*, F
4fc0: 74 73 35 45 78 70 72 4e 65 61 72 73 65 74 2a 2c  ts5ExprNearset*,
4fd0: 20 46 74 73 35 45 78 70 72 43 6f 6c 73 65 74 2a   Fts5ExprColset*
4fe0: 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74 65 33 46  );.void sqlite3F
4ff0: 74 73 35 50 61 72 73 65 46 69 6e 69 73 68 65 64  ts5ParseFinished
5000: 28 46 74 73 35 50 61 72 73 65 20 2a 70 50 61 72  (Fts5Parse *pPar
5010: 73 65 2c 20 46 74 73 35 45 78 70 72 4e 6f 64 65  se, Fts5ExprNode
5020: 20 2a 70 29 3b 0a 76 6f 69 64 20 73 71 6c 69 74   *p);.void sqlit
5030: 65 33 46 74 73 35 50 61 72 73 65 4e 65 61 72 28  e3Fts5ParseNear(
5040: 46 74 73 35 50 61 72 73 65 20 2a 70 50 61 72 73  Fts5Parse *pPars
5050: 65 2c 20 46 74 73 35 54 6f 6b 65 6e 2a 29 3b 0a  e, Fts5Token*);.
5060: 0a 2f 2a 0a 2a 2a 20 45 6e 64 20 6f 66 20 69 6e  ./*.** End of in
5070: 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65 20  terface to code 
5080: 69 6e 20 66 74 73 35 5f 65 78 70 72 2e 63 2e 0a  in fts5_expr.c..
5090: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
50a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
50b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
50c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
50d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 0a 0a 2f  **********/..../
50e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
50f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5100: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5110: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 49 6e  **********.** In
5130: 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65 20  terface to code 
5140: 69 6e 20 66 74 73 35 5f 61 75 78 2e 63 2e 20 0a  in fts5_aux.c. .
5150: 2a 2f 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  */..int sqlite3F
5160: 74 73 35 41 75 78 49 6e 69 74 28 66 74 73 35 5f  ts5AuxInit(fts5_
5170: 61 70 69 2a 29 3b 0a 2f 2a 0a 2a 2a 20 45 6e 64  api*);./*.** End
5180: 20 6f 66 20 69 6e 74 65 72 66 61 63 65 20 74 6f   of interface to
5190: 20 63 6f 64 65 20 69 6e 20 66 74 73 35 5f 61 75   code in fts5_au
51a0: 78 2e 63 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  x.c..***********
51b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
51c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
51d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
51e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f  ***************/
51f0: 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ../*************
5200: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5210: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5220: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5230: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a  *************.**
5240: 20 49 6e 74 65 72 66 61 63 65 20 74 6f 20 63 6f   Interface to co
5250: 64 65 20 69 6e 20 66 74 73 35 5f 74 6f 6b 65 6e  de in fts5_token
5260: 69 7a 65 72 2e 63 2e 20 0a 2a 2f 0a 0a 69 6e 74  izer.c. .*/..int
5270: 20 73 71 6c 69 74 65 33 46 74 73 35 54 6f 6b 65   sqlite3Fts5Toke
5280: 6e 69 7a 65 72 49 6e 69 74 28 66 74 73 35 5f 61  nizerInit(fts5_a
5290: 70 69 2a 29 3b 0a 2f 2a 0a 2a 2a 20 45 6e 64 20  pi*);./*.** End 
52a0: 6f 66 20 69 6e 74 65 72 66 61 63 65 20 74 6f 20  of interface to 
52b0: 63 6f 64 65 20 69 6e 20 66 74 73 35 5f 74 6f 6b  code in fts5_tok
52c0: 65 6e 69 7a 65 72 2e 63 2e 0a 2a 2a 2a 2a 2a 2a  enizer.c..******
52d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
52e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
52f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5300: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5310: 2a 2a 2a 2a 2f 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a  ****/../********
5320: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5330: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5340: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5350: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5360: 2a 2a 0a 2a 2a 20 49 6e 74 65 72 66 61 63 65 20  **.** Interface 
5370: 74 6f 20 63 6f 64 65 20 69 6e 20 66 74 73 35 5f  to code in fts5_
5380: 73 6f 72 74 65 72 2e 63 2e 20 0a 2a 2f 0a 74 79  sorter.c. .*/.ty
5390: 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74 73  pedef struct Fts
53a0: 35 53 6f 72 74 65 72 20 46 74 73 35 53 6f 72 74  5Sorter Fts5Sort
53b0: 65 72 3b 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33  er;..int sqlite3
53c0: 46 74 73 35 53 6f 72 74 65 72 4e 65 77 28 46 74  Fts5SorterNew(Ft
53d0: 73 35 45 78 70 72 20 2a 70 45 78 70 72 2c 20 46  s5Expr *pExpr, F
53e0: 74 73 35 53 6f 72 74 65 72 20 2a 2a 70 70 29 3b  ts5Sorter **pp);
53f0: 0a 0a 2f 2a 0a 2a 2a 20 45 6e 64 20 6f 66 20 69  ../*.** End of i
5400: 6e 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65  nterface to code
5410: 20 69 6e 20 66 74 73 35 5f 73 6f 72 74 65 72 2e   in fts5_sorter.
5420: 63 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  c..*************
5430: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5440: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5450: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5460: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a  *************/..
5470: 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  /***************
5480: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5490: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
54a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
54b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 49  ***********.** I
54c0: 6e 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65  nterface to code
54d0: 20 69 6e 20 66 74 73 35 5f 76 6f 63 61 62 2e 63   in fts5_vocab.c
54e0: 2e 20 0a 2a 2f 0a 0a 69 6e 74 20 73 71 6c 69 74  . .*/..int sqlit
54f0: 65 33 46 74 73 35 56 6f 63 61 62 49 6e 69 74 28  e3Fts5VocabInit(
5500: 46 74 73 35 47 6c 6f 62 61 6c 2a 2c 20 73 71 6c  Fts5Global*, sql
5510: 69 74 65 33 2a 29 3b 0a 0a 2f 2a 0a 2a 2a 20 45  ite3*);../*.** E
5520: 6e 64 20 6f 66 20 69 6e 74 65 72 66 61 63 65 20  nd of interface 
5530: 74 6f 20 63 6f 64 65 20 69 6e 20 66 74 73 35 5f  to code in fts5_
5540: 76 6f 63 61 62 2e 63 2e 0a 2a 2a 2a 2a 2a 2a 2a  vocab.c..*******
5550: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5560: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5570: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5580: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5590: 2a 2a 2a 2f 0a 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a  ***/.../********
55a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
55b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
55c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
55d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
55e0: 2a 2a 0a 2a 2a 20 49 6e 74 65 72 66 61 63 65 20  **.** Interface 
55f0: 74 6f 20 61 75 74 6f 6d 61 74 69 63 61 6c 6c 79  to automatically
5600: 20 67 65 6e 65 72 61 74 65 64 20 63 6f 64 65 20   generated code 
5610: 69 6e 20 66 74 73 35 5f 75 6e 69 63 6f 64 65 32  in fts5_unicode2
5620: 2e 63 2e 20 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69  .c. .*/.int sqli
5630: 74 65 33 46 74 73 35 55 6e 69 63 6f 64 65 49 73  te3Fts5UnicodeIs
5640: 61 6c 6e 75 6d 28 69 6e 74 20 63 29 3b 0a 69 6e  alnum(int c);.in
5650: 74 20 73 71 6c 69 74 65 33 46 74 73 35 55 6e 69  t sqlite3Fts5Uni
5660: 63 6f 64 65 49 73 64 69 61 63 72 69 74 69 63 28  codeIsdiacritic(
5670: 69 6e 74 20 63 29 3b 0a 69 6e 74 20 73 71 6c 69  int c);.int sqli
5680: 74 65 33 46 74 73 35 55 6e 69 63 6f 64 65 46 6f  te3Fts5UnicodeFo
5690: 6c 64 28 69 6e 74 20 63 2c 20 69 6e 74 20 62 52  ld(int c, int bR
56a0: 65 6d 6f 76 65 44 69 61 63 72 69 74 69 63 29 3b  emoveDiacritic);
56b0: 0a 2f 2a 0a 2a 2a 20 45 6e 64 20 6f 66 20 69 6e  ./*.** End of in
56c0: 74 65 72 66 61 63 65 20 74 6f 20 63 6f 64 65 20  terface to code 
56d0: 69 6e 20 66 74 73 35 5f 75 6e 69 63 6f 64 65 32  in fts5_unicode2
56e0: 2e 63 2e 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  .c..************
56f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5700: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5710: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5720: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a  **************/.
5730: 0a 23 65 6e 64 69 66 0a                          .#endif.