/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact a22bf311a71f3efa9d7012d8cc48fc9b0f3dace7:


0000: 2f 2a 0a 2a 2a 20 32 30 30 37 20 4a 75 6e 65 20  /*.** 2007 June 
0010: 32 32 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74  22.**.** The aut
0020: 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f  hor disclaims co
0030: 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20  pyright to this 
0040: 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e  source code.  In
0050: 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c   place of.** a l
0060: 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72  egal notice, her
0070: 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a  e is a blessing:
0080: 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f  .**.**    May yo
0090: 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f  u do good and no
00a0: 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61  t evil..**    Ma
00b0: 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69  y you find forgi
00c0: 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73  veness for yours
00d0: 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20  elf and forgive 
00e0: 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61  others..**    Ma
00f0: 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65  y you share free
0100: 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67  ly, never taking
0110: 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67   more than you g
0120: 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a  ive..**.********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 54 68 69  ******.**.** Thi
0180: 73 20 69 73 20 70 61 72 74 20 6f 66 20 61 6e 20  s is part of an 
0190: 53 51 4c 69 74 65 20 6d 6f 64 75 6c 65 20 69 6d  SQLite module im
01a0: 70 6c 65 6d 65 6e 74 69 6e 67 20 66 75 6c 6c 2d  plementing full-
01b0: 74 65 78 74 20 73 65 61 72 63 68 2e 0a 2a 2a 20  text search..** 
01c0: 54 68 69 73 20 70 61 72 74 69 63 75 6c 61 72 20  This particular 
01d0: 66 69 6c 65 20 69 6d 70 6c 65 6d 65 6e 74 73 20  file implements 
01e0: 74 68 65 20 67 65 6e 65 72 69 63 20 74 6f 6b 65  the generic toke
01f0: 6e 69 7a 65 72 20 69 6e 74 65 72 66 61 63 65 2e  nizer interface.
0200: 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 63  .*/../*.** The c
0210: 6f 64 65 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ode in this file
0220: 20 69 73 20 6f 6e 6c 79 20 63 6f 6d 70 69 6c 65   is only compile
0230: 64 20 69 66 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20  d if:.**.**     
0240: 2a 20 54 68 65 20 46 54 53 33 20 6d 6f 64 75 6c  * The FTS3 modul
0250: 65 20 69 73 20 62 65 69 6e 67 20 62 75 69 6c 74  e is being built
0260: 20 61 73 20 61 6e 20 65 78 74 65 6e 73 69 6f 6e   as an extension
0270: 0a 2a 2a 20 20 20 20 20 20 20 28 69 6e 20 77 68  .**       (in wh
0280: 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45 5f  ich case SQLITE_
0290: 43 4f 52 45 20 69 73 20 6e 6f 74 20 64 65 66 69  CORE is not defi
02a0: 6e 65 64 29 2c 20 6f 72 0a 2a 2a 0a 2a 2a 20 20  ned), or.**.**  
02b0: 20 20 20 2a 20 54 68 65 20 46 54 53 33 20 6d 6f     * The FTS3 mo
02c0: 64 75 6c 65 20 69 73 20 62 65 69 6e 67 20 62 75  dule is being bu
02d0: 69 6c 74 20 69 6e 74 6f 20 74 68 65 20 63 6f 72  ilt into the cor
02e0: 65 20 6f 66 0a 2a 2a 20 20 20 20 20 20 20 53 51  e of.**       SQ
02f0: 4c 69 74 65 20 28 69 6e 20 77 68 69 63 68 20 63  Lite (in which c
0300: 61 73 65 20 53 51 4c 49 54 45 5f 45 4e 41 42 4c  ase SQLITE_ENABL
0310: 45 5f 46 54 53 33 20 69 73 20 64 65 66 69 6e 65  E_FTS3 is define
0320: 64 29 2e 0a 2a 2f 0a 23 69 6e 63 6c 75 64 65 20  d)..*/.#include 
0330: 22 66 74 73 33 49 6e 74 2e 68 22 0a 23 69 66 20  "fts3Int.h".#if 
0340: 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f  !defined(SQLITE_
0350: 43 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e 65 64  CORE) || defined
0360: 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46  (SQLITE_ENABLE_F
0370: 54 53 33 29 0a 0a 23 69 6e 63 6c 75 64 65 20 3c  TS3)..#include <
0380: 61 73 73 65 72 74 2e 68 3e 0a 23 69 6e 63 6c 75  assert.h>.#inclu
0390: 64 65 20 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 2f  de <string.h>../
03a0: 2a 0a 2a 2a 20 52 65 74 75 72 6e 20 74 72 75 65  *.** Return true
03b0: 20 69 66 20 74 68 65 20 74 77 6f 2d 61 72 67 75   if the two-argu
03c0: 6d 65 6e 74 20 76 65 72 73 69 6f 6e 20 6f 66 20  ment version of 
03d0: 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 28 29  fts3_tokenizer()
03e0: 0a 2a 2a 20 68 61 73 20 62 65 65 6e 20 61 63 74  .** has been act
03f0: 69 76 61 74 65 64 20 76 69 61 20 61 20 70 72 69  ivated via a pri
0400: 6f 72 20 63 61 6c 6c 20 74 6f 20 73 71 6c 69 74  or call to sqlit
0410: 65 33 5f 64 62 5f 63 6f 6e 66 69 67 28 64 62 2c  e3_db_config(db,
0420: 0a 2a 2a 20 53 51 4c 49 54 45 5f 44 42 43 4f 4e  .** SQLITE_DBCON
0430: 46 49 47 5f 45 4e 41 42 4c 45 5f 46 54 53 33 5f  FIG_ENABLE_FTS3_
0440: 54 4f 4b 45 4e 49 5a 45 52 2c 20 31 2c 20 30 29  TOKENIZER, 1, 0)
0450: 3b 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20  ;.*/.static int 
0460: 66 74 73 33 54 6f 6b 65 6e 69 7a 65 72 45 6e 61  fts3TokenizerEna
0470: 62 6c 65 64 28 73 71 6c 69 74 65 33 5f 63 6f 6e  bled(sqlite3_con
0480: 74 65 78 74 20 2a 63 6f 6e 74 65 78 74 29 7b 0a  text *context){.
0490: 20 20 73 71 6c 69 74 65 33 20 2a 64 62 20 3d 20    sqlite3 *db = 
04a0: 73 71 6c 69 74 65 33 5f 63 6f 6e 74 65 78 74 5f  sqlite3_context_
04b0: 64 62 5f 68 61 6e 64 6c 65 28 63 6f 6e 74 65 78  db_handle(contex
04c0: 74 29 3b 0a 20 20 69 6e 74 20 69 73 45 6e 61 62  t);.  int isEnab
04d0: 6c 65 64 20 3d 20 30 3b 0a 20 20 73 71 6c 69 74  led = 0;.  sqlit
04e0: 65 33 5f 64 62 5f 63 6f 6e 66 69 67 28 64 62 2c  e3_db_config(db,
04f0: 53 51 4c 49 54 45 5f 44 42 43 4f 4e 46 49 47 5f  SQLITE_DBCONFIG_
0500: 45 4e 41 42 4c 45 5f 46 54 53 33 5f 54 4f 4b 45  ENABLE_FTS3_TOKE
0510: 4e 49 5a 45 52 2c 2d 31 2c 26 69 73 45 6e 61 62  NIZER,-1,&isEnab
0520: 6c 65 64 29 3b 0a 20 20 72 65 74 75 72 6e 20 69  led);.  return i
0530: 73 45 6e 61 62 6c 65 64 3b 0a 7d 0a 0a 2f 2a 0a  sEnabled;.}../*.
0540: 2a 2a 20 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f  ** Implementatio
0550: 6e 20 6f 66 20 74 68 65 20 53 51 4c 20 73 63 61  n of the SQL sca
0560: 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 66 6f 72  lar function for
0570: 20 61 63 63 65 73 73 69 6e 67 20 74 68 65 20 75   accessing the u
0580: 6e 64 65 72 6c 79 69 6e 67 20 0a 2a 2a 20 68 61  nderlying .** ha
0590: 73 68 20 74 61 62 6c 65 2e 20 54 68 69 73 20 66  sh table. This f
05a0: 75 6e 63 74 69 6f 6e 20 6d 61 79 20 62 65 20 63  unction may be c
05b0: 61 6c 6c 65 64 20 61 73 20 66 6f 6c 6c 6f 77 73  alled as follows
05c0: 3a 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45 43 54  :.**.**   SELECT
05d0: 20 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e   <function-name>
05e0: 28 3c 6b 65 79 2d 6e 61 6d 65 3e 29 3b 0a 2a 2a  (<key-name>);.**
05f0: 20 20 20 53 45 4c 45 43 54 20 3c 66 75 6e 63 74     SELECT <funct
0600: 69 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65 79 2d 6e  ion-name>(<key-n
0610: 61 6d 65 3e 2c 20 3c 70 6f 69 6e 74 65 72 3e 29  ame>, <pointer>)
0620: 3b 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65 20 3c 66  ;.**.** where <f
0630: 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 20 69 73  unction-name> is
0640: 20 74 68 65 20 6e 61 6d 65 20 70 61 73 73 65 64   the name passed
0650: 20 61 73 20 74 68 65 20 73 65 63 6f 6e 64 20 61   as the second a
0660: 72 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f 20 74 68  rgument.** to th
0670: 65 20 73 71 6c 69 74 65 33 46 74 73 33 49 6e 69  e sqlite3Fts3Ini
0680: 74 48 61 73 68 54 61 62 6c 65 28 29 20 66 75 6e  tHashTable() fun
0690: 63 74 69 6f 6e 20 28 65 2e 67 2e 20 27 66 74 73  ction (e.g. 'fts
06a0: 33 5f 74 6f 6b 65 6e 69 7a 65 72 27 29 2e 0a 2a  3_tokenizer')..*
06b0: 2a 0a 2a 2a 20 49 66 20 74 68 65 20 3c 70 6f 69  *.** If the <poi
06c0: 6e 74 65 72 3e 20 61 72 67 75 6d 65 6e 74 20 69  nter> argument i
06d0: 73 20 73 70 65 63 69 66 69 65 64 2c 20 69 74 20  s specified, it 
06e0: 6d 75 73 74 20 62 65 20 61 20 62 6c 6f 62 20 76  must be a blob v
06f0: 61 6c 75 65 0a 2a 2a 20 63 6f 6e 74 61 69 6e 69  alue.** containi
0700: 6e 67 20 61 20 70 6f 69 6e 74 65 72 20 74 6f 20  ng a pointer to 
0710: 62 65 20 73 74 6f 72 65 64 20 61 73 20 74 68 65  be stored as the
0720: 20 68 61 73 68 20 64 61 74 61 20 63 6f 72 72 65   hash data corre
0730: 73 70 6f 6e 64 69 6e 67 0a 2a 2a 20 74 6f 20 74  sponding.** to t
0740: 68 65 20 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e  he string <key-n
0750: 61 6d 65 3e 2e 20 49 66 20 3c 70 6f 69 6e 74 65  ame>. If <pointe
0760: 72 3e 20 69 73 20 6e 6f 74 20 73 70 65 63 69 66  r> is not specif
0770: 69 65 64 2c 20 74 68 65 6e 0a 2a 2a 20 74 68 65  ied, then.** the
0780: 20 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e 61 6d   string <key-nam
0790: 65 3e 20 6d 75 73 74 20 61 6c 72 65 61 64 79 20  e> must already 
07a0: 65 78 69 73 74 20 69 6e 20 74 68 65 20 68 61 73  exist in the has
07b0: 20 74 61 62 6c 65 2e 20 4f 74 68 65 72 77 69 73   table. Otherwis
07c0: 65 2c 0a 2a 2a 20 61 6e 20 65 72 72 6f 72 20 69  e,.** an error i
07d0: 73 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a 0a 2a  s returned..**.*
07e0: 2a 20 57 68 65 74 68 65 72 20 6f 72 20 6e 6f 74  * Whether or not
07f0: 20 74 68 65 20 3c 70 6f 69 6e 74 65 72 3e 20 61   the <pointer> a
0800: 72 67 75 6d 65 6e 74 20 69 73 20 73 70 65 63 69  rgument is speci
0810: 66 69 65 64 2c 20 74 68 65 20 76 61 6c 75 65 20  fied, the value 
0820: 72 65 74 75 72 6e 65 64 0a 2a 2a 20 69 73 20 61  returned.** is a
0830: 20 62 6c 6f 62 20 63 6f 6e 74 61 69 6e 69 6e 67   blob containing
0840: 20 74 68 65 20 70 6f 69 6e 74 65 72 20 73 74 6f   the pointer sto
0850: 72 65 64 20 61 73 20 74 68 65 20 68 61 73 68 20  red as the hash 
0860: 64 61 74 61 20 63 6f 72 72 65 73 70 6f 6e 64 69  data correspondi
0870: 6e 67 0a 2a 2a 20 74 6f 20 73 74 72 69 6e 67 20  ng.** to string 
0880: 3c 6b 65 79 2d 6e 61 6d 65 3e 20 28 61 66 74 65  <key-name> (afte
0890: 72 20 74 68 65 20 68 61 73 68 2d 74 61 62 6c 65  r the hash-table
08a0: 20 69 73 20 75 70 64 61 74 65 64 2c 20 69 66 20   is updated, if 
08b0: 61 70 70 6c 69 63 61 62 6c 65 29 2e 0a 2a 2f 0a  applicable)..*/.
08c0: 73 74 61 74 69 63 20 76 6f 69 64 20 66 74 73 33  static void fts3
08d0: 54 6f 6b 65 6e 69 7a 65 72 46 75 6e 63 28 0a 20  TokenizerFunc(. 
08e0: 20 73 71 6c 69 74 65 33 5f 63 6f 6e 74 65 78 74   sqlite3_context
08f0: 20 2a 63 6f 6e 74 65 78 74 2c 0a 20 20 69 6e 74   *context,.  int
0900: 20 61 72 67 63 2c 0a 20 20 73 71 6c 69 74 65 33   argc,.  sqlite3
0910: 5f 76 61 6c 75 65 20 2a 2a 61 72 67 76 0a 29 7b  _value **argv.){
0920: 0a 20 20 46 74 73 33 48 61 73 68 20 2a 70 48 61  .  Fts3Hash *pHa
0930: 73 68 3b 0a 20 20 76 6f 69 64 20 2a 70 50 74 72  sh;.  void *pPtr
0940: 20 3d 20 30 3b 0a 20 20 63 6f 6e 73 74 20 75 6e   = 0;.  const un
0950: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 4e 61  signed char *zNa
0960: 6d 65 3b 0a 20 20 69 6e 74 20 6e 4e 61 6d 65 3b  me;.  int nName;
0970: 0a 0a 20 20 61 73 73 65 72 74 28 20 61 72 67 63  ..  assert( argc
0980: 3d 3d 31 20 7c 7c 20 61 72 67 63 3d 3d 32 20 29  ==1 || argc==2 )
0990: 3b 0a 0a 20 20 70 48 61 73 68 20 3d 20 28 46 74  ;..  pHash = (Ft
09a0: 73 33 48 61 73 68 20 2a 29 73 71 6c 69 74 65 33  s3Hash *)sqlite3
09b0: 5f 75 73 65 72 5f 64 61 74 61 28 63 6f 6e 74 65  _user_data(conte
09c0: 78 74 29 3b 0a 0a 20 20 7a 4e 61 6d 65 20 3d 20  xt);..  zName = 
09d0: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74 65  sqlite3_value_te
09e0: 78 74 28 61 72 67 76 5b 30 5d 29 3b 0a 20 20 6e  xt(argv[0]);.  n
09f0: 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65 33 5f 76  Name = sqlite3_v
0a00: 61 6c 75 65 5f 62 79 74 65 73 28 61 72 67 76 5b  alue_bytes(argv[
0a10: 30 5d 29 2b 31 3b 0a 0a 20 20 69 66 28 20 61 72  0])+1;..  if( ar
0a20: 67 63 3d 3d 32 20 29 7b 0a 20 20 20 20 69 66 28  gc==2 ){.    if(
0a30: 20 66 74 73 33 54 6f 6b 65 6e 69 7a 65 72 45 6e   fts3TokenizerEn
0a40: 61 62 6c 65 64 28 63 6f 6e 74 65 78 74 29 20 29  abled(context) )
0a50: 7b 0a 20 20 20 20 20 20 76 6f 69 64 20 2a 70 4f  {.      void *pO
0a60: 6c 64 3b 0a 20 20 20 20 20 20 69 6e 74 20 6e 20  ld;.      int n 
0a70: 3d 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f  = sqlite3_value_
0a80: 62 79 74 65 73 28 61 72 67 76 5b 31 5d 29 3b 0a  bytes(argv[1]);.
0a90: 20 20 20 20 20 20 69 66 28 20 7a 4e 61 6d 65 3d        if( zName=
0aa0: 3d 30 20 7c 7c 20 6e 21 3d 73 69 7a 65 6f 66 28  =0 || n!=sizeof(
0ab0: 70 50 74 72 29 20 29 7b 0a 20 20 20 20 20 20 20  pPtr) ){.       
0ac0: 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f   sqlite3_result_
0ad0: 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22  error(context, "
0ae0: 61 72 67 75 6d 65 6e 74 20 74 79 70 65 20 6d 69  argument type mi
0af0: 73 6d 61 74 63 68 22 2c 20 2d 31 29 3b 0a 20 20  smatch", -1);.  
0b00: 20 20 20 20 20 20 72 65 74 75 72 6e 3b 0a 20 20        return;.  
0b10: 20 20 20 20 7d 0a 20 20 20 20 20 20 70 50 74 72      }.      pPtr
0b20: 20 3d 20 2a 28 76 6f 69 64 20 2a 2a 29 73 71 6c   = *(void **)sql
0b30: 69 74 65 33 5f 76 61 6c 75 65 5f 62 6c 6f 62 28  ite3_value_blob(
0b40: 61 72 67 76 5b 31 5d 29 3b 0a 20 20 20 20 20 20  argv[1]);.      
0b50: 70 4f 6c 64 20 3d 20 73 71 6c 69 74 65 33 46 74  pOld = sqlite3Ft
0b60: 73 33 48 61 73 68 49 6e 73 65 72 74 28 70 48 61  s3HashInsert(pHa
0b70: 73 68 2c 20 28 76 6f 69 64 20 2a 29 7a 4e 61 6d  sh, (void *)zNam
0b80: 65 2c 20 6e 4e 61 6d 65 2c 20 70 50 74 72 29 3b  e, nName, pPtr);
0b90: 0a 20 20 20 20 20 20 69 66 28 20 70 4f 6c 64 3d  .      if( pOld=
0ba0: 3d 70 50 74 72 20 29 7b 0a 20 20 20 20 20 20 20  =pPtr ){.       
0bb0: 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f   sqlite3_result_
0bc0: 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22  error(context, "
0bd0: 6f 75 74 20 6f 66 20 6d 65 6d 6f 72 79 22 2c 20  out of memory", 
0be0: 2d 31 29 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20  -1);.      }.   
0bf0: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 73 71   }else{.      sq
0c00: 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65 72 72  lite3_result_err
0c10: 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22 66 74 73  or(context, "fts
0c20: 33 74 6f 6b 65 6e 69 7a 65 20 64 69 73 61 62 6c  3tokenize disabl
0c30: 65 64 22 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20  ed", -1);.      
0c40: 72 65 74 75 72 6e 3b 0a 20 20 20 20 7d 0a 20 20  return;.    }.  
0c50: 7d 65 6c 73 65 7b 0a 20 20 20 20 69 66 28 20 7a  }else{.    if( z
0c60: 4e 61 6d 65 20 29 7b 0a 20 20 20 20 20 20 70 50  Name ){.      pP
0c70: 74 72 20 3d 20 73 71 6c 69 74 65 33 46 74 73 33  tr = sqlite3Fts3
0c80: 48 61 73 68 46 69 6e 64 28 70 48 61 73 68 2c 20  HashFind(pHash, 
0c90: 7a 4e 61 6d 65 2c 20 6e 4e 61 6d 65 29 3b 0a 20  zName, nName);. 
0ca0: 20 20 20 7d 0a 20 20 20 20 69 66 28 20 21 70 50     }.    if( !pP
0cb0: 74 72 20 29 7b 0a 20 20 20 20 20 20 63 68 61 72  tr ){.      char
0cc0: 20 2a 7a 45 72 72 20 3d 20 73 71 6c 69 74 65 33   *zErr = sqlite3
0cd0: 5f 6d 70 72 69 6e 74 66 28 22 75 6e 6b 6e 6f 77  _mprintf("unknow
0ce0: 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20 25 73 22  n tokenizer: %s"
0cf0: 2c 20 7a 4e 61 6d 65 29 3b 0a 20 20 20 20 20 20  , zName);.      
0d00: 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65  sqlite3_result_e
0d10: 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 7a 45  rror(context, zE
0d20: 72 72 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20 73  rr, -1);.      s
0d30: 71 6c 69 74 65 33 5f 66 72 65 65 28 7a 45 72 72  qlite3_free(zErr
0d40: 29 3b 0a 20 20 20 20 20 20 72 65 74 75 72 6e 3b  );.      return;
0d50: 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 73 71 6c  .    }.  }.  sql
0d60: 69 74 65 33 5f 72 65 73 75 6c 74 5f 62 6c 6f 62  ite3_result_blob
0d70: 28 63 6f 6e 74 65 78 74 2c 20 28 76 6f 69 64 20  (context, (void 
0d80: 2a 29 26 70 50 74 72 2c 20 73 69 7a 65 6f 66 28  *)&pPtr, sizeof(
0d90: 70 50 74 72 29 2c 20 53 51 4c 49 54 45 5f 54 52  pPtr), SQLITE_TR
0da0: 41 4e 53 49 45 4e 54 29 3b 0a 7d 0a 0a 69 6e 74  ANSIENT);.}..int
0db0: 20 73 71 6c 69 74 65 33 46 74 73 33 49 73 49 64   sqlite3Fts3IsId
0dc0: 43 68 61 72 28 63 68 61 72 20 63 29 7b 0a 20 20  Char(char c){.  
0dd0: 73 74 61 74 69 63 20 63 6f 6e 73 74 20 63 68 61  static const cha
0de0: 72 20 69 73 46 74 73 49 64 43 68 61 72 5b 5d 20  r isFtsIdChar[] 
0df0: 3d 20 7b 0a 20 20 20 20 20 20 30 2c 20 30 2c 20  = {.      0, 0, 
0e00: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0e10: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0e20: 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 30 78   0, 0, 0,  /* 0x
0e30: 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 30 2c 20   */.      0, 0, 
0e40: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0e50: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0e60: 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 31 78   0, 0, 0,  /* 1x
0e70: 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 30 2c 20   */.      0, 0, 
0e80: 30 2c 20 30 2c 20 31 2c 20 30 2c 20 30 2c 20 30  0, 0, 1, 0, 0, 0
0e90: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0ea0: 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 32 78   0, 0, 0,  /* 2x
0eb0: 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31 2c 20   */.      1, 1, 
0ec0: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0ed0: 2c 20 31 2c 20 31 2c 20 30 2c 20 30 2c 20 30 2c  , 1, 1, 0, 0, 0,
0ee0: 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 33 78   0, 0, 0,  /* 3x
0ef0: 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 31 2c 20   */.      0, 1, 
0f00: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0f10: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0f20: 20 31 2c 20 31 2c 20 31 2c 20 20 2f 2a 20 34 78   1, 1, 1,  /* 4x
0f30: 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31 2c 20   */.      1, 1, 
0f40: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0f50: 2c 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20 30 2c  , 1, 1, 1, 0, 0,
0f60: 20 30 2c 20 30 2c 20 31 2c 20 20 2f 2a 20 35 78   0, 0, 1,  /* 5x
0f70: 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 31 2c 20   */.      0, 1, 
0f80: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0f90: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0fa0: 20 31 2c 20 31 2c 20 31 2c 20 20 2f 2a 20 36 78   1, 1, 1,  /* 6x
0fb0: 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31 2c 20   */.      1, 1, 
0fc0: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0fd0: 2c 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20 30 2c  , 1, 1, 1, 0, 0,
0fe0: 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 37 78   0, 0, 0,  /* 7x
0ff0: 20 2a 2f 0a 20 20 7d 3b 0a 20 20 72 65 74 75 72   */.  };.  retur
1000: 6e 20 28 63 26 30 78 38 30 20 7c 7c 20 69 73 46  n (c&0x80 || isF
1010: 74 73 49 64 43 68 61 72 5b 28 69 6e 74 29 28 63  tsIdChar[(int)(c
1020: 29 5d 29 3b 0a 7d 0a 0a 63 6f 6e 73 74 20 63 68  )]);.}..const ch
1030: 61 72 20 2a 73 71 6c 69 74 65 33 46 74 73 33 4e  ar *sqlite3Fts3N
1040: 65 78 74 54 6f 6b 65 6e 28 63 6f 6e 73 74 20 63  extToken(const c
1050: 68 61 72 20 2a 7a 53 74 72 2c 20 69 6e 74 20 2a  har *zStr, int *
1060: 70 6e 29 7b 0a 20 20 63 6f 6e 73 74 20 63 68 61  pn){.  const cha
1070: 72 20 2a 7a 31 3b 0a 20 20 63 6f 6e 73 74 20 63  r *z1;.  const c
1080: 68 61 72 20 2a 7a 32 20 3d 20 30 3b 0a 0a 20 20  har *z2 = 0;..  
1090: 2f 2a 20 46 69 6e 64 20 74 68 65 20 73 74 61 72  /* Find the star
10a0: 74 20 6f 66 20 74 68 65 20 6e 65 78 74 20 74 6f  t of the next to
10b0: 6b 65 6e 2e 20 2a 2f 0a 20 20 7a 31 20 3d 20 7a  ken. */.  z1 = z
10c0: 53 74 72 3b 0a 20 20 77 68 69 6c 65 28 20 7a 32  Str;.  while( z2
10d0: 3d 3d 30 20 29 7b 0a 20 20 20 20 63 68 61 72 20  ==0 ){.    char 
10e0: 63 20 3d 20 2a 7a 31 3b 0a 20 20 20 20 73 77 69  c = *z1;.    swi
10f0: 74 63 68 28 20 63 20 29 7b 0a 20 20 20 20 20 20  tch( c ){.      
1100: 63 61 73 65 20 27 5c 30 27 3a 20 72 65 74 75 72  case '\0': retur
1110: 6e 20 30 3b 20 20 20 20 20 20 20 20 2f 2a 20 4e  n 0;        /* N
1120: 6f 20 6d 6f 72 65 20 74 6f 6b 65 6e 73 20 68 65  o more tokens he
1130: 72 65 20 2a 2f 0a 20 20 20 20 20 20 63 61 73 65  re */.      case
1140: 20 27 5c 27 27 3a 0a 20 20 20 20 20 20 63 61 73   '\'':.      cas
1150: 65 20 27 22 27 3a 0a 20 20 20 20 20 20 63 61 73  e '"':.      cas
1160: 65 20 27 60 27 3a 20 7b 0a 20 20 20 20 20 20 20  e '`': {.       
1170: 20 7a 32 20 3d 20 7a 31 3b 0a 20 20 20 20 20 20   z2 = z1;.      
1180: 20 20 77 68 69 6c 65 28 20 2a 2b 2b 7a 32 20 26    while( *++z2 &
1190: 26 20 28 2a 7a 32 21 3d 63 20 7c 7c 20 2a 2b 2b  & (*z2!=c || *++
11a0: 7a 32 3d 3d 63 29 20 29 3b 0a 20 20 20 20 20 20  z2==c) );.      
11b0: 20 20 62 72 65 61 6b 3b 0a 20 20 20 20 20 20 7d    break;.      }
11c0: 0a 20 20 20 20 20 20 63 61 73 65 20 27 5b 27 3a  .      case '[':
11d0: 0a 20 20 20 20 20 20 20 20 7a 32 20 3d 20 26 7a  .        z2 = &z
11e0: 31 5b 31 5d 3b 0a 20 20 20 20 20 20 20 20 77 68  1[1];.        wh
11f0: 69 6c 65 28 20 2a 7a 32 20 26 26 20 7a 32 5b 30  ile( *z2 && z2[0
1200: 5d 21 3d 27 5d 27 20 29 20 7a 32 2b 2b 3b 0a 20  ]!=']' ) z2++;. 
1210: 20 20 20 20 20 20 20 69 66 28 20 2a 7a 32 20 29         if( *z2 )
1220: 20 7a 32 2b 2b 3b 0a 20 20 20 20 20 20 20 20 62   z2++;.        b
1230: 72 65 61 6b 3b 0a 0a 20 20 20 20 20 20 64 65 66  reak;..      def
1240: 61 75 6c 74 3a 0a 20 20 20 20 20 20 20 20 69 66  ault:.        if
1250: 28 20 73 71 6c 69 74 65 33 46 74 73 33 49 73 49  ( sqlite3Fts3IsI
1260: 64 43 68 61 72 28 2a 7a 31 29 20 29 7b 0a 20 20  dChar(*z1) ){.  
1270: 20 20 20 20 20 20 20 20 7a 32 20 3d 20 26 7a 31          z2 = &z1
1280: 5b 31 5d 3b 0a 20 20 20 20 20 20 20 20 20 20 77  [1];.          w
1290: 68 69 6c 65 28 20 73 71 6c 69 74 65 33 46 74 73  hile( sqlite3Fts
12a0: 33 49 73 49 64 43 68 61 72 28 2a 7a 32 29 20 29  3IsIdChar(*z2) )
12b0: 20 7a 32 2b 2b 3b 0a 20 20 20 20 20 20 20 20 7d   z2++;.        }
12c0: 65 6c 73 65 7b 0a 20 20 20 20 20 20 20 20 20 20  else{.          
12d0: 7a 31 2b 2b 3b 0a 20 20 20 20 20 20 20 20 7d 0a  z1++;.        }.
12e0: 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 2a 70 6e      }.  }..  *pn
12f0: 20 3d 20 28 69 6e 74 29 28 7a 32 2d 7a 31 29 3b   = (int)(z2-z1);
1300: 0a 20 20 72 65 74 75 72 6e 20 7a 31 3b 0a 7d 0a  .  return z1;.}.
1310: 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 33  .int sqlite3Fts3
1320: 49 6e 69 74 54 6f 6b 65 6e 69 7a 65 72 28 0a 20  InitTokenizer(. 
1330: 20 46 74 73 33 48 61 73 68 20 2a 70 48 61 73 68   Fts3Hash *pHash
1340: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
1350: 20 2f 2a 20 54 6f 6b 65 6e 69 7a 65 72 20 68 61   /* Tokenizer ha
1360: 73 68 20 74 61 62 6c 65 20 2a 2f 0a 20 20 63 6f  sh table */.  co
1370: 6e 73 74 20 63 68 61 72 20 2a 7a 41 72 67 2c 20  nst char *zArg, 
1380: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
1390: 20 54 6f 6b 65 6e 69 7a 65 72 20 6e 61 6d 65 20   Tokenizer name 
13a0: 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b  */.  sqlite3_tok
13b0: 65 6e 69 7a 65 72 20 2a 2a 70 70 54 6f 6b 2c 20  enizer **ppTok, 
13c0: 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 54 6f 6b       /* OUT: Tok
13d0: 65 6e 69 7a 65 72 20 28 69 66 20 61 70 70 6c 69  enizer (if appli
13e0: 63 61 62 6c 65 29 20 2a 2f 0a 20 20 63 68 61 72  cable) */.  char
13f0: 20 2a 2a 70 7a 45 72 72 20 20 20 20 20 20 20 20   **pzErr        
1400: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f              /* O
1410: 55 54 3a 20 53 65 74 20 74 6f 20 6d 61 6c 6c 6f  UT: Set to mallo
1420: 63 65 64 20 65 72 72 6f 72 20 6d 65 73 73 61 67  ced error messag
1430: 65 20 2a 2f 0a 29 7b 0a 20 20 69 6e 74 20 72 63  e */.){.  int rc
1440: 3b 0a 20 20 63 68 61 72 20 2a 7a 20 3d 20 28 63  ;.  char *z = (c
1450: 68 61 72 20 2a 29 7a 41 72 67 3b 0a 20 20 69 6e  har *)zArg;.  in
1460: 74 20 6e 20 3d 20 30 3b 0a 20 20 63 68 61 72 20  t n = 0;.  char 
1470: 2a 7a 43 6f 70 79 3b 0a 20 20 63 68 61 72 20 2a  *zCopy;.  char *
1480: 7a 45 6e 64 3b 20 20 20 20 20 20 20 20 20 20 20  zEnd;           
1490: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 50 6f 69            /* Poi
14a0: 6e 74 65 72 20 74 6f 20 6e 75 6c 2d 74 65 72 6d  nter to nul-term
14b0: 20 6f 66 20 7a 43 6f 70 79 20 2a 2f 0a 20 20 73   of zCopy */.  s
14c0: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
14d0: 5f 6d 6f 64 75 6c 65 20 2a 6d 3b 0a 0a 20 20 7a  _module *m;..  z
14e0: 43 6f 70 79 20 3d 20 73 71 6c 69 74 65 33 5f 6d  Copy = sqlite3_m
14f0: 70 72 69 6e 74 66 28 22 25 73 22 2c 20 7a 41 72  printf("%s", zAr
1500: 67 29 3b 0a 20 20 69 66 28 20 21 7a 43 6f 70 79  g);.  if( !zCopy
1510: 20 29 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45   ) return SQLITE
1520: 5f 4e 4f 4d 45 4d 3b 0a 20 20 7a 45 6e 64 20 3d  _NOMEM;.  zEnd =
1530: 20 26 7a 43 6f 70 79 5b 73 74 72 6c 65 6e 28 7a   &zCopy[strlen(z
1540: 43 6f 70 79 29 5d 3b 0a 0a 20 20 7a 20 3d 20 28  Copy)];..  z = (
1550: 63 68 61 72 20 2a 29 73 71 6c 69 74 65 33 46 74  char *)sqlite3Ft
1560: 73 33 4e 65 78 74 54 6f 6b 65 6e 28 7a 43 6f 70  s3NextToken(zCop
1570: 79 2c 20 26 6e 29 3b 0a 20 20 69 66 28 20 7a 3d  y, &n);.  if( z=
1580: 3d 30 20 29 7b 0a 20 20 20 20 61 73 73 65 72 74  =0 ){.    assert
1590: 28 20 6e 3d 3d 30 20 29 3b 0a 20 20 20 20 7a 20  ( n==0 );.    z 
15a0: 3d 20 7a 43 6f 70 79 3b 0a 20 20 7d 0a 20 20 7a  = zCopy;.  }.  z
15b0: 5b 6e 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 73 71  [n] = '\0';.  sq
15c0: 6c 69 74 65 33 46 74 73 33 44 65 71 75 6f 74 65  lite3Fts3Dequote
15d0: 28 7a 29 3b 0a 0a 20 20 6d 20 3d 20 28 73 71 6c  (z);..  m = (sql
15e0: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d  ite3_tokenizer_m
15f0: 6f 64 75 6c 65 20 2a 29 73 71 6c 69 74 65 33 46  odule *)sqlite3F
1600: 74 73 33 48 61 73 68 46 69 6e 64 28 70 48 61 73  ts3HashFind(pHas
1610: 68 2c 7a 2c 28 69 6e 74 29 73 74 72 6c 65 6e 28  h,z,(int)strlen(
1620: 7a 29 2b 31 29 3b 0a 20 20 69 66 28 20 21 6d 20  z)+1);.  if( !m 
1630: 29 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 46 74  ){.    sqlite3Ft
1640: 73 33 45 72 72 4d 73 67 28 70 7a 45 72 72 2c 20  s3ErrMsg(pzErr, 
1650: 22 75 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a  "unknown tokeniz
1660: 65 72 3a 20 25 73 22 2c 20 7a 29 3b 0a 20 20 20  er: %s", z);.   
1670: 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 45 52 52   rc = SQLITE_ERR
1680: 4f 52 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20  OR;.  }else{.   
1690: 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 2a 61 41   char const **aA
16a0: 72 67 20 3d 20 30 3b 0a 20 20 20 20 69 6e 74 20  rg = 0;.    int 
16b0: 69 41 72 67 20 3d 20 30 3b 0a 20 20 20 20 7a 20  iArg = 0;.    z 
16c0: 3d 20 26 7a 5b 6e 2b 31 5d 3b 0a 20 20 20 20 77  = &z[n+1];.    w
16d0: 68 69 6c 65 28 20 7a 3c 7a 45 6e 64 20 26 26 20  hile( z<zEnd && 
16e0: 28 4e 55 4c 4c 21 3d 28 7a 20 3d 20 28 63 68 61  (NULL!=(z = (cha
16f0: 72 20 2a 29 73 71 6c 69 74 65 33 46 74 73 33 4e  r *)sqlite3Fts3N
1700: 65 78 74 54 6f 6b 65 6e 28 7a 2c 20 26 6e 29 29  extToken(z, &n))
1710: 29 20 29 7b 0a 20 20 20 20 20 20 69 6e 74 20 6e  ) ){.      int n
1720: 4e 65 77 20 3d 20 73 69 7a 65 6f 66 28 63 68 61  New = sizeof(cha
1730: 72 20 2a 29 2a 28 69 41 72 67 2b 31 29 3b 0a 20  r *)*(iArg+1);. 
1740: 20 20 20 20 20 63 68 61 72 20 63 6f 6e 73 74 20       char const 
1750: 2a 2a 61 4e 65 77 20 3d 20 28 63 6f 6e 73 74 20  **aNew = (const 
1760: 63 68 61 72 20 2a 2a 29 73 71 6c 69 74 65 33 5f  char **)sqlite3_
1770: 72 65 61 6c 6c 6f 63 28 28 76 6f 69 64 20 2a 29  realloc((void *)
1780: 61 41 72 67 2c 20 6e 4e 65 77 29 3b 0a 20 20 20  aArg, nNew);.   
1790: 20 20 20 69 66 28 20 21 61 4e 65 77 20 29 7b 0a     if( !aNew ){.
17a0: 20 20 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f          sqlite3_
17b0: 66 72 65 65 28 7a 43 6f 70 79 29 3b 0a 20 20 20  free(zCopy);.   
17c0: 20 20 20 20 20 73 71 6c 69 74 65 33 5f 66 72 65       sqlite3_fre
17d0: 65 28 28 76 6f 69 64 20 2a 29 61 41 72 67 29 3b  e((void *)aArg);
17e0: 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20  .        return 
17f0: 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20  SQLITE_NOMEM;.  
1800: 20 20 20 20 7d 0a 20 20 20 20 20 20 61 41 72 67      }.      aArg
1810: 20 3d 20 61 4e 65 77 3b 0a 20 20 20 20 20 20 61   = aNew;.      a
1820: 41 72 67 5b 69 41 72 67 2b 2b 5d 20 3d 20 7a 3b  Arg[iArg++] = z;
1830: 0a 20 20 20 20 20 20 7a 5b 6e 5d 20 3d 20 27 5c  .      z[n] = '\
1840: 30 27 3b 0a 20 20 20 20 20 20 73 71 6c 69 74 65  0';.      sqlite
1850: 33 46 74 73 33 44 65 71 75 6f 74 65 28 7a 29 3b  3Fts3Dequote(z);
1860: 0a 20 20 20 20 20 20 7a 20 3d 20 26 7a 5b 6e 2b  .      z = &z[n+
1870: 31 5d 3b 0a 20 20 20 20 7d 0a 20 20 20 20 72 63  1];.    }.    rc
1880: 20 3d 20 6d 2d 3e 78 43 72 65 61 74 65 28 69 41   = m->xCreate(iA
1890: 72 67 2c 20 61 41 72 67 2c 20 70 70 54 6f 6b 29  rg, aArg, ppTok)
18a0: 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 72 63  ;.    assert( rc
18b0: 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 7c 7c 20 2a  !=SQLITE_OK || *
18c0: 70 70 54 6f 6b 20 29 3b 0a 20 20 20 20 69 66 28  ppTok );.    if(
18d0: 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29   rc!=SQLITE_OK )
18e0: 7b 0a 20 20 20 20 20 20 73 71 6c 69 74 65 33 46  {.      sqlite3F
18f0: 74 73 33 45 72 72 4d 73 67 28 70 7a 45 72 72 2c  ts3ErrMsg(pzErr,
1900: 20 22 75 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69   "unknown tokeni
1910: 7a 65 72 22 29 3b 0a 20 20 20 20 7d 65 6c 73 65  zer");.    }else
1920: 7b 0a 20 20 20 20 20 20 28 2a 70 70 54 6f 6b 29  {.      (*ppTok)
1930: 2d 3e 70 4d 6f 64 75 6c 65 20 3d 20 6d 3b 20 0a  ->pModule = m; .
1940: 20 20 20 20 7d 0a 20 20 20 20 73 71 6c 69 74 65      }.    sqlite
1950: 33 5f 66 72 65 65 28 28 76 6f 69 64 20 2a 29 61  3_free((void *)a
1960: 41 72 67 29 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c  Arg);.  }..  sql
1970: 69 74 65 33 5f 66 72 65 65 28 7a 43 6f 70 79 29  ite3_free(zCopy)
1980: 3b 0a 20 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d  ;.  return rc;.}
1990: 0a 0a 0a 23 69 66 64 65 66 20 53 51 4c 49 54 45  ...#ifdef SQLITE
19a0: 5f 54 45 53 54 0a 0a 23 69 66 20 64 65 66 69 6e  _TEST..#if defin
19b0: 65 64 28 49 4e 43 4c 55 44 45 5f 53 51 4c 49 54  ed(INCLUDE_SQLIT
19c0: 45 5f 54 43 4c 5f 48 29 0a 23 20 20 69 6e 63 6c  E_TCL_H).#  incl
19d0: 75 64 65 20 22 73 71 6c 69 74 65 5f 74 63 6c 2e  ude "sqlite_tcl.
19e0: 68 22 0a 23 65 6c 73 65 0a 23 20 20 69 6e 63 6c  h".#else.#  incl
19f0: 75 64 65 20 22 74 63 6c 2e 68 22 0a 23 65 6e 64  ude "tcl.h".#end
1a00: 69 66 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74 72  if.#include <str
1a10: 69 6e 67 2e 68 3e 0a 0a 2f 2a 0a 2a 2a 20 49 6d  ing.h>../*.** Im
1a20: 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20  plementation of 
1a30: 61 20 73 70 65 63 69 61 6c 20 53 51 4c 20 73 63  a special SQL sc
1a40: 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 66 6f  alar function fo
1a50: 72 20 74 65 73 74 69 6e 67 20 74 6f 6b 65 6e 69  r testing tokeni
1a60: 7a 65 72 73 20 0a 2a 2a 20 64 65 73 69 67 6e 65  zers .** designe
1a70: 64 20 74 6f 20 62 65 20 75 73 65 64 20 69 6e 20  d to be used in 
1a80: 63 6f 6e 63 65 72 74 20 77 69 74 68 20 74 68 65  concert with the
1a90: 20 54 63 6c 20 74 65 73 74 69 6e 67 20 66 72 61   Tcl testing fra
1aa0: 6d 65 77 6f 72 6b 2e 20 54 68 69 73 0a 2a 2a 20  mework. This.** 
1ab0: 66 75 6e 63 74 69 6f 6e 20 6d 75 73 74 20 62 65  function must be
1ac0: 20 63 61 6c 6c 65 64 20 77 69 74 68 20 74 77 6f   called with two
1ad0: 20 6f 72 20 6d 6f 72 65 20 61 72 67 75 6d 65 6e   or more argumen
1ae0: 74 73 3a 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45  ts:.**.**   SELE
1af0: 43 54 20 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d  CT <function-nam
1b00: 65 3e 28 3c 6b 65 79 2d 6e 61 6d 65 3e 2c 20 2e  e>(<key-name>, .
1b10: 2e 2e 2c 20 3c 69 6e 70 75 74 2d 73 74 72 69 6e  .., <input-strin
1b20: 67 3e 29 3b 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65  g>);.**.** where
1b30: 20 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e   <function-name>
1b40: 20 69 73 20 74 68 65 20 6e 61 6d 65 20 70 61 73   is the name pas
1b50: 73 65 64 20 61 73 20 74 68 65 20 73 65 63 6f 6e  sed as the secon
1b60: 64 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f  d argument.** to
1b70: 20 74 68 65 20 73 71 6c 69 74 65 33 46 74 73 33   the sqlite3Fts3
1b80: 49 6e 69 74 48 61 73 68 54 61 62 6c 65 28 29 20  InitHashTable() 
1b90: 66 75 6e 63 74 69 6f 6e 20 28 65 2e 67 2e 20 27  function (e.g. '
1ba0: 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 27 29  fts3_tokenizer')
1bb0: 0a 2a 2a 20 63 6f 6e 63 61 74 65 6e 61 74 65 64  .** concatenated
1bc0: 20 77 69 74 68 20 74 68 65 20 73 74 72 69 6e 67   with the string
1bd0: 20 27 5f 74 65 73 74 27 20 28 65 2e 67 2e 20 27   '_test' (e.g. '
1be0: 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 74  fts3_tokenizer_t
1bf0: 65 73 74 27 29 2e 0a 2a 2a 0a 2a 2a 20 54 68 65  est')..**.** The
1c00: 20 72 65 74 75 72 6e 20 76 61 6c 75 65 20 69 73   return value is
1c10: 20 61 20 73 74 72 69 6e 67 20 74 68 61 74 20 6d   a string that m
1c20: 61 79 20 62 65 20 69 6e 74 65 72 70 72 65 74 65  ay be interprete
1c30: 64 20 61 73 20 61 20 54 63 6c 0a 2a 2a 20 6c 69  d as a Tcl.** li
1c40: 73 74 2e 20 46 6f 72 20 65 61 63 68 20 74 6f 6b  st. For each tok
1c50: 65 6e 20 69 6e 20 74 68 65 20 3c 69 6e 70 75 74  en in the <input
1c60: 2d 73 74 72 69 6e 67 3e 2c 20 74 68 72 65 65 20  -string>, three 
1c70: 65 6c 65 6d 65 6e 74 73 20 61 72 65 0a 2a 2a 20  elements are.** 
1c80: 61 64 64 65 64 20 74 6f 20 74 68 65 20 72 65 74  added to the ret
1c90: 75 72 6e 65 64 20 6c 69 73 74 2e 20 54 68 65 20  urned list. The 
1ca0: 66 69 72 73 74 20 69 73 20 74 68 65 20 74 6f 6b  first is the tok
1cb0: 65 6e 20 70 6f 73 69 74 69 6f 6e 2c 20 74 68 65  en position, the
1cc0: 20 0a 2a 2a 20 73 65 63 6f 6e 64 20 69 73 20 74   .** second is t
1cd0: 68 65 20 74 6f 6b 65 6e 20 74 65 78 74 20 28 66  he token text (f
1ce0: 6f 6c 64 65 64 2c 20 73 74 65 6d 6d 65 64 2c 20  olded, stemmed, 
1cf0: 65 74 63 2e 29 20 61 6e 64 20 74 68 65 20 74 68  etc.) and the th
1d00: 69 72 64 20 69 73 20 74 68 65 0a 2a 2a 20 73 75  ird is the.** su
1d10: 62 73 74 72 69 6e 67 20 6f 66 20 3c 69 6e 70 75  bstring of <inpu
1d20: 74 2d 73 74 72 69 6e 67 3e 20 61 73 73 6f 63 69  t-string> associ
1d30: 61 74 65 64 20 77 69 74 68 20 74 68 65 20 74 6f  ated with the to
1d40: 6b 65 6e 2e 20 46 6f 72 20 65 78 61 6d 70 6c 65  ken. For example
1d50: 2c 20 0a 2a 2a 20 75 73 69 6e 67 20 74 68 65 20  , .** using the 
1d60: 62 75 69 6c 74 2d 69 6e 20 22 73 69 6d 70 6c 65  built-in "simple
1d70: 22 20 74 6f 6b 65 6e 69 7a 65 72 3a 0a 2a 2a 0a  " tokenizer:.**.
1d80: 2a 2a 20 20 20 53 45 4c 45 43 54 20 66 74 73 5f  **   SELECT fts_
1d90: 74 6f 6b 65 6e 69 7a 65 72 5f 74 65 73 74 28 27  tokenizer_test('
1da0: 73 69 6d 70 6c 65 27 2c 20 27 49 20 64 6f 6e 27  simple', 'I don'
1db0: 74 20 73 65 65 20 68 6f 77 27 29 3b 0a 2a 2a 0a  t see how');.**.
1dc0: 2a 2a 20 77 69 6c 6c 20 72 65 74 75 72 6e 20 74  ** will return t
1dd0: 68 65 20 73 74 72 69 6e 67 3a 0a 2a 2a 0a 2a 2a  he string:.**.**
1de0: 20 20 20 22 7b 30 20 69 20 49 20 31 20 64 6f 6e     "{0 i I 1 don
1df0: 74 20 64 6f 6e 27 74 20 32 20 73 65 65 20 73 65  t don't 2 see se
1e00: 65 20 33 20 68 6f 77 20 68 6f 77 7d 22 0a 2a 2a  e 3 how how}".**
1e10: 20 20 20 0a 2a 2f 0a 73 74 61 74 69 63 20 76 6f     .*/.static vo
1e20: 69 64 20 74 65 73 74 46 75 6e 63 28 0a 20 20 73  id testFunc(.  s
1e30: 71 6c 69 74 65 33 5f 63 6f 6e 74 65 78 74 20 2a  qlite3_context *
1e40: 63 6f 6e 74 65 78 74 2c 0a 20 20 69 6e 74 20 61  context,.  int a
1e50: 72 67 63 2c 0a 20 20 73 71 6c 69 74 65 33 5f 76  rgc,.  sqlite3_v
1e60: 61 6c 75 65 20 2a 2a 61 72 67 76 0a 29 7b 0a 20  alue **argv.){. 
1e70: 20 46 74 73 33 48 61 73 68 20 2a 70 48 61 73 68   Fts3Hash *pHash
1e80: 3b 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65  ;.  sqlite3_toke
1e90: 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 70 3b  nizer_module *p;
1ea0: 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e  .  sqlite3_token
1eb0: 69 7a 65 72 20 2a 70 54 6f 6b 65 6e 69 7a 65 72  izer *pTokenizer
1ec0: 20 3d 20 30 3b 0a 20 20 73 71 6c 69 74 65 33 5f   = 0;.  sqlite3_
1ed0: 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72  tokenizer_cursor
1ee0: 20 2a 70 43 73 72 20 3d 20 30 3b 0a 0a 20 20 63   *pCsr = 0;..  c
1ef0: 6f 6e 73 74 20 63 68 61 72 20 2a 7a 45 72 72 20  onst char *zErr 
1f00: 3d 20 30 3b 0a 0a 20 20 63 6f 6e 73 74 20 63 68  = 0;..  const ch
1f10: 61 72 20 2a 7a 4e 61 6d 65 3b 0a 20 20 69 6e 74  ar *zName;.  int
1f20: 20 6e 4e 61 6d 65 3b 0a 20 20 63 6f 6e 73 74 20   nName;.  const 
1f30: 63 68 61 72 20 2a 7a 49 6e 70 75 74 3b 0a 20 20  char *zInput;.  
1f40: 69 6e 74 20 6e 49 6e 70 75 74 3b 0a 0a 20 20 63  int nInput;..  c
1f50: 6f 6e 73 74 20 63 68 61 72 20 2a 61 7a 41 72 67  onst char *azArg
1f60: 5b 36 34 5d 3b 0a 0a 20 20 63 6f 6e 73 74 20 63  [64];..  const c
1f70: 68 61 72 20 2a 7a 54 6f 6b 65 6e 3b 0a 20 20 69  har *zToken;.  i
1f80: 6e 74 20 6e 54 6f 6b 65 6e 20 3d 20 30 3b 0a 20  nt nToken = 0;. 
1f90: 20 69 6e 74 20 69 53 74 61 72 74 20 3d 20 30 3b   int iStart = 0;
1fa0: 0a 20 20 69 6e 74 20 69 45 6e 64 20 3d 20 30 3b  .  int iEnd = 0;
1fb0: 0a 20 20 69 6e 74 20 69 50 6f 73 20 3d 20 30 3b  .  int iPos = 0;
1fc0: 0a 20 20 69 6e 74 20 69 3b 0a 0a 20 20 54 63 6c  .  int i;..  Tcl
1fd0: 5f 4f 62 6a 20 2a 70 52 65 74 3b 0a 0a 20 20 69  _Obj *pRet;..  i
1fe0: 66 28 20 61 72 67 63 3c 32 20 29 7b 0a 20 20 20  f( argc<2 ){.   
1ff0: 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f   sqlite3_result_
2000: 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22  error(context, "
2010: 69 6e 73 75 66 66 69 63 69 65 6e 74 20 61 72 67  insufficient arg
2020: 75 6d 65 6e 74 73 22 2c 20 2d 31 29 3b 0a 20 20  uments", -1);.  
2030: 20 20 72 65 74 75 72 6e 3b 0a 20 20 7d 0a 0a 20    return;.  }.. 
2040: 20 6e 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65 33   nName = sqlite3
2050: 5f 76 61 6c 75 65 5f 62 79 74 65 73 28 61 72 67  _value_bytes(arg
2060: 76 5b 30 5d 29 3b 0a 20 20 7a 4e 61 6d 65 20 3d  v[0]);.  zName =
2070: 20 28 63 6f 6e 73 74 20 63 68 61 72 20 2a 29 73   (const char *)s
2080: 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74 65 78  qlite3_value_tex
2090: 74 28 61 72 67 76 5b 30 5d 29 3b 0a 20 20 6e 49  t(argv[0]);.  nI
20a0: 6e 70 75 74 20 3d 20 73 71 6c 69 74 65 33 5f 76  nput = sqlite3_v
20b0: 61 6c 75 65 5f 62 79 74 65 73 28 61 72 67 76 5b  alue_bytes(argv[
20c0: 61 72 67 63 2d 31 5d 29 3b 0a 20 20 7a 49 6e 70  argc-1]);.  zInp
20d0: 75 74 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 72  ut = (const char
20e0: 20 2a 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65   *)sqlite3_value
20f0: 5f 74 65 78 74 28 61 72 67 76 5b 61 72 67 63 2d  _text(argv[argc-
2100: 31 5d 29 3b 0a 0a 20 20 70 48 61 73 68 20 3d 20  1]);..  pHash = 
2110: 28 46 74 73 33 48 61 73 68 20 2a 29 73 71 6c 69  (Fts3Hash *)sqli
2120: 74 65 33 5f 75 73 65 72 5f 64 61 74 61 28 63 6f  te3_user_data(co
2130: 6e 74 65 78 74 29 3b 0a 20 20 70 20 3d 20 28 73  ntext);.  p = (s
2140: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
2150: 5f 6d 6f 64 75 6c 65 20 2a 29 73 71 6c 69 74 65  _module *)sqlite
2160: 33 46 74 73 33 48 61 73 68 46 69 6e 64 28 70 48  3Fts3HashFind(pH
2170: 61 73 68 2c 20 7a 4e 61 6d 65 2c 20 6e 4e 61 6d  ash, zName, nNam
2180: 65 2b 31 29 3b 0a 0a 20 20 69 66 28 20 21 70 20  e+1);..  if( !p 
2190: 29 7b 0a 20 20 20 20 63 68 61 72 20 2a 7a 45 72  ){.    char *zEr
21a0: 72 32 20 3d 20 73 71 6c 69 74 65 33 5f 6d 70 72  r2 = sqlite3_mpr
21b0: 69 6e 74 66 28 22 75 6e 6b 6e 6f 77 6e 20 74 6f  intf("unknown to
21c0: 6b 65 6e 69 7a 65 72 3a 20 25 73 22 2c 20 7a 4e  kenizer: %s", zN
21d0: 61 6d 65 29 3b 0a 20 20 20 20 73 71 6c 69 74 65  ame);.    sqlite
21e0: 33 5f 72 65 73 75 6c 74 5f 65 72 72 6f 72 28 63  3_result_error(c
21f0: 6f 6e 74 65 78 74 2c 20 7a 45 72 72 32 2c 20 2d  ontext, zErr2, -
2200: 31 29 3b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f  1);.    sqlite3_
2210: 66 72 65 65 28 7a 45 72 72 32 29 3b 0a 20 20 20  free(zErr2);.   
2220: 20 72 65 74 75 72 6e 3b 0a 20 20 7d 0a 0a 20 20   return;.  }..  
2230: 70 52 65 74 20 3d 20 54 63 6c 5f 4e 65 77 4f 62  pRet = Tcl_NewOb
2240: 6a 28 29 3b 0a 20 20 54 63 6c 5f 49 6e 63 72 52  j();.  Tcl_IncrR
2250: 65 66 43 6f 75 6e 74 28 70 52 65 74 29 3b 0a 0a  efCount(pRet);..
2260: 20 20 66 6f 72 28 69 3d 31 3b 20 69 3c 61 72 67    for(i=1; i<arg
2270: 63 2d 31 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 61  c-1; i++){.    a
2280: 7a 41 72 67 5b 69 2d 31 5d 20 3d 20 28 63 6f 6e  zArg[i-1] = (con
2290: 73 74 20 63 68 61 72 20 2a 29 73 71 6c 69 74 65  st char *)sqlite
22a0: 33 5f 76 61 6c 75 65 5f 74 65 78 74 28 61 72 67  3_value_text(arg
22b0: 76 5b 69 5d 29 3b 0a 20 20 7d 0a 0a 20 20 69 66  v[i]);.  }..  if
22c0: 28 20 53 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e  ( SQLITE_OK!=p->
22d0: 78 43 72 65 61 74 65 28 61 72 67 63 2d 32 2c 20  xCreate(argc-2, 
22e0: 61 7a 41 72 67 2c 20 26 70 54 6f 6b 65 6e 69 7a  azArg, &pTokeniz
22f0: 65 72 29 20 29 7b 0a 20 20 20 20 7a 45 72 72 20  er) ){.    zErr 
2300: 3d 20 22 65 72 72 6f 72 20 69 6e 20 78 43 72 65  = "error in xCre
2310: 61 74 65 28 29 22 3b 0a 20 20 20 20 67 6f 74 6f  ate()";.    goto
2320: 20 66 69 6e 69 73 68 3b 0a 20 20 7d 0a 20 20 70   finish;.  }.  p
2330: 54 6f 6b 65 6e 69 7a 65 72 2d 3e 70 4d 6f 64 75  Tokenizer->pModu
2340: 6c 65 20 3d 20 70 3b 0a 20 20 69 66 28 20 73 71  le = p;.  if( sq
2350: 6c 69 74 65 33 46 74 73 33 4f 70 65 6e 54 6f 6b  lite3Fts3OpenTok
2360: 65 6e 69 7a 65 72 28 70 54 6f 6b 65 6e 69 7a 65  enizer(pTokenize
2370: 72 2c 20 30 2c 20 7a 49 6e 70 75 74 2c 20 6e 49  r, 0, zInput, nI
2380: 6e 70 75 74 2c 20 26 70 43 73 72 29 20 29 7b 0a  nput, &pCsr) ){.
2390: 20 20 20 20 7a 45 72 72 20 3d 20 22 65 72 72 6f      zErr = "erro
23a0: 72 20 69 6e 20 78 4f 70 65 6e 28 29 22 3b 0a 20  r in xOpen()";. 
23b0: 20 20 20 67 6f 74 6f 20 66 69 6e 69 73 68 3b 0a     goto finish;.
23c0: 20 20 7d 0a 0a 20 20 77 68 69 6c 65 28 20 53 51    }..  while( SQ
23d0: 4c 49 54 45 5f 4f 4b 3d 3d 70 2d 3e 78 4e 65 78  LITE_OK==p->xNex
23e0: 74 28 70 43 73 72 2c 20 26 7a 54 6f 6b 65 6e 2c  t(pCsr, &zToken,
23f0: 20 26 6e 54 6f 6b 65 6e 2c 20 26 69 53 74 61 72   &nToken, &iStar
2400: 74 2c 20 26 69 45 6e 64 2c 20 26 69 50 6f 73 29  t, &iEnd, &iPos)
2410: 20 29 7b 0a 20 20 20 20 54 63 6c 5f 4c 69 73 74   ){.    Tcl_List
2420: 4f 62 6a 41 70 70 65 6e 64 45 6c 65 6d 65 6e 74  ObjAppendElement
2430: 28 30 2c 20 70 52 65 74 2c 20 54 63 6c 5f 4e 65  (0, pRet, Tcl_Ne
2440: 77 49 6e 74 4f 62 6a 28 69 50 6f 73 29 29 3b 0a  wIntObj(iPos));.
2450: 20 20 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a 41      Tcl_ListObjA
2460: 70 70 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c 20  ppendElement(0, 
2470: 70 52 65 74 2c 20 54 63 6c 5f 4e 65 77 53 74 72  pRet, Tcl_NewStr
2480: 69 6e 67 4f 62 6a 28 7a 54 6f 6b 65 6e 2c 20 6e  ingObj(zToken, n
2490: 54 6f 6b 65 6e 29 29 3b 0a 20 20 20 20 7a 54 6f  Token));.    zTo
24a0: 6b 65 6e 20 3d 20 26 7a 49 6e 70 75 74 5b 69 53  ken = &zInput[iS
24b0: 74 61 72 74 5d 3b 0a 20 20 20 20 6e 54 6f 6b 65  tart];.    nToke
24c0: 6e 20 3d 20 69 45 6e 64 2d 69 53 74 61 72 74 3b  n = iEnd-iStart;
24d0: 0a 20 20 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a  .    Tcl_ListObj
24e0: 41 70 70 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c  AppendElement(0,
24f0: 20 70 52 65 74 2c 20 54 63 6c 5f 4e 65 77 53 74   pRet, Tcl_NewSt
2500: 72 69 6e 67 4f 62 6a 28 7a 54 6f 6b 65 6e 2c 20  ringObj(zToken, 
2510: 6e 54 6f 6b 65 6e 29 29 3b 0a 20 20 7d 0a 0a 20  nToken));.  }.. 
2520: 20 69 66 28 20 53 51 4c 49 54 45 5f 4f 4b 21 3d   if( SQLITE_OK!=
2530: 70 2d 3e 78 43 6c 6f 73 65 28 70 43 73 72 29 20  p->xClose(pCsr) 
2540: 29 7b 0a 20 20 20 20 7a 45 72 72 20 3d 20 22 65  ){.    zErr = "e
2550: 72 72 6f 72 20 69 6e 20 78 43 6c 6f 73 65 28 29  rror in xClose()
2560: 22 3b 0a 20 20 20 20 67 6f 74 6f 20 66 69 6e 69  ";.    goto fini
2570: 73 68 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53 51  sh;.  }.  if( SQ
2580: 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 44 65 73  LITE_OK!=p->xDes
2590: 74 72 6f 79 28 70 54 6f 6b 65 6e 69 7a 65 72 29  troy(pTokenizer)
25a0: 20 29 7b 0a 20 20 20 20 7a 45 72 72 20 3d 20 22   ){.    zErr = "
25b0: 65 72 72 6f 72 20 69 6e 20 78 44 65 73 74 72 6f  error in xDestro
25c0: 79 28 29 22 3b 0a 20 20 20 20 67 6f 74 6f 20 66  y()";.    goto f
25d0: 69 6e 69 73 68 3b 0a 20 20 7d 0a 0a 66 69 6e 69  inish;.  }..fini
25e0: 73 68 3a 0a 20 20 69 66 28 20 7a 45 72 72 20 29  sh:.  if( zErr )
25f0: 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 72 65  {.    sqlite3_re
2600: 73 75 6c 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65  sult_error(conte
2610: 78 74 2c 20 7a 45 72 72 2c 20 2d 31 29 3b 0a 20  xt, zErr, -1);. 
2620: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 73 71 6c 69   }else{.    sqli
2630: 74 65 33 5f 72 65 73 75 6c 74 5f 74 65 78 74 28  te3_result_text(
2640: 63 6f 6e 74 65 78 74 2c 20 54 63 6c 5f 47 65 74  context, Tcl_Get
2650: 53 74 72 69 6e 67 28 70 52 65 74 29 2c 20 2d 31  String(pRet), -1
2660: 2c 20 53 51 4c 49 54 45 5f 54 52 41 4e 53 49 45  , SQLITE_TRANSIE
2670: 4e 54 29 3b 0a 20 20 7d 0a 20 20 54 63 6c 5f 44  NT);.  }.  Tcl_D
2680: 65 63 72 52 65 66 43 6f 75 6e 74 28 70 52 65 74  ecrRefCount(pRet
2690: 29 3b 0a 7d 0a 0a 73 74 61 74 69 63 0a 69 6e 74  );.}..static.int
26a0: 20 72 65 67 69 73 74 65 72 54 6f 6b 65 6e 69 7a   registerTokeniz
26b0: 65 72 28 0a 20 20 73 71 6c 69 74 65 33 20 2a 64  er(.  sqlite3 *d
26c0: 62 2c 20 0a 20 20 63 68 61 72 20 2a 7a 4e 61 6d  b, .  char *zNam
26d0: 65 2c 20 0a 20 20 63 6f 6e 73 74 20 73 71 6c 69  e, .  const sqli
26e0: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f  te3_tokenizer_mo
26f0: 64 75 6c 65 20 2a 70 0a 29 7b 0a 20 20 69 6e 74  dule *p.){.  int
2700: 20 72 63 3b 0a 20 20 73 71 6c 69 74 65 33 5f 73   rc;.  sqlite3_s
2710: 74 6d 74 20 2a 70 53 74 6d 74 3b 0a 20 20 63 6f  tmt *pStmt;.  co
2720: 6e 73 74 20 63 68 61 72 20 7a 53 71 6c 5b 5d 20  nst char zSql[] 
2730: 3d 20 22 53 45 4c 45 43 54 20 66 74 73 33 5f 74  = "SELECT fts3_t
2740: 6f 6b 65 6e 69 7a 65 72 28 3f 2c 20 3f 29 22 3b  okenizer(?, ?)";
2750: 0a 0a 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33  ..  rc = sqlite3
2760: 5f 70 72 65 70 61 72 65 5f 76 32 28 64 62 2c 20  _prepare_v2(db, 
2770: 7a 53 71 6c 2c 20 2d 31 2c 20 26 70 53 74 6d 74  zSql, -1, &pStmt
2780: 2c 20 30 29 3b 0a 20 20 69 66 28 20 72 63 21 3d  , 0);.  if( rc!=
2790: 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20  SQLITE_OK ){.   
27a0: 20 72 65 74 75 72 6e 20 72 63 3b 0a 20 20 7d 0a   return rc;.  }.
27b0: 0a 20 20 73 71 6c 69 74 65 33 5f 62 69 6e 64 5f  .  sqlite3_bind_
27c0: 74 65 78 74 28 70 53 74 6d 74 2c 20 31 2c 20 7a  text(pStmt, 1, z
27d0: 4e 61 6d 65 2c 20 2d 31 2c 20 53 51 4c 49 54 45  Name, -1, SQLITE
27e0: 5f 53 54 41 54 49 43 29 3b 0a 20 20 73 71 6c 69  _STATIC);.  sqli
27f0: 74 65 33 5f 62 69 6e 64 5f 62 6c 6f 62 28 70 53  te3_bind_blob(pS
2800: 74 6d 74 2c 20 32 2c 20 26 70 2c 20 73 69 7a 65  tmt, 2, &p, size
2810: 6f 66 28 70 29 2c 20 53 51 4c 49 54 45 5f 53 54  of(p), SQLITE_ST
2820: 41 54 49 43 29 3b 0a 20 20 73 71 6c 69 74 65 33  ATIC);.  sqlite3
2830: 5f 73 74 65 70 28 70 53 74 6d 74 29 3b 0a 0a 20  _step(pStmt);.. 
2840: 20 72 65 74 75 72 6e 20 73 71 6c 69 74 65 33 5f   return sqlite3_
2850: 66 69 6e 61 6c 69 7a 65 28 70 53 74 6d 74 29 3b  finalize(pStmt);
2860: 0a 7d 0a 0a 0a 73 74 61 74 69 63 0a 69 6e 74 20  .}...static.int 
2870: 71 75 65 72 79 54 6f 6b 65 6e 69 7a 65 72 28 0a  queryTokenizer(.
2880: 20 20 73 71 6c 69 74 65 33 20 2a 64 62 2c 20 0a    sqlite3 *db, .
2890: 20 20 63 68 61 72 20 2a 7a 4e 61 6d 65 2c 20 20    char *zName,  
28a0: 0a 20 20 63 6f 6e 73 74 20 73 71 6c 69 74 65 33  .  const sqlite3
28b0: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c  _tokenizer_modul
28c0: 65 20 2a 2a 70 70 0a 29 7b 0a 20 20 69 6e 74 20  e **pp.){.  int 
28d0: 72 63 3b 0a 20 20 73 71 6c 69 74 65 33 5f 73 74  rc;.  sqlite3_st
28e0: 6d 74 20 2a 70 53 74 6d 74 3b 0a 20 20 63 6f 6e  mt *pStmt;.  con
28f0: 73 74 20 63 68 61 72 20 7a 53 71 6c 5b 5d 20 3d  st char zSql[] =
2900: 20 22 53 45 4c 45 43 54 20 66 74 73 33 5f 74 6f   "SELECT fts3_to
2910: 6b 65 6e 69 7a 65 72 28 3f 29 22 3b 0a 0a 20 20  kenizer(?)";..  
2920: 2a 70 70 20 3d 20 30 3b 0a 20 20 72 63 20 3d 20  *pp = 0;.  rc = 
2930: 73 71 6c 69 74 65 33 5f 70 72 65 70 61 72 65 5f  sqlite3_prepare_
2940: 76 32 28 64 62 2c 20 7a 53 71 6c 2c 20 2d 31 2c  v2(db, zSql, -1,
2950: 20 26 70 53 74 6d 74 2c 20 30 29 3b 0a 20 20 69   &pStmt, 0);.  i
2960: 66 28 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f 4b  f( rc!=SQLITE_OK
2970: 20 29 7b 0a 20 20 20 20 72 65 74 75 72 6e 20 72   ){.    return r
2980: 63 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c 69 74 65  c;.  }..  sqlite
2990: 33 5f 62 69 6e 64 5f 74 65 78 74 28 70 53 74 6d  3_bind_text(pStm
29a0: 74 2c 20 31 2c 20 7a 4e 61 6d 65 2c 20 2d 31 2c  t, 1, zName, -1,
29b0: 20 53 51 4c 49 54 45 5f 53 54 41 54 49 43 29 3b   SQLITE_STATIC);
29c0: 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f 52 4f  .  if( SQLITE_RO
29d0: 57 3d 3d 73 71 6c 69 74 65 33 5f 73 74 65 70 28  W==sqlite3_step(
29e0: 70 53 74 6d 74 29 20 29 7b 0a 20 20 20 20 69 66  pStmt) ){.    if
29f0: 28 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e  ( sqlite3_column
2a00: 5f 74 79 70 65 28 70 53 74 6d 74 2c 20 30 29 3d  _type(pStmt, 0)=
2a10: 3d 53 51 4c 49 54 45 5f 42 4c 4f 42 20 29 7b 0a  =SQLITE_BLOB ){.
2a20: 20 20 20 20 20 20 6d 65 6d 63 70 79 28 28 76 6f        memcpy((vo
2a30: 69 64 20 2a 29 70 70 2c 20 73 71 6c 69 74 65 33  id *)pp, sqlite3
2a40: 5f 63 6f 6c 75 6d 6e 5f 62 6c 6f 62 28 70 53 74  _column_blob(pSt
2a50: 6d 74 2c 20 30 29 2c 20 73 69 7a 65 6f 66 28 2a  mt, 0), sizeof(*
2a60: 70 70 29 29 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a  pp));.    }.  }.
2a70: 0a 20 20 72 65 74 75 72 6e 20 73 71 6c 69 74 65  .  return sqlite
2a80: 33 5f 66 69 6e 61 6c 69 7a 65 28 70 53 74 6d 74  3_finalize(pStmt
2a90: 29 3b 0a 7d 0a 0a 76 6f 69 64 20 73 71 6c 69 74  );.}..void sqlit
2aa0: 65 33 46 74 73 33 53 69 6d 70 6c 65 54 6f 6b 65  e3Fts3SimpleToke
2ab0: 6e 69 7a 65 72 4d 6f 64 75 6c 65 28 73 71 6c 69  nizerModule(sqli
2ac0: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f  te3_tokenizer_mo
2ad0: 64 75 6c 65 20 63 6f 6e 73 74 2a 2a 70 70 4d 6f  dule const**ppMo
2ae0: 64 75 6c 65 29 3b 0a 0a 2f 2a 0a 2a 2a 20 49 6d  dule);../*.** Im
2af0: 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20  plementation of 
2b00: 74 68 65 20 73 63 61 6c 61 72 20 66 75 6e 63 74  the scalar funct
2b10: 69 6f 6e 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a  ion fts3_tokeniz
2b20: 65 72 5f 69 6e 74 65 72 6e 61 6c 5f 74 65 73 74  er_internal_test
2b30: 28 29 2e 0a 2a 2a 20 54 68 69 73 20 66 75 6e 63  ()..** This func
2b40: 74 69 6f 6e 20 69 73 20 75 73 65 64 20 66 6f 72  tion is used for
2b50: 20 74 65 73 74 69 6e 67 20 6f 6e 6c 79 2c 20 69   testing only, i
2b60: 74 20 69 73 20 6e 6f 74 20 69 6e 63 6c 75 64 65  t is not include
2b70: 64 20 69 6e 20 74 68 65 0a 2a 2a 20 62 75 69 6c  d in the.** buil
2b80: 64 20 75 6e 6c 65 73 73 20 53 51 4c 49 54 45 5f  d unless SQLITE_
2b90: 54 45 53 54 20 69 73 20 64 65 66 69 6e 65 64 2e  TEST is defined.
2ba0: 0a 2a 2a 0a 2a 2a 20 54 68 65 20 70 75 72 70 6f  .**.** The purpo
2bb0: 73 65 20 6f 66 20 74 68 69 73 20 69 73 20 74 6f  se of this is to
2bc0: 20 74 65 73 74 20 74 68 61 74 20 74 68 65 20 66   test that the f
2bd0: 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 28 29 20  ts3_tokenizer() 
2be0: 66 75 6e 63 74 69 6f 6e 0a 2a 2a 20 63 61 6e 20  function.** can 
2bf0: 62 65 20 75 73 65 64 20 61 73 20 64 65 73 69 67  be used as desig
2c00: 6e 65 64 20 62 79 20 74 68 65 20 43 2d 63 6f 64  ned by the C-cod
2c10: 65 20 69 6e 20 74 68 65 20 71 75 65 72 79 54 6f  e in the queryTo
2c20: 6b 65 6e 69 7a 65 72 20 61 6e 64 0a 2a 2a 20 72  kenizer and.** r
2c30: 65 67 69 73 74 65 72 54 6f 6b 65 6e 69 7a 65 72  egisterTokenizer
2c40: 28 29 20 66 75 6e 63 74 69 6f 6e 73 20 61 62 6f  () functions abo
2c50: 76 65 2e 20 54 68 65 73 65 20 74 77 6f 20 66 75  ve. These two fu
2c60: 6e 63 74 69 6f 6e 73 20 61 72 65 20 72 65 70 65  nctions are repe
2c70: 61 74 65 64 0a 2a 2a 20 69 6e 20 74 68 65 20 52  ated.** in the R
2c80: 45 41 44 4d 45 2e 74 6f 6b 65 6e 69 7a 65 72 20  EADME.tokenizer 
2c90: 66 69 6c 65 20 61 73 20 61 6e 20 65 78 61 6d 70  file as an examp
2ca0: 6c 65 2c 20 73 6f 20 69 74 20 69 73 20 69 6d 70  le, so it is imp
2cb0: 6f 72 74 61 6e 74 20 74 6f 0a 2a 2a 20 74 65 73  ortant to.** tes
2cc0: 74 20 74 68 65 6d 2e 0a 2a 2a 0a 2a 2a 20 54 6f  t them..**.** To
2cd0: 20 72 75 6e 20 74 68 65 20 74 65 73 74 73 2c 20   run the tests, 
2ce0: 65 76 61 6c 75 61 74 65 20 74 68 65 20 66 74 73  evaluate the fts
2cf0: 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 69 6e 74 65  3_tokenizer_inte
2d00: 72 6e 61 6c 5f 74 65 73 74 28 29 20 73 63 61 6c  rnal_test() scal
2d10: 61 72 0a 2a 2a 20 66 75 6e 63 74 69 6f 6e 20 77  ar.** function w
2d20: 69 74 68 20 6e 6f 20 61 72 67 75 6d 65 6e 74 73  ith no arguments
2d30: 2e 20 41 6e 20 61 73 73 65 72 74 28 29 20 77 69  . An assert() wi
2d40: 6c 6c 20 66 61 69 6c 20 69 66 20 61 20 70 72 6f  ll fail if a pro
2d50: 62 6c 65 6d 20 69 73 0a 2a 2a 20 64 65 74 65 63  blem is.** detec
2d60: 74 65 64 2e 20 69 2e 65 2e 3a 0a 2a 2a 0a 2a 2a  ted. i.e.:.**.**
2d70: 20 20 20 20 20 53 45 4c 45 43 54 20 66 74 73 33       SELECT fts3
2d80: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 69 6e 74 65 72  _tokenizer_inter
2d90: 6e 61 6c 5f 74 65 73 74 28 29 3b 0a 2a 2a 0a 2a  nal_test();.**.*
2da0: 2f 0a 73 74 61 74 69 63 20 76 6f 69 64 20 69 6e  /.static void in
2db0: 74 54 65 73 74 46 75 6e 63 28 0a 20 20 73 71 6c  tTestFunc(.  sql
2dc0: 69 74 65 33 5f 63 6f 6e 74 65 78 74 20 2a 63 6f  ite3_context *co
2dd0: 6e 74 65 78 74 2c 0a 20 20 69 6e 74 20 61 72 67  ntext,.  int arg
2de0: 63 2c 0a 20 20 73 71 6c 69 74 65 33 5f 76 61 6c  c,.  sqlite3_val
2df0: 75 65 20 2a 2a 61 72 67 76 0a 29 7b 0a 20 20 69  ue **argv.){.  i
2e00: 6e 74 20 72 63 3b 0a 20 20 63 6f 6e 73 74 20 73  nt rc;.  const s
2e10: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
2e20: 5f 6d 6f 64 75 6c 65 20 2a 70 31 3b 0a 20 20 63  _module *p1;.  c
2e30: 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b  onst sqlite3_tok
2e40: 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 70  enizer_module *p
2e50: 32 3b 0a 20 20 73 71 6c 69 74 65 33 20 2a 64 62  2;.  sqlite3 *db
2e60: 20 3d 20 28 73 71 6c 69 74 65 33 20 2a 29 73 71   = (sqlite3 *)sq
2e70: 6c 69 74 65 33 5f 75 73 65 72 5f 64 61 74 61 28  lite3_user_data(
2e80: 63 6f 6e 74 65 78 74 29 3b 0a 0a 20 20 55 4e 55  context);..  UNU
2e90: 53 45 44 5f 50 41 52 41 4d 45 54 45 52 28 61 72  SED_PARAMETER(ar
2ea0: 67 63 29 3b 0a 20 20 55 4e 55 53 45 44 5f 50 41  gc);.  UNUSED_PA
2eb0: 52 41 4d 45 54 45 52 28 61 72 67 76 29 3b 0a 0a  RAMETER(argv);..
2ec0: 20 20 2f 2a 20 54 65 73 74 20 74 68 65 20 71 75    /* Test the qu
2ed0: 65 72 79 20 66 75 6e 63 74 69 6f 6e 20 2a 2f 0a  ery function */.
2ee0: 20 20 73 71 6c 69 74 65 33 46 74 73 33 53 69 6d    sqlite3Fts3Sim
2ef0: 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75  pleTokenizerModu
2f00: 6c 65 28 26 70 31 29 3b 0a 20 20 72 63 20 3d 20  le(&p1);.  rc = 
2f10: 71 75 65 72 79 54 6f 6b 65 6e 69 7a 65 72 28 64  queryTokenizer(d
2f20: 62 2c 20 22 73 69 6d 70 6c 65 22 2c 20 26 70 32  b, "simple", &p2
2f30: 29 3b 0a 20 20 61 73 73 65 72 74 28 20 72 63 3d  );.  assert( rc=
2f40: 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 3b 0a 20 20  =SQLITE_OK );.  
2f50: 61 73 73 65 72 74 28 20 70 31 3d 3d 70 32 20 29  assert( p1==p2 )
2f60: 3b 0a 20 20 72 63 20 3d 20 71 75 65 72 79 54 6f  ;.  rc = queryTo
2f70: 6b 65 6e 69 7a 65 72 28 64 62 2c 20 22 6e 6f 73  kenizer(db, "nos
2f80: 75 63 68 74 6f 6b 65 6e 69 7a 65 72 22 2c 20 26  uchtokenizer", &
2f90: 70 32 29 3b 0a 20 20 61 73 73 65 72 74 28 20 72  p2);.  assert( r
2fa0: 63 3d 3d 53 51 4c 49 54 45 5f 45 52 52 4f 52 20  c==SQLITE_ERROR 
2fb0: 29 3b 0a 20 20 61 73 73 65 72 74 28 20 70 32 3d  );.  assert( p2=
2fc0: 3d 30 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20  =0 );.  assert( 
2fd0: 30 3d 3d 73 74 72 63 6d 70 28 73 71 6c 69 74 65  0==strcmp(sqlite
2fe0: 33 5f 65 72 72 6d 73 67 28 64 62 29 2c 20 22 75  3_errmsg(db), "u
2ff0: 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72  nknown tokenizer
3000: 3a 20 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a 65  : nosuchtokenize
3010: 72 22 29 20 29 3b 0a 0a 20 20 2f 2a 20 54 65 73  r") );..  /* Tes
3020: 74 20 74 68 65 20 73 74 6f 72 61 67 65 20 66 75  t the storage fu
3030: 6e 63 74 69 6f 6e 20 2a 2f 0a 20 20 69 66 28 20  nction */.  if( 
3040: 66 74 73 33 54 6f 6b 65 6e 69 7a 65 72 45 6e 61  fts3TokenizerEna
3050: 62 6c 65 64 28 63 6f 6e 74 65 78 74 29 20 29 7b  bled(context) ){
3060: 0a 20 20 20 20 72 63 20 3d 20 72 65 67 69 73 74  .    rc = regist
3070: 65 72 54 6f 6b 65 6e 69 7a 65 72 28 64 62 2c 20  erTokenizer(db, 
3080: 22 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72  "nosuchtokenizer
3090: 22 2c 20 70 31 29 3b 0a 20 20 20 20 61 73 73 65  ", p1);.    asse
30a0: 72 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4f  rt( rc==SQLITE_O
30b0: 4b 20 29 3b 0a 20 20 20 20 72 63 20 3d 20 71 75  K );.    rc = qu
30c0: 65 72 79 54 6f 6b 65 6e 69 7a 65 72 28 64 62 2c  eryTokenizer(db,
30d0: 20 22 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a 65   "nosuchtokenize
30e0: 72 22 2c 20 26 70 32 29 3b 0a 20 20 20 20 61 73  r", &p2);.    as
30f0: 73 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 54 45  sert( rc==SQLITE
3100: 5f 4f 4b 20 29 3b 0a 20 20 20 20 61 73 73 65 72  _OK );.    asser
3110: 74 28 20 70 32 3d 3d 70 31 20 29 3b 0a 20 20 7d  t( p2==p1 );.  }
3120: 0a 0a 20 20 73 71 6c 69 74 65 33 5f 72 65 73 75  ..  sqlite3_resu
3130: 6c 74 5f 74 65 78 74 28 63 6f 6e 74 65 78 74 2c  lt_text(context,
3140: 20 22 6f 6b 22 2c 20 2d 31 2c 20 53 51 4c 49 54   "ok", -1, SQLIT
3150: 45 5f 53 54 41 54 49 43 29 3b 0a 7d 0a 0a 23 65  E_STATIC);.}..#e
3160: 6e 64 69 66 0a 0a 2f 2a 0a 2a 2a 20 53 65 74 20  ndif../*.** Set 
3170: 75 70 20 53 51 4c 20 6f 62 6a 65 63 74 73 20 69  up SQL objects i
3180: 6e 20 64 61 74 61 62 61 73 65 20 64 62 20 75 73  n database db us
3190: 65 64 20 74 6f 20 61 63 63 65 73 73 20 74 68 65  ed to access the
31a0: 20 63 6f 6e 74 65 6e 74 73 20 6f 66 0a 2a 2a 20   contents of.** 
31b0: 74 68 65 20 68 61 73 68 20 74 61 62 6c 65 20 70  the hash table p
31c0: 6f 69 6e 74 65 64 20 74 6f 20 62 79 20 61 72 67  ointed to by arg
31d0: 75 6d 65 6e 74 20 70 48 61 73 68 2e 20 54 68 65  ument pHash. The
31e0: 20 68 61 73 68 20 74 61 62 6c 65 20 6d 75 73 74   hash table must
31f0: 0a 2a 2a 20 62 65 65 6e 20 69 6e 69 74 69 61 6c  .** been initial
3200: 69 7a 65 64 20 74 6f 20 75 73 65 20 73 74 72 69  ized to use stri
3210: 6e 67 20 6b 65 79 73 2c 20 61 6e 64 20 74 6f 20  ng keys, and to 
3220: 74 61 6b 65 20 61 20 70 72 69 76 61 74 65 20 63  take a private c
3230: 6f 70 79 20 0a 2a 2a 20 6f 66 20 74 68 65 20 6b  opy .** of the k
3240: 65 79 20 77 68 65 6e 20 61 20 76 61 6c 75 65 20  ey when a value 
3250: 69 73 20 69 6e 73 65 72 74 65 64 2e 20 69 2e 65  is inserted. i.e
3260: 2e 20 62 79 20 61 20 63 61 6c 6c 20 73 69 6d 69  . by a call simi
3270: 6c 61 72 20 74 6f 3a 0a 2a 2a 0a 2a 2a 20 20 20  lar to:.**.**   
3280: 20 73 71 6c 69 74 65 33 46 74 73 33 48 61 73 68   sqlite3Fts3Hash
3290: 49 6e 69 74 28 70 48 61 73 68 2c 20 46 54 53 33  Init(pHash, FTS3
32a0: 5f 48 41 53 48 5f 53 54 52 49 4e 47 2c 20 31 29  _HASH_STRING, 1)
32b0: 3b 0a 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 75 6e  ;.**.** This fun
32c0: 63 74 69 6f 6e 20 61 64 64 73 20 61 20 73 63 61  ction adds a sca
32d0: 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 28 73 65  lar function (se
32e0: 65 20 68 65 61 64 65 72 20 63 6f 6d 6d 65 6e 74  e header comment
32f0: 20 61 62 6f 76 65 0a 2a 2a 20 66 74 73 33 54 6f   above.** fts3To
3300: 6b 65 6e 69 7a 65 72 46 75 6e 63 28 29 20 69 6e  kenizerFunc() in
3310: 20 74 68 69 73 20 66 69 6c 65 20 66 6f 72 20 64   this file for d
3320: 65 74 61 69 6c 73 29 20 61 6e 64 2c 20 69 66 20  etails) and, if 
3330: 45 4e 41 42 4c 45 5f 54 41 42 4c 45 20 69 73 0a  ENABLE_TABLE is.
3340: 2a 2a 20 64 65 66 69 6e 65 64 20 61 74 20 63 6f  ** defined at co
3350: 6d 70 69 6c 61 74 69 6f 6e 20 74 69 6d 65 2c 20  mpilation time, 
3360: 61 20 74 65 6d 70 6f 72 61 72 79 20 76 69 72 74  a temporary virt
3370: 75 61 6c 20 74 61 62 6c 65 20 28 73 65 65 20 68  ual table (see h
3380: 65 61 64 65 72 20 0a 2a 2a 20 63 6f 6d 6d 65 6e  eader .** commen
3390: 74 20 61 62 6f 76 65 20 73 74 72 75 63 74 20 48  t above struct H
33a0: 61 73 68 54 61 62 6c 65 56 74 61 62 29 20 74 6f  ashTableVtab) to
33b0: 20 74 68 65 20 64 61 74 61 62 61 73 65 20 73 63   the database sc
33c0: 68 65 6d 61 2e 20 42 6f 74 68 20 0a 2a 2a 20 70  hema. Both .** p
33d0: 72 6f 76 69 64 65 20 72 65 61 64 2f 77 72 69 74  rovide read/writ
33e0: 65 20 61 63 63 65 73 73 20 74 6f 20 74 68 65 20  e access to the 
33f0: 63 6f 6e 74 65 6e 74 73 20 6f 66 20 2a 70 48 61  contents of *pHa
3400: 73 68 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74 68  sh..**.** The th
3410: 69 72 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20  ird argument to 
3420: 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 2c 20 7a  this function, z
3430: 4e 61 6d 65 2c 20 69 73 20 75 73 65 64 20 61 73  Name, is used as
3440: 20 74 68 65 20 6e 61 6d 65 0a 2a 2a 20 6f 66 20   the name.** of 
3450: 62 6f 74 68 20 74 68 65 20 73 63 61 6c 61 72 20  both the scalar 
3460: 61 6e 64 2c 20 69 66 20 63 72 65 61 74 65 64 2c  and, if created,
3470: 20 74 68 65 20 76 69 72 74 75 61 6c 20 74 61 62   the virtual tab
3480: 6c 65 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74  le..*/.int sqlit
3490: 65 33 46 74 73 33 49 6e 69 74 48 61 73 68 54 61  e3Fts3InitHashTa
34a0: 62 6c 65 28 0a 20 20 73 71 6c 69 74 65 33 20 2a  ble(.  sqlite3 *
34b0: 64 62 2c 20 0a 20 20 46 74 73 33 48 61 73 68 20  db, .  Fts3Hash 
34c0: 2a 70 48 61 73 68 2c 20 0a 20 20 63 6f 6e 73 74  *pHash, .  const
34d0: 20 63 68 61 72 20 2a 7a 4e 61 6d 65 0a 29 7b 0a   char *zName.){.
34e0: 20 20 69 6e 74 20 72 63 20 3d 20 53 51 4c 49 54    int rc = SQLIT
34f0: 45 5f 4f 4b 3b 0a 20 20 76 6f 69 64 20 2a 70 20  E_OK;.  void *p 
3500: 3d 20 28 76 6f 69 64 20 2a 29 70 48 61 73 68 3b  = (void *)pHash;
3510: 0a 20 20 63 6f 6e 73 74 20 69 6e 74 20 61 6e 79  .  const int any
3520: 20 3d 20 53 51 4c 49 54 45 5f 41 4e 59 3b 0a 0a   = SQLITE_ANY;..
3530: 23 69 66 64 65 66 20 53 51 4c 49 54 45 5f 54 45  #ifdef SQLITE_TE
3540: 53 54 0a 20 20 63 68 61 72 20 2a 7a 54 65 73 74  ST.  char *zTest
3550: 20 3d 20 30 3b 0a 20 20 63 68 61 72 20 2a 7a 54   = 0;.  char *zT
3560: 65 73 74 32 20 3d 20 30 3b 0a 20 20 76 6f 69 64  est2 = 0;.  void
3570: 20 2a 70 64 62 20 3d 20 28 76 6f 69 64 20 2a 29   *pdb = (void *)
3580: 64 62 3b 0a 20 20 7a 54 65 73 74 20 3d 20 73 71  db;.  zTest = sq
3590: 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 25  lite3_mprintf("%
35a0: 73 5f 74 65 73 74 22 2c 20 7a 4e 61 6d 65 29 3b  s_test", zName);
35b0: 0a 20 20 7a 54 65 73 74 32 20 3d 20 73 71 6c 69  .  zTest2 = sqli
35c0: 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 25 73 5f  te3_mprintf("%s_
35d0: 69 6e 74 65 72 6e 61 6c 5f 74 65 73 74 22 2c 20  internal_test", 
35e0: 7a 4e 61 6d 65 29 3b 0a 20 20 69 66 28 20 21 7a  zName);.  if( !z
35f0: 54 65 73 74 20 7c 7c 20 21 7a 54 65 73 74 32 20  Test || !zTest2 
3600: 29 7b 0a 20 20 20 20 72 63 20 3d 20 53 51 4c 49  ){.    rc = SQLI
3610: 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7d 0a 23 65  TE_NOMEM;.  }.#e
3620: 6e 64 69 66 0a 0a 20 20 69 66 28 20 53 51 4c 49  ndif..  if( SQLI
3630: 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20  TE_OK==rc ){.   
3640: 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 63 72   rc = sqlite3_cr
3650: 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62  eate_function(db
3660: 2c 20 7a 4e 61 6d 65 2c 20 31 2c 20 61 6e 79 2c  , zName, 1, any,
3670: 20 70 2c 20 66 74 73 33 54 6f 6b 65 6e 69 7a 65   p, fts3Tokenize
3680: 72 46 75 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 20  rFunc, 0, 0);.  
3690: 7d 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f 4f  }.  if( SQLITE_O
36a0: 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20 72 63 20  K==rc ){.    rc 
36b0: 3d 20 73 71 6c 69 74 65 33 5f 63 72 65 61 74 65  = sqlite3_create
36c0: 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a 4e  _function(db, zN
36d0: 61 6d 65 2c 20 32 2c 20 61 6e 79 2c 20 70 2c 20  ame, 2, any, p, 
36e0: 66 74 73 33 54 6f 6b 65 6e 69 7a 65 72 46 75 6e  fts3TokenizerFun
36f0: 63 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a 23 69  c, 0, 0);.  }.#i
3700: 66 64 65 66 20 53 51 4c 49 54 45 5f 54 45 53 54  fdef SQLITE_TEST
3710: 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f 4f 4b  .  if( SQLITE_OK
3720: 3d 3d 72 63 20 29 7b 0a 20 20 20 20 72 63 20 3d  ==rc ){.    rc =
3730: 20 73 71 6c 69 74 65 33 5f 63 72 65 61 74 65 5f   sqlite3_create_
3740: 66 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a 54 65  function(db, zTe
3750: 73 74 2c 20 2d 31 2c 20 61 6e 79 2c 20 70 2c 20  st, -1, any, p, 
3760: 74 65 73 74 46 75 6e 63 2c 20 30 2c 20 30 29 3b  testFunc, 0, 0);
3770: 0a 20 20 7d 0a 20 20 69 66 28 20 53 51 4c 49 54  .  }.  if( SQLIT
3780: 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20  E_OK==rc ){.    
3790: 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 65  rc = sqlite3_cre
37a0: 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c  ate_function(db,
37b0: 20 7a 54 65 73 74 32 2c 20 30 2c 20 61 6e 79 2c   zTest2, 0, any,
37c0: 20 70 64 62 2c 20 69 6e 74 54 65 73 74 46 75 6e   pdb, intTestFun
37d0: 63 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a 23 65  c, 0, 0);.  }.#e
37e0: 6e 64 69 66 0a 0a 23 69 66 64 65 66 20 53 51 4c  ndif..#ifdef SQL
37f0: 49 54 45 5f 54 45 53 54 0a 20 20 73 71 6c 69 74  ITE_TEST.  sqlit
3800: 65 33 5f 66 72 65 65 28 7a 54 65 73 74 29 3b 0a  e3_free(zTest);.
3810: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 7a    sqlite3_free(z
3820: 54 65 73 74 32 29 3b 0a 23 65 6e 64 69 66 0a 0a  Test2);.#endif..
3830: 20 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d 0a 0a    return rc;.}..
3840: 23 65 6e 64 69 66 20 2f 2a 20 21 64 65 66 69 6e  #endif /* !defin
3850: 65 64 28 53 51 4c 49 54 45 5f 43 4f 52 45 29 20  ed(SQLITE_CORE) 
3860: 7c 7c 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54  || defined(SQLIT
3870: 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33 29 20 2a  E_ENABLE_FTS3) *
3880: 2f 0a                                            /.