/ Hex Artifact Content
Login

Artifact 0123d21078e053bd98fd6186c5c6dc6d67969f2e:


0000: 2f 2a 0a 2a 2a 20 32 30 30 36 20 4f 63 74 20 31  /*.** 2006 Oct 1
0010: 30 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  0.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6d 70 6c  *****.**.** Impl
0180: 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68  ementation of th
0190: 65 20 22 73 69 6d 70 6c 65 22 20 66 75 6c 6c 2d  e "simple" full-
01a0: 74 65 78 74 2d 73 65 61 72 63 68 20 74 6f 6b 65  text-search toke
01b0: 6e 69 7a 65 72 2e 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a  nizer..*/../*.**
01c0: 20 54 68 65 20 63 6f 64 65 20 69 6e 20 74 68 69   The code in thi
01d0: 73 20 66 69 6c 65 20 69 73 20 6f 6e 6c 79 20 63  s file is only c
01e0: 6f 6d 70 69 6c 65 64 20 69 66 3a 0a 2a 2a 0a 2a  ompiled if:.**.*
01f0: 2a 20 20 20 20 20 2a 20 54 68 65 20 46 54 53 32  *     * The FTS2
0200: 20 6d 6f 64 75 6c 65 20 69 73 20 62 65 69 6e 67   module is being
0210: 20 62 75 69 6c 74 20 61 73 20 61 6e 20 65 78 74   built as an ext
0220: 65 6e 73 69 6f 6e 0a 2a 2a 20 20 20 20 20 20 20  ension.**       
0230: 28 69 6e 20 77 68 69 63 68 20 63 61 73 65 20 53  (in which case S
0240: 51 4c 49 54 45 5f 43 4f 52 45 20 69 73 20 6e 6f  QLITE_CORE is no
0250: 74 20 64 65 66 69 6e 65 64 29 2c 20 6f 72 0a 2a  t defined), or.*
0260: 2a 0a 2a 2a 20 20 20 20 20 2a 20 54 68 65 20 46  *.**     * The F
0270: 54 53 32 20 6d 6f 64 75 6c 65 20 69 73 20 62 65  TS2 module is be
0280: 69 6e 67 20 62 75 69 6c 74 20 69 6e 74 6f 20 74  ing built into t
0290: 68 65 20 63 6f 72 65 20 6f 66 0a 2a 2a 20 20 20  he core of.**   
02a0: 20 20 20 20 53 51 4c 69 74 65 20 28 69 6e 20 77      SQLite (in w
02b0: 68 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45  hich case SQLITE
02c0: 5f 45 4e 41 42 4c 45 5f 46 54 53 32 20 69 73 20  _ENABLE_FTS2 is 
02d0: 64 65 66 69 6e 65 64 29 2e 0a 2a 2f 0a 23 69 66  defined)..*/.#if
02e0: 20 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45   !defined(SQLITE
02f0: 5f 43 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e 65  _CORE) || define
0300: 64 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f  d(SQLITE_ENABLE_
0310: 46 54 53 32 29 0a 0a 0a 23 69 6e 63 6c 75 64 65  FTS2)...#include
0320: 20 3c 61 73 73 65 72 74 2e 68 3e 0a 23 69 6e 63   <assert.h>.#inc
0330: 6c 75 64 65 20 3c 73 74 64 6c 69 62 2e 68 3e 0a  lude <stdlib.h>.
0340: 23 69 6e 63 6c 75 64 65 20 3c 73 74 64 69 6f 2e  #include <stdio.
0350: 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74 72  h>.#include <str
0360: 69 6e 67 2e 68 3e 0a 0a 23 69 6e 63 6c 75 64 65  ing.h>..#include
0370: 20 22 66 74 73 32 5f 74 6f 6b 65 6e 69 7a 65 72   "fts2_tokenizer
0380: 2e 68 22 0a 0a 74 79 70 65 64 65 66 20 73 74 72  .h"..typedef str
0390: 75 63 74 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e  uct simple_token
03a0: 69 7a 65 72 20 7b 0a 20 20 73 71 6c 69 74 65 33  izer {.  sqlite3
03b0: 5f 74 6f 6b 65 6e 69 7a 65 72 20 62 61 73 65 3b  _tokenizer base;
03c0: 0a 20 20 63 68 61 72 20 64 65 6c 69 6d 5b 31 32  .  char delim[12
03d0: 38 5d 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  8];             
03e0: 2f 2a 20 66 6c 61 67 20 41 53 43 49 49 20 64 65  /* flag ASCII de
03f0: 6c 69 6d 69 74 65 72 73 20 2a 2f 0a 7d 20 73 69  limiters */.} si
0400: 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72 3b 0a  mple_tokenizer;.
0410: 0a 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20  .typedef struct 
0420: 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72  simple_tokenizer
0430: 5f 63 75 72 73 6f 72 20 7b 0a 20 20 73 71 6c 69  _cursor {.  sqli
0440: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75  te3_tokenizer_cu
0450: 72 73 6f 72 20 62 61 73 65 3b 0a 20 20 63 6f 6e  rsor base;.  con
0460: 73 74 20 63 68 61 72 20 2a 70 49 6e 70 75 74 3b  st char *pInput;
0470: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 69 6e 70            /* inp
0480: 75 74 20 77 65 20 61 72 65 20 74 6f 6b 65 6e 69  ut we are tokeni
0490: 7a 69 6e 67 20 2a 2f 0a 20 20 69 6e 74 20 6e 42  zing */.  int nB
04a0: 79 74 65 73 3b 20 20 20 20 20 20 20 20 20 20 20  ytes;           
04b0: 20 20 20 20 20 20 20 2f 2a 20 73 69 7a 65 20 6f         /* size o
04c0: 66 20 74 68 65 20 69 6e 70 75 74 20 2a 2f 0a 20  f the input */. 
04d0: 20 69 6e 74 20 69 4f 66 66 73 65 74 3b 20 20 20   int iOffset;   
04e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
04f0: 20 63 75 72 72 65 6e 74 20 70 6f 73 69 74 69 6f   current positio
0500: 6e 20 69 6e 20 70 49 6e 70 75 74 20 2a 2f 0a 20  n in pInput */. 
0510: 20 69 6e 74 20 69 54 6f 6b 65 6e 3b 20 20 20 20   int iToken;    
0520: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
0530: 20 69 6e 64 65 78 20 6f 66 20 6e 65 78 74 20 74   index of next t
0540: 6f 6b 65 6e 20 74 6f 20 62 65 20 72 65 74 75 72  oken to be retur
0550: 6e 65 64 20 2a 2f 0a 20 20 63 68 61 72 20 2a 70  ned */.  char *p
0560: 54 6f 6b 65 6e 3b 20 20 20 20 20 20 20 20 20 20  Token;          
0570: 20 20 20 20 20 20 2f 2a 20 73 74 6f 72 61 67 65        /* storage
0580: 20 66 6f 72 20 63 75 72 72 65 6e 74 20 74 6f 6b   for current tok
0590: 65 6e 20 2a 2f 0a 20 20 69 6e 74 20 6e 54 6f 6b  en */.  int nTok
05a0: 65 6e 41 6c 6c 6f 63 61 74 65 64 3b 20 20 20 20  enAllocated;    
05b0: 20 20 20 20 20 2f 2a 20 73 70 61 63 65 20 61 6c       /* space al
05c0: 6c 6f 63 61 74 65 64 20 74 6f 20 7a 54 6f 6b 65  located to zToke
05d0: 6e 20 62 75 66 66 65 72 20 2a 2f 0a 7d 20 73 69  n buffer */.} si
05e0: 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63  mple_tokenizer_c
05f0: 75 72 73 6f 72 3b 0a 0a 0a 2f 2a 20 46 6f 72 77  ursor;.../* Forw
0600: 61 72 64 20 64 65 63 6c 61 72 61 74 69 6f 6e 20  ard declaration 
0610: 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73 74 20  */.static const 
0620: 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65  sqlite3_tokenize
0630: 72 5f 6d 6f 64 75 6c 65 20 73 69 6d 70 6c 65 54  r_module simpleT
0640: 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65 3b 0a  okenizerModule;.
0650: 0a 73 74 61 74 69 63 20 69 6e 74 20 73 69 6d 70  .static int simp
0660: 6c 65 44 65 6c 69 6d 28 73 69 6d 70 6c 65 5f 74  leDelim(simple_t
0670: 6f 6b 65 6e 69 7a 65 72 20 2a 74 2c 20 75 6e 73  okenizer *t, uns
0680: 69 67 6e 65 64 20 63 68 61 72 20 63 29 7b 0a 20  igned char c){. 
0690: 20 72 65 74 75 72 6e 20 63 3c 30 78 38 30 20 26   return c<0x80 &
06a0: 26 20 74 2d 3e 64 65 6c 69 6d 5b 63 5d 3b 0a 7d  & t->delim[c];.}
06b0: 0a 0a 2f 2a 0a 2a 2a 20 43 72 65 61 74 65 20 61  ../*.** Create a
06c0: 20 6e 65 77 20 74 6f 6b 65 6e 69 7a 65 72 20 69   new tokenizer i
06d0: 6e 73 74 61 6e 63 65 2e 0a 2a 2f 0a 73 74 61 74  nstance..*/.stat
06e0: 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 43 72 65  ic int simpleCre
06f0: 61 74 65 28 0a 20 20 69 6e 74 20 61 72 67 63 2c  ate(.  int argc,
0700: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 20 63 6f   const char * co
0710: 6e 73 74 20 2a 61 72 67 76 2c 0a 20 20 73 71 6c  nst *argv,.  sql
0720: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a  ite3_tokenizer *
0730: 2a 70 70 54 6f 6b 65 6e 69 7a 65 72 0a 29 7b 0a  *ppTokenizer.){.
0740: 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a    simple_tokeniz
0750: 65 72 20 2a 74 3b 0a 0a 20 20 74 20 3d 20 28 73  er *t;..  t = (s
0760: 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72 20  imple_tokenizer 
0770: 2a 29 20 73 71 6c 69 74 65 33 5f 6d 61 6c 6c 6f  *) sqlite3_mallo
0780: 63 28 73 69 7a 65 6f 66 28 2a 74 29 29 3b 0a 20  c(sizeof(*t));. 
0790: 20 69 66 28 20 74 3d 3d 4e 55 4c 4c 20 29 20 72   if( t==NULL ) r
07a0: 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d  eturn SQLITE_NOM
07b0: 45 4d 3b 0a 20 20 6d 65 6d 73 65 74 28 74 2c 20  EM;.  memset(t, 
07c0: 30 2c 20 73 69 7a 65 6f 66 28 2a 74 29 29 3b 0a  0, sizeof(*t));.
07d0: 0a 20 20 2f 2a 20 54 4f 44 4f 28 73 68 65 73 73  .  /* TODO(shess
07e0: 29 20 44 65 6c 69 6d 69 74 65 72 73 20 6e 65 65  ) Delimiters nee
07f0: 64 20 74 6f 20 72 65 6d 61 69 6e 20 74 68 65 20  d to remain the 
0800: 73 61 6d 65 20 66 72 6f 6d 20 72 75 6e 20 74 6f  same from run to
0810: 20 72 75 6e 2c 0a 20 20 2a 2a 20 65 6c 73 65 20   run,.  ** else 
0820: 77 65 20 6e 65 65 64 20 74 6f 20 72 65 69 6e 64  we need to reind
0830: 65 78 2e 20 20 4f 6e 65 20 73 6f 6c 75 74 69 6f  ex.  One solutio
0840: 6e 20 77 6f 75 6c 64 20 62 65 20 61 20 6d 65 74  n would be a met
0850: 61 2d 74 61 62 6c 65 20 74 6f 0a 20 20 2a 2a 20  a-table to.  ** 
0860: 74 72 61 63 6b 20 73 75 63 68 20 69 6e 66 6f 72  track such infor
0870: 6d 61 74 69 6f 6e 20 69 6e 20 74 68 65 20 64 61  mation in the da
0880: 74 61 62 61 73 65 2c 20 74 68 65 6e 20 77 65 27  tabase, then we'
0890: 64 20 6f 6e 6c 79 20 77 61 6e 74 20 74 68 69 73  d only want this
08a0: 0a 20 20 2a 2a 20 69 6e 66 6f 72 6d 61 74 69 6f  .  ** informatio
08b0: 6e 20 6f 6e 20 74 68 65 20 69 6e 69 74 69 61 6c  n on the initial
08c0: 20 63 72 65 61 74 65 2e 0a 20 20 2a 2f 0a 20 20   create..  */.  
08d0: 69 66 28 20 61 72 67 63 3e 31 20 29 7b 0a 20 20  if( argc>1 ){.  
08e0: 20 20 69 6e 74 20 69 2c 20 6e 20 3d 20 73 74 72    int i, n = str
08f0: 6c 65 6e 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20  len(argv[1]);.  
0900: 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c 6e 3b 20    for(i=0; i<n; 
0910: 69 2b 2b 29 7b 0a 20 20 20 20 20 20 75 6e 73 69  i++){.      unsi
0920: 67 6e 65 64 20 63 68 61 72 20 63 68 20 3d 20 61  gned char ch = a
0930: 72 67 76 5b 31 5d 5b 69 5d 3b 0a 20 20 20 20 20  rgv[1][i];.     
0940: 20 2f 2a 20 57 65 20 65 78 70 6c 69 63 69 74 6c   /* We explicitl
0950: 79 20 64 6f 6e 27 74 20 73 75 70 70 6f 72 74 20  y don't support 
0960: 55 54 46 2d 38 20 64 65 6c 69 6d 69 74 65 72 73  UTF-8 delimiters
0970: 20 66 6f 72 20 6e 6f 77 2e 20 2a 2f 0a 20 20 20   for now. */.   
0980: 20 20 20 69 66 28 20 63 68 3e 3d 30 78 38 30 20     if( ch>=0x80 
0990: 29 7b 0a 20 20 20 20 20 20 20 20 73 71 6c 69 74  ){.        sqlit
09a0: 65 33 5f 66 72 65 65 28 74 29 3b 0a 20 20 20 20  e3_free(t);.    
09b0: 20 20 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54      return SQLIT
09c0: 45 5f 45 52 52 4f 52 3b 0a 20 20 20 20 20 20 7d  E_ERROR;.      }
09d0: 0a 20 20 20 20 20 20 74 2d 3e 64 65 6c 69 6d 5b  .      t->delim[
09e0: 63 68 5d 20 3d 20 31 3b 0a 20 20 20 20 7d 0a 20  ch] = 1;.    }. 
09f0: 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 2f 2a   } else {.    /*
0a00: 20 4d 61 72 6b 20 6e 6f 6e 2d 61 6c 70 68 61 6e   Mark non-alphan
0a10: 75 6d 65 72 69 63 20 41 53 43 49 49 20 63 68 61  umeric ASCII cha
0a20: 72 61 63 74 65 72 73 20 61 73 20 64 65 6c 69 6d  racters as delim
0a30: 69 74 65 72 73 20 2a 2f 0a 20 20 20 20 69 6e 74  iters */.    int
0a40: 20 69 3b 0a 20 20 20 20 66 6f 72 28 69 3d 31 3b   i;.    for(i=1;
0a50: 20 69 3c 30 78 38 30 3b 20 69 2b 2b 29 7b 0a 20   i<0x80; i++){. 
0a60: 20 20 20 20 20 74 2d 3e 64 65 6c 69 6d 5b 69 5d       t->delim[i]
0a70: 20 3d 20 21 28 28 69 3e 3d 27 30 27 20 26 26 20   = !((i>='0' && 
0a80: 69 3c 3d 27 39 27 29 20 7c 7c 20 28 69 3e 3d 27  i<='9') || (i>='
0a90: 41 27 20 26 26 20 69 3c 3d 27 5a 27 29 20 7c 7c  A' && i<='Z') ||
0aa0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
0ab0: 20 20 20 20 20 20 20 28 69 3e 3d 27 61 27 20 26         (i>='a' &
0ac0: 26 20 69 3c 3d 27 7a 27 29 29 3b 0a 20 20 20 20  & i<='z'));.    
0ad0: 7d 0a 20 20 7d 0a 0a 20 20 2a 70 70 54 6f 6b 65  }.  }..  *ppToke
0ae0: 6e 69 7a 65 72 20 3d 20 26 74 2d 3e 62 61 73 65  nizer = &t->base
0af0: 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54  ;.  return SQLIT
0b00: 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 44  E_OK;.}../*.** D
0b10: 65 73 74 72 6f 79 20 61 20 74 6f 6b 65 6e 69 7a  estroy a tokeniz
0b20: 65 72 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74  er.*/.static int
0b30: 20 73 69 6d 70 6c 65 44 65 73 74 72 6f 79 28 73   simpleDestroy(s
0b40: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
0b50: 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 29 7b 0a 20   *pTokenizer){. 
0b60: 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 70 54   sqlite3_free(pT
0b70: 6f 6b 65 6e 69 7a 65 72 29 3b 0a 20 20 72 65 74  okenizer);.  ret
0b80: 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d  urn SQLITE_OK;.}
0b90: 0a 0a 2f 2a 0a 2a 2a 20 50 72 65 70 61 72 65 20  ../*.** Prepare 
0ba0: 74 6f 20 62 65 67 69 6e 20 74 6f 6b 65 6e 69 7a  to begin tokeniz
0bb0: 69 6e 67 20 61 20 70 61 72 74 69 63 75 6c 61 72  ing a particular
0bc0: 20 73 74 72 69 6e 67 2e 20 20 54 68 65 20 69 6e   string.  The in
0bd0: 70 75 74 0a 2a 2a 20 73 74 72 69 6e 67 20 74 6f  put.** string to
0be0: 20 62 65 20 74 6f 6b 65 6e 69 7a 65 64 20 69 73   be tokenized is
0bf0: 20 70 49 6e 70 75 74 5b 30 2e 2e 6e 42 79 74 65   pInput[0..nByte
0c00: 73 2d 31 5d 2e 20 20 41 20 63 75 72 73 6f 72 0a  s-1].  A cursor.
0c10: 2a 2a 20 75 73 65 64 20 74 6f 20 69 6e 63 72 65  ** used to incre
0c20: 6d 65 6e 74 61 6c 6c 79 20 74 6f 6b 65 6e 69 7a  mentally tokeniz
0c30: 65 20 74 68 69 73 20 73 74 72 69 6e 67 20 69 73  e this string is
0c40: 20 72 65 74 75 72 6e 65 64 20 69 6e 20 0a 2a 2a   returned in .**
0c50: 20 2a 70 70 43 75 72 73 6f 72 2e 0a 2a 2f 0a 73   *ppCursor..*/.s
0c60: 74 61 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65  tatic int simple
0c70: 4f 70 65 6e 28 0a 20 20 73 71 6c 69 74 65 33 5f  Open(.  sqlite3_
0c80: 74 6f 6b 65 6e 69 7a 65 72 20 2a 70 54 6f 6b 65  tokenizer *pToke
0c90: 6e 69 7a 65 72 2c 20 20 20 20 20 20 20 20 20 2f  nizer,         /
0ca0: 2a 20 54 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20  * The tokenizer 
0cb0: 2a 2f 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20  */.  const char 
0cc0: 2a 70 49 6e 70 75 74 2c 20 69 6e 74 20 6e 42 79  *pInput, int nBy
0cd0: 74 65 73 2c 20 20 20 20 20 20 20 20 2f 2a 20 53  tes,        /* S
0ce0: 74 72 69 6e 67 20 74 6f 20 62 65 20 74 6f 6b 65  tring to be toke
0cf0: 6e 69 7a 65 64 20 2a 2f 0a 20 20 73 71 6c 69 74  nized */.  sqlit
0d00: 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72  e3_tokenizer_cur
0d10: 73 6f 72 20 2a 2a 70 70 43 75 72 73 6f 72 20 20  sor **ppCursor  
0d20: 20 20 2f 2a 20 4f 55 54 3a 20 54 6f 6b 65 6e 69    /* OUT: Tokeni
0d30: 7a 61 74 69 6f 6e 20 63 75 72 73 6f 72 20 2a 2f  zation cursor */
0d40: 0a 29 7b 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b  .){.  simple_tok
0d50: 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63  enizer_cursor *c
0d60: 3b 0a 0a 20 20 63 20 3d 20 28 73 69 6d 70 6c 65  ;..  c = (simple
0d70: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f  _tokenizer_curso
0d80: 72 20 2a 29 20 73 71 6c 69 74 65 33 5f 6d 61 6c  r *) sqlite3_mal
0d90: 6c 6f 63 28 73 69 7a 65 6f 66 28 2a 63 29 29 3b  loc(sizeof(*c));
0da0: 0a 20 20 69 66 28 20 63 3d 3d 4e 55 4c 4c 20 29  .  if( c==NULL )
0db0: 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e   return SQLITE_N
0dc0: 4f 4d 45 4d 3b 0a 0a 20 20 63 2d 3e 70 49 6e 70  OMEM;..  c->pInp
0dd0: 75 74 20 3d 20 70 49 6e 70 75 74 3b 0a 20 20 69  ut = pInput;.  i
0de0: 66 28 20 70 49 6e 70 75 74 3d 3d 30 20 29 7b 0a  f( pInput==0 ){.
0df0: 20 20 20 20 63 2d 3e 6e 42 79 74 65 73 20 3d 20      c->nBytes = 
0e00: 30 3b 0a 20 20 7d 65 6c 73 65 20 69 66 28 20 6e  0;.  }else if( n
0e10: 42 79 74 65 73 3c 30 20 29 7b 0a 20 20 20 20 63  Bytes<0 ){.    c
0e20: 2d 3e 6e 42 79 74 65 73 20 3d 20 28 69 6e 74 29  ->nBytes = (int)
0e30: 73 74 72 6c 65 6e 28 70 49 6e 70 75 74 29 3b 0a  strlen(pInput);.
0e40: 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 63 2d 3e    }else{.    c->
0e50: 6e 42 79 74 65 73 20 3d 20 6e 42 79 74 65 73 3b  nBytes = nBytes;
0e60: 0a 20 20 7d 0a 20 20 63 2d 3e 69 4f 66 66 73 65  .  }.  c->iOffse
0e70: 74 20 3d 20 30 3b 20 20 20 20 20 20 20 20 20 20  t = 0;          
0e80: 20 20 20 20 20 20 20 2f 2a 20 73 74 61 72 74 20         /* start 
0e90: 74 6f 6b 65 6e 69 7a 69 6e 67 20 61 74 20 74 68  tokenizing at th
0ea0: 65 20 62 65 67 69 6e 6e 69 6e 67 20 2a 2f 0a 20  e beginning */. 
0eb0: 20 63 2d 3e 69 54 6f 6b 65 6e 20 3d 20 30 3b 0a   c->iToken = 0;.
0ec0: 20 20 63 2d 3e 70 54 6f 6b 65 6e 20 3d 20 4e 55    c->pToken = NU
0ed0: 4c 4c 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  LL;             
0ee0: 20 20 2f 2a 20 6e 6f 20 73 70 61 63 65 20 61 6c    /* no space al
0ef0: 6c 6f 63 61 74 65 64 2c 20 79 65 74 2e 20 2a 2f  located, yet. */
0f00: 0a 20 20 63 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c 6f  .  c->nTokenAllo
0f10: 63 61 74 65 64 20 3d 20 30 3b 0a 0a 20 20 2a 70  cated = 0;..  *p
0f20: 70 43 75 72 73 6f 72 20 3d 20 26 63 2d 3e 62 61  pCursor = &c->ba
0f30: 73 65 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c  se;.  return SQL
0f40: 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a  ITE_OK;.}../*.**
0f50: 20 43 6c 6f 73 65 20 61 20 74 6f 6b 65 6e 69 7a   Close a tokeniz
0f60: 61 74 69 6f 6e 20 63 75 72 73 6f 72 20 70 72 65  ation cursor pre
0f70: 76 69 6f 75 73 6c 79 20 6f 70 65 6e 65 64 20 62  viously opened b
0f80: 79 20 61 20 63 61 6c 6c 20 74 6f 0a 2a 2a 20 73  y a call to.** s
0f90: 69 6d 70 6c 65 4f 70 65 6e 28 29 20 61 62 6f 76  impleOpen() abov
0fa0: 65 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74  e..*/.static int
0fb0: 20 73 69 6d 70 6c 65 43 6c 6f 73 65 28 73 71 6c   simpleClose(sql
0fc0: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63  ite3_tokenizer_c
0fd0: 75 72 73 6f 72 20 2a 70 43 75 72 73 6f 72 29 7b  ursor *pCursor){
0fe0: 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69  .  simple_tokeni
0ff0: 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63 20 3d 20  zer_cursor *c = 
1000: 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65  (simple_tokenize
1010: 72 5f 63 75 72 73 6f 72 20 2a 29 20 70 43 75 72  r_cursor *) pCur
1020: 73 6f 72 3b 0a 20 20 73 71 6c 69 74 65 33 5f 66  sor;.  sqlite3_f
1030: 72 65 65 28 63 2d 3e 70 54 6f 6b 65 6e 29 3b 0a  ree(c->pToken);.
1040: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 63    sqlite3_free(c
1050: 29 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49  );.  return SQLI
1060: 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20  TE_OK;.}../*.** 
1070: 45 78 74 72 61 63 74 20 74 68 65 20 6e 65 78 74  Extract the next
1080: 20 74 6f 6b 65 6e 20 66 72 6f 6d 20 61 20 74 6f   token from a to
1090: 6b 65 6e 69 7a 61 74 69 6f 6e 20 63 75 72 73 6f  kenization curso
10a0: 72 2e 20 20 54 68 65 20 63 75 72 73 6f 72 20 6d  r.  The cursor m
10b0: 75 73 74 0a 2a 2a 20 68 61 76 65 20 62 65 65 6e  ust.** have been
10c0: 20 6f 70 65 6e 65 64 20 62 79 20 61 20 70 72 69   opened by a pri
10d0: 6f 72 20 63 61 6c 6c 20 74 6f 20 73 69 6d 70 6c  or call to simpl
10e0: 65 4f 70 65 6e 28 29 2e 0a 2a 2f 0a 73 74 61 74  eOpen()..*/.stat
10f0: 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 4e 65 78  ic int simpleNex
1100: 74 28 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b  t(.  sqlite3_tok
1110: 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 70  enizer_cursor *p
1120: 43 75 72 73 6f 72 2c 20 20 2f 2a 20 43 75 72 73  Cursor,  /* Curs
1130: 6f 72 20 72 65 74 75 72 6e 65 64 20 62 79 20 73  or returned by s
1140: 69 6d 70 6c 65 4f 70 65 6e 20 2a 2f 0a 20 20 63  impleOpen */.  c
1150: 6f 6e 73 74 20 63 68 61 72 20 2a 2a 70 70 54 6f  onst char **ppTo
1160: 6b 65 6e 2c 20 20 20 20 20 20 20 20 20 20 20 20  ken,            
1170: 20 20 20 2f 2a 20 4f 55 54 3a 20 2a 70 70 54 6f     /* OUT: *ppTo
1180: 6b 65 6e 20 69 73 20 74 68 65 20 74 6f 6b 65 6e  ken is the token
1190: 20 74 65 78 74 20 2a 2f 0a 20 20 69 6e 74 20 2a   text */.  int *
11a0: 70 6e 42 79 74 65 73 2c 20 20 20 20 20 20 20 20  pnBytes,        
11b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f                 /
11c0: 2a 20 4f 55 54 3a 20 4e 75 6d 62 65 72 20 6f 66  * OUT: Number of
11d0: 20 62 79 74 65 73 20 69 6e 20 74 6f 6b 65 6e 20   bytes in token 
11e0: 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 53 74 61 72  */.  int *piStar
11f0: 74 4f 66 66 73 65 74 2c 20 20 20 20 20 20 20 20  tOffset,        
1200: 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a           /* OUT:
1210: 20 53 74 61 72 74 69 6e 67 20 6f 66 66 73 65 74   Starting offset
1220: 20 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69   of token */.  i
1230: 6e 74 20 2a 70 69 45 6e 64 4f 66 66 73 65 74 2c  nt *piEndOffset,
1240: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1250: 20 20 20 2f 2a 20 4f 55 54 3a 20 45 6e 64 69 6e     /* OUT: Endin
1260: 67 20 6f 66 66 73 65 74 20 6f 66 20 74 6f 6b 65  g offset of toke
1270: 6e 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 50 6f  n */.  int *piPo
1280: 73 69 74 69 6f 6e 20 20 20 20 20 20 20 20 20 20  sition          
1290: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55             /* OU
12a0: 54 3a 20 50 6f 73 69 74 69 6f 6e 20 69 6e 74 65  T: Position inte
12b0: 67 65 72 20 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a  ger of token */.
12c0: 29 7b 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65  ){.  simple_toke
12d0: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63 20  nizer_cursor *c 
12e0: 3d 20 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69  = (simple_tokeni
12f0: 7a 65 72 5f 63 75 72 73 6f 72 20 2a 29 20 70 43  zer_cursor *) pC
1300: 75 72 73 6f 72 3b 0a 20 20 73 69 6d 70 6c 65 5f  ursor;.  simple_
1310: 74 6f 6b 65 6e 69 7a 65 72 20 2a 74 20 3d 20 28  tokenizer *t = (
1320: 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72  simple_tokenizer
1330: 20 2a 29 20 70 43 75 72 73 6f 72 2d 3e 70 54 6f   *) pCursor->pTo
1340: 6b 65 6e 69 7a 65 72 3b 0a 20 20 75 6e 73 69 67  kenizer;.  unsig
1350: 6e 65 64 20 63 68 61 72 20 2a 70 20 3d 20 28 75  ned char *p = (u
1360: 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a 29 63  nsigned char *)c
1370: 2d 3e 70 49 6e 70 75 74 3b 0a 0a 20 20 77 68 69  ->pInput;..  whi
1380: 6c 65 28 20 63 2d 3e 69 4f 66 66 73 65 74 3c 63  le( c->iOffset<c
1390: 2d 3e 6e 42 79 74 65 73 20 29 7b 0a 20 20 20 20  ->nBytes ){.    
13a0: 69 6e 74 20 69 53 74 61 72 74 4f 66 66 73 65 74  int iStartOffset
13b0: 3b 0a 0a 20 20 20 20 2f 2a 20 53 63 61 6e 20 70  ;..    /* Scan p
13c0: 61 73 74 20 64 65 6c 69 6d 69 74 65 72 20 63 68  ast delimiter ch
13d0: 61 72 61 63 74 65 72 73 20 2a 2f 0a 20 20 20 20  aracters */.    
13e0: 77 68 69 6c 65 28 20 63 2d 3e 69 4f 66 66 73 65  while( c->iOffse
13f0: 74 3c 63 2d 3e 6e 42 79 74 65 73 20 26 26 20 73  t<c->nBytes && s
1400: 69 6d 70 6c 65 44 65 6c 69 6d 28 74 2c 20 70 5b  impleDelim(t, p[
1410: 63 2d 3e 69 4f 66 66 73 65 74 5d 29 20 29 7b 0a  c->iOffset]) ){.
1420: 20 20 20 20 20 20 63 2d 3e 69 4f 66 66 73 65 74        c->iOffset
1430: 2b 2b 3b 0a 20 20 20 20 7d 0a 0a 20 20 20 20 2f  ++;.    }..    /
1440: 2a 20 43 6f 75 6e 74 20 6e 6f 6e 2d 64 65 6c 69  * Count non-deli
1450: 6d 69 74 65 72 20 63 68 61 72 61 63 74 65 72 73  miter characters
1460: 2e 20 2a 2f 0a 20 20 20 20 69 53 74 61 72 74 4f  . */.    iStartO
1470: 66 66 73 65 74 20 3d 20 63 2d 3e 69 4f 66 66 73  ffset = c->iOffs
1480: 65 74 3b 0a 20 20 20 20 77 68 69 6c 65 28 20 63  et;.    while( c
1490: 2d 3e 69 4f 66 66 73 65 74 3c 63 2d 3e 6e 42 79  ->iOffset<c->nBy
14a0: 74 65 73 20 26 26 20 21 73 69 6d 70 6c 65 44 65  tes && !simpleDe
14b0: 6c 69 6d 28 74 2c 20 70 5b 63 2d 3e 69 4f 66 66  lim(t, p[c->iOff
14c0: 73 65 74 5d 29 20 29 7b 0a 20 20 20 20 20 20 63  set]) ){.      c
14d0: 2d 3e 69 4f 66 66 73 65 74 2b 2b 3b 0a 20 20 20  ->iOffset++;.   
14e0: 20 7d 0a 0a 20 20 20 20 69 66 28 20 63 2d 3e 69   }..    if( c->i
14f0: 4f 66 66 73 65 74 3e 69 53 74 61 72 74 4f 66 66  Offset>iStartOff
1500: 73 65 74 20 29 7b 0a 20 20 20 20 20 20 69 6e 74  set ){.      int
1510: 20 69 2c 20 6e 20 3d 20 63 2d 3e 69 4f 66 66 73   i, n = c->iOffs
1520: 65 74 2d 69 53 74 61 72 74 4f 66 66 73 65 74 3b  et-iStartOffset;
1530: 0a 20 20 20 20 20 20 69 66 28 20 6e 3e 63 2d 3e  .      if( n>c->
1540: 6e 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 20  nTokenAllocated 
1550: 29 7b 0a 20 20 20 20 20 20 20 20 63 2d 3e 6e 54  ){.        c->nT
1560: 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 20 3d 20  okenAllocated = 
1570: 6e 2b 32 30 3b 0a 20 20 20 20 20 20 20 20 63 2d  n+20;.        c-
1580: 3e 70 54 6f 6b 65 6e 20 3d 20 73 71 6c 69 74 65  >pToken = sqlite
1590: 33 5f 72 65 61 6c 6c 6f 63 28 63 2d 3e 70 54 6f  3_realloc(c->pTo
15a0: 6b 65 6e 2c 20 63 2d 3e 6e 54 6f 6b 65 6e 41 6c  ken, c->nTokenAl
15b0: 6c 6f 63 61 74 65 64 29 3b 0a 20 20 20 20 20 20  located);.      
15c0: 20 20 69 66 28 20 63 2d 3e 70 54 6f 6b 65 6e 3d    if( c->pToken=
15d0: 3d 4e 55 4c 4c 20 29 20 72 65 74 75 72 6e 20 53  =NULL ) return S
15e0: 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 20  QLITE_NOMEM;.   
15f0: 20 20 20 7d 0a 20 20 20 20 20 20 66 6f 72 28 69     }.      for(i
1600: 3d 30 3b 20 69 3c 6e 3b 20 69 2b 2b 29 7b 0a 20  =0; i<n; i++){. 
1610: 20 20 20 20 20 20 20 2f 2a 20 54 4f 44 4f 28 73         /* TODO(s
1620: 68 65 73 73 29 20 54 68 69 73 20 6e 65 65 64 73  hess) This needs
1630: 20 65 78 70 61 6e 73 69 6f 6e 20 74 6f 20 68 61   expansion to ha
1640: 6e 64 6c 65 20 55 54 46 2d 38 0a 20 20 20 20 20  ndle UTF-8.     
1650: 20 20 20 2a 2a 20 63 61 73 65 2d 69 6e 73 65 6e     ** case-insen
1660: 73 69 74 69 76 69 74 79 2e 0a 20 20 20 20 20 20  sitivity..      
1670: 20 20 2a 2f 0a 20 20 20 20 20 20 20 20 75 6e 73    */.        uns
1680: 69 67 6e 65 64 20 63 68 61 72 20 63 68 20 3d 20  igned char ch = 
1690: 70 5b 69 53 74 61 72 74 4f 66 66 73 65 74 2b 69  p[iStartOffset+i
16a0: 5d 3b 0a 20 20 20 20 20 20 20 20 63 2d 3e 70 54  ];.        c->pT
16b0: 6f 6b 65 6e 5b 69 5d 20 3d 20 28 63 68 3e 3d 27  oken[i] = (ch>='
16c0: 41 27 20 26 26 20 63 68 3c 3d 27 5a 27 29 20 3f  A' && ch<='Z') ?
16d0: 20 28 63 68 20 2d 20 27 41 27 20 2b 20 27 61 27   (ch - 'A' + 'a'
16e0: 29 20 3a 20 63 68 3b 0a 20 20 20 20 20 20 7d 0a  ) : ch;.      }.
16f0: 20 20 20 20 20 20 2a 70 70 54 6f 6b 65 6e 20 3d        *ppToken =
1700: 20 63 2d 3e 70 54 6f 6b 65 6e 3b 0a 20 20 20 20   c->pToken;.    
1710: 20 20 2a 70 6e 42 79 74 65 73 20 3d 20 6e 3b 0a    *pnBytes = n;.
1720: 20 20 20 20 20 20 2a 70 69 53 74 61 72 74 4f 66        *piStartOf
1730: 66 73 65 74 20 3d 20 69 53 74 61 72 74 4f 66 66  fset = iStartOff
1740: 73 65 74 3b 0a 20 20 20 20 20 20 2a 70 69 45 6e  set;.      *piEn
1750: 64 4f 66 66 73 65 74 20 3d 20 63 2d 3e 69 4f 66  dOffset = c->iOf
1760: 66 73 65 74 3b 0a 20 20 20 20 20 20 2a 70 69 50  fset;.      *piP
1770: 6f 73 69 74 69 6f 6e 20 3d 20 63 2d 3e 69 54 6f  osition = c->iTo
1780: 6b 65 6e 2b 2b 3b 0a 0a 20 20 20 20 20 20 72 65  ken++;..      re
1790: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a  turn SQLITE_OK;.
17a0: 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72 65 74 75      }.  }.  retu
17b0: 72 6e 20 53 51 4c 49 54 45 5f 44 4f 4e 45 3b 0a  rn SQLITE_DONE;.
17c0: 7d 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 73 65 74  }../*.** The set
17d0: 20 6f 66 20 72 6f 75 74 69 6e 65 73 20 74 68 61   of routines tha
17e0: 74 20 69 6d 70 6c 65 6d 65 6e 74 20 74 68 65 20  t implement the 
17f0: 73 69 6d 70 6c 65 20 74 6f 6b 65 6e 69 7a 65 72  simple tokenizer
1800: 0a 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73 74  .*/.static const
1810: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a   sqlite3_tokeniz
1820: 65 72 5f 6d 6f 64 75 6c 65 20 73 69 6d 70 6c 65  er_module simple
1830: 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65 20  TokenizerModule 
1840: 3d 20 7b 0a 20 20 30 2c 0a 20 20 73 69 6d 70 6c  = {.  0,.  simpl
1850: 65 43 72 65 61 74 65 2c 0a 20 20 73 69 6d 70 6c  eCreate,.  simpl
1860: 65 44 65 73 74 72 6f 79 2c 0a 20 20 73 69 6d 70  eDestroy,.  simp
1870: 6c 65 4f 70 65 6e 2c 0a 20 20 73 69 6d 70 6c 65  leOpen,.  simple
1880: 43 6c 6f 73 65 2c 0a 20 20 73 69 6d 70 6c 65 4e  Close,.  simpleN
1890: 65 78 74 2c 0a 7d 3b 0a 0a 2f 2a 0a 2a 2a 20 41  ext,.};../*.** A
18a0: 6c 6c 6f 63 61 74 65 20 61 20 6e 65 77 20 73 69  llocate a new si
18b0: 6d 70 6c 65 20 74 6f 6b 65 6e 69 7a 65 72 2e 20  mple tokenizer. 
18c0: 20 52 65 74 75 72 6e 20 61 20 70 6f 69 6e 74 65   Return a pointe
18d0: 72 20 74 6f 20 74 68 65 20 6e 65 77 0a 2a 2a 20  r to the new.** 
18e0: 74 6f 6b 65 6e 69 7a 65 72 20 69 6e 20 2a 70 70  tokenizer in *pp
18f0: 4d 6f 64 75 6c 65 0a 2a 2f 0a 76 6f 69 64 20 73  Module.*/.void s
1900: 71 6c 69 74 65 33 46 74 73 32 53 69 6d 70 6c 65  qlite3Fts2Simple
1910: 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65 28  TokenizerModule(
1920: 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e  .  sqlite3_token
1930: 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 63 6f 6e 73  izer_module cons
1940: 74 2a 2a 70 70 4d 6f 64 75 6c 65 0a 29 7b 0a 20  t**ppModule.){. 
1950: 20 2a 70 70 4d 6f 64 75 6c 65 20 3d 20 26 73 69   *ppModule = &si
1960: 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64  mpleTokenizerMod
1970: 75 6c 65 3b 0a 7d 0a 0a 23 65 6e 64 69 66 20 2f  ule;.}..#endif /
1980: 2a 20 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54  * !defined(SQLIT
1990: 45 5f 43 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e  E_CORE) || defin
19a0: 65 64 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45  ed(SQLITE_ENABLE
19b0: 5f 46 54 53 32 29 20 2a 2f 0a                    _FTS2) */.