/ Hex Artifact Content
Login

Artifact 6e5cbaa588924ac578263a598e4fb9f5c9bb179d:


0000: 2f 2a 0a 2a 2a 20 32 30 30 36 20 4f 63 74 20 31  /*.** 2006 Oct 1
0010: 30 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  0.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6d 70 6c  *****.**.** Impl
0180: 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68  ementation of th
0190: 65 20 22 73 69 6d 70 6c 65 22 20 66 75 6c 6c 2d  e "simple" full-
01a0: 74 65 78 74 2d 73 65 61 72 63 68 20 74 6f 6b 65  text-search toke
01b0: 6e 69 7a 65 72 2e 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a  nizer..*/../*.**
01c0: 20 54 68 65 20 63 6f 64 65 20 69 6e 20 74 68 69   The code in thi
01d0: 73 20 66 69 6c 65 20 69 73 20 6f 6e 6c 79 20 63  s file is only c
01e0: 6f 6d 70 69 6c 65 64 20 69 66 3a 0a 2a 2a 0a 2a  ompiled if:.**.*
01f0: 2a 20 20 20 20 20 2a 20 54 68 65 20 46 54 53 33  *     * The FTS3
0200: 20 6d 6f 64 75 6c 65 20 69 73 20 62 65 69 6e 67   module is being
0210: 20 62 75 69 6c 74 20 61 73 20 61 6e 20 65 78 74   built as an ext
0220: 65 6e 73 69 6f 6e 0a 2a 2a 20 20 20 20 20 20 20  ension.**       
0230: 28 69 6e 20 77 68 69 63 68 20 63 61 73 65 20 53  (in which case S
0240: 51 4c 49 54 45 5f 43 4f 52 45 20 69 73 20 6e 6f  QLITE_CORE is no
0250: 74 20 64 65 66 69 6e 65 64 29 2c 20 6f 72 0a 2a  t defined), or.*
0260: 2a 0a 2a 2a 20 20 20 20 20 2a 20 54 68 65 20 46  *.**     * The F
0270: 54 53 33 20 6d 6f 64 75 6c 65 20 69 73 20 62 65  TS3 module is be
0280: 69 6e 67 20 62 75 69 6c 74 20 69 6e 74 6f 20 74  ing built into t
0290: 68 65 20 63 6f 72 65 20 6f 66 0a 2a 2a 20 20 20  he core of.**   
02a0: 20 20 20 20 53 51 4c 69 74 65 20 28 69 6e 20 77      SQLite (in w
02b0: 68 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45  hich case SQLITE
02c0: 5f 45 4e 41 42 4c 45 5f 46 54 53 33 20 69 73 20  _ENABLE_FTS3 is 
02d0: 64 65 66 69 6e 65 64 29 2e 0a 2a 2f 0a 23 69 66  defined)..*/.#if
02e0: 20 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45   !defined(SQLITE
02f0: 5f 43 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e 65  _CORE) || define
0300: 64 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f  d(SQLITE_ENABLE_
0310: 46 54 53 33 29 0a 0a 23 69 6e 63 6c 75 64 65 20  FTS3)..#include 
0320: 22 66 74 73 33 49 6e 74 2e 68 22 0a 0a 23 69 6e  "fts3Int.h"..#in
0330: 63 6c 75 64 65 20 3c 61 73 73 65 72 74 2e 68 3e  clude <assert.h>
0340: 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74 64 6c 69  .#include <stdli
0350: 62 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 73  b.h>.#include <s
0360: 74 64 69 6f 2e 68 3e 0a 23 69 6e 63 6c 75 64 65  tdio.h>.#include
0370: 20 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 23 69 6e   <string.h>..#in
0380: 63 6c 75 64 65 20 22 66 74 73 33 5f 74 6f 6b 65  clude "fts3_toke
0390: 6e 69 7a 65 72 2e 68 22 0a 0a 74 79 70 65 64 65  nizer.h"..typede
03a0: 66 20 73 74 72 75 63 74 20 73 69 6d 70 6c 65 5f  f struct simple_
03b0: 74 6f 6b 65 6e 69 7a 65 72 20 7b 0a 20 20 73 71  tokenizer {.  sq
03c0: 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20  lite3_tokenizer 
03d0: 62 61 73 65 3b 0a 20 20 63 68 61 72 20 64 65 6c  base;.  char del
03e0: 69 6d 5b 31 32 38 5d 3b 20 20 20 20 20 20 20 20  im[128];        
03f0: 20 20 20 20 20 2f 2a 20 66 6c 61 67 20 41 53 43       /* flag ASC
0400: 49 49 20 64 65 6c 69 6d 69 74 65 72 73 20 2a 2f  II delimiters */
0410: 0a 7d 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69  .} simple_tokeni
0420: 7a 65 72 3b 0a 0a 74 79 70 65 64 65 66 20 73 74  zer;..typedef st
0430: 72 75 63 74 20 73 69 6d 70 6c 65 5f 74 6f 6b 65  ruct simple_toke
0440: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 7b 0a 20  nizer_cursor {. 
0450: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a   sqlite3_tokeniz
0460: 65 72 5f 63 75 72 73 6f 72 20 62 61 73 65 3b 0a  er_cursor base;.
0470: 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 70 49    const char *pI
0480: 6e 70 75 74 3b 20 20 20 20 20 20 20 20 20 20 2f  nput;          /
0490: 2a 20 69 6e 70 75 74 20 77 65 20 61 72 65 20 74  * input we are t
04a0: 6f 6b 65 6e 69 7a 69 6e 67 20 2a 2f 0a 20 20 69  okenizing */.  i
04b0: 6e 74 20 6e 42 79 74 65 73 3b 20 20 20 20 20 20  nt nBytes;      
04c0: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 73              /* s
04d0: 69 7a 65 20 6f 66 20 74 68 65 20 69 6e 70 75 74  ize of the input
04e0: 20 2a 2f 0a 20 20 69 6e 74 20 69 4f 66 66 73 65   */.  int iOffse
04f0: 74 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  t;              
0500: 20 20 20 2f 2a 20 63 75 72 72 65 6e 74 20 70 6f     /* current po
0510: 73 69 74 69 6f 6e 20 69 6e 20 70 49 6e 70 75 74  sition in pInput
0520: 20 2a 2f 0a 20 20 69 6e 74 20 69 54 6f 6b 65 6e   */.  int iToken
0530: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
0540: 20 20 20 2f 2a 20 69 6e 64 65 78 20 6f 66 20 6e     /* index of n
0550: 65 78 74 20 74 6f 6b 65 6e 20 74 6f 20 62 65 20  ext token to be 
0560: 72 65 74 75 72 6e 65 64 20 2a 2f 0a 20 20 63 68  returned */.  ch
0570: 61 72 20 2a 70 54 6f 6b 65 6e 3b 20 20 20 20 20  ar *pToken;     
0580: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 73 74             /* st
0590: 6f 72 61 67 65 20 66 6f 72 20 63 75 72 72 65 6e  orage for curren
05a0: 74 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69 6e 74  t token */.  int
05b0: 20 6e 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64   nTokenAllocated
05c0: 3b 20 20 20 20 20 20 20 20 20 2f 2a 20 73 70 61  ;         /* spa
05d0: 63 65 20 61 6c 6c 6f 63 61 74 65 64 20 74 6f 20  ce allocated to 
05e0: 7a 54 6f 6b 65 6e 20 62 75 66 66 65 72 20 2a 2f  zToken buffer */
05f0: 0a 7d 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69  .} simple_tokeni
0600: 7a 65 72 5f 63 75 72 73 6f 72 3b 0a 0a 0a 73 74  zer_cursor;...st
0610: 61 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 44  atic int simpleD
0620: 65 6c 69 6d 28 73 69 6d 70 6c 65 5f 74 6f 6b 65  elim(simple_toke
0630: 6e 69 7a 65 72 20 2a 74 2c 20 75 6e 73 69 67 6e  nizer *t, unsign
0640: 65 64 20 63 68 61 72 20 63 29 7b 0a 20 20 72 65  ed char c){.  re
0650: 74 75 72 6e 20 63 3c 30 78 38 30 20 26 26 20 74  turn c<0x80 && t
0660: 2d 3e 64 65 6c 69 6d 5b 63 5d 3b 0a 7d 0a 73 74  ->delim[c];.}.st
0670: 61 74 69 63 20 69 6e 74 20 66 74 73 33 5f 69 73  atic int fts3_is
0680: 61 6c 6e 75 6d 28 69 6e 74 20 78 29 7b 0a 20 20  alnum(int x){.  
0690: 72 65 74 75 72 6e 20 28 78 3e 3d 27 30 27 20 26  return (x>='0' &
06a0: 26 20 78 3c 3d 27 39 27 29 20 7c 7c 20 28 78 3e  & x<='9') || (x>
06b0: 3d 27 41 27 20 26 26 20 78 3c 3d 27 5a 27 29 20  ='A' && x<='Z') 
06c0: 7c 7c 20 28 78 3e 3d 27 61 27 20 26 26 20 78 3c  || (x>='a' && x<
06d0: 3d 27 7a 27 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20  ='z');.}../*.** 
06e0: 43 72 65 61 74 65 20 61 20 6e 65 77 20 74 6f 6b  Create a new tok
06f0: 65 6e 69 7a 65 72 20 69 6e 73 74 61 6e 63 65 2e  enizer instance.
0700: 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 73  .*/.static int s
0710: 69 6d 70 6c 65 43 72 65 61 74 65 28 0a 20 20 69  impleCreate(.  i
0720: 6e 74 20 61 72 67 63 2c 20 63 6f 6e 73 74 20 63  nt argc, const c
0730: 68 61 72 20 2a 20 63 6f 6e 73 74 20 2a 61 72 67  har * const *arg
0740: 76 2c 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b  v,.  sqlite3_tok
0750: 65 6e 69 7a 65 72 20 2a 2a 70 70 54 6f 6b 65 6e  enizer **ppToken
0760: 69 7a 65 72 0a 29 7b 0a 20 20 73 69 6d 70 6c 65  izer.){.  simple
0770: 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 74 3b 0a 0a  _tokenizer *t;..
0780: 20 20 74 20 3d 20 28 73 69 6d 70 6c 65 5f 74 6f    t = (simple_to
0790: 6b 65 6e 69 7a 65 72 20 2a 29 20 73 71 6c 69 74  kenizer *) sqlit
07a0: 65 33 5f 6d 61 6c 6c 6f 63 28 73 69 7a 65 6f 66  e3_malloc(sizeof
07b0: 28 2a 74 29 29 3b 0a 20 20 69 66 28 20 74 3d 3d  (*t));.  if( t==
07c0: 4e 55 4c 4c 20 29 20 72 65 74 75 72 6e 20 53 51  NULL ) return SQ
07d0: 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 6d 65  LITE_NOMEM;.  me
07e0: 6d 73 65 74 28 74 2c 20 30 2c 20 73 69 7a 65 6f  mset(t, 0, sizeo
07f0: 66 28 2a 74 29 29 3b 0a 0a 20 20 2f 2a 20 54 4f  f(*t));..  /* TO
0800: 44 4f 28 73 68 65 73 73 29 20 44 65 6c 69 6d 69  DO(shess) Delimi
0810: 74 65 72 73 20 6e 65 65 64 20 74 6f 20 72 65 6d  ters need to rem
0820: 61 69 6e 20 74 68 65 20 73 61 6d 65 20 66 72 6f  ain the same fro
0830: 6d 20 72 75 6e 20 74 6f 20 72 75 6e 2c 0a 20 20  m run to run,.  
0840: 2a 2a 20 65 6c 73 65 20 77 65 20 6e 65 65 64 20  ** else we need 
0850: 74 6f 20 72 65 69 6e 64 65 78 2e 20 20 4f 6e 65  to reindex.  One
0860: 20 73 6f 6c 75 74 69 6f 6e 20 77 6f 75 6c 64 20   solution would 
0870: 62 65 20 61 20 6d 65 74 61 2d 74 61 62 6c 65 20  be a meta-table 
0880: 74 6f 0a 20 20 2a 2a 20 74 72 61 63 6b 20 73 75  to.  ** track su
0890: 63 68 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 20 69  ch information i
08a0: 6e 20 74 68 65 20 64 61 74 61 62 61 73 65 2c 20  n the database, 
08b0: 74 68 65 6e 20 77 65 27 64 20 6f 6e 6c 79 20 77  then we'd only w
08c0: 61 6e 74 20 74 68 69 73 0a 20 20 2a 2a 20 69 6e  ant this.  ** in
08d0: 66 6f 72 6d 61 74 69 6f 6e 20 6f 6e 20 74 68 65  formation on the
08e0: 20 69 6e 69 74 69 61 6c 20 63 72 65 61 74 65 2e   initial create.
08f0: 0a 20 20 2a 2f 0a 20 20 69 66 28 20 61 72 67 63  .  */.  if( argc
0900: 3e 31 20 29 7b 0a 20 20 20 20 69 6e 74 20 69 2c  >1 ){.    int i,
0910: 20 6e 20 3d 20 28 69 6e 74 29 73 74 72 6c 65 6e   n = (int)strlen
0920: 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20 20 20 66  (argv[1]);.    f
0930: 6f 72 28 69 3d 30 3b 20 69 3c 6e 3b 20 69 2b 2b  or(i=0; i<n; i++
0940: 29 7b 0a 20 20 20 20 20 20 75 6e 73 69 67 6e 65  ){.      unsigne
0950: 64 20 63 68 61 72 20 63 68 20 3d 20 61 72 67 76  d char ch = argv
0960: 5b 31 5d 5b 69 5d 3b 0a 20 20 20 20 20 20 2f 2a  [1][i];.      /*
0970: 20 57 65 20 65 78 70 6c 69 63 69 74 6c 79 20 64   We explicitly d
0980: 6f 6e 27 74 20 73 75 70 70 6f 72 74 20 55 54 46  on't support UTF
0990: 2d 38 20 64 65 6c 69 6d 69 74 65 72 73 20 66 6f  -8 delimiters fo
09a0: 72 20 6e 6f 77 2e 20 2a 2f 0a 20 20 20 20 20 20  r now. */.      
09b0: 69 66 28 20 63 68 3e 3d 30 78 38 30 20 29 7b 0a  if( ch>=0x80 ){.
09c0: 20 20 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f          sqlite3_
09d0: 66 72 65 65 28 74 29 3b 0a 20 20 20 20 20 20 20  free(t);.       
09e0: 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 45   return SQLITE_E
09f0: 52 52 4f 52 3b 0a 20 20 20 20 20 20 7d 0a 20 20  RROR;.      }.  
0a00: 20 20 20 20 74 2d 3e 64 65 6c 69 6d 5b 63 68 5d      t->delim[ch]
0a10: 20 3d 20 31 3b 0a 20 20 20 20 7d 0a 20 20 7d 20   = 1;.    }.  } 
0a20: 65 6c 73 65 20 7b 0a 20 20 20 20 2f 2a 20 4d 61  else {.    /* Ma
0a30: 72 6b 20 6e 6f 6e 2d 61 6c 70 68 61 6e 75 6d 65  rk non-alphanume
0a40: 72 69 63 20 41 53 43 49 49 20 63 68 61 72 61 63  ric ASCII charac
0a50: 74 65 72 73 20 61 73 20 64 65 6c 69 6d 69 74 65  ters as delimite
0a60: 72 73 20 2a 2f 0a 20 20 20 20 69 6e 74 20 69 3b  rs */.    int i;
0a70: 0a 20 20 20 20 66 6f 72 28 69 3d 31 3b 20 69 3c  .    for(i=1; i<
0a80: 30 78 38 30 3b 20 69 2b 2b 29 7b 0a 20 20 20 20  0x80; i++){.    
0a90: 20 20 74 2d 3e 64 65 6c 69 6d 5b 69 5d 20 3d 20    t->delim[i] = 
0aa0: 21 66 74 73 33 5f 69 73 61 6c 6e 75 6d 28 69 29  !fts3_isalnum(i)
0ab0: 20 3f 20 2d 31 20 3a 20 30 3b 0a 20 20 20 20 7d   ? -1 : 0;.    }
0ac0: 0a 20 20 7d 0a 0a 20 20 2a 70 70 54 6f 6b 65 6e  .  }..  *ppToken
0ad0: 69 7a 65 72 20 3d 20 26 74 2d 3e 62 61 73 65 3b  izer = &t->base;
0ae0: 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45  .  return SQLITE
0af0: 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 44 65  _OK;.}../*.** De
0b00: 73 74 72 6f 79 20 61 20 74 6f 6b 65 6e 69 7a 65  stroy a tokenize
0b10: 72 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20  r.*/.static int 
0b20: 73 69 6d 70 6c 65 44 65 73 74 72 6f 79 28 73 71  simpleDestroy(sq
0b30: 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20  lite3_tokenizer 
0b40: 2a 70 54 6f 6b 65 6e 69 7a 65 72 29 7b 0a 20 20  *pTokenizer){.  
0b50: 73 71 6c 69 74 65 33 5f 66 72 65 65 28 70 54 6f  sqlite3_free(pTo
0b60: 6b 65 6e 69 7a 65 72 29 3b 0a 20 20 72 65 74 75  kenizer);.  retu
0b70: 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a  rn SQLITE_OK;.}.
0b80: 0a 2f 2a 0a 2a 2a 20 50 72 65 70 61 72 65 20 74  ./*.** Prepare t
0b90: 6f 20 62 65 67 69 6e 20 74 6f 6b 65 6e 69 7a 69  o begin tokenizi
0ba0: 6e 67 20 61 20 70 61 72 74 69 63 75 6c 61 72 20  ng a particular 
0bb0: 73 74 72 69 6e 67 2e 20 20 54 68 65 20 69 6e 70  string.  The inp
0bc0: 75 74 0a 2a 2a 20 73 74 72 69 6e 67 20 74 6f 20  ut.** string to 
0bd0: 62 65 20 74 6f 6b 65 6e 69 7a 65 64 20 69 73 20  be tokenized is 
0be0: 70 49 6e 70 75 74 5b 30 2e 2e 6e 42 79 74 65 73  pInput[0..nBytes
0bf0: 2d 31 5d 2e 20 20 41 20 63 75 72 73 6f 72 0a 2a  -1].  A cursor.*
0c00: 2a 20 75 73 65 64 20 74 6f 20 69 6e 63 72 65 6d  * used to increm
0c10: 65 6e 74 61 6c 6c 79 20 74 6f 6b 65 6e 69 7a 65  entally tokenize
0c20: 20 74 68 69 73 20 73 74 72 69 6e 67 20 69 73 20   this string is 
0c30: 72 65 74 75 72 6e 65 64 20 69 6e 20 0a 2a 2a 20  returned in .** 
0c40: 2a 70 70 43 75 72 73 6f 72 2e 0a 2a 2f 0a 73 74  *ppCursor..*/.st
0c50: 61 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 4f  atic int simpleO
0c60: 70 65 6e 28 0a 20 20 73 71 6c 69 74 65 33 5f 74  pen(.  sqlite3_t
0c70: 6f 6b 65 6e 69 7a 65 72 20 2a 70 54 6f 6b 65 6e  okenizer *pToken
0c80: 69 7a 65 72 2c 20 20 20 20 20 20 20 20 20 2f 2a  izer,         /*
0c90: 20 54 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 2a   The tokenizer *
0ca0: 2f 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a  /.  const char *
0cb0: 70 49 6e 70 75 74 2c 20 69 6e 74 20 6e 42 79 74  pInput, int nByt
0cc0: 65 73 2c 20 20 20 20 20 20 20 20 2f 2a 20 53 74  es,        /* St
0cd0: 72 69 6e 67 20 74 6f 20 62 65 20 74 6f 6b 65 6e  ring to be token
0ce0: 69 7a 65 64 20 2a 2f 0a 20 20 73 71 6c 69 74 65  ized */.  sqlite
0cf0: 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73  3_tokenizer_curs
0d00: 6f 72 20 2a 2a 70 70 43 75 72 73 6f 72 20 20 20  or **ppCursor   
0d10: 20 2f 2a 20 4f 55 54 3a 20 54 6f 6b 65 6e 69 7a   /* OUT: Tokeniz
0d20: 61 74 69 6f 6e 20 63 75 72 73 6f 72 20 2a 2f 0a  ation cursor */.
0d30: 29 7b 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65  ){.  simple_toke
0d40: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63 3b  nizer_cursor *c;
0d50: 0a 0a 20 20 55 4e 55 53 45 44 5f 50 41 52 41 4d  ..  UNUSED_PARAM
0d60: 45 54 45 52 28 70 54 6f 6b 65 6e 69 7a 65 72 29  ETER(pTokenizer)
0d70: 3b 0a 0a 20 20 63 20 3d 20 28 73 69 6d 70 6c 65  ;..  c = (simple
0d80: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f  _tokenizer_curso
0d90: 72 20 2a 29 20 73 71 6c 69 74 65 33 5f 6d 61 6c  r *) sqlite3_mal
0da0: 6c 6f 63 28 73 69 7a 65 6f 66 28 2a 63 29 29 3b  loc(sizeof(*c));
0db0: 0a 20 20 69 66 28 20 63 3d 3d 4e 55 4c 4c 20 29  .  if( c==NULL )
0dc0: 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e   return SQLITE_N
0dd0: 4f 4d 45 4d 3b 0a 0a 20 20 63 2d 3e 70 49 6e 70  OMEM;..  c->pInp
0de0: 75 74 20 3d 20 70 49 6e 70 75 74 3b 0a 20 20 69  ut = pInput;.  i
0df0: 66 28 20 70 49 6e 70 75 74 3d 3d 30 20 29 7b 0a  f( pInput==0 ){.
0e00: 20 20 20 20 63 2d 3e 6e 42 79 74 65 73 20 3d 20      c->nBytes = 
0e10: 30 3b 0a 20 20 7d 65 6c 73 65 20 69 66 28 20 6e  0;.  }else if( n
0e20: 42 79 74 65 73 3c 30 20 29 7b 0a 20 20 20 20 63  Bytes<0 ){.    c
0e30: 2d 3e 6e 42 79 74 65 73 20 3d 20 28 69 6e 74 29  ->nBytes = (int)
0e40: 73 74 72 6c 65 6e 28 70 49 6e 70 75 74 29 3b 0a  strlen(pInput);.
0e50: 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 63 2d 3e    }else{.    c->
0e60: 6e 42 79 74 65 73 20 3d 20 6e 42 79 74 65 73 3b  nBytes = nBytes;
0e70: 0a 20 20 7d 0a 20 20 63 2d 3e 69 4f 66 66 73 65  .  }.  c->iOffse
0e80: 74 20 3d 20 30 3b 20 20 20 20 20 20 20 20 20 20  t = 0;          
0e90: 20 20 20 20 20 20 20 2f 2a 20 73 74 61 72 74 20         /* start 
0ea0: 74 6f 6b 65 6e 69 7a 69 6e 67 20 61 74 20 74 68  tokenizing at th
0eb0: 65 20 62 65 67 69 6e 6e 69 6e 67 20 2a 2f 0a 20  e beginning */. 
0ec0: 20 63 2d 3e 69 54 6f 6b 65 6e 20 3d 20 30 3b 0a   c->iToken = 0;.
0ed0: 20 20 63 2d 3e 70 54 6f 6b 65 6e 20 3d 20 4e 55    c->pToken = NU
0ee0: 4c 4c 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  LL;             
0ef0: 20 20 2f 2a 20 6e 6f 20 73 70 61 63 65 20 61 6c    /* no space al
0f00: 6c 6f 63 61 74 65 64 2c 20 79 65 74 2e 20 2a 2f  located, yet. */
0f10: 0a 20 20 63 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c 6f  .  c->nTokenAllo
0f20: 63 61 74 65 64 20 3d 20 30 3b 0a 0a 20 20 2a 70  cated = 0;..  *p
0f30: 70 43 75 72 73 6f 72 20 3d 20 26 63 2d 3e 62 61  pCursor = &c->ba
0f40: 73 65 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c  se;.  return SQL
0f50: 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a  ITE_OK;.}../*.**
0f60: 20 43 6c 6f 73 65 20 61 20 74 6f 6b 65 6e 69 7a   Close a tokeniz
0f70: 61 74 69 6f 6e 20 63 75 72 73 6f 72 20 70 72 65  ation cursor pre
0f80: 76 69 6f 75 73 6c 79 20 6f 70 65 6e 65 64 20 62  viously opened b
0f90: 79 20 61 20 63 61 6c 6c 20 74 6f 0a 2a 2a 20 73  y a call to.** s
0fa0: 69 6d 70 6c 65 4f 70 65 6e 28 29 20 61 62 6f 76  impleOpen() abov
0fb0: 65 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74  e..*/.static int
0fc0: 20 73 69 6d 70 6c 65 43 6c 6f 73 65 28 73 71 6c   simpleClose(sql
0fd0: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63  ite3_tokenizer_c
0fe0: 75 72 73 6f 72 20 2a 70 43 75 72 73 6f 72 29 7b  ursor *pCursor){
0ff0: 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69  .  simple_tokeni
1000: 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63 20 3d 20  zer_cursor *c = 
1010: 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65  (simple_tokenize
1020: 72 5f 63 75 72 73 6f 72 20 2a 29 20 70 43 75 72  r_cursor *) pCur
1030: 73 6f 72 3b 0a 20 20 73 71 6c 69 74 65 33 5f 66  sor;.  sqlite3_f
1040: 72 65 65 28 63 2d 3e 70 54 6f 6b 65 6e 29 3b 0a  ree(c->pToken);.
1050: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 63    sqlite3_free(c
1060: 29 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49  );.  return SQLI
1070: 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20  TE_OK;.}../*.** 
1080: 45 78 74 72 61 63 74 20 74 68 65 20 6e 65 78 74  Extract the next
1090: 20 74 6f 6b 65 6e 20 66 72 6f 6d 20 61 20 74 6f   token from a to
10a0: 6b 65 6e 69 7a 61 74 69 6f 6e 20 63 75 72 73 6f  kenization curso
10b0: 72 2e 20 20 54 68 65 20 63 75 72 73 6f 72 20 6d  r.  The cursor m
10c0: 75 73 74 0a 2a 2a 20 68 61 76 65 20 62 65 65 6e  ust.** have been
10d0: 20 6f 70 65 6e 65 64 20 62 79 20 61 20 70 72 69   opened by a pri
10e0: 6f 72 20 63 61 6c 6c 20 74 6f 20 73 69 6d 70 6c  or call to simpl
10f0: 65 4f 70 65 6e 28 29 2e 0a 2a 2f 0a 73 74 61 74  eOpen()..*/.stat
1100: 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 4e 65 78  ic int simpleNex
1110: 74 28 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b  t(.  sqlite3_tok
1120: 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 70  enizer_cursor *p
1130: 43 75 72 73 6f 72 2c 20 20 2f 2a 20 43 75 72 73  Cursor,  /* Curs
1140: 6f 72 20 72 65 74 75 72 6e 65 64 20 62 79 20 73  or returned by s
1150: 69 6d 70 6c 65 4f 70 65 6e 20 2a 2f 0a 20 20 63  impleOpen */.  c
1160: 6f 6e 73 74 20 63 68 61 72 20 2a 2a 70 70 54 6f  onst char **ppTo
1170: 6b 65 6e 2c 20 20 20 20 20 20 20 20 20 20 20 20  ken,            
1180: 20 20 20 2f 2a 20 4f 55 54 3a 20 2a 70 70 54 6f     /* OUT: *ppTo
1190: 6b 65 6e 20 69 73 20 74 68 65 20 74 6f 6b 65 6e  ken is the token
11a0: 20 74 65 78 74 20 2a 2f 0a 20 20 69 6e 74 20 2a   text */.  int *
11b0: 70 6e 42 79 74 65 73 2c 20 20 20 20 20 20 20 20  pnBytes,        
11c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f                 /
11d0: 2a 20 4f 55 54 3a 20 4e 75 6d 62 65 72 20 6f 66  * OUT: Number of
11e0: 20 62 79 74 65 73 20 69 6e 20 74 6f 6b 65 6e 20   bytes in token 
11f0: 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 53 74 61 72  */.  int *piStar
1200: 74 4f 66 66 73 65 74 2c 20 20 20 20 20 20 20 20  tOffset,        
1210: 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a           /* OUT:
1220: 20 53 74 61 72 74 69 6e 67 20 6f 66 66 73 65 74   Starting offset
1230: 20 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69   of token */.  i
1240: 6e 74 20 2a 70 69 45 6e 64 4f 66 66 73 65 74 2c  nt *piEndOffset,
1250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1260: 20 20 20 2f 2a 20 4f 55 54 3a 20 45 6e 64 69 6e     /* OUT: Endin
1270: 67 20 6f 66 66 73 65 74 20 6f 66 20 74 6f 6b 65  g offset of toke
1280: 6e 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 50 6f  n */.  int *piPo
1290: 73 69 74 69 6f 6e 20 20 20 20 20 20 20 20 20 20  sition          
12a0: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55             /* OU
12b0: 54 3a 20 50 6f 73 69 74 69 6f 6e 20 69 6e 74 65  T: Position inte
12c0: 67 65 72 20 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a  ger of token */.
12d0: 29 7b 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65  ){.  simple_toke
12e0: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63 20  nizer_cursor *c 
12f0: 3d 20 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69  = (simple_tokeni
1300: 7a 65 72 5f 63 75 72 73 6f 72 20 2a 29 20 70 43  zer_cursor *) pC
1310: 75 72 73 6f 72 3b 0a 20 20 73 69 6d 70 6c 65 5f  ursor;.  simple_
1320: 74 6f 6b 65 6e 69 7a 65 72 20 2a 74 20 3d 20 28  tokenizer *t = (
1330: 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72  simple_tokenizer
1340: 20 2a 29 20 70 43 75 72 73 6f 72 2d 3e 70 54 6f   *) pCursor->pTo
1350: 6b 65 6e 69 7a 65 72 3b 0a 20 20 75 6e 73 69 67  kenizer;.  unsig
1360: 6e 65 64 20 63 68 61 72 20 2a 70 20 3d 20 28 75  ned char *p = (u
1370: 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a 29 63  nsigned char *)c
1380: 2d 3e 70 49 6e 70 75 74 3b 0a 0a 20 20 77 68 69  ->pInput;..  whi
1390: 6c 65 28 20 63 2d 3e 69 4f 66 66 73 65 74 3c 63  le( c->iOffset<c
13a0: 2d 3e 6e 42 79 74 65 73 20 29 7b 0a 20 20 20 20  ->nBytes ){.    
13b0: 69 6e 74 20 69 53 74 61 72 74 4f 66 66 73 65 74  int iStartOffset
13c0: 3b 0a 0a 20 20 20 20 2f 2a 20 53 63 61 6e 20 70  ;..    /* Scan p
13d0: 61 73 74 20 64 65 6c 69 6d 69 74 65 72 20 63 68  ast delimiter ch
13e0: 61 72 61 63 74 65 72 73 20 2a 2f 0a 20 20 20 20  aracters */.    
13f0: 77 68 69 6c 65 28 20 63 2d 3e 69 4f 66 66 73 65  while( c->iOffse
1400: 74 3c 63 2d 3e 6e 42 79 74 65 73 20 26 26 20 73  t<c->nBytes && s
1410: 69 6d 70 6c 65 44 65 6c 69 6d 28 74 2c 20 70 5b  impleDelim(t, p[
1420: 63 2d 3e 69 4f 66 66 73 65 74 5d 29 20 29 7b 0a  c->iOffset]) ){.
1430: 20 20 20 20 20 20 63 2d 3e 69 4f 66 66 73 65 74        c->iOffset
1440: 2b 2b 3b 0a 20 20 20 20 7d 0a 0a 20 20 20 20 2f  ++;.    }..    /
1450: 2a 20 43 6f 75 6e 74 20 6e 6f 6e 2d 64 65 6c 69  * Count non-deli
1460: 6d 69 74 65 72 20 63 68 61 72 61 63 74 65 72 73  miter characters
1470: 2e 20 2a 2f 0a 20 20 20 20 69 53 74 61 72 74 4f  . */.    iStartO
1480: 66 66 73 65 74 20 3d 20 63 2d 3e 69 4f 66 66 73  ffset = c->iOffs
1490: 65 74 3b 0a 20 20 20 20 77 68 69 6c 65 28 20 63  et;.    while( c
14a0: 2d 3e 69 4f 66 66 73 65 74 3c 63 2d 3e 6e 42 79  ->iOffset<c->nBy
14b0: 74 65 73 20 26 26 20 21 73 69 6d 70 6c 65 44 65  tes && !simpleDe
14c0: 6c 69 6d 28 74 2c 20 70 5b 63 2d 3e 69 4f 66 66  lim(t, p[c->iOff
14d0: 73 65 74 5d 29 20 29 7b 0a 20 20 20 20 20 20 63  set]) ){.      c
14e0: 2d 3e 69 4f 66 66 73 65 74 2b 2b 3b 0a 20 20 20  ->iOffset++;.   
14f0: 20 7d 0a 0a 20 20 20 20 69 66 28 20 63 2d 3e 69   }..    if( c->i
1500: 4f 66 66 73 65 74 3e 69 53 74 61 72 74 4f 66 66  Offset>iStartOff
1510: 73 65 74 20 29 7b 0a 20 20 20 20 20 20 69 6e 74  set ){.      int
1520: 20 69 2c 20 6e 20 3d 20 63 2d 3e 69 4f 66 66 73   i, n = c->iOffs
1530: 65 74 2d 69 53 74 61 72 74 4f 66 66 73 65 74 3b  et-iStartOffset;
1540: 0a 20 20 20 20 20 20 69 66 28 20 6e 3e 63 2d 3e  .      if( n>c->
1550: 6e 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 20  nTokenAllocated 
1560: 29 7b 0a 20 20 20 20 20 20 20 20 63 68 61 72 20  ){.        char 
1570: 2a 70 4e 65 77 3b 0a 20 20 20 20 20 20 20 20 63  *pNew;.        c
1580: 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65  ->nTokenAllocate
1590: 64 20 3d 20 6e 2b 32 30 3b 0a 20 20 20 20 20 20  d = n+20;.      
15a0: 20 20 70 4e 65 77 20 3d 20 73 71 6c 69 74 65 33    pNew = sqlite3
15b0: 5f 72 65 61 6c 6c 6f 63 28 63 2d 3e 70 54 6f 6b  _realloc(c->pTok
15c0: 65 6e 2c 20 63 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c  en, c->nTokenAll
15d0: 6f 63 61 74 65 64 29 3b 0a 20 20 20 20 20 20 20  ocated);.       
15e0: 20 69 66 28 20 21 70 4e 65 77 20 29 20 72 65 74   if( !pNew ) ret
15f0: 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d  urn SQLITE_NOMEM
1600: 3b 0a 20 20 20 20 20 20 20 20 63 2d 3e 70 54 6f  ;.        c->pTo
1610: 6b 65 6e 20 3d 20 70 4e 65 77 3b 0a 20 20 20 20  ken = pNew;.    
1620: 20 20 7d 0a 20 20 20 20 20 20 66 6f 72 28 69 3d    }.      for(i=
1630: 30 3b 20 69 3c 6e 3b 20 69 2b 2b 29 7b 0a 20 20  0; i<n; i++){.  
1640: 20 20 20 20 20 20 2f 2a 20 54 4f 44 4f 28 73 68        /* TODO(sh
1650: 65 73 73 29 20 54 68 69 73 20 6e 65 65 64 73 20  ess) This needs 
1660: 65 78 70 61 6e 73 69 6f 6e 20 74 6f 20 68 61 6e  expansion to han
1670: 64 6c 65 20 55 54 46 2d 38 0a 20 20 20 20 20 20  dle UTF-8.      
1680: 20 20 2a 2a 20 63 61 73 65 2d 69 6e 73 65 6e 73    ** case-insens
1690: 69 74 69 76 69 74 79 2e 0a 20 20 20 20 20 20 20  itivity..       
16a0: 20 2a 2f 0a 20 20 20 20 20 20 20 20 75 6e 73 69   */.        unsi
16b0: 67 6e 65 64 20 63 68 61 72 20 63 68 20 3d 20 70  gned char ch = p
16c0: 5b 69 53 74 61 72 74 4f 66 66 73 65 74 2b 69 5d  [iStartOffset+i]
16d0: 3b 0a 20 20 20 20 20 20 20 20 63 2d 3e 70 54 6f  ;.        c->pTo
16e0: 6b 65 6e 5b 69 5d 20 3d 20 28 63 68 61 72 29 28  ken[i] = (char)(
16f0: 28 63 68 3e 3d 27 41 27 20 26 26 20 63 68 3c 3d  (ch>='A' && ch<=
1700: 27 5a 27 29 20 3f 20 63 68 2d 27 41 27 2b 27 61  'Z') ? ch-'A'+'a
1710: 27 20 3a 20 63 68 29 3b 0a 20 20 20 20 20 20 7d  ' : ch);.      }
1720: 0a 20 20 20 20 20 20 2a 70 70 54 6f 6b 65 6e 20  .      *ppToken 
1730: 3d 20 63 2d 3e 70 54 6f 6b 65 6e 3b 0a 20 20 20  = c->pToken;.   
1740: 20 20 20 2a 70 6e 42 79 74 65 73 20 3d 20 6e 3b     *pnBytes = n;
1750: 0a 20 20 20 20 20 20 2a 70 69 53 74 61 72 74 4f  .      *piStartO
1760: 66 66 73 65 74 20 3d 20 69 53 74 61 72 74 4f 66  ffset = iStartOf
1770: 66 73 65 74 3b 0a 20 20 20 20 20 20 2a 70 69 45  fset;.      *piE
1780: 6e 64 4f 66 66 73 65 74 20 3d 20 63 2d 3e 69 4f  ndOffset = c->iO
1790: 66 66 73 65 74 3b 0a 20 20 20 20 20 20 2a 70 69  ffset;.      *pi
17a0: 50 6f 73 69 74 69 6f 6e 20 3d 20 63 2d 3e 69 54  Position = c->iT
17b0: 6f 6b 65 6e 2b 2b 3b 0a 0a 20 20 20 20 20 20 72  oken++;..      r
17c0: 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b  eturn SQLITE_OK;
17d0: 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72 65 74  .    }.  }.  ret
17e0: 75 72 6e 20 53 51 4c 49 54 45 5f 44 4f 4e 45 3b  urn SQLITE_DONE;
17f0: 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 73 65  .}../*.** The se
1800: 74 20 6f 66 20 72 6f 75 74 69 6e 65 73 20 74 68  t of routines th
1810: 61 74 20 69 6d 70 6c 65 6d 65 6e 74 20 74 68 65  at implement the
1820: 20 73 69 6d 70 6c 65 20 74 6f 6b 65 6e 69 7a 65   simple tokenize
1830: 72 0a 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73  r.*/.static cons
1840: 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69  t sqlite3_tokeni
1850: 7a 65 72 5f 6d 6f 64 75 6c 65 20 73 69 6d 70 6c  zer_module simpl
1860: 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65  eTokenizerModule
1870: 20 3d 20 7b 0a 20 20 30 2c 0a 20 20 73 69 6d 70   = {.  0,.  simp
1880: 6c 65 43 72 65 61 74 65 2c 0a 20 20 73 69 6d 70  leCreate,.  simp
1890: 6c 65 44 65 73 74 72 6f 79 2c 0a 20 20 73 69 6d  leDestroy,.  sim
18a0: 70 6c 65 4f 70 65 6e 2c 0a 20 20 73 69 6d 70 6c  pleOpen,.  simpl
18b0: 65 43 6c 6f 73 65 2c 0a 20 20 73 69 6d 70 6c 65  eClose,.  simple
18c0: 4e 65 78 74 2c 0a 7d 3b 0a 0a 2f 2a 0a 2a 2a 20  Next,.};../*.** 
18d0: 41 6c 6c 6f 63 61 74 65 20 61 20 6e 65 77 20 73  Allocate a new s
18e0: 69 6d 70 6c 65 20 74 6f 6b 65 6e 69 7a 65 72 2e  imple tokenizer.
18f0: 20 20 52 65 74 75 72 6e 20 61 20 70 6f 69 6e 74    Return a point
1900: 65 72 20 74 6f 20 74 68 65 20 6e 65 77 0a 2a 2a  er to the new.**
1910: 20 74 6f 6b 65 6e 69 7a 65 72 20 69 6e 20 2a 70   tokenizer in *p
1920: 70 4d 6f 64 75 6c 65 0a 2a 2f 0a 76 6f 69 64 20  pModule.*/.void 
1930: 73 71 6c 69 74 65 33 46 74 73 33 53 69 6d 70 6c  sqlite3Fts3Simpl
1940: 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65  eTokenizerModule
1950: 28 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65  (.  sqlite3_toke
1960: 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 63 6f 6e  nizer_module con
1970: 73 74 2a 2a 70 70 4d 6f 64 75 6c 65 0a 29 7b 0a  st**ppModule.){.
1980: 20 20 2a 70 70 4d 6f 64 75 6c 65 20 3d 20 26 73    *ppModule = &s
1990: 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f  impleTokenizerMo
19a0: 64 75 6c 65 3b 0a 7d 0a 0a 23 65 6e 64 69 66 20  dule;.}..#endif 
19b0: 2f 2a 20 21 64 65 66 69 6e 65 64 28 53 51 4c 49  /* !defined(SQLI
19c0: 54 45 5f 43 4f 52 45 29 20 7c 7c 20 64 65 66 69  TE_CORE) || defi
19d0: 6e 65 64 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c  ned(SQLITE_ENABL
19e0: 45 5f 46 54 53 33 29 20 2a 2f 0a                 E_FTS3) */.