/ Hex Artifact Content
Login

Artifact 9ff7ec66ae3c5c0340fa081958e64f395c71a106:


0000: 2f 2a 0a 2a 2a 20 32 30 30 37 20 4a 75 6e 65 20  /*.** 2007 June 
0010: 32 32 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74  22.**.** The aut
0020: 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f  hor disclaims co
0030: 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20  pyright to this 
0040: 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e  source code.  In
0050: 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c   place of.** a l
0060: 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72  egal notice, her
0070: 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a  e is a blessing:
0080: 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f  .**.**    May yo
0090: 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f  u do good and no
00a0: 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61  t evil..**    Ma
00b0: 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69  y you find forgi
00c0: 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73  veness for yours
00d0: 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20  elf and forgive 
00e0: 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61  others..**    Ma
00f0: 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65  y you share free
0100: 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67  ly, never taking
0110: 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67   more than you g
0120: 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a  ive..**.********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 54 68 69  ******.**.** Thi
0180: 73 20 69 73 20 70 61 72 74 20 6f 66 20 61 6e 20  s is part of an 
0190: 53 51 4c 69 74 65 20 6d 6f 64 75 6c 65 20 69 6d  SQLite module im
01a0: 70 6c 65 6d 65 6e 74 69 6e 67 20 66 75 6c 6c 2d  plementing full-
01b0: 74 65 78 74 20 73 65 61 72 63 68 2e 0a 2a 2a 20  text search..** 
01c0: 54 68 69 73 20 70 61 72 74 69 63 75 6c 61 72 20  This particular 
01d0: 66 69 6c 65 20 69 6d 70 6c 65 6d 65 6e 74 73 20  file implements 
01e0: 74 68 65 20 67 65 6e 65 72 69 63 20 74 6f 6b 65  the generic toke
01f0: 6e 69 7a 65 72 20 69 6e 74 65 72 66 61 63 65 2e  nizer interface.
0200: 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 63  .*/../*.** The c
0210: 6f 64 65 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ode in this file
0220: 20 69 73 20 6f 6e 6c 79 20 63 6f 6d 70 69 6c 65   is only compile
0230: 64 20 69 66 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20  d if:.**.**     
0240: 2a 20 54 68 65 20 46 54 53 33 20 6d 6f 64 75 6c  * The FTS3 modul
0250: 65 20 69 73 20 62 65 69 6e 67 20 62 75 69 6c 74  e is being built
0260: 20 61 73 20 61 6e 20 65 78 74 65 6e 73 69 6f 6e   as an extension
0270: 0a 2a 2a 20 20 20 20 20 20 20 28 69 6e 20 77 68  .**       (in wh
0280: 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45 5f  ich case SQLITE_
0290: 43 4f 52 45 20 69 73 20 6e 6f 74 20 64 65 66 69  CORE is not defi
02a0: 6e 65 64 29 2c 20 6f 72 0a 2a 2a 0a 2a 2a 20 20  ned), or.**.**  
02b0: 20 20 20 2a 20 54 68 65 20 46 54 53 33 20 6d 6f     * The FTS3 mo
02c0: 64 75 6c 65 20 69 73 20 62 65 69 6e 67 20 62 75  dule is being bu
02d0: 69 6c 74 20 69 6e 74 6f 20 74 68 65 20 63 6f 72  ilt into the cor
02e0: 65 20 6f 66 0a 2a 2a 20 20 20 20 20 20 20 53 51  e of.**       SQ
02f0: 4c 69 74 65 20 28 69 6e 20 77 68 69 63 68 20 63  Lite (in which c
0300: 61 73 65 20 53 51 4c 49 54 45 5f 45 4e 41 42 4c  ase SQLITE_ENABL
0310: 45 5f 46 54 53 33 20 69 73 20 64 65 66 69 6e 65  E_FTS3 is define
0320: 64 29 2e 0a 2a 2f 0a 23 69 6e 63 6c 75 64 65 20  d)..*/.#include 
0330: 22 66 74 73 33 49 6e 74 2e 68 22 0a 23 69 66 20  "fts3Int.h".#if 
0340: 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f  !defined(SQLITE_
0350: 43 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e 65 64  CORE) || defined
0360: 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46  (SQLITE_ENABLE_F
0370: 54 53 33 29 0a 0a 23 69 6e 63 6c 75 64 65 20 3c  TS3)..#include <
0380: 61 73 73 65 72 74 2e 68 3e 0a 23 69 6e 63 6c 75  assert.h>.#inclu
0390: 64 65 20 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 2f  de <string.h>../
03a0: 2a 0a 2a 2a 20 49 6d 70 6c 65 6d 65 6e 74 61 74  *.** Implementat
03b0: 69 6f 6e 20 6f 66 20 74 68 65 20 53 51 4c 20 73  ion of the SQL s
03c0: 63 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 66  calar function f
03d0: 6f 72 20 61 63 63 65 73 73 69 6e 67 20 74 68 65  or accessing the
03e0: 20 75 6e 64 65 72 6c 79 69 6e 67 20 0a 2a 2a 20   underlying .** 
03f0: 68 61 73 68 20 74 61 62 6c 65 2e 20 54 68 69 73  hash table. This
0400: 20 66 75 6e 63 74 69 6f 6e 20 6d 61 79 20 62 65   function may be
0410: 20 63 61 6c 6c 65 64 20 61 73 20 66 6f 6c 6c 6f   called as follo
0420: 77 73 3a 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45  ws:.**.**   SELE
0430: 43 54 20 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d  CT <function-nam
0440: 65 3e 28 3c 6b 65 79 2d 6e 61 6d 65 3e 29 3b 0a  e>(<key-name>);.
0450: 2a 2a 20 20 20 53 45 4c 45 43 54 20 3c 66 75 6e  **   SELECT <fun
0460: 63 74 69 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65 79  ction-name>(<key
0470: 2d 6e 61 6d 65 3e 2c 20 3c 70 6f 69 6e 74 65 72  -name>, <pointer
0480: 3e 29 3b 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65 20  >);.**.** where 
0490: 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 20  <function-name> 
04a0: 69 73 20 74 68 65 20 6e 61 6d 65 20 70 61 73 73  is the name pass
04b0: 65 64 20 61 73 20 74 68 65 20 73 65 63 6f 6e 64  ed as the second
04c0: 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f 20   argument.** to 
04d0: 74 68 65 20 73 71 6c 69 74 65 33 46 74 73 33 49  the sqlite3Fts3I
04e0: 6e 69 74 48 61 73 68 54 61 62 6c 65 28 29 20 66  nitHashTable() f
04f0: 75 6e 63 74 69 6f 6e 20 28 65 2e 67 2e 20 27 66  unction (e.g. 'f
0500: 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 27 29 2e  ts3_tokenizer').
0510: 0a 2a 2a 0a 2a 2a 20 49 66 20 74 68 65 20 3c 70  .**.** If the <p
0520: 6f 69 6e 74 65 72 3e 20 61 72 67 75 6d 65 6e 74  ointer> argument
0530: 20 69 73 20 73 70 65 63 69 66 69 65 64 2c 20 69   is specified, i
0540: 74 20 6d 75 73 74 20 62 65 20 61 20 62 6c 6f 62  t must be a blob
0550: 20 76 61 6c 75 65 0a 2a 2a 20 63 6f 6e 74 61 69   value.** contai
0560: 6e 69 6e 67 20 61 20 70 6f 69 6e 74 65 72 20 74  ning a pointer t
0570: 6f 20 62 65 20 73 74 6f 72 65 64 20 61 73 20 74  o be stored as t
0580: 68 65 20 68 61 73 68 20 64 61 74 61 20 63 6f 72  he hash data cor
0590: 72 65 73 70 6f 6e 64 69 6e 67 0a 2a 2a 20 74 6f  responding.** to
05a0: 20 74 68 65 20 73 74 72 69 6e 67 20 3c 6b 65 79   the string <key
05b0: 2d 6e 61 6d 65 3e 2e 20 49 66 20 3c 70 6f 69 6e  -name>. If <poin
05c0: 74 65 72 3e 20 69 73 20 6e 6f 74 20 73 70 65 63  ter> is not spec
05d0: 69 66 69 65 64 2c 20 74 68 65 6e 0a 2a 2a 20 74  ified, then.** t
05e0: 68 65 20 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e  he string <key-n
05f0: 61 6d 65 3e 20 6d 75 73 74 20 61 6c 72 65 61 64  ame> must alread
0600: 79 20 65 78 69 73 74 20 69 6e 20 74 68 65 20 68  y exist in the h
0610: 61 73 20 74 61 62 6c 65 2e 20 4f 74 68 65 72 77  as table. Otherw
0620: 69 73 65 2c 0a 2a 2a 20 61 6e 20 65 72 72 6f 72  ise,.** an error
0630: 20 69 73 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a   is returned..**
0640: 0a 2a 2a 20 57 68 65 74 68 65 72 20 6f 72 20 6e  .** Whether or n
0650: 6f 74 20 74 68 65 20 3c 70 6f 69 6e 74 65 72 3e  ot the <pointer>
0660: 20 61 72 67 75 6d 65 6e 74 20 69 73 20 73 70 65   argument is spe
0670: 63 69 66 69 65 64 2c 20 74 68 65 20 76 61 6c 75  cified, the valu
0680: 65 20 72 65 74 75 72 6e 65 64 0a 2a 2a 20 69 73  e returned.** is
0690: 20 61 20 62 6c 6f 62 20 63 6f 6e 74 61 69 6e 69   a blob containi
06a0: 6e 67 20 74 68 65 20 70 6f 69 6e 74 65 72 20 73  ng the pointer s
06b0: 74 6f 72 65 64 20 61 73 20 74 68 65 20 68 61 73  tored as the has
06c0: 68 20 64 61 74 61 20 63 6f 72 72 65 73 70 6f 6e  h data correspon
06d0: 64 69 6e 67 0a 2a 2a 20 74 6f 20 73 74 72 69 6e  ding.** to strin
06e0: 67 20 3c 6b 65 79 2d 6e 61 6d 65 3e 20 28 61 66  g <key-name> (af
06f0: 74 65 72 20 74 68 65 20 68 61 73 68 2d 74 61 62  ter the hash-tab
0700: 6c 65 20 69 73 20 75 70 64 61 74 65 64 2c 20 69  le is updated, i
0710: 66 20 61 70 70 6c 69 63 61 62 6c 65 29 2e 0a 2a  f applicable)..*
0720: 2f 0a 73 74 61 74 69 63 20 76 6f 69 64 20 73 63  /.static void sc
0730: 61 6c 61 72 46 75 6e 63 28 0a 20 20 73 71 6c 69  alarFunc(.  sqli
0740: 74 65 33 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e  te3_context *con
0750: 74 65 78 74 2c 0a 20 20 69 6e 74 20 61 72 67 63  text,.  int argc
0760: 2c 0a 20 20 73 71 6c 69 74 65 33 5f 76 61 6c 75  ,.  sqlite3_valu
0770: 65 20 2a 2a 61 72 67 76 0a 29 7b 0a 20 20 46 74  e **argv.){.  Ft
0780: 73 33 48 61 73 68 20 2a 70 48 61 73 68 3b 0a 20  s3Hash *pHash;. 
0790: 20 76 6f 69 64 20 2a 70 50 74 72 20 3d 20 30 3b   void *pPtr = 0;
07a0: 0a 20 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65  .  const unsigne
07b0: 64 20 63 68 61 72 20 2a 7a 4e 61 6d 65 3b 0a 20  d char *zName;. 
07c0: 20 69 6e 74 20 6e 4e 61 6d 65 3b 0a 0a 20 20 61   int nName;..  a
07d0: 73 73 65 72 74 28 20 61 72 67 63 3d 3d 31 20 7c  ssert( argc==1 |
07e0: 7c 20 61 72 67 63 3d 3d 32 20 29 3b 0a 0a 20 20  | argc==2 );..  
07f0: 70 48 61 73 68 20 3d 20 28 46 74 73 33 48 61 73  pHash = (Fts3Has
0800: 68 20 2a 29 73 71 6c 69 74 65 33 5f 75 73 65 72  h *)sqlite3_user
0810: 5f 64 61 74 61 28 63 6f 6e 74 65 78 74 29 3b 0a  _data(context);.
0820: 0a 20 20 7a 4e 61 6d 65 20 3d 20 73 71 6c 69 74  .  zName = sqlit
0830: 65 33 5f 76 61 6c 75 65 5f 74 65 78 74 28 61 72  e3_value_text(ar
0840: 67 76 5b 30 5d 29 3b 0a 20 20 6e 4e 61 6d 65 20  gv[0]);.  nName 
0850: 3d 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f  = sqlite3_value_
0860: 62 79 74 65 73 28 61 72 67 76 5b 30 5d 29 2b 31  bytes(argv[0])+1
0870: 3b 0a 0a 20 20 69 66 28 20 61 72 67 63 3d 3d 32  ;..  if( argc==2
0880: 20 29 7b 0a 20 20 20 20 76 6f 69 64 20 2a 70 4f   ){.    void *pO
0890: 6c 64 3b 0a 20 20 20 20 69 6e 74 20 6e 20 3d 20  ld;.    int n = 
08a0: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 62 79  sqlite3_value_by
08b0: 74 65 73 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20  tes(argv[1]);.  
08c0: 20 20 69 66 28 20 6e 21 3d 73 69 7a 65 6f 66 28    if( n!=sizeof(
08d0: 70 50 74 72 29 20 29 7b 0a 20 20 20 20 20 20 73  pPtr) ){.      s
08e0: 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65 72  qlite3_result_er
08f0: 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22 61 72  ror(context, "ar
0900: 67 75 6d 65 6e 74 20 74 79 70 65 20 6d 69 73 6d  gument type mism
0910: 61 74 63 68 22 2c 20 2d 31 29 3b 0a 20 20 20 20  atch", -1);.    
0920: 20 20 72 65 74 75 72 6e 3b 0a 20 20 20 20 7d 0a    return;.    }.
0930: 20 20 20 20 70 50 74 72 20 3d 20 2a 28 76 6f 69      pPtr = *(voi
0940: 64 20 2a 2a 29 73 71 6c 69 74 65 33 5f 76 61 6c  d **)sqlite3_val
0950: 75 65 5f 62 6c 6f 62 28 61 72 67 76 5b 31 5d 29  ue_blob(argv[1])
0960: 3b 0a 20 20 20 20 70 4f 6c 64 20 3d 20 73 71 6c  ;.    pOld = sql
0970: 69 74 65 33 46 74 73 33 48 61 73 68 49 6e 73 65  ite3Fts3HashInse
0980: 72 74 28 70 48 61 73 68 2c 20 28 76 6f 69 64 20  rt(pHash, (void 
0990: 2a 29 7a 4e 61 6d 65 2c 20 6e 4e 61 6d 65 2c 20  *)zName, nName, 
09a0: 70 50 74 72 29 3b 0a 20 20 20 20 69 66 28 20 70  pPtr);.    if( p
09b0: 4f 6c 64 3d 3d 70 50 74 72 20 29 7b 0a 20 20 20  Old==pPtr ){.   
09c0: 20 20 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c     sqlite3_resul
09d0: 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c  t_error(context,
09e0: 20 22 6f 75 74 20 6f 66 20 6d 65 6d 6f 72 79 22   "out of memory"
09f0: 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20 72 65 74  , -1);.      ret
0a00: 75 72 6e 3b 0a 20 20 20 20 7d 0a 20 20 7d 65 6c  urn;.    }.  }el
0a10: 73 65 7b 0a 20 20 20 20 70 50 74 72 20 3d 20 73  se{.    pPtr = s
0a20: 71 6c 69 74 65 33 46 74 73 33 48 61 73 68 46 69  qlite3Fts3HashFi
0a30: 6e 64 28 70 48 61 73 68 2c 20 7a 4e 61 6d 65 2c  nd(pHash, zName,
0a40: 20 6e 4e 61 6d 65 29 3b 0a 20 20 20 20 69 66 28   nName);.    if(
0a50: 20 21 70 50 74 72 20 29 7b 0a 20 20 20 20 20 20   !pPtr ){.      
0a60: 63 68 61 72 20 2a 7a 45 72 72 20 3d 20 73 71 6c  char *zErr = sql
0a70: 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 75 6e  ite3_mprintf("un
0a80: 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a  known tokenizer:
0a90: 20 25 73 22 2c 20 7a 4e 61 6d 65 29 3b 0a 20 20   %s", zName);.  
0aa0: 20 20 20 20 73 71 6c 69 74 65 33 5f 72 65 73 75      sqlite3_resu
0ab0: 6c 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65 78 74  lt_error(context
0ac0: 2c 20 7a 45 72 72 2c 20 2d 31 29 3b 0a 20 20 20  , zErr, -1);.   
0ad0: 20 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28     sqlite3_free(
0ae0: 7a 45 72 72 29 3b 0a 20 20 20 20 20 20 72 65 74  zErr);.      ret
0af0: 75 72 6e 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a  urn;.    }.  }..
0b00: 20 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74    sqlite3_result
0b10: 5f 62 6c 6f 62 28 63 6f 6e 74 65 78 74 2c 20 28  _blob(context, (
0b20: 76 6f 69 64 20 2a 29 26 70 50 74 72 2c 20 73 69  void *)&pPtr, si
0b30: 7a 65 6f 66 28 70 50 74 72 29 2c 20 53 51 4c 49  zeof(pPtr), SQLI
0b40: 54 45 5f 54 52 41 4e 53 49 45 4e 54 29 3b 0a 7d  TE_TRANSIENT);.}
0b50: 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73  ..int sqlite3Fts
0b60: 33 49 73 49 64 43 68 61 72 28 63 68 61 72 20 63  3IsIdChar(char c
0b70: 29 7b 0a 20 20 73 74 61 74 69 63 20 63 6f 6e 73  ){.  static cons
0b80: 74 20 63 68 61 72 20 69 73 46 74 73 49 64 43 68  t char isFtsIdCh
0b90: 61 72 5b 5d 20 3d 20 7b 0a 20 20 20 20 20 20 30  ar[] = {.      0
0ba0: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0bb0: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0bc0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20  0, 0, 0, 0, 0,  
0bd0: 2f 2a 20 30 78 20 2a 2f 0a 20 20 20 20 20 20 30  /* 0x */.      0
0be0: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0bf0: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0c00: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20  0, 0, 0, 0, 0,  
0c10: 2f 2a 20 31 78 20 2a 2f 0a 20 20 20 20 20 20 30  /* 1x */.      0
0c20: 2c 20 30 2c 20 30 2c 20 30 2c 20 31 2c 20 30 2c  , 0, 0, 0, 1, 0,
0c30: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0c40: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20  0, 0, 0, 0, 0,  
0c50: 2f 2a 20 32 78 20 2a 2f 0a 20 20 20 20 20 20 31  /* 2x */.      1
0c60: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0c70: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20   1, 1, 1, 1, 0, 
0c80: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20  0, 0, 0, 0, 0,  
0c90: 2f 2a 20 33 78 20 2a 2f 0a 20 20 20 20 20 20 30  /* 3x */.      0
0ca0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0cb0: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20   1, 1, 1, 1, 1, 
0cc0: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 20  1, 1, 1, 1, 1,  
0cd0: 2f 2a 20 34 78 20 2a 2f 0a 20 20 20 20 20 20 31  /* 4x */.      1
0ce0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0cf0: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20   1, 1, 1, 1, 1, 
0d00: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 31 2c 20 20  0, 0, 0, 0, 1,  
0d10: 2f 2a 20 35 78 20 2a 2f 0a 20 20 20 20 20 20 30  /* 5x */.      0
0d20: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0d30: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20   1, 1, 1, 1, 1, 
0d40: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 20  1, 1, 1, 1, 1,  
0d50: 2f 2a 20 36 78 20 2a 2f 0a 20 20 20 20 20 20 31  /* 6x */.      1
0d60: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0d70: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20   1, 1, 1, 1, 1, 
0d80: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20  0, 0, 0, 0, 0,  
0d90: 2f 2a 20 37 78 20 2a 2f 0a 20 20 7d 3b 0a 20 20  /* 7x */.  };.  
0da0: 72 65 74 75 72 6e 20 28 63 26 30 78 38 30 20 7c  return (c&0x80 |
0db0: 7c 20 69 73 46 74 73 49 64 43 68 61 72 5b 28 69  | isFtsIdChar[(i
0dc0: 6e 74 29 28 63 29 5d 29 3b 0a 7d 0a 0a 63 6f 6e  nt)(c)]);.}..con
0dd0: 73 74 20 63 68 61 72 20 2a 73 71 6c 69 74 65 33  st char *sqlite3
0de0: 46 74 73 33 4e 65 78 74 54 6f 6b 65 6e 28 63 6f  Fts3NextToken(co
0df0: 6e 73 74 20 63 68 61 72 20 2a 7a 53 74 72 2c 20  nst char *zStr, 
0e00: 69 6e 74 20 2a 70 6e 29 7b 0a 20 20 63 6f 6e 73  int *pn){.  cons
0e10: 74 20 63 68 61 72 20 2a 7a 31 3b 0a 20 20 63 6f  t char *z1;.  co
0e20: 6e 73 74 20 63 68 61 72 20 2a 7a 32 20 3d 20 30  nst char *z2 = 0
0e30: 3b 0a 0a 20 20 2f 2a 20 46 69 6e 64 20 74 68 65  ;..  /* Find the
0e40: 20 73 74 61 72 74 20 6f 66 20 74 68 65 20 6e 65   start of the ne
0e50: 78 74 20 74 6f 6b 65 6e 2e 20 2a 2f 0a 20 20 7a  xt token. */.  z
0e60: 31 20 3d 20 7a 53 74 72 3b 0a 20 20 77 68 69 6c  1 = zStr;.  whil
0e70: 65 28 20 7a 32 3d 3d 30 20 29 7b 0a 20 20 20 20  e( z2==0 ){.    
0e80: 63 68 61 72 20 63 20 3d 20 2a 7a 31 3b 0a 20 20  char c = *z1;.  
0e90: 20 20 73 77 69 74 63 68 28 20 63 20 29 7b 0a 20    switch( c ){. 
0ea0: 20 20 20 20 20 63 61 73 65 20 27 5c 30 27 3a 20       case '\0': 
0eb0: 72 65 74 75 72 6e 20 30 3b 20 20 20 20 20 20 20  return 0;       
0ec0: 20 2f 2a 20 4e 6f 20 6d 6f 72 65 20 74 6f 6b 65   /* No more toke
0ed0: 6e 73 20 68 65 72 65 20 2a 2f 0a 20 20 20 20 20  ns here */.     
0ee0: 20 63 61 73 65 20 27 5c 27 27 3a 0a 20 20 20 20   case '\'':.    
0ef0: 20 20 63 61 73 65 20 27 22 27 3a 0a 20 20 20 20    case '"':.    
0f00: 20 20 63 61 73 65 20 27 60 27 3a 20 7b 0a 20 20    case '`': {.  
0f10: 20 20 20 20 20 20 7a 32 20 3d 20 7a 31 3b 0a 20        z2 = z1;. 
0f20: 20 20 20 20 20 20 20 77 68 69 6c 65 28 20 2a 2b         while( *+
0f30: 2b 7a 32 20 26 26 20 28 2a 7a 32 21 3d 63 20 7c  +z2 && (*z2!=c |
0f40: 7c 20 2a 2b 2b 7a 32 3d 3d 63 29 20 29 3b 0a 20  | *++z2==c) );. 
0f50: 20 20 20 20 20 20 20 62 72 65 61 6b 3b 0a 20 20         break;.  
0f60: 20 20 20 20 7d 0a 20 20 20 20 20 20 63 61 73 65      }.      case
0f70: 20 27 5b 27 3a 0a 20 20 20 20 20 20 20 20 7a 32   '[':.        z2
0f80: 20 3d 20 26 7a 31 5b 31 5d 3b 0a 20 20 20 20 20   = &z1[1];.     
0f90: 20 20 20 77 68 69 6c 65 28 20 2a 7a 32 20 26 26     while( *z2 &&
0fa0: 20 7a 32 5b 30 5d 21 3d 27 5d 27 20 29 20 7a 32   z2[0]!=']' ) z2
0fb0: 2b 2b 3b 0a 20 20 20 20 20 20 20 20 69 66 28 20  ++;.        if( 
0fc0: 2a 7a 32 20 29 20 7a 32 2b 2b 3b 0a 20 20 20 20  *z2 ) z2++;.    
0fd0: 20 20 20 20 62 72 65 61 6b 3b 0a 0a 20 20 20 20      break;..    
0fe0: 20 20 64 65 66 61 75 6c 74 3a 0a 20 20 20 20 20    default:.     
0ff0: 20 20 20 69 66 28 20 73 71 6c 69 74 65 33 46 74     if( sqlite3Ft
1000: 73 33 49 73 49 64 43 68 61 72 28 2a 7a 31 29 20  s3IsIdChar(*z1) 
1010: 29 7b 0a 20 20 20 20 20 20 20 20 20 20 7a 32 20  ){.          z2 
1020: 3d 20 26 7a 31 5b 31 5d 3b 0a 20 20 20 20 20 20  = &z1[1];.      
1030: 20 20 20 20 77 68 69 6c 65 28 20 73 71 6c 69 74      while( sqlit
1040: 65 33 46 74 73 33 49 73 49 64 43 68 61 72 28 2a  e3Fts3IsIdChar(*
1050: 7a 32 29 20 29 20 7a 32 2b 2b 3b 0a 20 20 20 20  z2) ) z2++;.    
1060: 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20      }else{.     
1070: 20 20 20 20 20 7a 31 2b 2b 3b 0a 20 20 20 20 20       z1++;.     
1080: 20 20 20 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a     }.    }.  }..
1090: 20 20 2a 70 6e 20 3d 20 28 69 6e 74 29 28 7a 32    *pn = (int)(z2
10a0: 2d 7a 31 29 3b 0a 20 20 72 65 74 75 72 6e 20 7a  -z1);.  return z
10b0: 31 3b 0a 7d 0a 0a 69 6e 74 20 73 71 6c 69 74 65  1;.}..int sqlite
10c0: 33 46 74 73 33 49 6e 69 74 54 6f 6b 65 6e 69 7a  3Fts3InitTokeniz
10d0: 65 72 28 0a 20 20 46 74 73 33 48 61 73 68 20 2a  er(.  Fts3Hash *
10e0: 70 48 61 73 68 2c 20 20 20 20 20 20 20 20 20 20  pHash,          
10f0: 20 20 20 20 20 20 2f 2a 20 54 6f 6b 65 6e 69 7a        /* Tokeniz
1100: 65 72 20 68 61 73 68 20 74 61 62 6c 65 20 2a 2f  er hash table */
1110: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a  .  const char *z
1120: 41 72 67 2c 20 20 20 20 20 20 20 20 20 20 20 20  Arg,            
1130: 20 20 20 2f 2a 20 54 6f 6b 65 6e 69 7a 65 72 20     /* Tokenizer 
1140: 6e 61 6d 65 20 2a 2f 0a 20 20 73 71 6c 69 74 65  name */.  sqlite
1150: 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 2a 70 70  3_tokenizer **pp
1160: 54 6f 6b 2c 20 20 20 20 20 20 2f 2a 20 4f 55 54  Tok,      /* OUT
1170: 3a 20 54 6f 6b 65 6e 69 7a 65 72 20 28 69 66 20  : Tokenizer (if 
1180: 61 70 70 6c 69 63 61 62 6c 65 29 20 2a 2f 0a 20  applicable) */. 
1190: 20 63 68 61 72 20 2a 2a 70 7a 45 72 72 20 20 20   char **pzErr   
11a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11b0: 20 2f 2a 20 4f 55 54 3a 20 53 65 74 20 74 6f 20   /* OUT: Set to 
11c0: 6d 61 6c 6c 6f 63 65 64 20 65 72 72 6f 72 20 6d  malloced error m
11d0: 65 73 73 61 67 65 20 2a 2f 0a 29 7b 0a 20 20 69  essage */.){.  i
11e0: 6e 74 20 72 63 3b 0a 20 20 63 68 61 72 20 2a 7a  nt rc;.  char *z
11f0: 20 3d 20 28 63 68 61 72 20 2a 29 7a 41 72 67 3b   = (char *)zArg;
1200: 0a 20 20 69 6e 74 20 6e 20 3d 20 30 3b 0a 20 20  .  int n = 0;.  
1210: 63 68 61 72 20 2a 7a 43 6f 70 79 3b 0a 20 20 63  char *zCopy;.  c
1220: 68 61 72 20 2a 7a 45 6e 64 3b 20 20 20 20 20 20  har *zEnd;      
1230: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f                 /
1240: 2a 20 50 6f 69 6e 74 65 72 20 74 6f 20 6e 75 6c  * Pointer to nul
1250: 2d 74 65 72 6d 20 6f 66 20 7a 43 6f 70 79 20 2a  -term of zCopy *
1260: 2f 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65  /.  sqlite3_toke
1270: 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 6d 3b  nizer_module *m;
1280: 0a 0a 20 20 7a 43 6f 70 79 20 3d 20 73 71 6c 69  ..  zCopy = sqli
1290: 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 25 73 22  te3_mprintf("%s"
12a0: 2c 20 7a 41 72 67 29 3b 0a 20 20 69 66 28 20 21  , zArg);.  if( !
12b0: 7a 43 6f 70 79 20 29 20 72 65 74 75 72 6e 20 53  zCopy ) return S
12c0: 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7a  QLITE_NOMEM;.  z
12d0: 45 6e 64 20 3d 20 26 7a 43 6f 70 79 5b 73 74 72  End = &zCopy[str
12e0: 6c 65 6e 28 7a 43 6f 70 79 29 5d 3b 0a 0a 20 20  len(zCopy)];..  
12f0: 7a 20 3d 20 28 63 68 61 72 20 2a 29 73 71 6c 69  z = (char *)sqli
1300: 74 65 33 46 74 73 33 4e 65 78 74 54 6f 6b 65 6e  te3Fts3NextToken
1310: 28 7a 43 6f 70 79 2c 20 26 6e 29 3b 0a 20 20 7a  (zCopy, &n);.  z
1320: 5b 6e 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 73 71  [n] = '\0';.  sq
1330: 6c 69 74 65 33 46 74 73 33 44 65 71 75 6f 74 65  lite3Fts3Dequote
1340: 28 7a 29 3b 0a 0a 20 20 6d 20 3d 20 28 73 71 6c  (z);..  m = (sql
1350: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d  ite3_tokenizer_m
1360: 6f 64 75 6c 65 20 2a 29 73 71 6c 69 74 65 33 46  odule *)sqlite3F
1370: 74 73 33 48 61 73 68 46 69 6e 64 28 70 48 61 73  ts3HashFind(pHas
1380: 68 2c 7a 2c 28 69 6e 74 29 73 74 72 6c 65 6e 28  h,z,(int)strlen(
1390: 7a 29 2b 31 29 3b 0a 20 20 69 66 28 20 21 6d 20  z)+1);.  if( !m 
13a0: 29 7b 0a 20 20 20 20 2a 70 7a 45 72 72 20 3d 20  ){.    *pzErr = 
13b0: 73 71 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28  sqlite3_mprintf(
13c0: 22 75 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a  "unknown tokeniz
13d0: 65 72 3a 20 25 73 22 2c 20 7a 29 3b 0a 20 20 20  er: %s", z);.   
13e0: 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 45 52 52   rc = SQLITE_ERR
13f0: 4f 52 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20  OR;.  }else{.   
1400: 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 2a 61 41   char const **aA
1410: 72 67 20 3d 20 30 3b 0a 20 20 20 20 69 6e 74 20  rg = 0;.    int 
1420: 69 41 72 67 20 3d 20 30 3b 0a 20 20 20 20 7a 20  iArg = 0;.    z 
1430: 3d 20 26 7a 5b 6e 2b 31 5d 3b 0a 20 20 20 20 77  = &z[n+1];.    w
1440: 68 69 6c 65 28 20 7a 3c 7a 45 6e 64 20 26 26 20  hile( z<zEnd && 
1450: 28 4e 55 4c 4c 21 3d 28 7a 20 3d 20 28 63 68 61  (NULL!=(z = (cha
1460: 72 20 2a 29 73 71 6c 69 74 65 33 46 74 73 33 4e  r *)sqlite3Fts3N
1470: 65 78 74 54 6f 6b 65 6e 28 7a 2c 20 26 6e 29 29  extToken(z, &n))
1480: 29 20 29 7b 0a 20 20 20 20 20 20 69 6e 74 20 6e  ) ){.      int n
1490: 4e 65 77 20 3d 20 73 69 7a 65 6f 66 28 63 68 61  New = sizeof(cha
14a0: 72 20 2a 29 2a 28 69 41 72 67 2b 31 29 3b 0a 20  r *)*(iArg+1);. 
14b0: 20 20 20 20 20 63 68 61 72 20 63 6f 6e 73 74 20       char const 
14c0: 2a 2a 61 4e 65 77 20 3d 20 28 63 6f 6e 73 74 20  **aNew = (const 
14d0: 63 68 61 72 20 2a 2a 29 73 71 6c 69 74 65 33 5f  char **)sqlite3_
14e0: 72 65 61 6c 6c 6f 63 28 28 76 6f 69 64 20 2a 29  realloc((void *)
14f0: 61 41 72 67 2c 20 6e 4e 65 77 29 3b 0a 20 20 20  aArg, nNew);.   
1500: 20 20 20 69 66 28 20 21 61 4e 65 77 20 29 7b 0a     if( !aNew ){.
1510: 20 20 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f          sqlite3_
1520: 66 72 65 65 28 7a 43 6f 70 79 29 3b 0a 20 20 20  free(zCopy);.   
1530: 20 20 20 20 20 73 71 6c 69 74 65 33 5f 66 72 65       sqlite3_fre
1540: 65 28 28 76 6f 69 64 20 2a 29 61 41 72 67 29 3b  e((void *)aArg);
1550: 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20  .        return 
1560: 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20  SQLITE_NOMEM;.  
1570: 20 20 20 20 7d 0a 20 20 20 20 20 20 61 41 72 67      }.      aArg
1580: 20 3d 20 61 4e 65 77 3b 0a 20 20 20 20 20 20 61   = aNew;.      a
1590: 41 72 67 5b 69 41 72 67 2b 2b 5d 20 3d 20 7a 3b  Arg[iArg++] = z;
15a0: 0a 20 20 20 20 20 20 7a 5b 6e 5d 20 3d 20 27 5c  .      z[n] = '\
15b0: 30 27 3b 0a 20 20 20 20 20 20 73 71 6c 69 74 65  0';.      sqlite
15c0: 33 46 74 73 33 44 65 71 75 6f 74 65 28 7a 29 3b  3Fts3Dequote(z);
15d0: 0a 20 20 20 20 20 20 7a 20 3d 20 26 7a 5b 6e 2b  .      z = &z[n+
15e0: 31 5d 3b 0a 20 20 20 20 7d 0a 20 20 20 20 72 63  1];.    }.    rc
15f0: 20 3d 20 6d 2d 3e 78 43 72 65 61 74 65 28 69 41   = m->xCreate(iA
1600: 72 67 2c 20 61 41 72 67 2c 20 70 70 54 6f 6b 29  rg, aArg, ppTok)
1610: 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 72 63  ;.    assert( rc
1620: 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 7c 7c 20 2a  !=SQLITE_OK || *
1630: 70 70 54 6f 6b 20 29 3b 0a 20 20 20 20 69 66 28  ppTok );.    if(
1640: 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29   rc!=SQLITE_OK )
1650: 7b 0a 20 20 20 20 20 20 2a 70 7a 45 72 72 20 3d  {.      *pzErr =
1660: 20 73 71 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66   sqlite3_mprintf
1670: 28 22 75 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69  ("unknown tokeni
1680: 7a 65 72 22 29 3b 0a 20 20 20 20 7d 65 6c 73 65  zer");.    }else
1690: 7b 0a 20 20 20 20 20 20 28 2a 70 70 54 6f 6b 29  {.      (*ppTok)
16a0: 2d 3e 70 4d 6f 64 75 6c 65 20 3d 20 6d 3b 20 0a  ->pModule = m; .
16b0: 20 20 20 20 7d 0a 20 20 20 20 73 71 6c 69 74 65      }.    sqlite
16c0: 33 5f 66 72 65 65 28 28 76 6f 69 64 20 2a 29 61  3_free((void *)a
16d0: 41 72 67 29 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c  Arg);.  }..  sql
16e0: 69 74 65 33 5f 66 72 65 65 28 7a 43 6f 70 79 29  ite3_free(zCopy)
16f0: 3b 0a 20 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d  ;.  return rc;.}
1700: 0a 0a 0a 23 69 66 64 65 66 20 53 51 4c 49 54 45  ...#ifdef SQLITE
1710: 5f 54 45 53 54 0a 0a 23 69 6e 63 6c 75 64 65 20  _TEST..#include 
1720: 3c 74 63 6c 2e 68 3e 0a 23 69 6e 63 6c 75 64 65  <tcl.h>.#include
1730: 20 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 2f 2a 0a   <string.h>../*.
1740: 2a 2a 20 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f  ** Implementatio
1750: 6e 20 6f 66 20 61 20 73 70 65 63 69 61 6c 20 53  n of a special S
1760: 51 4c 20 73 63 61 6c 61 72 20 66 75 6e 63 74 69  QL scalar functi
1770: 6f 6e 20 66 6f 72 20 74 65 73 74 69 6e 67 20 74  on for testing t
1780: 6f 6b 65 6e 69 7a 65 72 73 20 0a 2a 2a 20 64 65  okenizers .** de
1790: 73 69 67 6e 65 64 20 74 6f 20 62 65 20 75 73 65  signed to be use
17a0: 64 20 69 6e 20 63 6f 6e 63 65 72 74 20 77 69 74  d in concert wit
17b0: 68 20 74 68 65 20 54 63 6c 20 74 65 73 74 69 6e  h the Tcl testin
17c0: 67 20 66 72 61 6d 65 77 6f 72 6b 2e 20 54 68 69  g framework. Thi
17d0: 73 0a 2a 2a 20 66 75 6e 63 74 69 6f 6e 20 6d 75  s.** function mu
17e0: 73 74 20 62 65 20 63 61 6c 6c 65 64 20 77 69 74  st be called wit
17f0: 68 20 74 77 6f 20 61 72 67 75 6d 65 6e 74 73 3a  h two arguments:
1800: 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45 43 54 20  .**.**   SELECT 
1810: 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 28  <function-name>(
1820: 3c 6b 65 79 2d 6e 61 6d 65 3e 2c 20 3c 69 6e 70  <key-name>, <inp
1830: 75 74 2d 73 74 72 69 6e 67 3e 29 3b 0a 2a 2a 20  ut-string>);.** 
1840: 20 20 53 45 4c 45 43 54 20 3c 66 75 6e 63 74 69    SELECT <functi
1850: 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65 79 2d 6e 61  on-name>(<key-na
1860: 6d 65 3e 2c 20 3c 70 6f 69 6e 74 65 72 3e 29 3b  me>, <pointer>);
1870: 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65 20 3c 66 75  .**.** where <fu
1880: 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 20 69 73 20  nction-name> is 
1890: 74 68 65 20 6e 61 6d 65 20 70 61 73 73 65 64 20  the name passed 
18a0: 61 73 20 74 68 65 20 73 65 63 6f 6e 64 20 61 72  as the second ar
18b0: 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f 20 74 68 65  gument.** to the
18c0: 20 73 71 6c 69 74 65 33 46 74 73 33 49 6e 69 74   sqlite3Fts3Init
18d0: 48 61 73 68 54 61 62 6c 65 28 29 20 66 75 6e 63  HashTable() func
18e0: 74 69 6f 6e 20 28 65 2e 67 2e 20 27 66 74 73 33  tion (e.g. 'fts3
18f0: 5f 74 6f 6b 65 6e 69 7a 65 72 27 29 0a 2a 2a 20  _tokenizer').** 
1900: 63 6f 6e 63 61 74 65 6e 61 74 65 64 20 77 69 74  concatenated wit
1910: 68 20 74 68 65 20 73 74 72 69 6e 67 20 27 5f 74  h the string '_t
1920: 65 73 74 27 20 28 65 2e 67 2e 20 27 66 74 73 33  est' (e.g. 'fts3
1930: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 74 65 73 74 27  _tokenizer_test'
1940: 29 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 72 65 74  )..**.** The ret
1950: 75 72 6e 20 76 61 6c 75 65 20 69 73 20 61 20 73  urn value is a s
1960: 74 72 69 6e 67 20 74 68 61 74 20 6d 61 79 20 62  tring that may b
1970: 65 20 69 6e 74 65 72 70 72 65 74 65 64 20 61 73  e interpreted as
1980: 20 61 20 54 63 6c 0a 2a 2a 20 6c 69 73 74 2e 20   a Tcl.** list. 
1990: 46 6f 72 20 65 61 63 68 20 74 6f 6b 65 6e 20 69  For each token i
19a0: 6e 20 74 68 65 20 3c 69 6e 70 75 74 2d 73 74 72  n the <input-str
19b0: 69 6e 67 3e 2c 20 74 68 72 65 65 20 65 6c 65 6d  ing>, three elem
19c0: 65 6e 74 73 20 61 72 65 0a 2a 2a 20 61 64 64 65  ents are.** adde
19d0: 64 20 74 6f 20 74 68 65 20 72 65 74 75 72 6e 65  d to the returne
19e0: 64 20 6c 69 73 74 2e 20 54 68 65 20 66 69 72 73  d list. The firs
19f0: 74 20 69 73 20 74 68 65 20 74 6f 6b 65 6e 20 70  t is the token p
1a00: 6f 73 69 74 69 6f 6e 2c 20 74 68 65 20 0a 2a 2a  osition, the .**
1a10: 20 73 65 63 6f 6e 64 20 69 73 20 74 68 65 20 74   second is the t
1a20: 6f 6b 65 6e 20 74 65 78 74 20 28 66 6f 6c 64 65  oken text (folde
1a30: 64 2c 20 73 74 65 6d 6d 65 64 2c 20 65 74 63 2e  d, stemmed, etc.
1a40: 29 20 61 6e 64 20 74 68 65 20 74 68 69 72 64 20  ) and the third 
1a50: 69 73 20 74 68 65 0a 2a 2a 20 73 75 62 73 74 72  is the.** substr
1a60: 69 6e 67 20 6f 66 20 3c 69 6e 70 75 74 2d 73 74  ing of <input-st
1a70: 72 69 6e 67 3e 20 61 73 73 6f 63 69 61 74 65 64  ring> associated
1a80: 20 77 69 74 68 20 74 68 65 20 74 6f 6b 65 6e 2e   with the token.
1a90: 20 46 6f 72 20 65 78 61 6d 70 6c 65 2c 20 0a 2a   For example, .*
1aa0: 2a 20 75 73 69 6e 67 20 74 68 65 20 62 75 69 6c  * using the buil
1ab0: 74 2d 69 6e 20 22 73 69 6d 70 6c 65 22 20 74 6f  t-in "simple" to
1ac0: 6b 65 6e 69 7a 65 72 3a 0a 2a 2a 0a 2a 2a 20 20  kenizer:.**.**  
1ad0: 20 53 45 4c 45 43 54 20 66 74 73 5f 74 6f 6b 65   SELECT fts_toke
1ae0: 6e 69 7a 65 72 5f 74 65 73 74 28 27 73 69 6d 70  nizer_test('simp
1af0: 6c 65 27 2c 20 27 49 20 64 6f 6e 27 74 20 73 65  le', 'I don't se
1b00: 65 20 68 6f 77 27 29 3b 0a 2a 2a 0a 2a 2a 20 77  e how');.**.** w
1b10: 69 6c 6c 20 72 65 74 75 72 6e 20 74 68 65 20 73  ill return the s
1b20: 74 72 69 6e 67 3a 0a 2a 2a 0a 2a 2a 20 20 20 22  tring:.**.**   "
1b30: 7b 30 20 69 20 49 20 31 20 64 6f 6e 74 20 64 6f  {0 i I 1 dont do
1b40: 6e 27 74 20 32 20 73 65 65 20 73 65 65 20 33 20  n't 2 see see 3 
1b50: 68 6f 77 20 68 6f 77 7d 22 0a 2a 2a 20 20 20 0a  how how}".**   .
1b60: 2a 2f 0a 73 74 61 74 69 63 20 76 6f 69 64 20 74  */.static void t
1b70: 65 73 74 46 75 6e 63 28 0a 20 20 73 71 6c 69 74  estFunc(.  sqlit
1b80: 65 33 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74  e3_context *cont
1b90: 65 78 74 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c  ext,.  int argc,
1ba0: 0a 20 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65  .  sqlite3_value
1bb0: 20 2a 2a 61 72 67 76 0a 29 7b 0a 20 20 46 74 73   **argv.){.  Fts
1bc0: 33 48 61 73 68 20 2a 70 48 61 73 68 3b 0a 20 20  3Hash *pHash;.  
1bd0: 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65  sqlite3_tokenize
1be0: 72 5f 6d 6f 64 75 6c 65 20 2a 70 3b 0a 20 20 73  r_module *p;.  s
1bf0: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
1c00: 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 20 3d 20 30   *pTokenizer = 0
1c10: 3b 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65  ;.  sqlite3_toke
1c20: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 70 43  nizer_cursor *pC
1c30: 73 72 20 3d 20 30 3b 0a 0a 20 20 63 6f 6e 73 74  sr = 0;..  const
1c40: 20 63 68 61 72 20 2a 7a 45 72 72 20 3d 20 30 3b   char *zErr = 0;
1c50: 0a 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a  ..  const char *
1c60: 7a 4e 61 6d 65 3b 0a 20 20 69 6e 74 20 6e 4e 61  zName;.  int nNa
1c70: 6d 65 3b 0a 20 20 63 6f 6e 73 74 20 63 68 61 72  me;.  const char
1c80: 20 2a 7a 49 6e 70 75 74 3b 0a 20 20 69 6e 74 20   *zInput;.  int 
1c90: 6e 49 6e 70 75 74 3b 0a 0a 20 20 63 6f 6e 73 74  nInput;..  const
1ca0: 20 63 68 61 72 20 2a 7a 41 72 67 20 3d 20 30 3b   char *zArg = 0;
1cb0: 0a 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a  ..  const char *
1cc0: 7a 54 6f 6b 65 6e 3b 0a 20 20 69 6e 74 20 6e 54  zToken;.  int nT
1cd0: 6f 6b 65 6e 3b 0a 20 20 69 6e 74 20 69 53 74 61  oken;.  int iSta
1ce0: 72 74 3b 0a 20 20 69 6e 74 20 69 45 6e 64 3b 0a  rt;.  int iEnd;.
1cf0: 20 20 69 6e 74 20 69 50 6f 73 3b 0a 0a 20 20 54    int iPos;..  T
1d00: 63 6c 5f 4f 62 6a 20 2a 70 52 65 74 3b 0a 0a 20  cl_Obj *pRet;.. 
1d10: 20 61 73 73 65 72 74 28 20 61 72 67 63 3d 3d 32   assert( argc==2
1d20: 20 7c 7c 20 61 72 67 63 3d 3d 33 20 29 3b 0a 0a   || argc==3 );..
1d30: 20 20 6e 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65    nName = sqlite
1d40: 33 5f 76 61 6c 75 65 5f 62 79 74 65 73 28 61 72  3_value_bytes(ar
1d50: 67 76 5b 30 5d 29 3b 0a 20 20 7a 4e 61 6d 65 20  gv[0]);.  zName 
1d60: 3d 20 28 63 6f 6e 73 74 20 63 68 61 72 20 2a 29  = (const char *)
1d70: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74 65  sqlite3_value_te
1d80: 78 74 28 61 72 67 76 5b 30 5d 29 3b 0a 20 20 6e  xt(argv[0]);.  n
1d90: 49 6e 70 75 74 20 3d 20 73 71 6c 69 74 65 33 5f  Input = sqlite3_
1da0: 76 61 6c 75 65 5f 62 79 74 65 73 28 61 72 67 76  value_bytes(argv
1db0: 5b 61 72 67 63 2d 31 5d 29 3b 0a 20 20 7a 49 6e  [argc-1]);.  zIn
1dc0: 70 75 74 20 3d 20 28 63 6f 6e 73 74 20 63 68 61  put = (const cha
1dd0: 72 20 2a 29 73 71 6c 69 74 65 33 5f 76 61 6c 75  r *)sqlite3_valu
1de0: 65 5f 74 65 78 74 28 61 72 67 76 5b 61 72 67 63  e_text(argv[argc
1df0: 2d 31 5d 29 3b 0a 0a 20 20 69 66 28 20 61 72 67  -1]);..  if( arg
1e00: 63 3d 3d 33 20 29 7b 0a 20 20 20 20 7a 41 72 67  c==3 ){.    zArg
1e10: 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 72 20 2a   = (const char *
1e20: 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74  )sqlite3_value_t
1e30: 65 78 74 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20  ext(argv[1]);.  
1e40: 7d 0a 0a 20 20 70 48 61 73 68 20 3d 20 28 46 74  }..  pHash = (Ft
1e50: 73 33 48 61 73 68 20 2a 29 73 71 6c 69 74 65 33  s3Hash *)sqlite3
1e60: 5f 75 73 65 72 5f 64 61 74 61 28 63 6f 6e 74 65  _user_data(conte
1e70: 78 74 29 3b 0a 20 20 70 20 3d 20 28 73 71 6c 69  xt);.  p = (sqli
1e80: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f  te3_tokenizer_mo
1e90: 64 75 6c 65 20 2a 29 73 71 6c 69 74 65 33 46 74  dule *)sqlite3Ft
1ea0: 73 33 48 61 73 68 46 69 6e 64 28 70 48 61 73 68  s3HashFind(pHash
1eb0: 2c 20 7a 4e 61 6d 65 2c 20 6e 4e 61 6d 65 2b 31  , zName, nName+1
1ec0: 29 3b 0a 0a 20 20 69 66 28 20 21 70 20 29 7b 0a  );..  if( !p ){.
1ed0: 20 20 20 20 63 68 61 72 20 2a 7a 45 72 72 20 3d      char *zErr =
1ee0: 20 73 71 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66   sqlite3_mprintf
1ef0: 28 22 75 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69  ("unknown tokeni
1f00: 7a 65 72 3a 20 25 73 22 2c 20 7a 4e 61 6d 65 29  zer: %s", zName)
1f10: 3b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 72 65  ;.    sqlite3_re
1f20: 73 75 6c 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65  sult_error(conte
1f30: 78 74 2c 20 7a 45 72 72 2c 20 2d 31 29 3b 0a 20  xt, zErr, -1);. 
1f40: 20 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28     sqlite3_free(
1f50: 7a 45 72 72 29 3b 0a 20 20 20 20 72 65 74 75 72  zErr);.    retur
1f60: 6e 3b 0a 20 20 7d 0a 0a 20 20 70 52 65 74 20 3d  n;.  }..  pRet =
1f70: 20 54 63 6c 5f 4e 65 77 4f 62 6a 28 29 3b 0a 20   Tcl_NewObj();. 
1f80: 20 54 63 6c 5f 49 6e 63 72 52 65 66 43 6f 75 6e   Tcl_IncrRefCoun
1f90: 74 28 70 52 65 74 29 3b 0a 0a 20 20 69 66 28 20  t(pRet);..  if( 
1fa0: 53 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 43  SQLITE_OK!=p->xC
1fb0: 72 65 61 74 65 28 7a 41 72 67 20 3f 20 31 20 3a  reate(zArg ? 1 :
1fc0: 20 30 2c 20 26 7a 41 72 67 2c 20 26 70 54 6f 6b   0, &zArg, &pTok
1fd0: 65 6e 69 7a 65 72 29 20 29 7b 0a 20 20 20 20 7a  enizer) ){.    z
1fe0: 45 72 72 20 3d 20 22 65 72 72 6f 72 20 69 6e 20  Err = "error in 
1ff0: 78 43 72 65 61 74 65 28 29 22 3b 0a 20 20 20 20  xCreate()";.    
2000: 67 6f 74 6f 20 66 69 6e 69 73 68 3b 0a 20 20 7d  goto finish;.  }
2010: 0a 20 20 70 54 6f 6b 65 6e 69 7a 65 72 2d 3e 70  .  pTokenizer->p
2020: 4d 6f 64 75 6c 65 20 3d 20 70 3b 0a 20 20 69 66  Module = p;.  if
2030: 28 20 53 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e  ( SQLITE_OK!=p->
2040: 78 4f 70 65 6e 28 70 54 6f 6b 65 6e 69 7a 65 72  xOpen(pTokenizer
2050: 2c 20 7a 49 6e 70 75 74 2c 20 6e 49 6e 70 75 74  , zInput, nInput
2060: 2c 20 26 70 43 73 72 29 20 29 7b 0a 20 20 20 20  , &pCsr) ){.    
2070: 7a 45 72 72 20 3d 20 22 65 72 72 6f 72 20 69 6e  zErr = "error in
2080: 20 78 4f 70 65 6e 28 29 22 3b 0a 20 20 20 20 67   xOpen()";.    g
2090: 6f 74 6f 20 66 69 6e 69 73 68 3b 0a 20 20 7d 0a  oto finish;.  }.
20a0: 20 20 70 43 73 72 2d 3e 70 54 6f 6b 65 6e 69 7a    pCsr->pTokeniz
20b0: 65 72 20 3d 20 70 54 6f 6b 65 6e 69 7a 65 72 3b  er = pTokenizer;
20c0: 0a 0a 20 20 77 68 69 6c 65 28 20 53 51 4c 49 54  ..  while( SQLIT
20d0: 45 5f 4f 4b 3d 3d 70 2d 3e 78 4e 65 78 74 28 70  E_OK==p->xNext(p
20e0: 43 73 72 2c 20 26 7a 54 6f 6b 65 6e 2c 20 26 6e  Csr, &zToken, &n
20f0: 54 6f 6b 65 6e 2c 20 26 69 53 74 61 72 74 2c 20  Token, &iStart, 
2100: 26 69 45 6e 64 2c 20 26 69 50 6f 73 29 20 29 7b  &iEnd, &iPos) ){
2110: 0a 20 20 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a  .    Tcl_ListObj
2120: 41 70 70 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c  AppendElement(0,
2130: 20 70 52 65 74 2c 20 54 63 6c 5f 4e 65 77 49 6e   pRet, Tcl_NewIn
2140: 74 4f 62 6a 28 69 50 6f 73 29 29 3b 0a 20 20 20  tObj(iPos));.   
2150: 20 54 63 6c 5f 4c 69 73 74 4f 62 6a 41 70 70 65   Tcl_ListObjAppe
2160: 6e 64 45 6c 65 6d 65 6e 74 28 30 2c 20 70 52 65  ndElement(0, pRe
2170: 74 2c 20 54 63 6c 5f 4e 65 77 53 74 72 69 6e 67  t, Tcl_NewString
2180: 4f 62 6a 28 7a 54 6f 6b 65 6e 2c 20 6e 54 6f 6b  Obj(zToken, nTok
2190: 65 6e 29 29 3b 0a 20 20 20 20 7a 54 6f 6b 65 6e  en));.    zToken
21a0: 20 3d 20 26 7a 49 6e 70 75 74 5b 69 53 74 61 72   = &zInput[iStar
21b0: 74 5d 3b 0a 20 20 20 20 6e 54 6f 6b 65 6e 20 3d  t];.    nToken =
21c0: 20 69 45 6e 64 2d 69 53 74 61 72 74 3b 0a 20 20   iEnd-iStart;.  
21d0: 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a 41 70 70    Tcl_ListObjApp
21e0: 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c 20 70 52  endElement(0, pR
21f0: 65 74 2c 20 54 63 6c 5f 4e 65 77 53 74 72 69 6e  et, Tcl_NewStrin
2200: 67 4f 62 6a 28 7a 54 6f 6b 65 6e 2c 20 6e 54 6f  gObj(zToken, nTo
2210: 6b 65 6e 29 29 3b 0a 20 20 7d 0a 0a 20 20 69 66  ken));.  }..  if
2220: 28 20 53 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e  ( SQLITE_OK!=p->
2230: 78 43 6c 6f 73 65 28 70 43 73 72 29 20 29 7b 0a  xClose(pCsr) ){.
2240: 20 20 20 20 7a 45 72 72 20 3d 20 22 65 72 72 6f      zErr = "erro
2250: 72 20 69 6e 20 78 43 6c 6f 73 65 28 29 22 3b 0a  r in xClose()";.
2260: 20 20 20 20 67 6f 74 6f 20 66 69 6e 69 73 68 3b      goto finish;
2270: 0a 20 20 7d 0a 20 20 69 66 28 20 53 51 4c 49 54  .  }.  if( SQLIT
2280: 45 5f 4f 4b 21 3d 70 2d 3e 78 44 65 73 74 72 6f  E_OK!=p->xDestro
2290: 79 28 70 54 6f 6b 65 6e 69 7a 65 72 29 20 29 7b  y(pTokenizer) ){
22a0: 0a 20 20 20 20 7a 45 72 72 20 3d 20 22 65 72 72  .    zErr = "err
22b0: 6f 72 20 69 6e 20 78 44 65 73 74 72 6f 79 28 29  or in xDestroy()
22c0: 22 3b 0a 20 20 20 20 67 6f 74 6f 20 66 69 6e 69  ";.    goto fini
22d0: 73 68 3b 0a 20 20 7d 0a 0a 66 69 6e 69 73 68 3a  sh;.  }..finish:
22e0: 0a 20 20 69 66 28 20 7a 45 72 72 20 29 7b 0a 20  .  if( zErr ){. 
22f0: 20 20 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c     sqlite3_resul
2300: 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c  t_error(context,
2310: 20 7a 45 72 72 2c 20 2d 31 29 3b 0a 20 20 7d 65   zErr, -1);.  }e
2320: 6c 73 65 7b 0a 20 20 20 20 73 71 6c 69 74 65 33  lse{.    sqlite3
2330: 5f 72 65 73 75 6c 74 5f 74 65 78 74 28 63 6f 6e  _result_text(con
2340: 74 65 78 74 2c 20 54 63 6c 5f 47 65 74 53 74 72  text, Tcl_GetStr
2350: 69 6e 67 28 70 52 65 74 29 2c 20 2d 31 2c 20 53  ing(pRet), -1, S
2360: 51 4c 49 54 45 5f 54 52 41 4e 53 49 45 4e 54 29  QLITE_TRANSIENT)
2370: 3b 0a 20 20 7d 0a 20 20 54 63 6c 5f 44 65 63 72  ;.  }.  Tcl_Decr
2380: 52 65 66 43 6f 75 6e 74 28 70 52 65 74 29 3b 0a  RefCount(pRet);.
2390: 7d 0a 0a 73 74 61 74 69 63 0a 69 6e 74 20 72 65  }..static.int re
23a0: 67 69 73 74 65 72 54 6f 6b 65 6e 69 7a 65 72 28  gisterTokenizer(
23b0: 0a 20 20 73 71 6c 69 74 65 33 20 2a 64 62 2c 20  .  sqlite3 *db, 
23c0: 0a 20 20 63 68 61 72 20 2a 7a 4e 61 6d 65 2c 20  .  char *zName, 
23d0: 0a 20 20 63 6f 6e 73 74 20 73 71 6c 69 74 65 33  .  const sqlite3
23e0: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c  _tokenizer_modul
23f0: 65 20 2a 70 0a 29 7b 0a 20 20 69 6e 74 20 72 63  e *p.){.  int rc
2400: 3b 0a 20 20 73 71 6c 69 74 65 33 5f 73 74 6d 74  ;.  sqlite3_stmt
2410: 20 2a 70 53 74 6d 74 3b 0a 20 20 63 6f 6e 73 74   *pStmt;.  const
2420: 20 63 68 61 72 20 7a 53 71 6c 5b 5d 20 3d 20 22   char zSql[] = "
2430: 53 45 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b 65  SELECT fts3_toke
2440: 6e 69 7a 65 72 28 3f 2c 20 3f 29 22 3b 0a 0a 20  nizer(?, ?)";.. 
2450: 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 70 72   rc = sqlite3_pr
2460: 65 70 61 72 65 5f 76 32 28 64 62 2c 20 7a 53 71  epare_v2(db, zSq
2470: 6c 2c 20 2d 31 2c 20 26 70 53 74 6d 74 2c 20 30  l, -1, &pStmt, 0
2480: 29 3b 0a 20 20 69 66 28 20 72 63 21 3d 53 51 4c  );.  if( rc!=SQL
2490: 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 72 65  ITE_OK ){.    re
24a0: 74 75 72 6e 20 72 63 3b 0a 20 20 7d 0a 0a 20 20  turn rc;.  }..  
24b0: 73 71 6c 69 74 65 33 5f 62 69 6e 64 5f 74 65 78  sqlite3_bind_tex
24c0: 74 28 70 53 74 6d 74 2c 20 31 2c 20 7a 4e 61 6d  t(pStmt, 1, zNam
24d0: 65 2c 20 2d 31 2c 20 53 51 4c 49 54 45 5f 53 54  e, -1, SQLITE_ST
24e0: 41 54 49 43 29 3b 0a 20 20 73 71 6c 69 74 65 33  ATIC);.  sqlite3
24f0: 5f 62 69 6e 64 5f 62 6c 6f 62 28 70 53 74 6d 74  _bind_blob(pStmt
2500: 2c 20 32 2c 20 26 70 2c 20 73 69 7a 65 6f 66 28  , 2, &p, sizeof(
2510: 70 29 2c 20 53 51 4c 49 54 45 5f 53 54 41 54 49  p), SQLITE_STATI
2520: 43 29 3b 0a 20 20 73 71 6c 69 74 65 33 5f 73 74  C);.  sqlite3_st
2530: 65 70 28 70 53 74 6d 74 29 3b 0a 0a 20 20 72 65  ep(pStmt);..  re
2540: 74 75 72 6e 20 73 71 6c 69 74 65 33 5f 66 69 6e  turn sqlite3_fin
2550: 61 6c 69 7a 65 28 70 53 74 6d 74 29 3b 0a 7d 0a  alize(pStmt);.}.
2560: 0a 73 74 61 74 69 63 0a 69 6e 74 20 71 75 65 72  .static.int quer
2570: 79 54 6f 6b 65 6e 69 7a 65 72 28 0a 20 20 73 71  yTokenizer(.  sq
2580: 6c 69 74 65 33 20 2a 64 62 2c 20 0a 20 20 63 68  lite3 *db, .  ch
2590: 61 72 20 2a 7a 4e 61 6d 65 2c 20 20 0a 20 20 63  ar *zName,  .  c
25a0: 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b  onst sqlite3_tok
25b0: 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 2a  enizer_module **
25c0: 70 70 0a 29 7b 0a 20 20 69 6e 74 20 72 63 3b 0a  pp.){.  int rc;.
25d0: 20 20 73 71 6c 69 74 65 33 5f 73 74 6d 74 20 2a    sqlite3_stmt *
25e0: 70 53 74 6d 74 3b 0a 20 20 63 6f 6e 73 74 20 63  pStmt;.  const c
25f0: 68 61 72 20 7a 53 71 6c 5b 5d 20 3d 20 22 53 45  har zSql[] = "SE
2600: 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69  LECT fts3_tokeni
2610: 7a 65 72 28 3f 29 22 3b 0a 0a 20 20 2a 70 70 20  zer(?)";..  *pp 
2620: 3d 20 30 3b 0a 20 20 72 63 20 3d 20 73 71 6c 69  = 0;.  rc = sqli
2630: 74 65 33 5f 70 72 65 70 61 72 65 5f 76 32 28 64  te3_prepare_v2(d
2640: 62 2c 20 7a 53 71 6c 2c 20 2d 31 2c 20 26 70 53  b, zSql, -1, &pS
2650: 74 6d 74 2c 20 30 29 3b 0a 20 20 69 66 28 20 72  tmt, 0);.  if( r
2660: 63 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a  c!=SQLITE_OK ){.
2670: 20 20 20 20 72 65 74 75 72 6e 20 72 63 3b 0a 20      return rc;. 
2680: 20 7d 0a 0a 20 20 73 71 6c 69 74 65 33 5f 62 69   }..  sqlite3_bi
2690: 6e 64 5f 74 65 78 74 28 70 53 74 6d 74 2c 20 31  nd_text(pStmt, 1
26a0: 2c 20 7a 4e 61 6d 65 2c 20 2d 31 2c 20 53 51 4c  , zName, -1, SQL
26b0: 49 54 45 5f 53 54 41 54 49 43 29 3b 0a 20 20 69  ITE_STATIC);.  i
26c0: 66 28 20 53 51 4c 49 54 45 5f 52 4f 57 3d 3d 73  f( SQLITE_ROW==s
26d0: 71 6c 69 74 65 33 5f 73 74 65 70 28 70 53 74 6d  qlite3_step(pStm
26e0: 74 29 20 29 7b 0a 20 20 20 20 69 66 28 20 73 71  t) ){.    if( sq
26f0: 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e 5f 74 79 70  lite3_column_typ
2700: 65 28 70 53 74 6d 74 2c 20 30 29 3d 3d 53 51 4c  e(pStmt, 0)==SQL
2710: 49 54 45 5f 42 4c 4f 42 20 29 7b 0a 20 20 20 20  ITE_BLOB ){.    
2720: 20 20 6d 65 6d 63 70 79 28 28 76 6f 69 64 20 2a    memcpy((void *
2730: 29 70 70 2c 20 73 71 6c 69 74 65 33 5f 63 6f 6c  )pp, sqlite3_col
2740: 75 6d 6e 5f 62 6c 6f 62 28 70 53 74 6d 74 2c 20  umn_blob(pStmt, 
2750: 30 29 2c 20 73 69 7a 65 6f 66 28 2a 70 70 29 29  0), sizeof(*pp))
2760: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 72  ;.    }.  }..  r
2770: 65 74 75 72 6e 20 73 71 6c 69 74 65 33 5f 66 69  eturn sqlite3_fi
2780: 6e 61 6c 69 7a 65 28 70 53 74 6d 74 29 3b 0a 7d  nalize(pStmt);.}
2790: 0a 0a 76 6f 69 64 20 73 71 6c 69 74 65 33 46 74  ..void sqlite3Ft
27a0: 73 33 53 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65  s3SimpleTokenize
27b0: 72 4d 6f 64 75 6c 65 28 73 71 6c 69 74 65 33 5f  rModule(sqlite3_
27c0: 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65  tokenizer_module
27d0: 20 63 6f 6e 73 74 2a 2a 70 70 4d 6f 64 75 6c 65   const**ppModule
27e0: 29 3b 0a 0a 2f 2a 0a 2a 2a 20 49 6d 70 6c 65 6d  );../*.** Implem
27f0: 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68 65 20  entation of the 
2800: 73 63 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20  scalar function 
2810: 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 69  fts3_tokenizer_i
2820: 6e 74 65 72 6e 61 6c 5f 74 65 73 74 28 29 2e 0a  nternal_test()..
2830: 2a 2a 20 54 68 69 73 20 66 75 6e 63 74 69 6f 6e  ** This function
2840: 20 69 73 20 75 73 65 64 20 66 6f 72 20 74 65 73   is used for tes
2850: 74 69 6e 67 20 6f 6e 6c 79 2c 20 69 74 20 69 73  ting only, it is
2860: 20 6e 6f 74 20 69 6e 63 6c 75 64 65 64 20 69 6e   not included in
2870: 20 74 68 65 0a 2a 2a 20 62 75 69 6c 64 20 75 6e   the.** build un
2880: 6c 65 73 73 20 53 51 4c 49 54 45 5f 54 45 53 54  less SQLITE_TEST
2890: 20 69 73 20 64 65 66 69 6e 65 64 2e 0a 2a 2a 0a   is defined..**.
28a0: 2a 2a 20 54 68 65 20 70 75 72 70 6f 73 65 20 6f  ** The purpose o
28b0: 66 20 74 68 69 73 20 69 73 20 74 6f 20 74 65 73  f this is to tes
28c0: 74 20 74 68 61 74 20 74 68 65 20 66 74 73 33 5f  t that the fts3_
28d0: 74 6f 6b 65 6e 69 7a 65 72 28 29 20 66 75 6e 63  tokenizer() func
28e0: 74 69 6f 6e 0a 2a 2a 20 63 61 6e 20 62 65 20 75  tion.** can be u
28f0: 73 65 64 20 61 73 20 64 65 73 69 67 6e 65 64 20  sed as designed 
2900: 62 79 20 74 68 65 20 43 2d 63 6f 64 65 20 69 6e  by the C-code in
2910: 20 74 68 65 20 71 75 65 72 79 54 6f 6b 65 6e 69   the queryTokeni
2920: 7a 65 72 20 61 6e 64 0a 2a 2a 20 72 65 67 69 73  zer and.** regis
2930: 74 65 72 54 6f 6b 65 6e 69 7a 65 72 28 29 20 66  terTokenizer() f
2940: 75 6e 63 74 69 6f 6e 73 20 61 62 6f 76 65 2e 20  unctions above. 
2950: 54 68 65 73 65 20 74 77 6f 20 66 75 6e 63 74 69  These two functi
2960: 6f 6e 73 20 61 72 65 20 72 65 70 65 61 74 65 64  ons are repeated
2970: 0a 2a 2a 20 69 6e 20 74 68 65 20 52 45 41 44 4d  .** in the READM
2980: 45 2e 74 6f 6b 65 6e 69 7a 65 72 20 66 69 6c 65  E.tokenizer file
2990: 20 61 73 20 61 6e 20 65 78 61 6d 70 6c 65 2c 20   as an example, 
29a0: 73 6f 20 69 74 20 69 73 20 69 6d 70 6f 72 74 61  so it is importa
29b0: 6e 74 20 74 6f 0a 2a 2a 20 74 65 73 74 20 74 68  nt to.** test th
29c0: 65 6d 2e 0a 2a 2a 0a 2a 2a 20 54 6f 20 72 75 6e  em..**.** To run
29d0: 20 74 68 65 20 74 65 73 74 73 2c 20 65 76 61 6c   the tests, eval
29e0: 75 61 74 65 20 74 68 65 20 66 74 73 33 5f 74 6f  uate the fts3_to
29f0: 6b 65 6e 69 7a 65 72 5f 69 6e 74 65 72 6e 61 6c  kenizer_internal
2a00: 5f 74 65 73 74 28 29 20 73 63 61 6c 61 72 0a 2a  _test() scalar.*
2a10: 2a 20 66 75 6e 63 74 69 6f 6e 20 77 69 74 68 20  * function with 
2a20: 6e 6f 20 61 72 67 75 6d 65 6e 74 73 2e 20 41 6e  no arguments. An
2a30: 20 61 73 73 65 72 74 28 29 20 77 69 6c 6c 20 66   assert() will f
2a40: 61 69 6c 20 69 66 20 61 20 70 72 6f 62 6c 65 6d  ail if a problem
2a50: 20 69 73 0a 2a 2a 20 64 65 74 65 63 74 65 64 2e   is.** detected.
2a60: 20 69 2e 65 2e 3a 0a 2a 2a 0a 2a 2a 20 20 20 20   i.e.:.**.**    
2a70: 20 53 45 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b   SELECT fts3_tok
2a80: 65 6e 69 7a 65 72 5f 69 6e 74 65 72 6e 61 6c 5f  enizer_internal_
2a90: 74 65 73 74 28 29 3b 0a 2a 2a 0a 2a 2f 0a 73 74  test();.**.*/.st
2aa0: 61 74 69 63 20 76 6f 69 64 20 69 6e 74 54 65 73  atic void intTes
2ab0: 74 46 75 6e 63 28 0a 20 20 73 71 6c 69 74 65 33  tFunc(.  sqlite3
2ac0: 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78  _context *contex
2ad0: 74 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c 0a 20  t,.  int argc,. 
2ae0: 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a   sqlite3_value *
2af0: 2a 61 72 67 76 0a 29 7b 0a 20 20 69 6e 74 20 72  *argv.){.  int r
2b00: 63 3b 0a 20 20 63 6f 6e 73 74 20 73 71 6c 69 74  c;.  const sqlit
2b10: 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64  e3_tokenizer_mod
2b20: 75 6c 65 20 2a 70 31 3b 0a 20 20 63 6f 6e 73 74  ule *p1;.  const
2b30: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a   sqlite3_tokeniz
2b40: 65 72 5f 6d 6f 64 75 6c 65 20 2a 70 32 3b 0a 20  er_module *p2;. 
2b50: 20 73 71 6c 69 74 65 33 20 2a 64 62 20 3d 20 28   sqlite3 *db = (
2b60: 73 71 6c 69 74 65 33 20 2a 29 73 71 6c 69 74 65  sqlite3 *)sqlite
2b70: 33 5f 75 73 65 72 5f 64 61 74 61 28 63 6f 6e 74  3_user_data(cont
2b80: 65 78 74 29 3b 0a 0a 20 20 55 4e 55 53 45 44 5f  ext);..  UNUSED_
2b90: 50 41 52 41 4d 45 54 45 52 28 61 72 67 63 29 3b  PARAMETER(argc);
2ba0: 0a 20 20 55 4e 55 53 45 44 5f 50 41 52 41 4d 45  .  UNUSED_PARAME
2bb0: 54 45 52 28 61 72 67 76 29 3b 0a 0a 20 20 2f 2a  TER(argv);..  /*
2bc0: 20 54 65 73 74 20 74 68 65 20 71 75 65 72 79 20   Test the query 
2bd0: 66 75 6e 63 74 69 6f 6e 20 2a 2f 0a 20 20 73 71  function */.  sq
2be0: 6c 69 74 65 33 46 74 73 33 53 69 6d 70 6c 65 54  lite3Fts3SimpleT
2bf0: 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65 28 26  okenizerModule(&
2c00: 70 31 29 3b 0a 20 20 72 63 20 3d 20 71 75 65 72  p1);.  rc = quer
2c10: 79 54 6f 6b 65 6e 69 7a 65 72 28 64 62 2c 20 22  yTokenizer(db, "
2c20: 73 69 6d 70 6c 65 22 2c 20 26 70 32 29 3b 0a 20  simple", &p2);. 
2c30: 20 61 73 73 65 72 74 28 20 72 63 3d 3d 53 51 4c   assert( rc==SQL
2c40: 49 54 45 5f 4f 4b 20 29 3b 0a 20 20 61 73 73 65  ITE_OK );.  asse
2c50: 72 74 28 20 70 31 3d 3d 70 32 20 29 3b 0a 20 20  rt( p1==p2 );.  
2c60: 72 63 20 3d 20 71 75 65 72 79 54 6f 6b 65 6e 69  rc = queryTokeni
2c70: 7a 65 72 28 64 62 2c 20 22 6e 6f 73 75 63 68 74  zer(db, "nosucht
2c80: 6f 6b 65 6e 69 7a 65 72 22 2c 20 26 70 32 29 3b  okenizer", &p2);
2c90: 0a 20 20 61 73 73 65 72 74 28 20 72 63 3d 3d 53  .  assert( rc==S
2ca0: 51 4c 49 54 45 5f 45 52 52 4f 52 20 29 3b 0a 20  QLITE_ERROR );. 
2cb0: 20 61 73 73 65 72 74 28 20 70 32 3d 3d 30 20 29   assert( p2==0 )
2cc0: 3b 0a 20 20 61 73 73 65 72 74 28 20 30 3d 3d 73  ;.  assert( 0==s
2cd0: 74 72 63 6d 70 28 73 71 6c 69 74 65 33 5f 65 72  trcmp(sqlite3_er
2ce0: 72 6d 73 67 28 64 62 29 2c 20 22 75 6e 6b 6e 6f  rmsg(db), "unkno
2cf0: 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20 6e 6f  wn tokenizer: no
2d00: 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72 22 29 20  suchtokenizer") 
2d10: 29 3b 0a 0a 20 20 2f 2a 20 54 65 73 74 20 74 68  );..  /* Test th
2d20: 65 20 73 74 6f 72 61 67 65 20 66 75 6e 63 74 69  e storage functi
2d30: 6f 6e 20 2a 2f 0a 20 20 72 63 20 3d 20 72 65 67  on */.  rc = reg
2d40: 69 73 74 65 72 54 6f 6b 65 6e 69 7a 65 72 28 64  isterTokenizer(d
2d50: 62 2c 20 22 6e 6f 73 75 63 68 74 6f 6b 65 6e 69  b, "nosuchtokeni
2d60: 7a 65 72 22 2c 20 70 31 29 3b 0a 20 20 61 73 73  zer", p1);.  ass
2d70: 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f  ert( rc==SQLITE_
2d80: 4f 4b 20 29 3b 0a 20 20 72 63 20 3d 20 71 75 65  OK );.  rc = que
2d90: 72 79 54 6f 6b 65 6e 69 7a 65 72 28 64 62 2c 20  ryTokenizer(db, 
2da0: 22 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72  "nosuchtokenizer
2db0: 22 2c 20 26 70 32 29 3b 0a 20 20 61 73 73 65 72  ", &p2);.  asser
2dc0: 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4f 4b  t( rc==SQLITE_OK
2dd0: 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20 70 32   );.  assert( p2
2de0: 3d 3d 70 31 20 29 3b 0a 0a 20 20 73 71 6c 69 74  ==p1 );..  sqlit
2df0: 65 33 5f 72 65 73 75 6c 74 5f 74 65 78 74 28 63  e3_result_text(c
2e00: 6f 6e 74 65 78 74 2c 20 22 6f 6b 22 2c 20 2d 31  ontext, "ok", -1
2e10: 2c 20 53 51 4c 49 54 45 5f 53 54 41 54 49 43 29  , SQLITE_STATIC)
2e20: 3b 0a 7d 0a 0a 23 65 6e 64 69 66 0a 0a 2f 2a 0a  ;.}..#endif../*.
2e30: 2a 2a 20 53 65 74 20 75 70 20 53 51 4c 20 6f 62  ** Set up SQL ob
2e40: 6a 65 63 74 73 20 69 6e 20 64 61 74 61 62 61 73  jects in databas
2e50: 65 20 64 62 20 75 73 65 64 20 74 6f 20 61 63 63  e db used to acc
2e60: 65 73 73 20 74 68 65 20 63 6f 6e 74 65 6e 74 73  ess the contents
2e70: 20 6f 66 0a 2a 2a 20 74 68 65 20 68 61 73 68 20   of.** the hash 
2e80: 74 61 62 6c 65 20 70 6f 69 6e 74 65 64 20 74 6f  table pointed to
2e90: 20 62 79 20 61 72 67 75 6d 65 6e 74 20 70 48 61   by argument pHa
2ea0: 73 68 2e 20 54 68 65 20 68 61 73 68 20 74 61 62  sh. The hash tab
2eb0: 6c 65 20 6d 75 73 74 0a 2a 2a 20 62 65 65 6e 20  le must.** been 
2ec0: 69 6e 69 74 69 61 6c 69 73 65 64 20 74 6f 20 75  initialised to u
2ed0: 73 65 20 73 74 72 69 6e 67 20 6b 65 79 73 2c 20  se string keys, 
2ee0: 61 6e 64 20 74 6f 20 74 61 6b 65 20 61 20 70 72  and to take a pr
2ef0: 69 76 61 74 65 20 63 6f 70 79 20 0a 2a 2a 20 6f  ivate copy .** o
2f00: 66 20 74 68 65 20 6b 65 79 20 77 68 65 6e 20 61  f the key when a
2f10: 20 76 61 6c 75 65 20 69 73 20 69 6e 73 65 72 74   value is insert
2f20: 65 64 2e 20 69 2e 65 2e 20 62 79 20 61 20 63 61  ed. i.e. by a ca
2f30: 6c 6c 20 73 69 6d 69 6c 61 72 20 74 6f 3a 0a 2a  ll similar to:.*
2f40: 2a 0a 2a 2a 20 20 20 20 73 71 6c 69 74 65 33 46  *.**    sqlite3F
2f50: 74 73 33 48 61 73 68 49 6e 69 74 28 70 48 61 73  ts3HashInit(pHas
2f60: 68 2c 20 46 54 53 33 5f 48 41 53 48 5f 53 54 52  h, FTS3_HASH_STR
2f70: 49 4e 47 2c 20 31 29 3b 0a 2a 2a 0a 2a 2a 20 54  ING, 1);.**.** T
2f80: 68 69 73 20 66 75 6e 63 74 69 6f 6e 20 61 64 64  his function add
2f90: 73 20 61 20 73 63 61 6c 61 72 20 66 75 6e 63 74  s a scalar funct
2fa0: 69 6f 6e 20 28 73 65 65 20 68 65 61 64 65 72 20  ion (see header 
2fb0: 63 6f 6d 6d 65 6e 74 20 61 62 6f 76 65 0a 2a 2a  comment above.**
2fc0: 20 73 63 61 6c 61 72 46 75 6e 63 28 29 20 69 6e   scalarFunc() in
2fd0: 20 74 68 69 73 20 66 69 6c 65 20 66 6f 72 20 64   this file for d
2fe0: 65 74 61 69 6c 73 29 20 61 6e 64 2c 20 69 66 20  etails) and, if 
2ff0: 45 4e 41 42 4c 45 5f 54 41 42 4c 45 20 69 73 0a  ENABLE_TABLE is.
3000: 2a 2a 20 64 65 66 69 6e 65 64 20 61 74 20 63 6f  ** defined at co
3010: 6d 70 69 6c 61 74 69 6f 6e 20 74 69 6d 65 2c 20  mpilation time, 
3020: 61 20 74 65 6d 70 6f 72 61 72 79 20 76 69 72 74  a temporary virt
3030: 75 61 6c 20 74 61 62 6c 65 20 28 73 65 65 20 68  ual table (see h
3040: 65 61 64 65 72 20 0a 2a 2a 20 63 6f 6d 6d 65 6e  eader .** commen
3050: 74 20 61 62 6f 76 65 20 73 74 72 75 63 74 20 48  t above struct H
3060: 61 73 68 54 61 62 6c 65 56 74 61 62 29 20 74 6f  ashTableVtab) to
3070: 20 74 68 65 20 64 61 74 61 62 61 73 65 20 73 63   the database sc
3080: 68 65 6d 61 2e 20 42 6f 74 68 20 0a 2a 2a 20 70  hema. Both .** p
3090: 72 6f 76 69 64 65 20 72 65 61 64 2f 77 72 69 74  rovide read/writ
30a0: 65 20 61 63 63 65 73 73 20 74 6f 20 74 68 65 20  e access to the 
30b0: 63 6f 6e 74 65 6e 74 73 20 6f 66 20 2a 70 48 61  contents of *pHa
30c0: 73 68 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74 68  sh..**.** The th
30d0: 69 72 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20  ird argument to 
30e0: 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 2c 20 7a  this function, z
30f0: 4e 61 6d 65 2c 20 69 73 20 75 73 65 64 20 61 73  Name, is used as
3100: 20 74 68 65 20 6e 61 6d 65 0a 2a 2a 20 6f 66 20   the name.** of 
3110: 62 6f 74 68 20 74 68 65 20 73 63 61 6c 61 72 20  both the scalar 
3120: 61 6e 64 2c 20 69 66 20 63 72 65 61 74 65 64 2c  and, if created,
3130: 20 74 68 65 20 76 69 72 74 75 61 6c 20 74 61 62   the virtual tab
3140: 6c 65 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74  le..*/.int sqlit
3150: 65 33 46 74 73 33 49 6e 69 74 48 61 73 68 54 61  e3Fts3InitHashTa
3160: 62 6c 65 28 0a 20 20 73 71 6c 69 74 65 33 20 2a  ble(.  sqlite3 *
3170: 64 62 2c 20 0a 20 20 46 74 73 33 48 61 73 68 20  db, .  Fts3Hash 
3180: 2a 70 48 61 73 68 2c 20 0a 20 20 63 6f 6e 73 74  *pHash, .  const
3190: 20 63 68 61 72 20 2a 7a 4e 61 6d 65 0a 29 7b 0a   char *zName.){.
31a0: 20 20 69 6e 74 20 72 63 20 3d 20 53 51 4c 49 54    int rc = SQLIT
31b0: 45 5f 4f 4b 3b 0a 20 20 76 6f 69 64 20 2a 70 20  E_OK;.  void *p 
31c0: 3d 20 28 76 6f 69 64 20 2a 29 70 48 61 73 68 3b  = (void *)pHash;
31d0: 0a 20 20 63 6f 6e 73 74 20 69 6e 74 20 61 6e 79  .  const int any
31e0: 20 3d 20 53 51 4c 49 54 45 5f 41 4e 59 3b 0a 0a   = SQLITE_ANY;..
31f0: 23 69 66 64 65 66 20 53 51 4c 49 54 45 5f 54 45  #ifdef SQLITE_TE
3200: 53 54 0a 20 20 63 68 61 72 20 2a 7a 54 65 73 74  ST.  char *zTest
3210: 20 3d 20 30 3b 0a 20 20 63 68 61 72 20 2a 7a 54   = 0;.  char *zT
3220: 65 73 74 32 20 3d 20 30 3b 0a 20 20 76 6f 69 64  est2 = 0;.  void
3230: 20 2a 70 64 62 20 3d 20 28 76 6f 69 64 20 2a 29   *pdb = (void *)
3240: 64 62 3b 0a 20 20 7a 54 65 73 74 20 3d 20 73 71  db;.  zTest = sq
3250: 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 25  lite3_mprintf("%
3260: 73 5f 74 65 73 74 22 2c 20 7a 4e 61 6d 65 29 3b  s_test", zName);
3270: 0a 20 20 7a 54 65 73 74 32 20 3d 20 73 71 6c 69  .  zTest2 = sqli
3280: 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 25 73 5f  te3_mprintf("%s_
3290: 69 6e 74 65 72 6e 61 6c 5f 74 65 73 74 22 2c 20  internal_test", 
32a0: 7a 4e 61 6d 65 29 3b 0a 20 20 69 66 28 20 21 7a  zName);.  if( !z
32b0: 54 65 73 74 20 7c 7c 20 21 7a 54 65 73 74 32 20  Test || !zTest2 
32c0: 29 7b 0a 20 20 20 20 72 63 20 3d 20 53 51 4c 49  ){.    rc = SQLI
32d0: 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7d 0a 23 65  TE_NOMEM;.  }.#e
32e0: 6e 64 69 66 0a 0a 20 20 69 66 28 20 53 51 4c 49  ndif..  if( SQLI
32f0: 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20  TE_OK==rc ){.   
3300: 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 63 72   rc = sqlite3_cr
3310: 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62  eate_function(db
3320: 2c 20 7a 4e 61 6d 65 2c 20 31 2c 20 61 6e 79 2c  , zName, 1, any,
3330: 20 70 2c 20 73 63 61 6c 61 72 46 75 6e 63 2c 20   p, scalarFunc, 
3340: 30 2c 20 30 29 3b 0a 20 20 7d 0a 20 20 69 66 28  0, 0);.  }.  if(
3350: 20 53 51 4c 49 54 45 5f 4f 4b 3d 3d 72 63 20 29   SQLITE_OK==rc )
3360: 7b 0a 20 20 20 20 72 63 20 3d 20 73 71 6c 69 74  {.    rc = sqlit
3370: 65 33 5f 63 72 65 61 74 65 5f 66 75 6e 63 74 69  e3_create_functi
3380: 6f 6e 28 64 62 2c 20 7a 4e 61 6d 65 2c 20 32 2c  on(db, zName, 2,
3390: 20 61 6e 79 2c 20 70 2c 20 73 63 61 6c 61 72 46   any, p, scalarF
33a0: 75 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a  unc, 0, 0);.  }.
33b0: 23 69 66 64 65 66 20 53 51 4c 49 54 45 5f 54 45  #ifdef SQLITE_TE
33c0: 53 54 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f  ST.  if( SQLITE_
33d0: 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20 72 63  OK==rc ){.    rc
33e0: 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 65 61 74   = sqlite3_creat
33f0: 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a  e_function(db, z
3400: 54 65 73 74 2c 20 32 2c 20 61 6e 79 2c 20 70 2c  Test, 2, any, p,
3410: 20 74 65 73 74 46 75 6e 63 2c 20 30 2c 20 30 29   testFunc, 0, 0)
3420: 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53 51 4c 49  ;.  }.  if( SQLI
3430: 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20  TE_OK==rc ){.   
3440: 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 63 72   rc = sqlite3_cr
3450: 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62  eate_function(db
3460: 2c 20 7a 54 65 73 74 2c 20 33 2c 20 61 6e 79 2c  , zTest, 3, any,
3470: 20 70 2c 20 74 65 73 74 46 75 6e 63 2c 20 30 2c   p, testFunc, 0,
3480: 20 30 29 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53   0);.  }.  if( S
3490: 51 4c 49 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a  QLITE_OK==rc ){.
34a0: 20 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33      rc = sqlite3
34b0: 5f 63 72 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e  _create_function
34c0: 28 64 62 2c 20 7a 54 65 73 74 32 2c 20 30 2c 20  (db, zTest2, 0, 
34d0: 61 6e 79 2c 20 70 64 62 2c 20 69 6e 74 54 65 73  any, pdb, intTes
34e0: 74 46 75 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 20  tFunc, 0, 0);.  
34f0: 7d 0a 23 65 6e 64 69 66 0a 0a 23 69 66 64 65 66  }.#endif..#ifdef
3500: 20 53 51 4c 49 54 45 5f 54 45 53 54 0a 20 20 73   SQLITE_TEST.  s
3510: 71 6c 69 74 65 33 5f 66 72 65 65 28 7a 54 65 73  qlite3_free(zTes
3520: 74 29 3b 0a 20 20 73 71 6c 69 74 65 33 5f 66 72  t);.  sqlite3_fr
3530: 65 65 28 7a 54 65 73 74 32 29 3b 0a 23 65 6e 64  ee(zTest2);.#end
3540: 69 66 0a 0a 20 20 72 65 74 75 72 6e 20 72 63 3b  if..  return rc;
3550: 0a 7d 0a 0a 23 65 6e 64 69 66 20 2f 2a 20 21 64  .}..#endif /* !d
3560: 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f  efined(SQLITE_CO
3570: 52 45 29 20 7c 7c 20 64 65 66 69 6e 65 64 28 53  RE) || defined(S
3580: 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53  QLITE_ENABLE_FTS
3590: 33 29 20 2a 2f 0a                                3) */.