/ Hex Artifact Content
Login

Artifact 6089986ebcfc19d4b7aabd2b92773368efa4354f:


0000: 2f 2a 0a 2a 2a 20 32 30 30 37 20 4a 75 6e 65 20  /*.** 2007 June 
0010: 32 32 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74  22.**.** The aut
0020: 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f  hor disclaims co
0030: 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20  pyright to this 
0040: 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e  source code.  In
0050: 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c   place of.** a l
0060: 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72  egal notice, her
0070: 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a  e is a blessing:
0080: 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f  .**.**    May yo
0090: 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f  u do good and no
00a0: 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61  t evil..**    Ma
00b0: 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69  y you find forgi
00c0: 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73  veness for yours
00d0: 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20  elf and forgive 
00e0: 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61  others..**    Ma
00f0: 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65  y you share free
0100: 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67  ly, never taking
0110: 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67   more than you g
0120: 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a  ive..**.********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 54 68 69  ******.**.** Thi
0180: 73 20 69 73 20 70 61 72 74 20 6f 66 20 61 6e 20  s is part of an 
0190: 53 51 4c 69 74 65 20 6d 6f 64 75 6c 65 20 69 6d  SQLite module im
01a0: 70 6c 65 6d 65 6e 74 69 6e 67 20 66 75 6c 6c 2d  plementing full-
01b0: 74 65 78 74 20 73 65 61 72 63 68 2e 0a 2a 2a 20  text search..** 
01c0: 54 68 69 73 20 70 61 72 74 69 63 75 6c 61 72 20  This particular 
01d0: 66 69 6c 65 20 69 6d 70 6c 65 6d 65 6e 74 73 20  file implements 
01e0: 74 68 65 20 67 65 6e 65 72 69 63 20 74 6f 6b 65  the generic toke
01f0: 6e 69 7a 65 72 20 69 6e 74 65 72 66 61 63 65 2e  nizer interface.
0200: 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 63  .*/../*.** The c
0210: 6f 64 65 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ode in this file
0220: 20 69 73 20 6f 6e 6c 79 20 63 6f 6d 70 69 6c 65   is only compile
0230: 64 20 69 66 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20  d if:.**.**     
0240: 2a 20 54 68 65 20 46 54 53 33 20 6d 6f 64 75 6c  * The FTS3 modul
0250: 65 20 69 73 20 62 65 69 6e 67 20 62 75 69 6c 74  e is being built
0260: 20 61 73 20 61 6e 20 65 78 74 65 6e 73 69 6f 6e   as an extension
0270: 0a 2a 2a 20 20 20 20 20 20 20 28 69 6e 20 77 68  .**       (in wh
0280: 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45 5f  ich case SQLITE_
0290: 43 4f 52 45 20 69 73 20 6e 6f 74 20 64 65 66 69  CORE is not defi
02a0: 6e 65 64 29 2c 20 6f 72 0a 2a 2a 0a 2a 2a 20 20  ned), or.**.**  
02b0: 20 20 20 2a 20 54 68 65 20 46 54 53 33 20 6d 6f     * The FTS3 mo
02c0: 64 75 6c 65 20 69 73 20 62 65 69 6e 67 20 62 75  dule is being bu
02d0: 69 6c 74 20 69 6e 74 6f 20 74 68 65 20 63 6f 72  ilt into the cor
02e0: 65 20 6f 66 0a 2a 2a 20 20 20 20 20 20 20 53 51  e of.**       SQ
02f0: 4c 69 74 65 20 28 69 6e 20 77 68 69 63 68 20 63  Lite (in which c
0300: 61 73 65 20 53 51 4c 49 54 45 5f 45 4e 41 42 4c  ase SQLITE_ENABL
0310: 45 5f 46 54 53 33 20 69 73 20 64 65 66 69 6e 65  E_FTS3 is define
0320: 64 29 2e 0a 2a 2f 0a 23 69 6e 63 6c 75 64 65 20  d)..*/.#include 
0330: 22 73 71 6c 69 74 65 33 65 78 74 2e 68 22 0a 23  "sqlite3ext.h".#
0340: 69 66 6e 64 65 66 20 53 51 4c 49 54 45 5f 43 4f  ifndef SQLITE_CO
0350: 52 45 0a 20 20 53 51 4c 49 54 45 5f 45 58 54 45  RE.  SQLITE_EXTE
0360: 4e 53 49 4f 4e 5f 49 4e 49 54 31 0a 23 65 6e 64  NSION_INIT1.#end
0370: 69 66 0a 23 69 6e 63 6c 75 64 65 20 22 66 74 73  if.#include "fts
0380: 33 49 6e 74 2e 68 22 0a 0a 23 69 66 20 21 64 65  3Int.h"..#if !de
0390: 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f 52  fined(SQLITE_COR
03a0: 45 29 20 7c 7c 20 64 65 66 69 6e 65 64 28 53 51  E) || defined(SQ
03b0: 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33  LITE_ENABLE_FTS3
03c0: 29 0a 0a 23 69 6e 63 6c 75 64 65 20 3c 61 73 73  )..#include <ass
03d0: 65 72 74 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20  ert.h>.#include 
03e0: 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 2f 2a 0a 2a  <string.h>../*.*
03f0: 2a 20 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e  * Implementation
0400: 20 6f 66 20 74 68 65 20 53 51 4c 20 73 63 61 6c   of the SQL scal
0410: 61 72 20 66 75 6e 63 74 69 6f 6e 20 66 6f 72 20  ar function for 
0420: 61 63 63 65 73 73 69 6e 67 20 74 68 65 20 75 6e  accessing the un
0430: 64 65 72 6c 79 69 6e 67 20 0a 2a 2a 20 68 61 73  derlying .** has
0440: 68 20 74 61 62 6c 65 2e 20 54 68 69 73 20 66 75  h table. This fu
0450: 6e 63 74 69 6f 6e 20 6d 61 79 20 62 65 20 63 61  nction may be ca
0460: 6c 6c 65 64 20 61 73 20 66 6f 6c 6c 6f 77 73 3a  lled as follows:
0470: 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45 43 54 20  .**.**   SELECT 
0480: 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 28  <function-name>(
0490: 3c 6b 65 79 2d 6e 61 6d 65 3e 29 3b 0a 2a 2a 20  <key-name>);.** 
04a0: 20 20 53 45 4c 45 43 54 20 3c 66 75 6e 63 74 69    SELECT <functi
04b0: 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65 79 2d 6e 61  on-name>(<key-na
04c0: 6d 65 3e 2c 20 3c 70 6f 69 6e 74 65 72 3e 29 3b  me>, <pointer>);
04d0: 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65 20 3c 66 75  .**.** where <fu
04e0: 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 20 69 73 20  nction-name> is 
04f0: 74 68 65 20 6e 61 6d 65 20 70 61 73 73 65 64 20  the name passed 
0500: 61 73 20 74 68 65 20 73 65 63 6f 6e 64 20 61 72  as the second ar
0510: 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f 20 74 68 65  gument.** to the
0520: 20 73 71 6c 69 74 65 33 46 74 73 33 49 6e 69 74   sqlite3Fts3Init
0530: 48 61 73 68 54 61 62 6c 65 28 29 20 66 75 6e 63  HashTable() func
0540: 74 69 6f 6e 20 28 65 2e 67 2e 20 27 66 74 73 33  tion (e.g. 'fts3
0550: 5f 74 6f 6b 65 6e 69 7a 65 72 27 29 2e 0a 2a 2a  _tokenizer')..**
0560: 0a 2a 2a 20 49 66 20 74 68 65 20 3c 70 6f 69 6e  .** If the <poin
0570: 74 65 72 3e 20 61 72 67 75 6d 65 6e 74 20 69 73  ter> argument is
0580: 20 73 70 65 63 69 66 69 65 64 2c 20 69 74 20 6d   specified, it m
0590: 75 73 74 20 62 65 20 61 20 62 6c 6f 62 20 76 61  ust be a blob va
05a0: 6c 75 65 0a 2a 2a 20 63 6f 6e 74 61 69 6e 69 6e  lue.** containin
05b0: 67 20 61 20 70 6f 69 6e 74 65 72 20 74 6f 20 62  g a pointer to b
05c0: 65 20 73 74 6f 72 65 64 20 61 73 20 74 68 65 20  e stored as the 
05d0: 68 61 73 68 20 64 61 74 61 20 63 6f 72 72 65 73  hash data corres
05e0: 70 6f 6e 64 69 6e 67 0a 2a 2a 20 74 6f 20 74 68  ponding.** to th
05f0: 65 20 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e 61  e string <key-na
0600: 6d 65 3e 2e 20 49 66 20 3c 70 6f 69 6e 74 65 72  me>. If <pointer
0610: 3e 20 69 73 20 6e 6f 74 20 73 70 65 63 69 66 69  > is not specifi
0620: 65 64 2c 20 74 68 65 6e 0a 2a 2a 20 74 68 65 20  ed, then.** the 
0630: 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e 61 6d 65  string <key-name
0640: 3e 20 6d 75 73 74 20 61 6c 72 65 61 64 79 20 65  > must already e
0650: 78 69 73 74 20 69 6e 20 74 68 65 20 68 61 73 20  xist in the has 
0660: 74 61 62 6c 65 2e 20 4f 74 68 65 72 77 69 73 65  table. Otherwise
0670: 2c 0a 2a 2a 20 61 6e 20 65 72 72 6f 72 20 69 73  ,.** an error is
0680: 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a 0a 2a 2a   returned..**.**
0690: 20 57 68 65 74 68 65 72 20 6f 72 20 6e 6f 74 20   Whether or not 
06a0: 74 68 65 20 3c 70 6f 69 6e 74 65 72 3e 20 61 72  the <pointer> ar
06b0: 67 75 6d 65 6e 74 20 69 73 20 73 70 65 63 69 66  gument is specif
06c0: 69 65 64 2c 20 74 68 65 20 76 61 6c 75 65 20 72  ied, the value r
06d0: 65 74 75 72 6e 65 64 0a 2a 2a 20 69 73 20 61 20  eturned.** is a 
06e0: 62 6c 6f 62 20 63 6f 6e 74 61 69 6e 69 6e 67 20  blob containing 
06f0: 74 68 65 20 70 6f 69 6e 74 65 72 20 73 74 6f 72  the pointer stor
0700: 65 64 20 61 73 20 74 68 65 20 68 61 73 68 20 64  ed as the hash d
0710: 61 74 61 20 63 6f 72 72 65 73 70 6f 6e 64 69 6e  ata correspondin
0720: 67 0a 2a 2a 20 74 6f 20 73 74 72 69 6e 67 20 3c  g.** to string <
0730: 6b 65 79 2d 6e 61 6d 65 3e 20 28 61 66 74 65 72  key-name> (after
0740: 20 74 68 65 20 68 61 73 68 2d 74 61 62 6c 65 20   the hash-table 
0750: 69 73 20 75 70 64 61 74 65 64 2c 20 69 66 20 61  is updated, if a
0760: 70 70 6c 69 63 61 62 6c 65 29 2e 0a 2a 2f 0a 73  pplicable)..*/.s
0770: 74 61 74 69 63 20 76 6f 69 64 20 73 63 61 6c 61  tatic void scala
0780: 72 46 75 6e 63 28 0a 20 20 73 71 6c 69 74 65 33  rFunc(.  sqlite3
0790: 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78  _context *contex
07a0: 74 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c 0a 20  t,.  int argc,. 
07b0: 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a   sqlite3_value *
07c0: 2a 61 72 67 76 0a 29 7b 0a 20 20 46 74 73 33 48  *argv.){.  Fts3H
07d0: 61 73 68 20 2a 70 48 61 73 68 3b 0a 20 20 76 6f  ash *pHash;.  vo
07e0: 69 64 20 2a 70 50 74 72 20 3d 20 30 3b 0a 20 20  id *pPtr = 0;.  
07f0: 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63  const unsigned c
0800: 68 61 72 20 2a 7a 4e 61 6d 65 3b 0a 20 20 69 6e  har *zName;.  in
0810: 74 20 6e 4e 61 6d 65 3b 0a 0a 20 20 61 73 73 65  t nName;..  asse
0820: 72 74 28 20 61 72 67 63 3d 3d 31 20 7c 7c 20 61  rt( argc==1 || a
0830: 72 67 63 3d 3d 32 20 29 3b 0a 0a 20 20 70 48 61  rgc==2 );..  pHa
0840: 73 68 20 3d 20 28 46 74 73 33 48 61 73 68 20 2a  sh = (Fts3Hash *
0850: 29 73 71 6c 69 74 65 33 5f 75 73 65 72 5f 64 61  )sqlite3_user_da
0860: 74 61 28 63 6f 6e 74 65 78 74 29 3b 0a 0a 20 20  ta(context);..  
0870: 7a 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65 33 5f  zName = sqlite3_
0880: 76 61 6c 75 65 5f 74 65 78 74 28 61 72 67 76 5b  value_text(argv[
0890: 30 5d 29 3b 0a 20 20 6e 4e 61 6d 65 20 3d 20 73  0]);.  nName = s
08a0: 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 62 79 74  qlite3_value_byt
08b0: 65 73 28 61 72 67 76 5b 30 5d 29 2b 31 3b 0a 0a  es(argv[0])+1;..
08c0: 20 20 69 66 28 20 61 72 67 63 3d 3d 32 20 29 7b    if( argc==2 ){
08d0: 0a 20 20 20 20 76 6f 69 64 20 2a 70 4f 6c 64 3b  .    void *pOld;
08e0: 0a 20 20 20 20 69 6e 74 20 6e 20 3d 20 73 71 6c  .    int n = sql
08f0: 69 74 65 33 5f 76 61 6c 75 65 5f 62 79 74 65 73  ite3_value_bytes
0900: 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20 20 20 69  (argv[1]);.    i
0910: 66 28 20 6e 21 3d 73 69 7a 65 6f 66 28 70 50 74  f( n!=sizeof(pPt
0920: 72 29 20 29 7b 0a 20 20 20 20 20 20 73 71 6c 69  r) ){.      sqli
0930: 74 65 33 5f 72 65 73 75 6c 74 5f 65 72 72 6f 72  te3_result_error
0940: 28 63 6f 6e 74 65 78 74 2c 20 22 61 72 67 75 6d  (context, "argum
0950: 65 6e 74 20 74 79 70 65 20 6d 69 73 6d 61 74 63  ent type mismatc
0960: 68 22 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20 72  h", -1);.      r
0970: 65 74 75 72 6e 3b 0a 20 20 20 20 7d 0a 20 20 20  eturn;.    }.   
0980: 20 70 50 74 72 20 3d 20 2a 28 76 6f 69 64 20 2a   pPtr = *(void *
0990: 2a 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f  *)sqlite3_value_
09a0: 62 6c 6f 62 28 61 72 67 76 5b 31 5d 29 3b 0a 20  blob(argv[1]);. 
09b0: 20 20 20 70 4f 6c 64 20 3d 20 73 71 6c 69 74 65     pOld = sqlite
09c0: 33 46 74 73 33 48 61 73 68 49 6e 73 65 72 74 28  3Fts3HashInsert(
09d0: 70 48 61 73 68 2c 20 28 76 6f 69 64 20 2a 29 7a  pHash, (void *)z
09e0: 4e 61 6d 65 2c 20 6e 4e 61 6d 65 2c 20 70 50 74  Name, nName, pPt
09f0: 72 29 3b 0a 20 20 20 20 69 66 28 20 70 4f 6c 64  r);.    if( pOld
0a00: 3d 3d 70 50 74 72 20 29 7b 0a 20 20 20 20 20 20  ==pPtr ){.      
0a10: 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65  sqlite3_result_e
0a20: 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22 6f  rror(context, "o
0a30: 75 74 20 6f 66 20 6d 65 6d 6f 72 79 22 2c 20 2d  ut of memory", -
0a40: 31 29 3b 0a 20 20 20 20 20 20 72 65 74 75 72 6e  1);.      return
0a50: 3b 0a 20 20 20 20 7d 0a 20 20 7d 65 6c 73 65 7b  ;.    }.  }else{
0a60: 0a 20 20 20 20 70 50 74 72 20 3d 20 73 71 6c 69  .    pPtr = sqli
0a70: 74 65 33 46 74 73 33 48 61 73 68 46 69 6e 64 28  te3Fts3HashFind(
0a80: 70 48 61 73 68 2c 20 7a 4e 61 6d 65 2c 20 6e 4e  pHash, zName, nN
0a90: 61 6d 65 29 3b 0a 20 20 20 20 69 66 28 20 21 70  ame);.    if( !p
0aa0: 50 74 72 20 29 7b 0a 20 20 20 20 20 20 63 68 61  Ptr ){.      cha
0ab0: 72 20 2a 7a 45 72 72 20 3d 20 73 71 6c 69 74 65  r *zErr = sqlite
0ac0: 33 5f 6d 70 72 69 6e 74 66 28 22 75 6e 6b 6e 6f  3_mprintf("unkno
0ad0: 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20 25 73  wn tokenizer: %s
0ae0: 22 2c 20 7a 4e 61 6d 65 29 3b 0a 20 20 20 20 20  ", zName);.     
0af0: 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f   sqlite3_result_
0b00: 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 7a  error(context, z
0b10: 45 72 72 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20  Err, -1);.      
0b20: 73 71 6c 69 74 65 33 5f 66 72 65 65 28 7a 45 72  sqlite3_free(zEr
0b30: 72 29 3b 0a 20 20 20 20 20 20 72 65 74 75 72 6e  r);.      return
0b40: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 73  ;.    }.  }..  s
0b50: 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 62 6c  qlite3_result_bl
0b60: 6f 62 28 63 6f 6e 74 65 78 74 2c 20 28 76 6f 69  ob(context, (voi
0b70: 64 20 2a 29 26 70 50 74 72 2c 20 73 69 7a 65 6f  d *)&pPtr, sizeo
0b80: 66 28 70 50 74 72 29 2c 20 53 51 4c 49 54 45 5f  f(pPtr), SQLITE_
0b90: 54 52 41 4e 53 49 45 4e 54 29 3b 0a 7d 0a 0a 69  TRANSIENT);.}..i
0ba0: 6e 74 20 73 71 6c 69 74 65 33 46 74 73 33 49 73  nt sqlite3Fts3Is
0bb0: 49 64 43 68 61 72 28 63 68 61 72 20 63 29 7b 0a  IdChar(char c){.
0bc0: 20 20 73 74 61 74 69 63 20 63 6f 6e 73 74 20 63    static const c
0bd0: 68 61 72 20 69 73 46 74 73 49 64 43 68 61 72 5b  har isFtsIdChar[
0be0: 5d 20 3d 20 7b 0a 20 20 20 20 20 20 30 2c 20 30  ] = {.      0, 0
0bf0: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0c00: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0c10: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20  0, 0, 0, 0,  /* 
0c20: 30 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 30  0x */.      0, 0
0c30: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0c40: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0c50: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20  0, 0, 0, 0,  /* 
0c60: 31 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 30  1x */.      0, 0
0c70: 2c 20 30 2c 20 30 2c 20 31 2c 20 30 2c 20 30 2c  , 0, 0, 1, 0, 0,
0c80: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0c90: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20  0, 0, 0, 0,  /* 
0ca0: 32 78 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31  2x */.      1, 1
0cb0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0cc0: 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20 30 2c 20   1, 1, 1, 0, 0, 
0cd0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20  0, 0, 0, 0,  /* 
0ce0: 33 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 31  3x */.      0, 1
0cf0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0d00: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20   1, 1, 1, 1, 1, 
0d10: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 20 2f 2a 20  1, 1, 1, 1,  /* 
0d20: 34 78 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31  4x */.      1, 1
0d30: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0d40: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20   1, 1, 1, 1, 0, 
0d50: 30 2c 20 30 2c 20 30 2c 20 31 2c 20 20 2f 2a 20  0, 0, 0, 1,  /* 
0d60: 35 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 31  5x */.      0, 1
0d70: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0d80: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20   1, 1, 1, 1, 1, 
0d90: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 20 2f 2a 20  1, 1, 1, 1,  /* 
0da0: 36 78 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31  6x */.      1, 1
0db0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0dc0: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20   1, 1, 1, 1, 0, 
0dd0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20  0, 0, 0, 0,  /* 
0de0: 37 78 20 2a 2f 0a 20 20 7d 3b 0a 20 20 72 65 74  7x */.  };.  ret
0df0: 75 72 6e 20 28 63 26 30 78 38 30 20 7c 7c 20 69  urn (c&0x80 || i
0e00: 73 46 74 73 49 64 43 68 61 72 5b 28 69 6e 74 29  sFtsIdChar[(int)
0e10: 28 63 29 5d 29 3b 0a 7d 0a 0a 63 6f 6e 73 74 20  (c)]);.}..const 
0e20: 63 68 61 72 20 2a 73 71 6c 69 74 65 33 46 74 73  char *sqlite3Fts
0e30: 33 4e 65 78 74 54 6f 6b 65 6e 28 63 6f 6e 73 74  3NextToken(const
0e40: 20 63 68 61 72 20 2a 7a 53 74 72 2c 20 69 6e 74   char *zStr, int
0e50: 20 2a 70 6e 29 7b 0a 20 20 63 6f 6e 73 74 20 63   *pn){.  const c
0e60: 68 61 72 20 2a 7a 31 3b 0a 20 20 63 6f 6e 73 74  har *z1;.  const
0e70: 20 63 68 61 72 20 2a 7a 32 20 3d 20 30 3b 0a 0a   char *z2 = 0;..
0e80: 20 20 2f 2a 20 46 69 6e 64 20 74 68 65 20 73 74    /* Find the st
0e90: 61 72 74 20 6f 66 20 74 68 65 20 6e 65 78 74 20  art of the next 
0ea0: 74 6f 6b 65 6e 2e 20 2a 2f 0a 20 20 7a 31 20 3d  token. */.  z1 =
0eb0: 20 7a 53 74 72 3b 0a 20 20 77 68 69 6c 65 28 20   zStr;.  while( 
0ec0: 7a 32 3d 3d 30 20 29 7b 0a 20 20 20 20 63 68 61  z2==0 ){.    cha
0ed0: 72 20 63 20 3d 20 2a 7a 31 3b 0a 20 20 20 20 73  r c = *z1;.    s
0ee0: 77 69 74 63 68 28 20 63 20 29 7b 0a 20 20 20 20  witch( c ){.    
0ef0: 20 20 63 61 73 65 20 27 5c 30 27 3a 20 72 65 74    case '\0': ret
0f00: 75 72 6e 20 30 3b 20 20 20 20 20 20 20 20 2f 2a  urn 0;        /*
0f10: 20 4e 6f 20 6d 6f 72 65 20 74 6f 6b 65 6e 73 20   No more tokens 
0f20: 68 65 72 65 20 2a 2f 0a 20 20 20 20 20 20 63 61  here */.      ca
0f30: 73 65 20 27 5c 27 27 3a 0a 20 20 20 20 20 20 63  se '\'':.      c
0f40: 61 73 65 20 27 22 27 3a 0a 20 20 20 20 20 20 63  ase '"':.      c
0f50: 61 73 65 20 27 60 27 3a 20 7b 0a 20 20 20 20 20  ase '`': {.     
0f60: 20 20 20 7a 32 20 3d 20 7a 31 3b 0a 20 20 20 20     z2 = z1;.    
0f70: 20 20 20 20 77 68 69 6c 65 28 20 2a 2b 2b 7a 32      while( *++z2
0f80: 20 26 26 20 28 2a 7a 32 21 3d 63 20 7c 7c 20 2a   && (*z2!=c || *
0f90: 2b 2b 7a 32 3d 3d 63 29 20 29 3b 0a 20 20 20 20  ++z2==c) );.    
0fa0: 20 20 20 20 62 72 65 61 6b 3b 0a 20 20 20 20 20      break;.     
0fb0: 20 7d 0a 20 20 20 20 20 20 63 61 73 65 20 27 5b   }.      case '[
0fc0: 27 3a 0a 20 20 20 20 20 20 20 20 7a 32 20 3d 20  ':.        z2 = 
0fd0: 26 7a 31 5b 31 5d 3b 0a 20 20 20 20 20 20 20 20  &z1[1];.        
0fe0: 77 68 69 6c 65 28 20 2a 7a 32 20 26 26 20 7a 32  while( *z2 && z2
0ff0: 5b 30 5d 21 3d 27 5d 27 20 29 20 7a 32 2b 2b 3b  [0]!=']' ) z2++;
1000: 0a 20 20 20 20 20 20 20 20 69 66 28 20 2a 7a 32  .        if( *z2
1010: 20 29 20 7a 32 2b 2b 3b 0a 20 20 20 20 20 20 20   ) z2++;.       
1020: 20 62 72 65 61 6b 3b 0a 0a 20 20 20 20 20 20 64   break;..      d
1030: 65 66 61 75 6c 74 3a 0a 20 20 20 20 20 20 20 20  efault:.        
1040: 69 66 28 20 73 71 6c 69 74 65 33 46 74 73 33 49  if( sqlite3Fts3I
1050: 73 49 64 43 68 61 72 28 2a 7a 31 29 20 29 7b 0a  sIdChar(*z1) ){.
1060: 20 20 20 20 20 20 20 20 20 20 7a 32 20 3d 20 26            z2 = &
1070: 7a 31 5b 31 5d 3b 0a 20 20 20 20 20 20 20 20 20  z1[1];.         
1080: 20 77 68 69 6c 65 28 20 73 71 6c 69 74 65 33 46   while( sqlite3F
1090: 74 73 33 49 73 49 64 43 68 61 72 28 2a 7a 32 29  ts3IsIdChar(*z2)
10a0: 20 29 20 7a 32 2b 2b 3b 0a 20 20 20 20 20 20 20   ) z2++;.       
10b0: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 20 20   }else{.        
10c0: 20 20 7a 31 2b 2b 3b 0a 20 20 20 20 20 20 20 20    z1++;.        
10d0: 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 2a  }.    }.  }..  *
10e0: 70 6e 20 3d 20 28 69 6e 74 29 28 7a 32 2d 7a 31  pn = (int)(z2-z1
10f0: 29 3b 0a 20 20 72 65 74 75 72 6e 20 7a 31 3b 0a  );.  return z1;.
1100: 7d 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74  }..int sqlite3Ft
1110: 73 33 49 6e 69 74 54 6f 6b 65 6e 69 7a 65 72 28  s3InitTokenizer(
1120: 0a 20 20 46 74 73 33 48 61 73 68 20 2a 70 48 61  .  Fts3Hash *pHa
1130: 73 68 2c 20 20 20 20 20 20 20 20 20 20 20 20 20  sh,             
1140: 20 20 20 2f 2a 20 54 6f 6b 65 6e 69 7a 65 72 20     /* Tokenizer 
1150: 68 61 73 68 20 74 61 62 6c 65 20 2a 2f 0a 20 20  hash table */.  
1160: 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 41 72 67  const char *zArg
1170: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
1180: 2f 2a 20 54 6f 6b 65 6e 69 7a 65 72 20 6e 61 6d  /* Tokenizer nam
1190: 65 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 74  e */.  sqlite3_t
11a0: 6f 6b 65 6e 69 7a 65 72 20 2a 2a 70 70 54 6f 6b  okenizer **ppTok
11b0: 2c 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 54  ,      /* OUT: T
11c0: 6f 6b 65 6e 69 7a 65 72 20 28 69 66 20 61 70 70  okenizer (if app
11d0: 6c 69 63 61 62 6c 65 29 20 2a 2f 0a 20 20 63 68  licable) */.  ch
11e0: 61 72 20 2a 2a 70 7a 45 72 72 20 20 20 20 20 20  ar **pzErr      
11f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
1200: 20 4f 55 54 3a 20 53 65 74 20 74 6f 20 6d 61 6c   OUT: Set to mal
1210: 6c 6f 63 65 64 20 65 72 72 6f 72 20 6d 65 73 73  loced error mess
1220: 61 67 65 20 2a 2f 0a 29 7b 0a 20 20 69 6e 74 20  age */.){.  int 
1230: 72 63 3b 0a 20 20 63 68 61 72 20 2a 7a 20 3d 20  rc;.  char *z = 
1240: 28 63 68 61 72 20 2a 29 7a 41 72 67 3b 0a 20 20  (char *)zArg;.  
1250: 69 6e 74 20 6e 20 3d 20 30 3b 0a 20 20 63 68 61  int n = 0;.  cha
1260: 72 20 2a 7a 43 6f 70 79 3b 0a 20 20 63 68 61 72  r *zCopy;.  char
1270: 20 2a 7a 45 6e 64 3b 20 20 20 20 20 20 20 20 20   *zEnd;         
1280: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 50              /* P
1290: 6f 69 6e 74 65 72 20 74 6f 20 6e 75 6c 2d 74 65  ointer to nul-te
12a0: 72 6d 20 6f 66 20 7a 43 6f 70 79 20 2a 2f 0a 20  rm of zCopy */. 
12b0: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a   sqlite3_tokeniz
12c0: 65 72 5f 6d 6f 64 75 6c 65 20 2a 6d 3b 0a 0a 20  er_module *m;.. 
12d0: 20 7a 43 6f 70 79 20 3d 20 73 71 6c 69 74 65 33   zCopy = sqlite3
12e0: 5f 6d 70 72 69 6e 74 66 28 22 25 73 22 2c 20 7a  _mprintf("%s", z
12f0: 41 72 67 29 3b 0a 20 20 69 66 28 20 21 7a 43 6f  Arg);.  if( !zCo
1300: 70 79 20 29 20 72 65 74 75 72 6e 20 53 51 4c 49  py ) return SQLI
1310: 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7a 45 6e 64  TE_NOMEM;.  zEnd
1320: 20 3d 20 26 7a 43 6f 70 79 5b 73 74 72 6c 65 6e   = &zCopy[strlen
1330: 28 7a 43 6f 70 79 29 5d 3b 0a 0a 20 20 7a 20 3d  (zCopy)];..  z =
1340: 20 28 63 68 61 72 20 2a 29 73 71 6c 69 74 65 33   (char *)sqlite3
1350: 46 74 73 33 4e 65 78 74 54 6f 6b 65 6e 28 7a 43  Fts3NextToken(zC
1360: 6f 70 79 2c 20 26 6e 29 3b 0a 20 20 7a 5b 6e 5d  opy, &n);.  z[n]
1370: 20 3d 20 27 5c 30 27 3b 0a 20 20 73 71 6c 69 74   = '\0';.  sqlit
1380: 65 33 46 74 73 33 44 65 71 75 6f 74 65 28 7a 29  e3Fts3Dequote(z)
1390: 3b 0a 0a 20 20 6d 20 3d 20 28 73 71 6c 69 74 65  ;..  m = (sqlite
13a0: 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75  3_tokenizer_modu
13b0: 6c 65 20 2a 29 73 71 6c 69 74 65 33 46 74 73 33  le *)sqlite3Fts3
13c0: 48 61 73 68 46 69 6e 64 28 70 48 61 73 68 2c 7a  HashFind(pHash,z
13d0: 2c 28 69 6e 74 29 73 74 72 6c 65 6e 28 7a 29 2b  ,(int)strlen(z)+
13e0: 31 29 3b 0a 20 20 69 66 28 20 21 6d 20 29 7b 0a  1);.  if( !m ){.
13f0: 20 20 20 20 2a 70 7a 45 72 72 20 3d 20 73 71 6c      *pzErr = sql
1400: 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 75 6e  ite3_mprintf("un
1410: 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a  known tokenizer:
1420: 20 25 73 22 2c 20 7a 29 3b 0a 20 20 20 20 72 63   %s", z);.    rc
1430: 20 3d 20 53 51 4c 49 54 45 5f 45 52 52 4f 52 3b   = SQLITE_ERROR;
1440: 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 63 68  .  }else{.    ch
1450: 61 72 20 63 6f 6e 73 74 20 2a 2a 61 41 72 67 20  ar const **aArg 
1460: 3d 20 30 3b 0a 20 20 20 20 69 6e 74 20 69 41 72  = 0;.    int iAr
1470: 67 20 3d 20 30 3b 0a 20 20 20 20 7a 20 3d 20 26  g = 0;.    z = &
1480: 7a 5b 6e 2b 31 5d 3b 0a 20 20 20 20 77 68 69 6c  z[n+1];.    whil
1490: 65 28 20 7a 3c 7a 45 6e 64 20 26 26 20 28 4e 55  e( z<zEnd && (NU
14a0: 4c 4c 21 3d 28 7a 20 3d 20 28 63 68 61 72 20 2a  LL!=(z = (char *
14b0: 29 73 71 6c 69 74 65 33 46 74 73 33 4e 65 78 74  )sqlite3Fts3Next
14c0: 54 6f 6b 65 6e 28 7a 2c 20 26 6e 29 29 29 20 29  Token(z, &n))) )
14d0: 7b 0a 20 20 20 20 20 20 69 6e 74 20 6e 4e 65 77  {.      int nNew
14e0: 20 3d 20 73 69 7a 65 6f 66 28 63 68 61 72 20 2a   = sizeof(char *
14f0: 29 2a 28 69 41 72 67 2b 31 29 3b 0a 20 20 20 20  )*(iArg+1);.    
1500: 20 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 2a 61    char const **a
1510: 4e 65 77 20 3d 20 28 63 6f 6e 73 74 20 63 68 61  New = (const cha
1520: 72 20 2a 2a 29 73 71 6c 69 74 65 33 5f 72 65 61  r **)sqlite3_rea
1530: 6c 6c 6f 63 28 28 76 6f 69 64 20 2a 29 61 41 72  lloc((void *)aAr
1540: 67 2c 20 6e 4e 65 77 29 3b 0a 20 20 20 20 20 20  g, nNew);.      
1550: 69 66 28 20 21 61 4e 65 77 20 29 7b 0a 20 20 20  if( !aNew ){.   
1560: 20 20 20 20 20 73 71 6c 69 74 65 33 5f 66 72 65       sqlite3_fre
1570: 65 28 7a 43 6f 70 79 29 3b 0a 20 20 20 20 20 20  e(zCopy);.      
1580: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 28    sqlite3_free((
1590: 76 6f 69 64 20 2a 29 61 41 72 67 29 3b 0a 20 20  void *)aArg);.  
15a0: 20 20 20 20 20 20 72 65 74 75 72 6e 20 53 51 4c        return SQL
15b0: 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 20 20 20  ITE_NOMEM;.     
15c0: 20 7d 0a 20 20 20 20 20 20 61 41 72 67 20 3d 20   }.      aArg = 
15d0: 61 4e 65 77 3b 0a 20 20 20 20 20 20 61 41 72 67  aNew;.      aArg
15e0: 5b 69 41 72 67 2b 2b 5d 20 3d 20 7a 3b 0a 20 20  [iArg++] = z;.  
15f0: 20 20 20 20 7a 5b 6e 5d 20 3d 20 27 5c 30 27 3b      z[n] = '\0';
1600: 0a 20 20 20 20 20 20 73 71 6c 69 74 65 33 46 74  .      sqlite3Ft
1610: 73 33 44 65 71 75 6f 74 65 28 7a 29 3b 0a 20 20  s3Dequote(z);.  
1620: 20 20 20 20 7a 20 3d 20 26 7a 5b 6e 2b 31 5d 3b      z = &z[n+1];
1630: 0a 20 20 20 20 7d 0a 20 20 20 20 72 63 20 3d 20  .    }.    rc = 
1640: 6d 2d 3e 78 43 72 65 61 74 65 28 69 41 72 67 2c  m->xCreate(iArg,
1650: 20 61 41 72 67 2c 20 70 70 54 6f 6b 29 3b 0a 20   aArg, ppTok);. 
1660: 20 20 20 61 73 73 65 72 74 28 20 72 63 21 3d 53     assert( rc!=S
1670: 51 4c 49 54 45 5f 4f 4b 20 7c 7c 20 2a 70 70 54  QLITE_OK || *ppT
1680: 6f 6b 20 29 3b 0a 20 20 20 20 69 66 28 20 72 63  ok );.    if( rc
1690: 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20  !=SQLITE_OK ){. 
16a0: 20 20 20 20 20 2a 70 7a 45 72 72 20 3d 20 73 71       *pzErr = sq
16b0: 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 75  lite3_mprintf("u
16c0: 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72  nknown tokenizer
16d0: 22 29 3b 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20  ");.    }else{. 
16e0: 20 20 20 20 20 28 2a 70 70 54 6f 6b 29 2d 3e 70       (*ppTok)->p
16f0: 4d 6f 64 75 6c 65 20 3d 20 6d 3b 20 0a 20 20 20  Module = m; .   
1700: 20 7d 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 66   }.    sqlite3_f
1710: 72 65 65 28 28 76 6f 69 64 20 2a 29 61 41 72 67  ree((void *)aArg
1720: 29 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c 69 74 65  );.  }..  sqlite
1730: 33 5f 66 72 65 65 28 7a 43 6f 70 79 29 3b 0a 20  3_free(zCopy);. 
1740: 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d 0a 0a 0a   return rc;.}...
1750: 23 69 66 64 65 66 20 53 51 4c 49 54 45 5f 54 45  #ifdef SQLITE_TE
1760: 53 54 0a 0a 23 69 6e 63 6c 75 64 65 20 3c 74 63  ST..#include <tc
1770: 6c 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 73  l.h>.#include <s
1780: 74 72 69 6e 67 2e 68 3e 0a 0a 2f 2a 0a 2a 2a 20  tring.h>../*.** 
1790: 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 6f  Implementation o
17a0: 66 20 61 20 73 70 65 63 69 61 6c 20 53 51 4c 20  f a special SQL 
17b0: 73 63 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20  scalar function 
17c0: 66 6f 72 20 74 65 73 74 69 6e 67 20 74 6f 6b 65  for testing toke
17d0: 6e 69 7a 65 72 73 20 0a 2a 2a 20 64 65 73 69 67  nizers .** desig
17e0: 6e 65 64 20 74 6f 20 62 65 20 75 73 65 64 20 69  ned to be used i
17f0: 6e 20 63 6f 6e 63 65 72 74 20 77 69 74 68 20 74  n concert with t
1800: 68 65 20 54 63 6c 20 74 65 73 74 69 6e 67 20 66  he Tcl testing f
1810: 72 61 6d 65 77 6f 72 6b 2e 20 54 68 69 73 0a 2a  ramework. This.*
1820: 2a 20 66 75 6e 63 74 69 6f 6e 20 6d 75 73 74 20  * function must 
1830: 62 65 20 63 61 6c 6c 65 64 20 77 69 74 68 20 74  be called with t
1840: 77 6f 20 61 72 67 75 6d 65 6e 74 73 3a 0a 2a 2a  wo arguments:.**
1850: 0a 2a 2a 20 20 20 53 45 4c 45 43 54 20 3c 66 75  .**   SELECT <fu
1860: 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65  nction-name>(<ke
1870: 79 2d 6e 61 6d 65 3e 2c 20 3c 69 6e 70 75 74 2d  y-name>, <input-
1880: 73 74 72 69 6e 67 3e 29 3b 0a 2a 2a 20 20 20 53  string>);.**   S
1890: 45 4c 45 43 54 20 3c 66 75 6e 63 74 69 6f 6e 2d  ELECT <function-
18a0: 6e 61 6d 65 3e 28 3c 6b 65 79 2d 6e 61 6d 65 3e  name>(<key-name>
18b0: 2c 20 3c 70 6f 69 6e 74 65 72 3e 29 3b 0a 2a 2a  , <pointer>);.**
18c0: 0a 2a 2a 20 77 68 65 72 65 20 3c 66 75 6e 63 74  .** where <funct
18d0: 69 6f 6e 2d 6e 61 6d 65 3e 20 69 73 20 74 68 65  ion-name> is the
18e0: 20 6e 61 6d 65 20 70 61 73 73 65 64 20 61 73 20   name passed as 
18f0: 74 68 65 20 73 65 63 6f 6e 64 20 61 72 67 75 6d  the second argum
1900: 65 6e 74 0a 2a 2a 20 74 6f 20 74 68 65 20 73 71  ent.** to the sq
1910: 6c 69 74 65 33 46 74 73 33 49 6e 69 74 48 61 73  lite3Fts3InitHas
1920: 68 54 61 62 6c 65 28 29 20 66 75 6e 63 74 69 6f  hTable() functio
1930: 6e 20 28 65 2e 67 2e 20 27 66 74 73 33 5f 74 6f  n (e.g. 'fts3_to
1940: 6b 65 6e 69 7a 65 72 27 29 0a 2a 2a 20 63 6f 6e  kenizer').** con
1950: 63 61 74 65 6e 61 74 65 64 20 77 69 74 68 20 74  catenated with t
1960: 68 65 20 73 74 72 69 6e 67 20 27 5f 74 65 73 74  he string '_test
1970: 27 20 28 65 2e 67 2e 20 27 66 74 73 33 5f 74 6f  ' (e.g. 'fts3_to
1980: 6b 65 6e 69 7a 65 72 5f 74 65 73 74 27 29 2e 0a  kenizer_test')..
1990: 2a 2a 0a 2a 2a 20 54 68 65 20 72 65 74 75 72 6e  **.** The return
19a0: 20 76 61 6c 75 65 20 69 73 20 61 20 73 74 72 69   value is a stri
19b0: 6e 67 20 74 68 61 74 20 6d 61 79 20 62 65 20 69  ng that may be i
19c0: 6e 74 65 72 70 72 65 74 65 64 20 61 73 20 61 20  nterpreted as a 
19d0: 54 63 6c 0a 2a 2a 20 6c 69 73 74 2e 20 46 6f 72  Tcl.** list. For
19e0: 20 65 61 63 68 20 74 6f 6b 65 6e 20 69 6e 20 74   each token in t
19f0: 68 65 20 3c 69 6e 70 75 74 2d 73 74 72 69 6e 67  he <input-string
1a00: 3e 2c 20 74 68 72 65 65 20 65 6c 65 6d 65 6e 74  >, three element
1a10: 73 20 61 72 65 0a 2a 2a 20 61 64 64 65 64 20 74  s are.** added t
1a20: 6f 20 74 68 65 20 72 65 74 75 72 6e 65 64 20 6c  o the returned l
1a30: 69 73 74 2e 20 54 68 65 20 66 69 72 73 74 20 69  ist. The first i
1a40: 73 20 74 68 65 20 74 6f 6b 65 6e 20 70 6f 73 69  s the token posi
1a50: 74 69 6f 6e 2c 20 74 68 65 20 0a 2a 2a 20 73 65  tion, the .** se
1a60: 63 6f 6e 64 20 69 73 20 74 68 65 20 74 6f 6b 65  cond is the toke
1a70: 6e 20 74 65 78 74 20 28 66 6f 6c 64 65 64 2c 20  n text (folded, 
1a80: 73 74 65 6d 6d 65 64 2c 20 65 74 63 2e 29 20 61  stemmed, etc.) a
1a90: 6e 64 20 74 68 65 20 74 68 69 72 64 20 69 73 20  nd the third is 
1aa0: 74 68 65 0a 2a 2a 20 73 75 62 73 74 72 69 6e 67  the.** substring
1ab0: 20 6f 66 20 3c 69 6e 70 75 74 2d 73 74 72 69 6e   of <input-strin
1ac0: 67 3e 20 61 73 73 6f 63 69 61 74 65 64 20 77 69  g> associated wi
1ad0: 74 68 20 74 68 65 20 74 6f 6b 65 6e 2e 20 46 6f  th the token. Fo
1ae0: 72 20 65 78 61 6d 70 6c 65 2c 20 0a 2a 2a 20 75  r example, .** u
1af0: 73 69 6e 67 20 74 68 65 20 62 75 69 6c 74 2d 69  sing the built-i
1b00: 6e 20 22 73 69 6d 70 6c 65 22 20 74 6f 6b 65 6e  n "simple" token
1b10: 69 7a 65 72 3a 0a 2a 2a 0a 2a 2a 20 20 20 53 45  izer:.**.**   SE
1b20: 4c 45 43 54 20 66 74 73 5f 74 6f 6b 65 6e 69 7a  LECT fts_tokeniz
1b30: 65 72 5f 74 65 73 74 28 27 73 69 6d 70 6c 65 27  er_test('simple'
1b40: 2c 20 27 49 20 64 6f 6e 27 74 20 73 65 65 20 68  , 'I don't see h
1b50: 6f 77 27 29 3b 0a 2a 2a 0a 2a 2a 20 77 69 6c 6c  ow');.**.** will
1b60: 20 72 65 74 75 72 6e 20 74 68 65 20 73 74 72 69   return the stri
1b70: 6e 67 3a 0a 2a 2a 0a 2a 2a 20 20 20 22 7b 30 20  ng:.**.**   "{0 
1b80: 69 20 49 20 31 20 64 6f 6e 74 20 64 6f 6e 27 74  i I 1 dont don't
1b90: 20 32 20 73 65 65 20 73 65 65 20 33 20 68 6f 77   2 see see 3 how
1ba0: 20 68 6f 77 7d 22 0a 2a 2a 20 20 20 0a 2a 2f 0a   how}".**   .*/.
1bb0: 73 74 61 74 69 63 20 76 6f 69 64 20 74 65 73 74  static void test
1bc0: 46 75 6e 63 28 0a 20 20 73 71 6c 69 74 65 33 5f  Func(.  sqlite3_
1bd0: 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78 74  context *context
1be0: 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c 0a 20 20  ,.  int argc,.  
1bf0: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a 2a  sqlite3_value **
1c00: 61 72 67 76 0a 29 7b 0a 20 20 46 74 73 33 48 61  argv.){.  Fts3Ha
1c10: 73 68 20 2a 70 48 61 73 68 3b 0a 20 20 73 71 6c  sh *pHash;.  sql
1c20: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d  ite3_tokenizer_m
1c30: 6f 64 75 6c 65 20 2a 70 3b 0a 20 20 73 71 6c 69  odule *p;.  sqli
1c40: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 70  te3_tokenizer *p
1c50: 54 6f 6b 65 6e 69 7a 65 72 20 3d 20 30 3b 0a 20  Tokenizer = 0;. 
1c60: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a   sqlite3_tokeniz
1c70: 65 72 5f 63 75 72 73 6f 72 20 2a 70 43 73 72 20  er_cursor *pCsr 
1c80: 3d 20 30 3b 0a 0a 20 20 63 6f 6e 73 74 20 63 68  = 0;..  const ch
1c90: 61 72 20 2a 7a 45 72 72 20 3d 20 30 3b 0a 0a 20  ar *zErr = 0;.. 
1ca0: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 4e 61   const char *zNa
1cb0: 6d 65 3b 0a 20 20 69 6e 74 20 6e 4e 61 6d 65 3b  me;.  int nName;
1cc0: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a  .  const char *z
1cd0: 49 6e 70 75 74 3b 0a 20 20 69 6e 74 20 6e 49 6e  Input;.  int nIn
1ce0: 70 75 74 3b 0a 0a 20 20 63 6f 6e 73 74 20 63 68  put;..  const ch
1cf0: 61 72 20 2a 7a 41 72 67 20 3d 20 30 3b 0a 0a 20  ar *zArg = 0;.. 
1d00: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 54 6f   const char *zTo
1d10: 6b 65 6e 3b 0a 20 20 69 6e 74 20 6e 54 6f 6b 65  ken;.  int nToke
1d20: 6e 3b 0a 20 20 69 6e 74 20 69 53 74 61 72 74 3b  n;.  int iStart;
1d30: 0a 20 20 69 6e 74 20 69 45 6e 64 3b 0a 20 20 69  .  int iEnd;.  i
1d40: 6e 74 20 69 50 6f 73 3b 0a 0a 20 20 54 63 6c 5f  nt iPos;..  Tcl_
1d50: 4f 62 6a 20 2a 70 52 65 74 3b 0a 0a 20 20 61 73  Obj *pRet;..  as
1d60: 73 65 72 74 28 20 61 72 67 63 3d 3d 32 20 7c 7c  sert( argc==2 ||
1d70: 20 61 72 67 63 3d 3d 33 20 29 3b 0a 0a 20 20 6e   argc==3 );..  n
1d80: 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65 33 5f 76  Name = sqlite3_v
1d90: 61 6c 75 65 5f 62 79 74 65 73 28 61 72 67 76 5b  alue_bytes(argv[
1da0: 30 5d 29 3b 0a 20 20 7a 4e 61 6d 65 20 3d 20 28  0]);.  zName = (
1db0: 63 6f 6e 73 74 20 63 68 61 72 20 2a 29 73 71 6c  const char *)sql
1dc0: 69 74 65 33 5f 76 61 6c 75 65 5f 74 65 78 74 28  ite3_value_text(
1dd0: 61 72 67 76 5b 30 5d 29 3b 0a 20 20 6e 49 6e 70  argv[0]);.  nInp
1de0: 75 74 20 3d 20 73 71 6c 69 74 65 33 5f 76 61 6c  ut = sqlite3_val
1df0: 75 65 5f 62 79 74 65 73 28 61 72 67 76 5b 61 72  ue_bytes(argv[ar
1e00: 67 63 2d 31 5d 29 3b 0a 20 20 7a 49 6e 70 75 74  gc-1]);.  zInput
1e10: 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 72 20 2a   = (const char *
1e20: 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74  )sqlite3_value_t
1e30: 65 78 74 28 61 72 67 76 5b 61 72 67 63 2d 31 5d  ext(argv[argc-1]
1e40: 29 3b 0a 0a 20 20 69 66 28 20 61 72 67 63 3d 3d  );..  if( argc==
1e50: 33 20 29 7b 0a 20 20 20 20 7a 41 72 67 20 3d 20  3 ){.    zArg = 
1e60: 28 63 6f 6e 73 74 20 63 68 61 72 20 2a 29 73 71  (const char *)sq
1e70: 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74 65 78 74  lite3_value_text
1e80: 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20 7d 0a 0a  (argv[1]);.  }..
1e90: 20 20 70 48 61 73 68 20 3d 20 28 46 74 73 33 48    pHash = (Fts3H
1ea0: 61 73 68 20 2a 29 73 71 6c 69 74 65 33 5f 75 73  ash *)sqlite3_us
1eb0: 65 72 5f 64 61 74 61 28 63 6f 6e 74 65 78 74 29  er_data(context)
1ec0: 3b 0a 20 20 70 20 3d 20 28 73 71 6c 69 74 65 33  ;.  p = (sqlite3
1ed0: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c  _tokenizer_modul
1ee0: 65 20 2a 29 73 71 6c 69 74 65 33 46 74 73 33 48  e *)sqlite3Fts3H
1ef0: 61 73 68 46 69 6e 64 28 70 48 61 73 68 2c 20 7a  ashFind(pHash, z
1f00: 4e 61 6d 65 2c 20 6e 4e 61 6d 65 2b 31 29 3b 0a  Name, nName+1);.
1f10: 0a 20 20 69 66 28 20 21 70 20 29 7b 0a 20 20 20  .  if( !p ){.   
1f20: 20 63 68 61 72 20 2a 7a 45 72 72 20 3d 20 73 71   char *zErr = sq
1f30: 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 75  lite3_mprintf("u
1f40: 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72  nknown tokenizer
1f50: 3a 20 25 73 22 2c 20 7a 4e 61 6d 65 29 3b 0a 20  : %s", zName);. 
1f60: 20 20 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c     sqlite3_resul
1f70: 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c  t_error(context,
1f80: 20 7a 45 72 72 2c 20 2d 31 29 3b 0a 20 20 20 20   zErr, -1);.    
1f90: 73 71 6c 69 74 65 33 5f 66 72 65 65 28 7a 45 72  sqlite3_free(zEr
1fa0: 72 29 3b 0a 20 20 20 20 72 65 74 75 72 6e 3b 0a  r);.    return;.
1fb0: 20 20 7d 0a 0a 20 20 70 52 65 74 20 3d 20 54 63    }..  pRet = Tc
1fc0: 6c 5f 4e 65 77 4f 62 6a 28 29 3b 0a 20 20 54 63  l_NewObj();.  Tc
1fd0: 6c 5f 49 6e 63 72 52 65 66 43 6f 75 6e 74 28 70  l_IncrRefCount(p
1fe0: 52 65 74 29 3b 0a 0a 20 20 69 66 28 20 53 51 4c  Ret);..  if( SQL
1ff0: 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 43 72 65 61  ITE_OK!=p->xCrea
2000: 74 65 28 7a 41 72 67 20 3f 20 31 20 3a 20 30 2c  te(zArg ? 1 : 0,
2010: 20 26 7a 41 72 67 2c 20 26 70 54 6f 6b 65 6e 69   &zArg, &pTokeni
2020: 7a 65 72 29 20 29 7b 0a 20 20 20 20 7a 45 72 72  zer) ){.    zErr
2030: 20 3d 20 22 65 72 72 6f 72 20 69 6e 20 78 43 72   = "error in xCr
2040: 65 61 74 65 28 29 22 3b 0a 20 20 20 20 67 6f 74  eate()";.    got
2050: 6f 20 66 69 6e 69 73 68 3b 0a 20 20 7d 0a 20 20  o finish;.  }.  
2060: 70 54 6f 6b 65 6e 69 7a 65 72 2d 3e 70 4d 6f 64  pTokenizer->pMod
2070: 75 6c 65 20 3d 20 70 3b 0a 20 20 69 66 28 20 53  ule = p;.  if( S
2080: 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 4f 70  QLITE_OK!=p->xOp
2090: 65 6e 28 70 54 6f 6b 65 6e 69 7a 65 72 2c 20 7a  en(pTokenizer, z
20a0: 49 6e 70 75 74 2c 20 6e 49 6e 70 75 74 2c 20 26  Input, nInput, &
20b0: 70 43 73 72 29 20 29 7b 0a 20 20 20 20 7a 45 72  pCsr) ){.    zEr
20c0: 72 20 3d 20 22 65 72 72 6f 72 20 69 6e 20 78 4f  r = "error in xO
20d0: 70 65 6e 28 29 22 3b 0a 20 20 20 20 67 6f 74 6f  pen()";.    goto
20e0: 20 66 69 6e 69 73 68 3b 0a 20 20 7d 0a 20 20 70   finish;.  }.  p
20f0: 43 73 72 2d 3e 70 54 6f 6b 65 6e 69 7a 65 72 20  Csr->pTokenizer 
2100: 3d 20 70 54 6f 6b 65 6e 69 7a 65 72 3b 0a 0a 20  = pTokenizer;.. 
2110: 20 77 68 69 6c 65 28 20 53 51 4c 49 54 45 5f 4f   while( SQLITE_O
2120: 4b 3d 3d 70 2d 3e 78 4e 65 78 74 28 70 43 73 72  K==p->xNext(pCsr
2130: 2c 20 26 7a 54 6f 6b 65 6e 2c 20 26 6e 54 6f 6b  , &zToken, &nTok
2140: 65 6e 2c 20 26 69 53 74 61 72 74 2c 20 26 69 45  en, &iStart, &iE
2150: 6e 64 2c 20 26 69 50 6f 73 29 20 29 7b 0a 20 20  nd, &iPos) ){.  
2160: 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a 41 70 70    Tcl_ListObjApp
2170: 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c 20 70 52  endElement(0, pR
2180: 65 74 2c 20 54 63 6c 5f 4e 65 77 49 6e 74 4f 62  et, Tcl_NewIntOb
2190: 6a 28 69 50 6f 73 29 29 3b 0a 20 20 20 20 54 63  j(iPos));.    Tc
21a0: 6c 5f 4c 69 73 74 4f 62 6a 41 70 70 65 6e 64 45  l_ListObjAppendE
21b0: 6c 65 6d 65 6e 74 28 30 2c 20 70 52 65 74 2c 20  lement(0, pRet, 
21c0: 54 63 6c 5f 4e 65 77 53 74 72 69 6e 67 4f 62 6a  Tcl_NewStringObj
21d0: 28 7a 54 6f 6b 65 6e 2c 20 6e 54 6f 6b 65 6e 29  (zToken, nToken)
21e0: 29 3b 0a 20 20 20 20 7a 54 6f 6b 65 6e 20 3d 20  );.    zToken = 
21f0: 26 7a 49 6e 70 75 74 5b 69 53 74 61 72 74 5d 3b  &zInput[iStart];
2200: 0a 20 20 20 20 6e 54 6f 6b 65 6e 20 3d 20 69 45  .    nToken = iE
2210: 6e 64 2d 69 53 74 61 72 74 3b 0a 20 20 20 20 54  nd-iStart;.    T
2220: 63 6c 5f 4c 69 73 74 4f 62 6a 41 70 70 65 6e 64  cl_ListObjAppend
2230: 45 6c 65 6d 65 6e 74 28 30 2c 20 70 52 65 74 2c  Element(0, pRet,
2240: 20 54 63 6c 5f 4e 65 77 53 74 72 69 6e 67 4f 62   Tcl_NewStringOb
2250: 6a 28 7a 54 6f 6b 65 6e 2c 20 6e 54 6f 6b 65 6e  j(zToken, nToken
2260: 29 29 3b 0a 20 20 7d 0a 0a 20 20 69 66 28 20 53  ));.  }..  if( S
2270: 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 43 6c  QLITE_OK!=p->xCl
2280: 6f 73 65 28 70 43 73 72 29 20 29 7b 0a 20 20 20  ose(pCsr) ){.   
2290: 20 7a 45 72 72 20 3d 20 22 65 72 72 6f 72 20 69   zErr = "error i
22a0: 6e 20 78 43 6c 6f 73 65 28 29 22 3b 0a 20 20 20  n xClose()";.   
22b0: 20 67 6f 74 6f 20 66 69 6e 69 73 68 3b 0a 20 20   goto finish;.  
22c0: 7d 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f 4f  }.  if( SQLITE_O
22d0: 4b 21 3d 70 2d 3e 78 44 65 73 74 72 6f 79 28 70  K!=p->xDestroy(p
22e0: 54 6f 6b 65 6e 69 7a 65 72 29 20 29 7b 0a 20 20  Tokenizer) ){.  
22f0: 20 20 7a 45 72 72 20 3d 20 22 65 72 72 6f 72 20    zErr = "error 
2300: 69 6e 20 78 44 65 73 74 72 6f 79 28 29 22 3b 0a  in xDestroy()";.
2310: 20 20 20 20 67 6f 74 6f 20 66 69 6e 69 73 68 3b      goto finish;
2320: 0a 20 20 7d 0a 0a 66 69 6e 69 73 68 3a 0a 20 20  .  }..finish:.  
2330: 69 66 28 20 7a 45 72 72 20 29 7b 0a 20 20 20 20  if( zErr ){.    
2340: 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65  sqlite3_result_e
2350: 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 7a 45  rror(context, zE
2360: 72 72 2c 20 2d 31 29 3b 0a 20 20 7d 65 6c 73 65  rr, -1);.  }else
2370: 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 72 65  {.    sqlite3_re
2380: 73 75 6c 74 5f 74 65 78 74 28 63 6f 6e 74 65 78  sult_text(contex
2390: 74 2c 20 54 63 6c 5f 47 65 74 53 74 72 69 6e 67  t, Tcl_GetString
23a0: 28 70 52 65 74 29 2c 20 2d 31 2c 20 53 51 4c 49  (pRet), -1, SQLI
23b0: 54 45 5f 54 52 41 4e 53 49 45 4e 54 29 3b 0a 20  TE_TRANSIENT);. 
23c0: 20 7d 0a 20 20 54 63 6c 5f 44 65 63 72 52 65 66   }.  Tcl_DecrRef
23d0: 43 6f 75 6e 74 28 70 52 65 74 29 3b 0a 7d 0a 0a  Count(pRet);.}..
23e0: 73 74 61 74 69 63 0a 69 6e 74 20 72 65 67 69 73  static.int regis
23f0: 74 65 72 54 6f 6b 65 6e 69 7a 65 72 28 0a 20 20  terTokenizer(.  
2400: 73 71 6c 69 74 65 33 20 2a 64 62 2c 20 0a 20 20  sqlite3 *db, .  
2410: 63 68 61 72 20 2a 7a 4e 61 6d 65 2c 20 0a 20 20  char *zName, .  
2420: 63 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f 74 6f  const sqlite3_to
2430: 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a  kenizer_module *
2440: 70 0a 29 7b 0a 20 20 69 6e 74 20 72 63 3b 0a 20  p.){.  int rc;. 
2450: 20 73 71 6c 69 74 65 33 5f 73 74 6d 74 20 2a 70   sqlite3_stmt *p
2460: 53 74 6d 74 3b 0a 20 20 63 6f 6e 73 74 20 63 68  Stmt;.  const ch
2470: 61 72 20 7a 53 71 6c 5b 5d 20 3d 20 22 53 45 4c  ar zSql[] = "SEL
2480: 45 43 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a  ECT fts3_tokeniz
2490: 65 72 28 3f 2c 20 3f 29 22 3b 0a 0a 20 20 72 63  er(?, ?)";..  rc
24a0: 20 3d 20 73 71 6c 69 74 65 33 5f 70 72 65 70 61   = sqlite3_prepa
24b0: 72 65 5f 76 32 28 64 62 2c 20 7a 53 71 6c 2c 20  re_v2(db, zSql, 
24c0: 2d 31 2c 20 26 70 53 74 6d 74 2c 20 30 29 3b 0a  -1, &pStmt, 0);.
24d0: 20 20 69 66 28 20 72 63 21 3d 53 51 4c 49 54 45    if( rc!=SQLITE
24e0: 5f 4f 4b 20 29 7b 0a 20 20 20 20 72 65 74 75 72  _OK ){.    retur
24f0: 6e 20 72 63 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c  n rc;.  }..  sql
2500: 69 74 65 33 5f 62 69 6e 64 5f 74 65 78 74 28 70  ite3_bind_text(p
2510: 53 74 6d 74 2c 20 31 2c 20 7a 4e 61 6d 65 2c 20  Stmt, 1, zName, 
2520: 2d 31 2c 20 53 51 4c 49 54 45 5f 53 54 41 54 49  -1, SQLITE_STATI
2530: 43 29 3b 0a 20 20 73 71 6c 69 74 65 33 5f 62 69  C);.  sqlite3_bi
2540: 6e 64 5f 62 6c 6f 62 28 70 53 74 6d 74 2c 20 32  nd_blob(pStmt, 2
2550: 2c 20 26 70 2c 20 73 69 7a 65 6f 66 28 70 29 2c  , &p, sizeof(p),
2560: 20 53 51 4c 49 54 45 5f 53 54 41 54 49 43 29 3b   SQLITE_STATIC);
2570: 0a 20 20 73 71 6c 69 74 65 33 5f 73 74 65 70 28  .  sqlite3_step(
2580: 70 53 74 6d 74 29 3b 0a 0a 20 20 72 65 74 75 72  pStmt);..  retur
2590: 6e 20 73 71 6c 69 74 65 33 5f 66 69 6e 61 6c 69  n sqlite3_finali
25a0: 7a 65 28 70 53 74 6d 74 29 3b 0a 7d 0a 0a 73 74  ze(pStmt);.}..st
25b0: 61 74 69 63 0a 69 6e 74 20 71 75 65 72 79 54 6f  atic.int queryTo
25c0: 6b 65 6e 69 7a 65 72 28 0a 20 20 73 71 6c 69 74  kenizer(.  sqlit
25d0: 65 33 20 2a 64 62 2c 20 0a 20 20 63 68 61 72 20  e3 *db, .  char 
25e0: 2a 7a 4e 61 6d 65 2c 20 20 0a 20 20 63 6f 6e 73  *zName,  .  cons
25f0: 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69  t sqlite3_tokeni
2600: 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 2a 70 70 0a  zer_module **pp.
2610: 29 7b 0a 20 20 69 6e 74 20 72 63 3b 0a 20 20 73  ){.  int rc;.  s
2620: 71 6c 69 74 65 33 5f 73 74 6d 74 20 2a 70 53 74  qlite3_stmt *pSt
2630: 6d 74 3b 0a 20 20 63 6f 6e 73 74 20 63 68 61 72  mt;.  const char
2640: 20 7a 53 71 6c 5b 5d 20 3d 20 22 53 45 4c 45 43   zSql[] = "SELEC
2650: 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72  T fts3_tokenizer
2660: 28 3f 29 22 3b 0a 0a 20 20 2a 70 70 20 3d 20 30  (?)";..  *pp = 0
2670: 3b 0a 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33  ;.  rc = sqlite3
2680: 5f 70 72 65 70 61 72 65 5f 76 32 28 64 62 2c 20  _prepare_v2(db, 
2690: 7a 53 71 6c 2c 20 2d 31 2c 20 26 70 53 74 6d 74  zSql, -1, &pStmt
26a0: 2c 20 30 29 3b 0a 20 20 69 66 28 20 72 63 21 3d  , 0);.  if( rc!=
26b0: 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20  SQLITE_OK ){.   
26c0: 20 72 65 74 75 72 6e 20 72 63 3b 0a 20 20 7d 0a   return rc;.  }.
26d0: 0a 20 20 73 71 6c 69 74 65 33 5f 62 69 6e 64 5f  .  sqlite3_bind_
26e0: 74 65 78 74 28 70 53 74 6d 74 2c 20 31 2c 20 7a  text(pStmt, 1, z
26f0: 4e 61 6d 65 2c 20 2d 31 2c 20 53 51 4c 49 54 45  Name, -1, SQLITE
2700: 5f 53 54 41 54 49 43 29 3b 0a 20 20 69 66 28 20  _STATIC);.  if( 
2710: 53 51 4c 49 54 45 5f 52 4f 57 3d 3d 73 71 6c 69  SQLITE_ROW==sqli
2720: 74 65 33 5f 73 74 65 70 28 70 53 74 6d 74 29 20  te3_step(pStmt) 
2730: 29 7b 0a 20 20 20 20 69 66 28 20 73 71 6c 69 74  ){.    if( sqlit
2740: 65 33 5f 63 6f 6c 75 6d 6e 5f 74 79 70 65 28 70  e3_column_type(p
2750: 53 74 6d 74 2c 20 30 29 3d 3d 53 51 4c 49 54 45  Stmt, 0)==SQLITE
2760: 5f 42 4c 4f 42 20 29 7b 0a 20 20 20 20 20 20 6d  _BLOB ){.      m
2770: 65 6d 63 70 79 28 28 76 6f 69 64 20 2a 29 70 70  emcpy((void *)pp
2780: 2c 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e  , sqlite3_column
2790: 5f 62 6c 6f 62 28 70 53 74 6d 74 2c 20 30 29 2c  _blob(pStmt, 0),
27a0: 20 73 69 7a 65 6f 66 28 2a 70 70 29 29 3b 0a 20   sizeof(*pp));. 
27b0: 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 72 65 74 75     }.  }..  retu
27c0: 72 6e 20 73 71 6c 69 74 65 33 5f 66 69 6e 61 6c  rn sqlite3_final
27d0: 69 7a 65 28 70 53 74 6d 74 29 3b 0a 7d 0a 0a 76  ize(pStmt);.}..v
27e0: 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 33 53  oid sqlite3Fts3S
27f0: 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f  impleTokenizerMo
2800: 64 75 6c 65 28 73 71 6c 69 74 65 33 5f 74 6f 6b  dule(sqlite3_tok
2810: 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 63 6f  enizer_module co
2820: 6e 73 74 2a 2a 70 70 4d 6f 64 75 6c 65 29 3b 0a  nst**ppModule);.
2830: 0a 2f 2a 0a 2a 2a 20 49 6d 70 6c 65 6d 65 6e 74  ./*.** Implement
2840: 61 74 69 6f 6e 20 6f 66 20 74 68 65 20 73 63 61  ation of the sca
2850: 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 66 74 73  lar function fts
2860: 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 69 6e 74 65  3_tokenizer_inte
2870: 72 6e 61 6c 5f 74 65 73 74 28 29 2e 0a 2a 2a 20  rnal_test()..** 
2880: 54 68 69 73 20 66 75 6e 63 74 69 6f 6e 20 69 73  This function is
2890: 20 75 73 65 64 20 66 6f 72 20 74 65 73 74 69 6e   used for testin
28a0: 67 20 6f 6e 6c 79 2c 20 69 74 20 69 73 20 6e 6f  g only, it is no
28b0: 74 20 69 6e 63 6c 75 64 65 64 20 69 6e 20 74 68  t included in th
28c0: 65 0a 2a 2a 20 62 75 69 6c 64 20 75 6e 6c 65 73  e.** build unles
28d0: 73 20 53 51 4c 49 54 45 5f 54 45 53 54 20 69 73  s SQLITE_TEST is
28e0: 20 64 65 66 69 6e 65 64 2e 0a 2a 2a 0a 2a 2a 20   defined..**.** 
28f0: 54 68 65 20 70 75 72 70 6f 73 65 20 6f 66 20 74  The purpose of t
2900: 68 69 73 20 69 73 20 74 6f 20 74 65 73 74 20 74  his is to test t
2910: 68 61 74 20 74 68 65 20 66 74 73 33 5f 74 6f 6b  hat the fts3_tok
2920: 65 6e 69 7a 65 72 28 29 20 66 75 6e 63 74 69 6f  enizer() functio
2930: 6e 0a 2a 2a 20 63 61 6e 20 62 65 20 75 73 65 64  n.** can be used
2940: 20 61 73 20 64 65 73 69 67 6e 65 64 20 62 79 20   as designed by 
2950: 74 68 65 20 43 2d 63 6f 64 65 20 69 6e 20 74 68  the C-code in th
2960: 65 20 71 75 65 72 79 54 6f 6b 65 6e 69 7a 65 72  e queryTokenizer
2970: 20 61 6e 64 0a 2a 2a 20 72 65 67 69 73 74 65 72   and.** register
2980: 54 6f 6b 65 6e 69 7a 65 72 28 29 20 66 75 6e 63  Tokenizer() func
2990: 74 69 6f 6e 73 20 61 62 6f 76 65 2e 20 54 68 65  tions above. The
29a0: 73 65 20 74 77 6f 20 66 75 6e 63 74 69 6f 6e 73  se two functions
29b0: 20 61 72 65 20 72 65 70 65 61 74 65 64 0a 2a 2a   are repeated.**
29c0: 20 69 6e 20 74 68 65 20 52 45 41 44 4d 45 2e 74   in the README.t
29d0: 6f 6b 65 6e 69 7a 65 72 20 66 69 6c 65 20 61 73  okenizer file as
29e0: 20 61 6e 20 65 78 61 6d 70 6c 65 2c 20 73 6f 20   an example, so 
29f0: 69 74 20 69 73 20 69 6d 70 6f 72 74 61 6e 74 20  it is important 
2a00: 74 6f 0a 2a 2a 20 74 65 73 74 20 74 68 65 6d 2e  to.** test them.
2a10: 0a 2a 2a 0a 2a 2a 20 54 6f 20 72 75 6e 20 74 68  .**.** To run th
2a20: 65 20 74 65 73 74 73 2c 20 65 76 61 6c 75 61 74  e tests, evaluat
2a30: 65 20 74 68 65 20 66 74 73 33 5f 74 6f 6b 65 6e  e the fts3_token
2a40: 69 7a 65 72 5f 69 6e 74 65 72 6e 61 6c 5f 74 65  izer_internal_te
2a50: 73 74 28 29 20 73 63 61 6c 61 72 0a 2a 2a 20 66  st() scalar.** f
2a60: 75 6e 63 74 69 6f 6e 20 77 69 74 68 20 6e 6f 20  unction with no 
2a70: 61 72 67 75 6d 65 6e 74 73 2e 20 41 6e 20 61 73  arguments. An as
2a80: 73 65 72 74 28 29 20 77 69 6c 6c 20 66 61 69 6c  sert() will fail
2a90: 20 69 66 20 61 20 70 72 6f 62 6c 65 6d 20 69 73   if a problem is
2aa0: 0a 2a 2a 20 64 65 74 65 63 74 65 64 2e 20 69 2e  .** detected. i.
2ab0: 65 2e 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 53 45  e.:.**.**     SE
2ac0: 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69  LECT fts3_tokeni
2ad0: 7a 65 72 5f 69 6e 74 65 72 6e 61 6c 5f 74 65 73  zer_internal_tes
2ae0: 74 28 29 3b 0a 2a 2a 0a 2a 2f 0a 73 74 61 74 69  t();.**.*/.stati
2af0: 63 20 76 6f 69 64 20 69 6e 74 54 65 73 74 46 75  c void intTestFu
2b00: 6e 63 28 0a 20 20 73 71 6c 69 74 65 33 5f 63 6f  nc(.  sqlite3_co
2b10: 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78 74 2c 0a  ntext *context,.
2b20: 20 20 69 6e 74 20 61 72 67 63 2c 0a 20 20 73 71    int argc,.  sq
2b30: 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a 2a 61 72  lite3_value **ar
2b40: 67 76 0a 29 7b 0a 20 20 69 6e 74 20 72 63 3b 0a  gv.){.  int rc;.
2b50: 20 20 63 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f    const sqlite3_
2b60: 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65  tokenizer_module
2b70: 20 2a 70 31 3b 0a 20 20 63 6f 6e 73 74 20 73 71   *p1;.  const sq
2b80: 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f  lite3_tokenizer_
2b90: 6d 6f 64 75 6c 65 20 2a 70 32 3b 0a 20 20 73 71  module *p2;.  sq
2ba0: 6c 69 74 65 33 20 2a 64 62 20 3d 20 28 73 71 6c  lite3 *db = (sql
2bb0: 69 74 65 33 20 2a 29 73 71 6c 69 74 65 33 5f 75  ite3 *)sqlite3_u
2bc0: 73 65 72 5f 64 61 74 61 28 63 6f 6e 74 65 78 74  ser_data(context
2bd0: 29 3b 0a 0a 20 20 55 4e 55 53 45 44 5f 50 41 52  );..  UNUSED_PAR
2be0: 41 4d 45 54 45 52 28 61 72 67 63 29 3b 0a 20 20  AMETER(argc);.  
2bf0: 55 4e 55 53 45 44 5f 50 41 52 41 4d 45 54 45 52  UNUSED_PARAMETER
2c00: 28 61 72 67 76 29 3b 0a 0a 20 20 2f 2a 20 54 65  (argv);..  /* Te
2c10: 73 74 20 74 68 65 20 71 75 65 72 79 20 66 75 6e  st the query fun
2c20: 63 74 69 6f 6e 20 2a 2f 0a 20 20 73 71 6c 69 74  ction */.  sqlit
2c30: 65 33 46 74 73 33 53 69 6d 70 6c 65 54 6f 6b 65  e3Fts3SimpleToke
2c40: 6e 69 7a 65 72 4d 6f 64 75 6c 65 28 26 70 31 29  nizerModule(&p1)
2c50: 3b 0a 20 20 72 63 20 3d 20 71 75 65 72 79 54 6f  ;.  rc = queryTo
2c60: 6b 65 6e 69 7a 65 72 28 64 62 2c 20 22 73 69 6d  kenizer(db, "sim
2c70: 70 6c 65 22 2c 20 26 70 32 29 3b 0a 20 20 61 73  ple", &p2);.  as
2c80: 73 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 54 45  sert( rc==SQLITE
2c90: 5f 4f 4b 20 29 3b 0a 20 20 61 73 73 65 72 74 28  _OK );.  assert(
2ca0: 20 70 31 3d 3d 70 32 20 29 3b 0a 20 20 72 63 20   p1==p2 );.  rc 
2cb0: 3d 20 71 75 65 72 79 54 6f 6b 65 6e 69 7a 65 72  = queryTokenizer
2cc0: 28 64 62 2c 20 22 6e 6f 73 75 63 68 74 6f 6b 65  (db, "nosuchtoke
2cd0: 6e 69 7a 65 72 22 2c 20 26 70 32 29 3b 0a 20 20  nizer", &p2);.  
2ce0: 61 73 73 65 72 74 28 20 72 63 3d 3d 53 51 4c 49  assert( rc==SQLI
2cf0: 54 45 5f 45 52 52 4f 52 20 29 3b 0a 20 20 61 73  TE_ERROR );.  as
2d00: 73 65 72 74 28 20 70 32 3d 3d 30 20 29 3b 0a 20  sert( p2==0 );. 
2d10: 20 61 73 73 65 72 74 28 20 30 3d 3d 73 74 72 63   assert( 0==strc
2d20: 6d 70 28 73 71 6c 69 74 65 33 5f 65 72 72 6d 73  mp(sqlite3_errms
2d30: 67 28 64 62 29 2c 20 22 75 6e 6b 6e 6f 77 6e 20  g(db), "unknown 
2d40: 74 6f 6b 65 6e 69 7a 65 72 3a 20 6e 6f 73 75 63  tokenizer: nosuc
2d50: 68 74 6f 6b 65 6e 69 7a 65 72 22 29 20 29 3b 0a  htokenizer") );.
2d60: 0a 20 20 2f 2a 20 54 65 73 74 20 74 68 65 20 73  .  /* Test the s
2d70: 74 6f 72 61 67 65 20 66 75 6e 63 74 69 6f 6e 20  torage function 
2d80: 2a 2f 0a 20 20 72 63 20 3d 20 72 65 67 69 73 74  */.  rc = regist
2d90: 65 72 54 6f 6b 65 6e 69 7a 65 72 28 64 62 2c 20  erTokenizer(db, 
2da0: 22 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72  "nosuchtokenizer
2db0: 22 2c 20 70 31 29 3b 0a 20 20 61 73 73 65 72 74  ", p1);.  assert
2dc0: 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4f 4b 20  ( rc==SQLITE_OK 
2dd0: 29 3b 0a 20 20 72 63 20 3d 20 71 75 65 72 79 54  );.  rc = queryT
2de0: 6f 6b 65 6e 69 7a 65 72 28 64 62 2c 20 22 6e 6f  okenizer(db, "no
2df0: 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72 22 2c 20  suchtokenizer", 
2e00: 26 70 32 29 3b 0a 20 20 61 73 73 65 72 74 28 20  &p2);.  assert( 
2e10: 72 63 3d 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 3b  rc==SQLITE_OK );
2e20: 0a 20 20 61 73 73 65 72 74 28 20 70 32 3d 3d 70  .  assert( p2==p
2e30: 31 20 29 3b 0a 0a 20 20 73 71 6c 69 74 65 33 5f  1 );..  sqlite3_
2e40: 72 65 73 75 6c 74 5f 74 65 78 74 28 63 6f 6e 74  result_text(cont
2e50: 65 78 74 2c 20 22 6f 6b 22 2c 20 2d 31 2c 20 53  ext, "ok", -1, S
2e60: 51 4c 49 54 45 5f 53 54 41 54 49 43 29 3b 0a 7d  QLITE_STATIC);.}
2e70: 0a 0a 23 65 6e 64 69 66 0a 0a 2f 2a 0a 2a 2a 20  ..#endif../*.** 
2e80: 53 65 74 20 75 70 20 53 51 4c 20 6f 62 6a 65 63  Set up SQL objec
2e90: 74 73 20 69 6e 20 64 61 74 61 62 61 73 65 20 64  ts in database d
2ea0: 62 20 75 73 65 64 20 74 6f 20 61 63 63 65 73 73  b used to access
2eb0: 20 74 68 65 20 63 6f 6e 74 65 6e 74 73 20 6f 66   the contents of
2ec0: 0a 2a 2a 20 74 68 65 20 68 61 73 68 20 74 61 62  .** the hash tab
2ed0: 6c 65 20 70 6f 69 6e 74 65 64 20 74 6f 20 62 79  le pointed to by
2ee0: 20 61 72 67 75 6d 65 6e 74 20 70 48 61 73 68 2e   argument pHash.
2ef0: 20 54 68 65 20 68 61 73 68 20 74 61 62 6c 65 20   The hash table 
2f00: 6d 75 73 74 0a 2a 2a 20 62 65 65 6e 20 69 6e 69  must.** been ini
2f10: 74 69 61 6c 69 73 65 64 20 74 6f 20 75 73 65 20  tialised to use 
2f20: 73 74 72 69 6e 67 20 6b 65 79 73 2c 20 61 6e 64  string keys, and
2f30: 20 74 6f 20 74 61 6b 65 20 61 20 70 72 69 76 61   to take a priva
2f40: 74 65 20 63 6f 70 79 20 0a 2a 2a 20 6f 66 20 74  te copy .** of t
2f50: 68 65 20 6b 65 79 20 77 68 65 6e 20 61 20 76 61  he key when a va
2f60: 6c 75 65 20 69 73 20 69 6e 73 65 72 74 65 64 2e  lue is inserted.
2f70: 20 69 2e 65 2e 20 62 79 20 61 20 63 61 6c 6c 20   i.e. by a call 
2f80: 73 69 6d 69 6c 61 72 20 74 6f 3a 0a 2a 2a 0a 2a  similar to:.**.*
2f90: 2a 20 20 20 20 73 71 6c 69 74 65 33 46 74 73 33  *    sqlite3Fts3
2fa0: 48 61 73 68 49 6e 69 74 28 70 48 61 73 68 2c 20  HashInit(pHash, 
2fb0: 46 54 53 33 5f 48 41 53 48 5f 53 54 52 49 4e 47  FTS3_HASH_STRING
2fc0: 2c 20 31 29 3b 0a 2a 2a 0a 2a 2a 20 54 68 69 73  , 1);.**.** This
2fd0: 20 66 75 6e 63 74 69 6f 6e 20 61 64 64 73 20 61   function adds a
2fe0: 20 73 63 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e   scalar function
2ff0: 20 28 73 65 65 20 68 65 61 64 65 72 20 63 6f 6d   (see header com
3000: 6d 65 6e 74 20 61 62 6f 76 65 0a 2a 2a 20 73 63  ment above.** sc
3010: 61 6c 61 72 46 75 6e 63 28 29 20 69 6e 20 74 68  alarFunc() in th
3020: 69 73 20 66 69 6c 65 20 66 6f 72 20 64 65 74 61  is file for deta
3030: 69 6c 73 29 20 61 6e 64 2c 20 69 66 20 45 4e 41  ils) and, if ENA
3040: 42 4c 45 5f 54 41 42 4c 45 20 69 73 0a 2a 2a 20  BLE_TABLE is.** 
3050: 64 65 66 69 6e 65 64 20 61 74 20 63 6f 6d 70 69  defined at compi
3060: 6c 61 74 69 6f 6e 20 74 69 6d 65 2c 20 61 20 74  lation time, a t
3070: 65 6d 70 6f 72 61 72 79 20 76 69 72 74 75 61 6c  emporary virtual
3080: 20 74 61 62 6c 65 20 28 73 65 65 20 68 65 61 64   table (see head
3090: 65 72 20 0a 2a 2a 20 63 6f 6d 6d 65 6e 74 20 61  er .** comment a
30a0: 62 6f 76 65 20 73 74 72 75 63 74 20 48 61 73 68  bove struct Hash
30b0: 54 61 62 6c 65 56 74 61 62 29 20 74 6f 20 74 68  TableVtab) to th
30c0: 65 20 64 61 74 61 62 61 73 65 20 73 63 68 65 6d  e database schem
30d0: 61 2e 20 42 6f 74 68 20 0a 2a 2a 20 70 72 6f 76  a. Both .** prov
30e0: 69 64 65 20 72 65 61 64 2f 77 72 69 74 65 20 61  ide read/write a
30f0: 63 63 65 73 73 20 74 6f 20 74 68 65 20 63 6f 6e  ccess to the con
3100: 74 65 6e 74 73 20 6f 66 20 2a 70 48 61 73 68 2e  tents of *pHash.
3110: 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74 68 69 72 64  .**.** The third
3120: 20 61 72 67 75 6d 65 6e 74 20 74 6f 20 74 68 69   argument to thi
3130: 73 20 66 75 6e 63 74 69 6f 6e 2c 20 7a 4e 61 6d  s function, zNam
3140: 65 2c 20 69 73 20 75 73 65 64 20 61 73 20 74 68  e, is used as th
3150: 65 20 6e 61 6d 65 0a 2a 2a 20 6f 66 20 62 6f 74  e name.** of bot
3160: 68 20 74 68 65 20 73 63 61 6c 61 72 20 61 6e 64  h the scalar and
3170: 2c 20 69 66 20 63 72 65 61 74 65 64 2c 20 74 68  , if created, th
3180: 65 20 76 69 72 74 75 61 6c 20 74 61 62 6c 65 2e  e virtual table.
3190: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 46  .*/.int sqlite3F
31a0: 74 73 33 49 6e 69 74 48 61 73 68 54 61 62 6c 65  ts3InitHashTable
31b0: 28 0a 20 20 73 71 6c 69 74 65 33 20 2a 64 62 2c  (.  sqlite3 *db,
31c0: 20 0a 20 20 46 74 73 33 48 61 73 68 20 2a 70 48   .  Fts3Hash *pH
31d0: 61 73 68 2c 20 0a 20 20 63 6f 6e 73 74 20 63 68  ash, .  const ch
31e0: 61 72 20 2a 7a 4e 61 6d 65 0a 29 7b 0a 20 20 69  ar *zName.){.  i
31f0: 6e 74 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 4f  nt rc = SQLITE_O
3200: 4b 3b 0a 20 20 76 6f 69 64 20 2a 70 20 3d 20 28  K;.  void *p = (
3210: 76 6f 69 64 20 2a 29 70 48 61 73 68 3b 0a 20 20  void *)pHash;.  
3220: 63 6f 6e 73 74 20 69 6e 74 20 61 6e 79 20 3d 20  const int any = 
3230: 53 51 4c 49 54 45 5f 41 4e 59 3b 0a 0a 23 69 66  SQLITE_ANY;..#if
3240: 64 65 66 20 53 51 4c 49 54 45 5f 54 45 53 54 0a  def SQLITE_TEST.
3250: 20 20 63 68 61 72 20 2a 7a 54 65 73 74 20 3d 20    char *zTest = 
3260: 30 3b 0a 20 20 63 68 61 72 20 2a 7a 54 65 73 74  0;.  char *zTest
3270: 32 20 3d 20 30 3b 0a 20 20 76 6f 69 64 20 2a 70  2 = 0;.  void *p
3280: 64 62 20 3d 20 28 76 6f 69 64 20 2a 29 64 62 3b  db = (void *)db;
3290: 0a 20 20 7a 54 65 73 74 20 3d 20 73 71 6c 69 74  .  zTest = sqlit
32a0: 65 33 5f 6d 70 72 69 6e 74 66 28 22 25 73 5f 74  e3_mprintf("%s_t
32b0: 65 73 74 22 2c 20 7a 4e 61 6d 65 29 3b 0a 20 20  est", zName);.  
32c0: 7a 54 65 73 74 32 20 3d 20 73 71 6c 69 74 65 33  zTest2 = sqlite3
32d0: 5f 6d 70 72 69 6e 74 66 28 22 25 73 5f 69 6e 74  _mprintf("%s_int
32e0: 65 72 6e 61 6c 5f 74 65 73 74 22 2c 20 7a 4e 61  ernal_test", zNa
32f0: 6d 65 29 3b 0a 20 20 69 66 28 20 21 7a 54 65 73  me);.  if( !zTes
3300: 74 20 7c 7c 20 21 7a 54 65 73 74 32 20 29 7b 0a  t || !zTest2 ){.
3310: 20 20 20 20 72 63 20 3d 20 53 51 4c 49 54 45 5f      rc = SQLITE_
3320: 4e 4f 4d 45 4d 3b 0a 20 20 7d 0a 23 65 6e 64 69  NOMEM;.  }.#endi
3330: 66 0a 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f  f..  if( SQLITE_
3340: 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20 72 63  OK==rc ){.    rc
3350: 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 65 61 74   = sqlite3_creat
3360: 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a  e_function(db, z
3370: 4e 61 6d 65 2c 20 31 2c 20 61 6e 79 2c 20 70 2c  Name, 1, any, p,
3380: 20 73 63 61 6c 61 72 46 75 6e 63 2c 20 30 2c 20   scalarFunc, 0, 
3390: 30 29 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53 51  0);.  }.  if( SQ
33a0: 4c 49 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20  LITE_OK==rc ){. 
33b0: 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f     rc = sqlite3_
33c0: 63 72 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28  create_function(
33d0: 64 62 2c 20 7a 4e 61 6d 65 2c 20 32 2c 20 61 6e  db, zName, 2, an
33e0: 79 2c 20 70 2c 20 73 63 61 6c 61 72 46 75 6e 63  y, p, scalarFunc
33f0: 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a 23 69 66  , 0, 0);.  }.#if
3400: 64 65 66 20 53 51 4c 49 54 45 5f 54 45 53 54 0a  def SQLITE_TEST.
3410: 20 20 69 66 28 20 53 51 4c 49 54 45 5f 4f 4b 3d    if( SQLITE_OK=
3420: 3d 72 63 20 29 7b 0a 20 20 20 20 72 63 20 3d 20  =rc ){.    rc = 
3430: 73 71 6c 69 74 65 33 5f 63 72 65 61 74 65 5f 66  sqlite3_create_f
3440: 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a 54 65 73  unction(db, zTes
3450: 74 2c 20 32 2c 20 61 6e 79 2c 20 70 2c 20 74 65  t, 2, any, p, te
3460: 73 74 46 75 6e 63 2c 20 30 2c 20 30 29 3b 0a 20  stFunc, 0, 0);. 
3470: 20 7d 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f   }.  if( SQLITE_
3480: 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20 72 63  OK==rc ){.    rc
3490: 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 65 61 74   = sqlite3_creat
34a0: 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a  e_function(db, z
34b0: 54 65 73 74 2c 20 33 2c 20 61 6e 79 2c 20 70 2c  Test, 3, any, p,
34c0: 20 74 65 73 74 46 75 6e 63 2c 20 30 2c 20 30 29   testFunc, 0, 0)
34d0: 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53 51 4c 49  ;.  }.  if( SQLI
34e0: 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20  TE_OK==rc ){.   
34f0: 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 63 72   rc = sqlite3_cr
3500: 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62  eate_function(db
3510: 2c 20 7a 54 65 73 74 32 2c 20 30 2c 20 61 6e 79  , zTest2, 0, any
3520: 2c 20 70 64 62 2c 20 69 6e 74 54 65 73 74 46 75  , pdb, intTestFu
3530: 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a 23  nc, 0, 0);.  }.#
3540: 65 6e 64 69 66 0a 0a 23 69 66 64 65 66 20 53 51  endif..#ifdef SQ
3550: 4c 49 54 45 5f 54 45 53 54 0a 20 20 73 71 6c 69  LITE_TEST.  sqli
3560: 74 65 33 5f 66 72 65 65 28 7a 54 65 73 74 29 3b  te3_free(zTest);
3570: 0a 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28  .  sqlite3_free(
3580: 7a 54 65 73 74 32 29 3b 0a 23 65 6e 64 69 66 0a  zTest2);.#endif.
3590: 0a 20 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d 0a  .  return rc;.}.
35a0: 0a 23 65 6e 64 69 66 20 2f 2a 20 21 64 65 66 69  .#endif /* !defi
35b0: 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f 52 45 29  ned(SQLITE_CORE)
35c0: 20 7c 7c 20 64 65 66 69 6e 65 64 28 53 51 4c 49   || defined(SQLI
35d0: 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33 29 20  TE_ENABLE_FTS3) 
35e0: 2a 2f 0a                                         */.