0000: 2f 2a 0a 2a 2a 20 32 30 30 37 20 4a 75 6e 65 20 /*.** 2007 June
0010: 32 32 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 22.**.** The aut
0020: 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f hor disclaims co
0030: 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 pyright to this
0040: 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e source code. In
0050: 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c place of.** a l
0060: 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 egal notice, her
0070: 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a e is a blessing:
0080: 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f .**.** May yo
0090: 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f u do good and no
00a0: 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 t evil..** Ma
00b0: 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 y you find forgi
00c0: 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 veness for yours
00d0: 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 elf and forgive
00e0: 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 others..** Ma
00f0: 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 y you share free
0100: 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 ly, never taking
0110: 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 more than you g
0120: 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a ive..**.********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0170: 2a 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 54 68 69 ******.**.** Thi
0180: 73 20 69 73 20 70 61 72 74 20 6f 66 20 61 6e 20 s is part of an
0190: 53 51 4c 69 74 65 20 6d 6f 64 75 6c 65 20 69 6d SQLite module im
01a0: 70 6c 65 6d 65 6e 74 69 6e 67 20 66 75 6c 6c 2d plementing full-
01b0: 74 65 78 74 20 73 65 61 72 63 68 2e 0a 2a 2a 20 text search..**
01c0: 54 68 69 73 20 70 61 72 74 69 63 75 6c 61 72 20 This particular
01d0: 66 69 6c 65 20 69 6d 70 6c 65 6d 65 6e 74 73 20 file implements
01e0: 74 68 65 20 67 65 6e 65 72 69 63 20 74 6f 6b 65 the generic toke
01f0: 6e 69 7a 65 72 20 69 6e 74 65 72 66 61 63 65 2e nizer interface.
0200: 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 63 .*/../*.** The c
0210: 6f 64 65 20 69 6e 20 74 68 69 73 20 66 69 6c 65 ode in this file
0220: 20 69 73 20 6f 6e 6c 79 20 63 6f 6d 70 69 6c 65 is only compile
0230: 64 20 69 66 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 d if:.**.**
0240: 2a 20 54 68 65 20 46 54 53 33 20 6d 6f 64 75 6c * The FTS3 modul
0250: 65 20 69 73 20 62 65 69 6e 67 20 62 75 69 6c 74 e is being built
0260: 20 61 73 20 61 6e 20 65 78 74 65 6e 73 69 6f 6e as an extension
0270: 0a 2a 2a 20 20 20 20 20 20 20 28 69 6e 20 77 68 .** (in wh
0280: 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45 5f ich case SQLITE_
0290: 43 4f 52 45 20 69 73 20 6e 6f 74 20 64 65 66 69 CORE is not defi
02a0: 6e 65 64 29 2c 20 6f 72 0a 2a 2a 0a 2a 2a 20 20 ned), or.**.**
02b0: 20 20 20 2a 20 54 68 65 20 46 54 53 33 20 6d 6f * The FTS3 mo
02c0: 64 75 6c 65 20 69 73 20 62 65 69 6e 67 20 62 75 dule is being bu
02d0: 69 6c 74 20 69 6e 74 6f 20 74 68 65 20 63 6f 72 ilt into the cor
02e0: 65 20 6f 66 0a 2a 2a 20 20 20 20 20 20 20 53 51 e of.** SQ
02f0: 4c 69 74 65 20 28 69 6e 20 77 68 69 63 68 20 63 Lite (in which c
0300: 61 73 65 20 53 51 4c 49 54 45 5f 45 4e 41 42 4c ase SQLITE_ENABL
0310: 45 5f 46 54 53 33 20 69 73 20 64 65 66 69 6e 65 E_FTS3 is define
0320: 64 29 2e 0a 2a 2f 0a 23 69 6e 63 6c 75 64 65 20 d)..*/.#include
0330: 22 73 71 6c 69 74 65 33 65 78 74 2e 68 22 0a 23 "sqlite3ext.h".#
0340: 69 66 6e 64 65 66 20 53 51 4c 49 54 45 5f 43 4f ifndef SQLITE_CO
0350: 52 45 0a 20 20 53 51 4c 49 54 45 5f 45 58 54 45 RE. SQLITE_EXTE
0360: 4e 53 49 4f 4e 5f 49 4e 49 54 31 0a 23 65 6e 64 NSION_INIT1.#end
0370: 69 66 0a 23 69 6e 63 6c 75 64 65 20 22 66 74 73 if.#include "fts
0380: 33 49 6e 74 2e 68 22 0a 0a 23 69 66 20 21 64 65 3Int.h"..#if !de
0390: 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f 52 fined(SQLITE_COR
03a0: 45 29 20 7c 7c 20 64 65 66 69 6e 65 64 28 53 51 E) || defined(SQ
03b0: 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33 LITE_ENABLE_FTS3
03c0: 29 0a 0a 23 69 6e 63 6c 75 64 65 20 3c 61 73 73 )..#include <ass
03d0: 65 72 74 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 ert.h>.#include
03e0: 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 2f 2a 0a 2a <string.h>../*.*
03f0: 2a 20 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e * Implementation
0400: 20 6f 66 20 74 68 65 20 53 51 4c 20 73 63 61 6c of the SQL scal
0410: 61 72 20 66 75 6e 63 74 69 6f 6e 20 66 6f 72 20 ar function for
0420: 61 63 63 65 73 73 69 6e 67 20 74 68 65 20 75 6e accessing the un
0430: 64 65 72 6c 79 69 6e 67 20 0a 2a 2a 20 68 61 73 derlying .** has
0440: 68 20 74 61 62 6c 65 2e 20 54 68 69 73 20 66 75 h table. This fu
0450: 6e 63 74 69 6f 6e 20 6d 61 79 20 62 65 20 63 61 nction may be ca
0460: 6c 6c 65 64 20 61 73 20 66 6f 6c 6c 6f 77 73 3a lled as follows:
0470: 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45 43 54 20 .**.** SELECT
0480: 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 28 <function-name>(
0490: 3c 6b 65 79 2d 6e 61 6d 65 3e 29 3b 0a 2a 2a 20 <key-name>);.**
04a0: 20 20 53 45 4c 45 43 54 20 3c 66 75 6e 63 74 69 SELECT <functi
04b0: 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65 79 2d 6e 61 on-name>(<key-na
04c0: 6d 65 3e 2c 20 3c 70 6f 69 6e 74 65 72 3e 29 3b me>, <pointer>);
04d0: 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65 20 3c 66 75 .**.** where <fu
04e0: 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 20 69 73 20 nction-name> is
04f0: 74 68 65 20 6e 61 6d 65 20 70 61 73 73 65 64 20 the name passed
0500: 61 73 20 74 68 65 20 73 65 63 6f 6e 64 20 61 72 as the second ar
0510: 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f 20 74 68 65 gument.** to the
0520: 20 73 71 6c 69 74 65 33 46 74 73 33 49 6e 69 74 sqlite3Fts3Init
0530: 48 61 73 68 54 61 62 6c 65 28 29 20 66 75 6e 63 HashTable() func
0540: 74 69 6f 6e 20 28 65 2e 67 2e 20 27 66 74 73 33 tion (e.g. 'fts3
0550: 5f 74 6f 6b 65 6e 69 7a 65 72 27 29 2e 0a 2a 2a _tokenizer')..**
0560: 0a 2a 2a 20 49 66 20 74 68 65 20 3c 70 6f 69 6e .** If the <poin
0570: 74 65 72 3e 20 61 72 67 75 6d 65 6e 74 20 69 73 ter> argument is
0580: 20 73 70 65 63 69 66 69 65 64 2c 20 69 74 20 6d specified, it m
0590: 75 73 74 20 62 65 20 61 20 62 6c 6f 62 20 76 61 ust be a blob va
05a0: 6c 75 65 0a 2a 2a 20 63 6f 6e 74 61 69 6e 69 6e lue.** containin
05b0: 67 20 61 20 70 6f 69 6e 74 65 72 20 74 6f 20 62 g a pointer to b
05c0: 65 20 73 74 6f 72 65 64 20 61 73 20 74 68 65 20 e stored as the
05d0: 68 61 73 68 20 64 61 74 61 20 63 6f 72 72 65 73 hash data corres
05e0: 70 6f 6e 64 69 6e 67 0a 2a 2a 20 74 6f 20 74 68 ponding.** to th
05f0: 65 20 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e 61 e string <key-na
0600: 6d 65 3e 2e 20 49 66 20 3c 70 6f 69 6e 74 65 72 me>. If <pointer
0610: 3e 20 69 73 20 6e 6f 74 20 73 70 65 63 69 66 69 > is not specifi
0620: 65 64 2c 20 74 68 65 6e 0a 2a 2a 20 74 68 65 20 ed, then.** the
0630: 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e 61 6d 65 string <key-name
0640: 3e 20 6d 75 73 74 20 61 6c 72 65 61 64 79 20 65 > must already e
0650: 78 69 73 74 20 69 6e 20 74 68 65 20 68 61 73 20 xist in the has
0660: 74 61 62 6c 65 2e 20 4f 74 68 65 72 77 69 73 65 table. Otherwise
0670: 2c 0a 2a 2a 20 61 6e 20 65 72 72 6f 72 20 69 73 ,.** an error is
0680: 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a 0a 2a 2a returned..**.**
0690: 20 57 68 65 74 68 65 72 20 6f 72 20 6e 6f 74 20 Whether or not
06a0: 74 68 65 20 3c 70 6f 69 6e 74 65 72 3e 20 61 72 the <pointer> ar
06b0: 67 75 6d 65 6e 74 20 69 73 20 73 70 65 63 69 66 gument is specif
06c0: 69 65 64 2c 20 74 68 65 20 76 61 6c 75 65 20 72 ied, the value r
06d0: 65 74 75 72 6e 65 64 0a 2a 2a 20 69 73 20 61 20 eturned.** is a
06e0: 62 6c 6f 62 20 63 6f 6e 74 61 69 6e 69 6e 67 20 blob containing
06f0: 74 68 65 20 70 6f 69 6e 74 65 72 20 73 74 6f 72 the pointer stor
0700: 65 64 20 61 73 20 74 68 65 20 68 61 73 68 20 64 ed as the hash d
0710: 61 74 61 20 63 6f 72 72 65 73 70 6f 6e 64 69 6e ata correspondin
0720: 67 0a 2a 2a 20 74 6f 20 73 74 72 69 6e 67 20 3c g.** to string <
0730: 6b 65 79 2d 6e 61 6d 65 3e 20 28 61 66 74 65 72 key-name> (after
0740: 20 74 68 65 20 68 61 73 68 2d 74 61 62 6c 65 20 the hash-table
0750: 69 73 20 75 70 64 61 74 65 64 2c 20 69 66 20 61 is updated, if a
0760: 70 70 6c 69 63 61 62 6c 65 29 2e 0a 2a 2f 0a 73 pplicable)..*/.s
0770: 74 61 74 69 63 20 76 6f 69 64 20 73 63 61 6c 61 tatic void scala
0780: 72 46 75 6e 63 28 0a 20 20 73 71 6c 69 74 65 33 rFunc(. sqlite3
0790: 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78 _context *contex
07a0: 74 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c 0a 20 t,. int argc,.
07b0: 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a sqlite3_value *
07c0: 2a 61 72 67 76 0a 29 7b 0a 20 20 46 74 73 33 48 *argv.){. Fts3H
07d0: 61 73 68 20 2a 70 48 61 73 68 3b 0a 20 20 76 6f ash *pHash;. vo
07e0: 69 64 20 2a 70 50 74 72 20 3d 20 30 3b 0a 20 20 id *pPtr = 0;.
07f0: 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63 const unsigned c
0800: 68 61 72 20 2a 7a 4e 61 6d 65 3b 0a 20 20 69 6e har *zName;. in
0810: 74 20 6e 4e 61 6d 65 3b 0a 0a 20 20 61 73 73 65 t nName;.. asse
0820: 72 74 28 20 61 72 67 63 3d 3d 31 20 7c 7c 20 61 rt( argc==1 || a
0830: 72 67 63 3d 3d 32 20 29 3b 0a 0a 20 20 70 48 61 rgc==2 );.. pHa
0840: 73 68 20 3d 20 28 46 74 73 33 48 61 73 68 20 2a sh = (Fts3Hash *
0850: 29 73 71 6c 69 74 65 33 5f 75 73 65 72 5f 64 61 )sqlite3_user_da
0860: 74 61 28 63 6f 6e 74 65 78 74 29 3b 0a 0a 20 20 ta(context);..
0870: 7a 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65 33 5f zName = sqlite3_
0880: 76 61 6c 75 65 5f 74 65 78 74 28 61 72 67 76 5b value_text(argv[
0890: 30 5d 29 3b 0a 20 20 6e 4e 61 6d 65 20 3d 20 73 0]);. nName = s
08a0: 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 62 79 74 qlite3_value_byt
08b0: 65 73 28 61 72 67 76 5b 30 5d 29 2b 31 3b 0a 0a es(argv[0])+1;..
08c0: 20 20 69 66 28 20 61 72 67 63 3d 3d 32 20 29 7b if( argc==2 ){
08d0: 0a 20 20 20 20 76 6f 69 64 20 2a 70 4f 6c 64 3b . void *pOld;
08e0: 0a 20 20 20 20 69 6e 74 20 6e 20 3d 20 73 71 6c . int n = sql
08f0: 69 74 65 33 5f 76 61 6c 75 65 5f 62 79 74 65 73 ite3_value_bytes
0900: 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20 20 20 69 (argv[1]);. i
0910: 66 28 20 6e 21 3d 73 69 7a 65 6f 66 28 70 50 74 f( n!=sizeof(pPt
0920: 72 29 20 29 7b 0a 20 20 20 20 20 20 73 71 6c 69 r) ){. sqli
0930: 74 65 33 5f 72 65 73 75 6c 74 5f 65 72 72 6f 72 te3_result_error
0940: 28 63 6f 6e 74 65 78 74 2c 20 22 61 72 67 75 6d (context, "argum
0950: 65 6e 74 20 74 79 70 65 20 6d 69 73 6d 61 74 63 ent type mismatc
0960: 68 22 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20 72 h", -1);. r
0970: 65 74 75 72 6e 3b 0a 20 20 20 20 7d 0a 20 20 20 eturn;. }.
0980: 20 70 50 74 72 20 3d 20 2a 28 76 6f 69 64 20 2a pPtr = *(void *
0990: 2a 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f *)sqlite3_value_
09a0: 62 6c 6f 62 28 61 72 67 76 5b 31 5d 29 3b 0a 20 blob(argv[1]);.
09b0: 20 20 20 70 4f 6c 64 20 3d 20 73 71 6c 69 74 65 pOld = sqlite
09c0: 33 46 74 73 33 48 61 73 68 49 6e 73 65 72 74 28 3Fts3HashInsert(
09d0: 70 48 61 73 68 2c 20 28 76 6f 69 64 20 2a 29 7a pHash, (void *)z
09e0: 4e 61 6d 65 2c 20 6e 4e 61 6d 65 2c 20 70 50 74 Name, nName, pPt
09f0: 72 29 3b 0a 20 20 20 20 69 66 28 20 70 4f 6c 64 r);. if( pOld
0a00: 3d 3d 70 50 74 72 20 29 7b 0a 20 20 20 20 20 20 ==pPtr ){.
0a10: 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65 sqlite3_result_e
0a20: 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22 6f rror(context, "o
0a30: 75 74 20 6f 66 20 6d 65 6d 6f 72 79 22 2c 20 2d ut of memory", -
0a40: 31 29 3b 0a 20 20 20 20 20 20 72 65 74 75 72 6e 1);. return
0a50: 3b 0a 20 20 20 20 7d 0a 20 20 7d 65 6c 73 65 7b ;. }. }else{
0a60: 0a 20 20 20 20 70 50 74 72 20 3d 20 73 71 6c 69 . pPtr = sqli
0a70: 74 65 33 46 74 73 33 48 61 73 68 46 69 6e 64 28 te3Fts3HashFind(
0a80: 70 48 61 73 68 2c 20 7a 4e 61 6d 65 2c 20 6e 4e pHash, zName, nN
0a90: 61 6d 65 29 3b 0a 20 20 20 20 69 66 28 20 21 70 ame);. if( !p
0aa0: 50 74 72 20 29 7b 0a 20 20 20 20 20 20 63 68 61 Ptr ){. cha
0ab0: 72 20 2a 7a 45 72 72 20 3d 20 73 71 6c 69 74 65 r *zErr = sqlite
0ac0: 33 5f 6d 70 72 69 6e 74 66 28 22 75 6e 6b 6e 6f 3_mprintf("unkno
0ad0: 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20 25 73 wn tokenizer: %s
0ae0: 22 2c 20 7a 4e 61 6d 65 29 3b 0a 20 20 20 20 20 ", zName);.
0af0: 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f sqlite3_result_
0b00: 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 7a error(context, z
0b10: 45 72 72 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20 Err, -1);.
0b20: 73 71 6c 69 74 65 33 5f 66 72 65 65 28 7a 45 72 sqlite3_free(zEr
0b30: 72 29 3b 0a 20 20 20 20 20 20 72 65 74 75 72 6e r);. return
0b40: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 73 ;. }. }.. s
0b50: 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 62 6c qlite3_result_bl
0b60: 6f 62 28 63 6f 6e 74 65 78 74 2c 20 28 76 6f 69 ob(context, (voi
0b70: 64 20 2a 29 26 70 50 74 72 2c 20 73 69 7a 65 6f d *)&pPtr, sizeo
0b80: 66 28 70 50 74 72 29 2c 20 53 51 4c 49 54 45 5f f(pPtr), SQLITE_
0b90: 54 52 41 4e 53 49 45 4e 54 29 3b 0a 7d 0a 0a 69 TRANSIENT);.}..i
0ba0: 6e 74 20 73 71 6c 69 74 65 33 46 74 73 33 49 73 nt sqlite3Fts3Is
0bb0: 49 64 43 68 61 72 28 63 68 61 72 20 63 29 7b 0a IdChar(char c){.
0bc0: 20 20 73 74 61 74 69 63 20 63 6f 6e 73 74 20 63 static const c
0bd0: 68 61 72 20 69 73 46 74 73 49 64 43 68 61 72 5b har isFtsIdChar[
0be0: 5d 20 3d 20 7b 0a 20 20 20 20 20 20 30 2c 20 30 ] = {. 0, 0
0bf0: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c , 0, 0, 0, 0, 0,
0c00: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 0, 0, 0, 0, 0,
0c10: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 0, 0, 0, 0, /*
0c20: 30 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 30 0x */. 0, 0
0c30: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c , 0, 0, 0, 0, 0,
0c40: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 0, 0, 0, 0, 0,
0c50: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 0, 0, 0, 0, /*
0c60: 31 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 30 1x */. 0, 0
0c70: 2c 20 30 2c 20 30 2c 20 31 2c 20 30 2c 20 30 2c , 0, 0, 1, 0, 0,
0c80: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 0, 0, 0, 0, 0,
0c90: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 0, 0, 0, 0, /*
0ca0: 32 78 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31 2x */. 1, 1
0cb0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c , 1, 1, 1, 1, 1,
0cc0: 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20 30 2c 20 1, 1, 1, 0, 0,
0cd0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 0, 0, 0, 0, /*
0ce0: 33 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 31 3x */. 0, 1
0cf0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c , 1, 1, 1, 1, 1,
0d00: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 1, 1, 1, 1, 1,
0d10: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 20 2f 2a 20 1, 1, 1, 1, /*
0d20: 34 78 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31 4x */. 1, 1
0d30: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c , 1, 1, 1, 1, 1,
0d40: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20 1, 1, 1, 1, 0,
0d50: 30 2c 20 30 2c 20 30 2c 20 31 2c 20 20 2f 2a 20 0, 0, 0, 1, /*
0d60: 35 78 20 2a 2f 0a 20 20 20 20 20 20 30 2c 20 31 5x */. 0, 1
0d70: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c , 1, 1, 1, 1, 1,
0d80: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 1, 1, 1, 1, 1,
0d90: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 20 2f 2a 20 1, 1, 1, 1, /*
0da0: 36 78 20 2a 2f 0a 20 20 20 20 20 20 31 2c 20 31 6x */. 1, 1
0db0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c , 1, 1, 1, 1, 1,
0dc0: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 30 2c 20 1, 1, 1, 1, 0,
0dd0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 2f 2a 20 0, 0, 0, 0, /*
0de0: 37 78 20 2a 2f 0a 20 20 7d 3b 0a 20 20 72 65 74 7x */. };. ret
0df0: 75 72 6e 20 28 63 26 30 78 38 30 20 7c 7c 20 69 urn (c&0x80 || i
0e00: 73 46 74 73 49 64 43 68 61 72 5b 28 69 6e 74 29 sFtsIdChar[(int)
0e10: 28 63 29 5d 29 3b 0a 7d 0a 0a 63 6f 6e 73 74 20 (c)]);.}..const
0e20: 63 68 61 72 20 2a 73 71 6c 69 74 65 33 46 74 73 char *sqlite3Fts
0e30: 33 4e 65 78 74 54 6f 6b 65 6e 28 63 6f 6e 73 74 3NextToken(const
0e40: 20 63 68 61 72 20 2a 7a 53 74 72 2c 20 69 6e 74 char *zStr, int
0e50: 20 2a 70 6e 29 7b 0a 20 20 63 6f 6e 73 74 20 63 *pn){. const c
0e60: 68 61 72 20 2a 7a 31 3b 0a 20 20 63 6f 6e 73 74 har *z1;. const
0e70: 20 63 68 61 72 20 2a 7a 32 20 3d 20 30 3b 0a 0a char *z2 = 0;..
0e80: 20 20 2f 2a 20 46 69 6e 64 20 74 68 65 20 73 74 /* Find the st
0e90: 61 72 74 20 6f 66 20 74 68 65 20 6e 65 78 74 20 art of the next
0ea0: 74 6f 6b 65 6e 2e 20 2a 2f 0a 20 20 7a 31 20 3d token. */. z1 =
0eb0: 20 7a 53 74 72 3b 0a 20 20 77 68 69 6c 65 28 20 zStr;. while(
0ec0: 7a 32 3d 3d 30 20 29 7b 0a 20 20 20 20 63 68 61 z2==0 ){. cha
0ed0: 72 20 63 20 3d 20 2a 7a 31 3b 0a 20 20 20 20 73 r c = *z1;. s
0ee0: 77 69 74 63 68 28 20 63 20 29 7b 0a 20 20 20 20 witch( c ){.
0ef0: 20 20 63 61 73 65 20 27 5c 30 27 3a 20 72 65 74 case '\0': ret
0f00: 75 72 6e 20 30 3b 20 20 20 20 20 20 20 20 2f 2a urn 0; /*
0f10: 20 4e 6f 20 6d 6f 72 65 20 74 6f 6b 65 6e 73 20 No more tokens
0f20: 68 65 72 65 20 2a 2f 0a 20 20 20 20 20 20 63 61 here */. ca
0f30: 73 65 20 27 5c 27 27 3a 0a 20 20 20 20 20 20 63 se '\'':. c
0f40: 61 73 65 20 27 22 27 3a 0a 20 20 20 20 20 20 63 ase '"':. c
0f50: 61 73 65 20 27 60 27 3a 20 7b 0a 20 20 20 20 20 ase '`': {.
0f60: 20 20 20 7a 32 20 3d 20 7a 31 3b 0a 20 20 20 20 z2 = z1;.
0f70: 20 20 20 20 77 68 69 6c 65 28 20 2a 2b 2b 7a 32 while( *++z2
0f80: 20 26 26 20 28 2a 7a 32 21 3d 63 20 7c 7c 20 2a && (*z2!=c || *
0f90: 2b 2b 7a 32 3d 3d 63 29 20 29 3b 0a 20 20 20 20 ++z2==c) );.
0fa0: 20 20 20 20 62 72 65 61 6b 3b 0a 20 20 20 20 20 break;.
0fb0: 20 7d 0a 20 20 20 20 20 20 63 61 73 65 20 27 5b }. case '[
0fc0: 27 3a 0a 20 20 20 20 20 20 20 20 7a 32 20 3d 20 ':. z2 =
0fd0: 26 7a 31 5b 31 5d 3b 0a 20 20 20 20 20 20 20 20 &z1[1];.
0fe0: 77 68 69 6c 65 28 20 2a 7a 32 20 26 26 20 7a 32 while( *z2 && z2
0ff0: 5b 30 5d 21 3d 27 5d 27 20 29 20 7a 32 2b 2b 3b [0]!=']' ) z2++;
1000: 0a 20 20 20 20 20 20 20 20 69 66 28 20 2a 7a 32 . if( *z2
1010: 20 29 20 7a 32 2b 2b 3b 0a 20 20 20 20 20 20 20 ) z2++;.
1020: 20 62 72 65 61 6b 3b 0a 0a 20 20 20 20 20 20 64 break;.. d
1030: 65 66 61 75 6c 74 3a 0a 20 20 20 20 20 20 20 20 efault:.
1040: 69 66 28 20 73 71 6c 69 74 65 33 46 74 73 33 49 if( sqlite3Fts3I
1050: 73 49 64 43 68 61 72 28 2a 7a 31 29 20 29 7b 0a sIdChar(*z1) ){.
1060: 20 20 20 20 20 20 20 20 20 20 7a 32 20 3d 20 26 z2 = &
1070: 7a 31 5b 31 5d 3b 0a 20 20 20 20 20 20 20 20 20 z1[1];.
1080: 20 77 68 69 6c 65 28 20 73 71 6c 69 74 65 33 46 while( sqlite3F
1090: 74 73 33 49 73 49 64 43 68 61 72 28 2a 7a 32 29 ts3IsIdChar(*z2)
10a0: 20 29 20 7a 32 2b 2b 3b 0a 20 20 20 20 20 20 20 ) z2++;.
10b0: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 20 20 }else{.
10c0: 20 20 7a 31 2b 2b 3b 0a 20 20 20 20 20 20 20 20 z1++;.
10d0: 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 2a }. }. }.. *
10e0: 70 6e 20 3d 20 28 69 6e 74 29 28 7a 32 2d 7a 31 pn = (int)(z2-z1
10f0: 29 3b 0a 20 20 72 65 74 75 72 6e 20 7a 31 3b 0a );. return z1;.
1100: 7d 0a 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 74 }..int sqlite3Ft
1110: 73 33 49 6e 69 74 54 6f 6b 65 6e 69 7a 65 72 28 s3InitTokenizer(
1120: 0a 20 20 46 74 73 33 48 61 73 68 20 2a 70 48 61 . Fts3Hash *pHa
1130: 73 68 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 sh,
1140: 20 20 20 2f 2a 20 54 6f 6b 65 6e 69 7a 65 72 20 /* Tokenizer
1150: 68 61 73 68 20 74 61 62 6c 65 20 2a 2f 0a 20 20 hash table */.
1160: 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 41 72 67 const char *zArg
1170: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 ,
1180: 2f 2a 20 54 6f 6b 65 6e 69 7a 65 72 20 6e 61 6d /* Tokenizer nam
1190: 65 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 74 e */. sqlite3_t
11a0: 6f 6b 65 6e 69 7a 65 72 20 2a 2a 70 70 54 6f 6b okenizer **ppTok
11b0: 2c 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 54 , /* OUT: T
11c0: 6f 6b 65 6e 69 7a 65 72 20 28 69 66 20 61 70 70 okenizer (if app
11d0: 6c 69 63 61 62 6c 65 29 20 2a 2f 0a 20 20 63 68 licable) */. ch
11e0: 61 72 20 2a 2a 70 7a 45 72 72 20 20 20 20 20 20 ar **pzErr
11f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a /*
1200: 20 4f 55 54 3a 20 53 65 74 20 74 6f 20 6d 61 6c OUT: Set to mal
1210: 6c 6f 63 65 64 20 65 72 72 6f 72 20 6d 65 73 73 loced error mess
1220: 61 67 65 20 2a 2f 0a 29 7b 0a 20 20 69 6e 74 20 age */.){. int
1230: 72 63 3b 0a 20 20 63 68 61 72 20 2a 7a 20 3d 20 rc;. char *z =
1240: 28 63 68 61 72 20 2a 29 7a 41 72 67 3b 0a 20 20 (char *)zArg;.
1250: 69 6e 74 20 6e 20 3d 20 30 3b 0a 20 20 63 68 61 int n = 0;. cha
1260: 72 20 2a 7a 43 6f 70 79 3b 0a 20 20 63 68 61 72 r *zCopy;. char
1270: 20 2a 7a 45 6e 64 3b 20 20 20 20 20 20 20 20 20 *zEnd;
1280: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 50 /* P
1290: 6f 69 6e 74 65 72 20 74 6f 20 6e 75 6c 2d 74 65 ointer to nul-te
12a0: 72 6d 20 6f 66 20 7a 43 6f 70 79 20 2a 2f 0a 20 rm of zCopy */.
12b0: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a sqlite3_tokeniz
12c0: 65 72 5f 6d 6f 64 75 6c 65 20 2a 6d 3b 0a 0a 20 er_module *m;..
12d0: 20 7a 43 6f 70 79 20 3d 20 73 71 6c 69 74 65 33 zCopy = sqlite3
12e0: 5f 6d 70 72 69 6e 74 66 28 22 25 73 22 2c 20 7a _mprintf("%s", z
12f0: 41 72 67 29 3b 0a 20 20 69 66 28 20 21 7a 43 6f Arg);. if( !zCo
1300: 70 79 20 29 20 72 65 74 75 72 6e 20 53 51 4c 49 py ) return SQLI
1310: 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7a 45 6e 64 TE_NOMEM;. zEnd
1320: 20 3d 20 26 7a 43 6f 70 79 5b 73 74 72 6c 65 6e = &zCopy[strlen
1330: 28 7a 43 6f 70 79 29 5d 3b 0a 0a 20 20 7a 20 3d (zCopy)];.. z =
1340: 20 28 63 68 61 72 20 2a 29 73 71 6c 69 74 65 33 (char *)sqlite3
1350: 46 74 73 33 4e 65 78 74 54 6f 6b 65 6e 28 7a 43 Fts3NextToken(zC
1360: 6f 70 79 2c 20 26 6e 29 3b 0a 20 20 7a 5b 6e 5d opy, &n);. z[n]
1370: 20 3d 20 27 5c 30 27 3b 0a 20 20 73 71 6c 69 74 = '\0';. sqlit
1380: 65 33 46 74 73 33 44 65 71 75 6f 74 65 28 7a 29 e3Fts3Dequote(z)
1390: 3b 0a 0a 20 20 6d 20 3d 20 28 73 71 6c 69 74 65 ;.. m = (sqlite
13a0: 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 3_tokenizer_modu
13b0: 6c 65 20 2a 29 73 71 6c 69 74 65 33 46 74 73 33 le *)sqlite3Fts3
13c0: 48 61 73 68 46 69 6e 64 28 70 48 61 73 68 2c 7a HashFind(pHash,z
13d0: 2c 28 69 6e 74 29 73 74 72 6c 65 6e 28 7a 29 2b ,(int)strlen(z)+
13e0: 31 29 3b 0a 20 20 69 66 28 20 21 6d 20 29 7b 0a 1);. if( !m ){.
13f0: 20 20 20 20 2a 70 7a 45 72 72 20 3d 20 73 71 6c *pzErr = sql
1400: 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 75 6e ite3_mprintf("un
1410: 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a known tokenizer:
1420: 20 25 73 22 2c 20 7a 29 3b 0a 20 20 20 20 72 63 %s", z);. rc
1430: 20 3d 20 53 51 4c 49 54 45 5f 45 52 52 4f 52 3b = SQLITE_ERROR;
1440: 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 63 68 . }else{. ch
1450: 61 72 20 63 6f 6e 73 74 20 2a 2a 61 41 72 67 20 ar const **aArg
1460: 3d 20 30 3b 0a 20 20 20 20 69 6e 74 20 69 41 72 = 0;. int iAr
1470: 67 20 3d 20 30 3b 0a 20 20 20 20 7a 20 3d 20 26 g = 0;. z = &
1480: 7a 5b 6e 2b 31 5d 3b 0a 20 20 20 20 77 68 69 6c z[n+1];. whil
1490: 65 28 20 7a 3c 7a 45 6e 64 20 26 26 20 28 4e 55 e( z<zEnd && (NU
14a0: 4c 4c 21 3d 28 7a 20 3d 20 28 63 68 61 72 20 2a LL!=(z = (char *
14b0: 29 73 71 6c 69 74 65 33 46 74 73 33 4e 65 78 74 )sqlite3Fts3Next
14c0: 54 6f 6b 65 6e 28 7a 2c 20 26 6e 29 29 29 20 29 Token(z, &n))) )
14d0: 7b 0a 20 20 20 20 20 20 69 6e 74 20 6e 4e 65 77 {. int nNew
14e0: 20 3d 20 73 69 7a 65 6f 66 28 63 68 61 72 20 2a = sizeof(char *
14f0: 29 2a 28 69 41 72 67 2b 31 29 3b 0a 20 20 20 20 )*(iArg+1);.
1500: 20 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 2a 61 char const **a
1510: 4e 65 77 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 New = (const cha
1520: 72 20 2a 2a 29 73 71 6c 69 74 65 33 5f 72 65 61 r **)sqlite3_rea
1530: 6c 6c 6f 63 28 28 76 6f 69 64 20 2a 29 61 41 72 lloc((void *)aAr
1540: 67 2c 20 6e 4e 65 77 29 3b 0a 20 20 20 20 20 20 g, nNew);.
1550: 69 66 28 20 21 61 4e 65 77 20 29 7b 0a 20 20 20 if( !aNew ){.
1560: 20 20 20 20 20 73 71 6c 69 74 65 33 5f 66 72 65 sqlite3_fre
1570: 65 28 7a 43 6f 70 79 29 3b 0a 20 20 20 20 20 20 e(zCopy);.
1580: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 28 sqlite3_free((
1590: 76 6f 69 64 20 2a 29 61 41 72 67 29 3b 0a 20 20 void *)aArg);.
15a0: 20 20 20 20 20 20 72 65 74 75 72 6e 20 53 51 4c return SQL
15b0: 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 20 20 20 ITE_NOMEM;.
15c0: 20 7d 0a 20 20 20 20 20 20 61 41 72 67 20 3d 20 }. aArg =
15d0: 61 4e 65 77 3b 0a 20 20 20 20 20 20 61 41 72 67 aNew;. aArg
15e0: 5b 69 41 72 67 2b 2b 5d 20 3d 20 7a 3b 0a 20 20 [iArg++] = z;.
15f0: 20 20 20 20 7a 5b 6e 5d 20 3d 20 27 5c 30 27 3b z[n] = '\0';
1600: 0a 20 20 20 20 20 20 73 71 6c 69 74 65 33 46 74 . sqlite3Ft
1610: 73 33 44 65 71 75 6f 74 65 28 7a 29 3b 0a 20 20 s3Dequote(z);.
1620: 20 20 20 20 7a 20 3d 20 26 7a 5b 6e 2b 31 5d 3b z = &z[n+1];
1630: 0a 20 20 20 20 7d 0a 20 20 20 20 72 63 20 3d 20 . }. rc =
1640: 6d 2d 3e 78 43 72 65 61 74 65 28 69 41 72 67 2c m->xCreate(iArg,
1650: 20 61 41 72 67 2c 20 70 70 54 6f 6b 29 3b 0a 20 aArg, ppTok);.
1660: 20 20 20 61 73 73 65 72 74 28 20 72 63 21 3d 53 assert( rc!=S
1670: 51 4c 49 54 45 5f 4f 4b 20 7c 7c 20 2a 70 70 54 QLITE_OK || *ppT
1680: 6f 6b 20 29 3b 0a 20 20 20 20 69 66 28 20 72 63 ok );. if( rc
1690: 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 !=SQLITE_OK ){.
16a0: 20 20 20 20 20 2a 70 7a 45 72 72 20 3d 20 73 71 *pzErr = sq
16b0: 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 75 lite3_mprintf("u
16c0: 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 nknown tokenizer
16d0: 22 29 3b 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20 ");. }else{.
16e0: 20 20 20 20 20 28 2a 70 70 54 6f 6b 29 2d 3e 70 (*ppTok)->p
16f0: 4d 6f 64 75 6c 65 20 3d 20 6d 3b 20 0a 20 20 20 Module = m; .
1700: 20 7d 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 66 }. sqlite3_f
1710: 72 65 65 28 28 76 6f 69 64 20 2a 29 61 41 72 67 ree((void *)aArg
1720: 29 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c 69 74 65 );. }.. sqlite
1730: 33 5f 66 72 65 65 28 7a 43 6f 70 79 29 3b 0a 20 3_free(zCopy);.
1740: 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d 0a 0a 0a return rc;.}...
1750: 23 69 66 64 65 66 20 53 51 4c 49 54 45 5f 54 45 #ifdef SQLITE_TE
1760: 53 54 0a 0a 23 69 6e 63 6c 75 64 65 20 3c 74 63 ST..#include <tc
1770: 6c 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 73 l.h>.#include <s
1780: 74 72 69 6e 67 2e 68 3e 0a 0a 2f 2a 0a 2a 2a 20 tring.h>../*.**
1790: 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 6f Implementation o
17a0: 66 20 61 20 73 70 65 63 69 61 6c 20 53 51 4c 20 f a special SQL
17b0: 73 63 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 scalar function
17c0: 66 6f 72 20 74 65 73 74 69 6e 67 20 74 6f 6b 65 for testing toke
17d0: 6e 69 7a 65 72 73 20 0a 2a 2a 20 64 65 73 69 67 nizers .** desig
17e0: 6e 65 64 20 74 6f 20 62 65 20 75 73 65 64 20 69 ned to be used i
17f0: 6e 20 63 6f 6e 63 65 72 74 20 77 69 74 68 20 74 n concert with t
1800: 68 65 20 54 63 6c 20 74 65 73 74 69 6e 67 20 66 he Tcl testing f
1810: 72 61 6d 65 77 6f 72 6b 2e 20 54 68 69 73 0a 2a ramework. This.*
1820: 2a 20 66 75 6e 63 74 69 6f 6e 20 6d 75 73 74 20 * function must
1830: 62 65 20 63 61 6c 6c 65 64 20 77 69 74 68 20 74 be called with t
1840: 77 6f 20 61 72 67 75 6d 65 6e 74 73 3a 0a 2a 2a wo arguments:.**
1850: 0a 2a 2a 20 20 20 53 45 4c 45 43 54 20 3c 66 75 .** SELECT <fu
1860: 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65 nction-name>(<ke
1870: 79 2d 6e 61 6d 65 3e 2c 20 3c 69 6e 70 75 74 2d y-name>, <input-
1880: 73 74 72 69 6e 67 3e 29 3b 0a 2a 2a 20 20 20 53 string>);.** S
1890: 45 4c 45 43 54 20 3c 66 75 6e 63 74 69 6f 6e 2d ELECT <function-
18a0: 6e 61 6d 65 3e 28 3c 6b 65 79 2d 6e 61 6d 65 3e name>(<key-name>
18b0: 2c 20 3c 70 6f 69 6e 74 65 72 3e 29 3b 0a 2a 2a , <pointer>);.**
18c0: 0a 2a 2a 20 77 68 65 72 65 20 3c 66 75 6e 63 74 .** where <funct
18d0: 69 6f 6e 2d 6e 61 6d 65 3e 20 69 73 20 74 68 65 ion-name> is the
18e0: 20 6e 61 6d 65 20 70 61 73 73 65 64 20 61 73 20 name passed as
18f0: 74 68 65 20 73 65 63 6f 6e 64 20 61 72 67 75 6d the second argum
1900: 65 6e 74 0a 2a 2a 20 74 6f 20 74 68 65 20 73 71 ent.** to the sq
1910: 6c 69 74 65 33 46 74 73 33 49 6e 69 74 48 61 73 lite3Fts3InitHas
1920: 68 54 61 62 6c 65 28 29 20 66 75 6e 63 74 69 6f hTable() functio
1930: 6e 20 28 65 2e 67 2e 20 27 66 74 73 33 5f 74 6f n (e.g. 'fts3_to
1940: 6b 65 6e 69 7a 65 72 27 29 0a 2a 2a 20 63 6f 6e kenizer').** con
1950: 63 61 74 65 6e 61 74 65 64 20 77 69 74 68 20 74 catenated with t
1960: 68 65 20 73 74 72 69 6e 67 20 27 5f 74 65 73 74 he string '_test
1970: 27 20 28 65 2e 67 2e 20 27 66 74 73 33 5f 74 6f ' (e.g. 'fts3_to
1980: 6b 65 6e 69 7a 65 72 5f 74 65 73 74 27 29 2e 0a kenizer_test')..
1990: 2a 2a 0a 2a 2a 20 54 68 65 20 72 65 74 75 72 6e **.** The return
19a0: 20 76 61 6c 75 65 20 69 73 20 61 20 73 74 72 69 value is a stri
19b0: 6e 67 20 74 68 61 74 20 6d 61 79 20 62 65 20 69 ng that may be i
19c0: 6e 74 65 72 70 72 65 74 65 64 20 61 73 20 61 20 nterpreted as a
19d0: 54 63 6c 0a 2a 2a 20 6c 69 73 74 2e 20 46 6f 72 Tcl.** list. For
19e0: 20 65 61 63 68 20 74 6f 6b 65 6e 20 69 6e 20 74 each token in t
19f0: 68 65 20 3c 69 6e 70 75 74 2d 73 74 72 69 6e 67 he <input-string
1a00: 3e 2c 20 74 68 72 65 65 20 65 6c 65 6d 65 6e 74 >, three element
1a10: 73 20 61 72 65 0a 2a 2a 20 61 64 64 65 64 20 74 s are.** added t
1a20: 6f 20 74 68 65 20 72 65 74 75 72 6e 65 64 20 6c o the returned l
1a30: 69 73 74 2e 20 54 68 65 20 66 69 72 73 74 20 69 ist. The first i
1a40: 73 20 74 68 65 20 74 6f 6b 65 6e 20 70 6f 73 69 s the token posi
1a50: 74 69 6f 6e 2c 20 74 68 65 20 0a 2a 2a 20 73 65 tion, the .** se
1a60: 63 6f 6e 64 20 69 73 20 74 68 65 20 74 6f 6b 65 cond is the toke
1a70: 6e 20 74 65 78 74 20 28 66 6f 6c 64 65 64 2c 20 n text (folded,
1a80: 73 74 65 6d 6d 65 64 2c 20 65 74 63 2e 29 20 61 stemmed, etc.) a
1a90: 6e 64 20 74 68 65 20 74 68 69 72 64 20 69 73 20 nd the third is
1aa0: 74 68 65 0a 2a 2a 20 73 75 62 73 74 72 69 6e 67 the.** substring
1ab0: 20 6f 66 20 3c 69 6e 70 75 74 2d 73 74 72 69 6e of <input-strin
1ac0: 67 3e 20 61 73 73 6f 63 69 61 74 65 64 20 77 69 g> associated wi
1ad0: 74 68 20 74 68 65 20 74 6f 6b 65 6e 2e 20 46 6f th the token. Fo
1ae0: 72 20 65 78 61 6d 70 6c 65 2c 20 0a 2a 2a 20 75 r example, .** u
1af0: 73 69 6e 67 20 74 68 65 20 62 75 69 6c 74 2d 69 sing the built-i
1b00: 6e 20 22 73 69 6d 70 6c 65 22 20 74 6f 6b 65 6e n "simple" token
1b10: 69 7a 65 72 3a 0a 2a 2a 0a 2a 2a 20 20 20 53 45 izer:.**.** SE
1b20: 4c 45 43 54 20 66 74 73 5f 74 6f 6b 65 6e 69 7a LECT fts_tokeniz
1b30: 65 72 5f 74 65 73 74 28 27 73 69 6d 70 6c 65 27 er_test('simple'
1b40: 2c 20 27 49 20 64 6f 6e 27 74 20 73 65 65 20 68 , 'I don't see h
1b50: 6f 77 27 29 3b 0a 2a 2a 0a 2a 2a 20 77 69 6c 6c ow');.**.** will
1b60: 20 72 65 74 75 72 6e 20 74 68 65 20 73 74 72 69 return the stri
1b70: 6e 67 3a 0a 2a 2a 0a 2a 2a 20 20 20 22 7b 30 20 ng:.**.** "{0
1b80: 69 20 49 20 31 20 64 6f 6e 74 20 64 6f 6e 27 74 i I 1 dont don't
1b90: 20 32 20 73 65 65 20 73 65 65 20 33 20 68 6f 77 2 see see 3 how
1ba0: 20 68 6f 77 7d 22 0a 2a 2a 20 20 20 0a 2a 2f 0a how}".** .*/.
1bb0: 73 74 61 74 69 63 20 76 6f 69 64 20 74 65 73 74 static void test
1bc0: 46 75 6e 63 28 0a 20 20 73 71 6c 69 74 65 33 5f Func(. sqlite3_
1bd0: 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78 74 context *context
1be0: 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c 0a 20 20 ,. int argc,.
1bf0: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a 2a sqlite3_value **
1c00: 61 72 67 76 0a 29 7b 0a 20 20 46 74 73 33 48 61 argv.){. Fts3Ha
1c10: 73 68 20 2a 70 48 61 73 68 3b 0a 20 20 73 71 6c sh *pHash;. sql
1c20: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d ite3_tokenizer_m
1c30: 6f 64 75 6c 65 20 2a 70 3b 0a 20 20 73 71 6c 69 odule *p;. sqli
1c40: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 70 te3_tokenizer *p
1c50: 54 6f 6b 65 6e 69 7a 65 72 20 3d 20 30 3b 0a 20 Tokenizer = 0;.
1c60: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a sqlite3_tokeniz
1c70: 65 72 5f 63 75 72 73 6f 72 20 2a 70 43 73 72 20 er_cursor *pCsr
1c80: 3d 20 30 3b 0a 0a 20 20 63 6f 6e 73 74 20 63 68 = 0;.. const ch
1c90: 61 72 20 2a 7a 45 72 72 20 3d 20 30 3b 0a 0a 20 ar *zErr = 0;..
1ca0: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 4e 61 const char *zNa
1cb0: 6d 65 3b 0a 20 20 69 6e 74 20 6e 4e 61 6d 65 3b me;. int nName;
1cc0: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a . const char *z
1cd0: 49 6e 70 75 74 3b 0a 20 20 69 6e 74 20 6e 49 6e Input;. int nIn
1ce0: 70 75 74 3b 0a 0a 20 20 63 6f 6e 73 74 20 63 68 put;.. const ch
1cf0: 61 72 20 2a 7a 41 72 67 20 3d 20 30 3b 0a 0a 20 ar *zArg = 0;..
1d00: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 54 6f const char *zTo
1d10: 6b 65 6e 3b 0a 20 20 69 6e 74 20 6e 54 6f 6b 65 ken;. int nToke
1d20: 6e 3b 0a 20 20 69 6e 74 20 69 53 74 61 72 74 3b n;. int iStart;
1d30: 0a 20 20 69 6e 74 20 69 45 6e 64 3b 0a 20 20 69 . int iEnd;. i
1d40: 6e 74 20 69 50 6f 73 3b 0a 0a 20 20 54 63 6c 5f nt iPos;.. Tcl_
1d50: 4f 62 6a 20 2a 70 52 65 74 3b 0a 0a 20 20 61 73 Obj *pRet;.. as
1d60: 73 65 72 74 28 20 61 72 67 63 3d 3d 32 20 7c 7c sert( argc==2 ||
1d70: 20 61 72 67 63 3d 3d 33 20 29 3b 0a 0a 20 20 6e argc==3 );.. n
1d80: 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65 33 5f 76 Name = sqlite3_v
1d90: 61 6c 75 65 5f 62 79 74 65 73 28 61 72 67 76 5b alue_bytes(argv[
1da0: 30 5d 29 3b 0a 20 20 7a 4e 61 6d 65 20 3d 20 28 0]);. zName = (
1db0: 63 6f 6e 73 74 20 63 68 61 72 20 2a 29 73 71 6c const char *)sql
1dc0: 69 74 65 33 5f 76 61 6c 75 65 5f 74 65 78 74 28 ite3_value_text(
1dd0: 61 72 67 76 5b 30 5d 29 3b 0a 20 20 6e 49 6e 70 argv[0]);. nInp
1de0: 75 74 20 3d 20 73 71 6c 69 74 65 33 5f 76 61 6c ut = sqlite3_val
1df0: 75 65 5f 62 79 74 65 73 28 61 72 67 76 5b 61 72 ue_bytes(argv[ar
1e00: 67 63 2d 31 5d 29 3b 0a 20 20 7a 49 6e 70 75 74 gc-1]);. zInput
1e10: 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 72 20 2a = (const char *
1e20: 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74 )sqlite3_value_t
1e30: 65 78 74 28 61 72 67 76 5b 61 72 67 63 2d 31 5d ext(argv[argc-1]
1e40: 29 3b 0a 0a 20 20 69 66 28 20 61 72 67 63 3d 3d );.. if( argc==
1e50: 33 20 29 7b 0a 20 20 20 20 7a 41 72 67 20 3d 20 3 ){. zArg =
1e60: 28 63 6f 6e 73 74 20 63 68 61 72 20 2a 29 73 71 (const char *)sq
1e70: 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74 65 78 74 lite3_value_text
1e80: 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20 7d 0a 0a (argv[1]);. }..
1e90: 20 20 70 48 61 73 68 20 3d 20 28 46 74 73 33 48 pHash = (Fts3H
1ea0: 61 73 68 20 2a 29 73 71 6c 69 74 65 33 5f 75 73 ash *)sqlite3_us
1eb0: 65 72 5f 64 61 74 61 28 63 6f 6e 74 65 78 74 29 er_data(context)
1ec0: 3b 0a 20 20 70 20 3d 20 28 73 71 6c 69 74 65 33 ;. p = (sqlite3
1ed0: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c _tokenizer_modul
1ee0: 65 20 2a 29 73 71 6c 69 74 65 33 46 74 73 33 48 e *)sqlite3Fts3H
1ef0: 61 73 68 46 69 6e 64 28 70 48 61 73 68 2c 20 7a ashFind(pHash, z
1f00: 4e 61 6d 65 2c 20 6e 4e 61 6d 65 2b 31 29 3b 0a Name, nName+1);.
1f10: 0a 20 20 69 66 28 20 21 70 20 29 7b 0a 20 20 20 . if( !p ){.
1f20: 20 63 68 61 72 20 2a 7a 45 72 72 20 3d 20 73 71 char *zErr = sq
1f30: 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 75 lite3_mprintf("u
1f40: 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 nknown tokenizer
1f50: 3a 20 25 73 22 2c 20 7a 4e 61 6d 65 29 3b 0a 20 : %s", zName);.
1f60: 20 20 20 73 71 6c 69 74 65 33 5f 72 65 73 75 6c sqlite3_resul
1f70: 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c t_error(context,
1f80: 20 7a 45 72 72 2c 20 2d 31 29 3b 0a 20 20 20 20 zErr, -1);.
1f90: 73 71 6c 69 74 65 33 5f 66 72 65 65 28 7a 45 72 sqlite3_free(zEr
1fa0: 72 29 3b 0a 20 20 20 20 72 65 74 75 72 6e 3b 0a r);. return;.
1fb0: 20 20 7d 0a 0a 20 20 70 52 65 74 20 3d 20 54 63 }.. pRet = Tc
1fc0: 6c 5f 4e 65 77 4f 62 6a 28 29 3b 0a 20 20 54 63 l_NewObj();. Tc
1fd0: 6c 5f 49 6e 63 72 52 65 66 43 6f 75 6e 74 28 70 l_IncrRefCount(p
1fe0: 52 65 74 29 3b 0a 0a 20 20 69 66 28 20 53 51 4c Ret);.. if( SQL
1ff0: 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 43 72 65 61 ITE_OK!=p->xCrea
2000: 74 65 28 7a 41 72 67 20 3f 20 31 20 3a 20 30 2c te(zArg ? 1 : 0,
2010: 20 26 7a 41 72 67 2c 20 26 70 54 6f 6b 65 6e 69 &zArg, &pTokeni
2020: 7a 65 72 29 20 29 7b 0a 20 20 20 20 7a 45 72 72 zer) ){. zErr
2030: 20 3d 20 22 65 72 72 6f 72 20 69 6e 20 78 43 72 = "error in xCr
2040: 65 61 74 65 28 29 22 3b 0a 20 20 20 20 67 6f 74 eate()";. got
2050: 6f 20 66 69 6e 69 73 68 3b 0a 20 20 7d 0a 20 20 o finish;. }.
2060: 70 54 6f 6b 65 6e 69 7a 65 72 2d 3e 70 4d 6f 64 pTokenizer->pMod
2070: 75 6c 65 20 3d 20 70 3b 0a 20 20 69 66 28 20 53 ule = p;. if( S
2080: 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 4f 70 QLITE_OK!=p->xOp
2090: 65 6e 28 70 54 6f 6b 65 6e 69 7a 65 72 2c 20 7a en(pTokenizer, z
20a0: 49 6e 70 75 74 2c 20 6e 49 6e 70 75 74 2c 20 26 Input, nInput, &
20b0: 70 43 73 72 29 20 29 7b 0a 20 20 20 20 7a 45 72 pCsr) ){. zEr
20c0: 72 20 3d 20 22 65 72 72 6f 72 20 69 6e 20 78 4f r = "error in xO
20d0: 70 65 6e 28 29 22 3b 0a 20 20 20 20 67 6f 74 6f pen()";. goto
20e0: 20 66 69 6e 69 73 68 3b 0a 20 20 7d 0a 20 20 70 finish;. }. p
20f0: 43 73 72 2d 3e 70 54 6f 6b 65 6e 69 7a 65 72 20 Csr->pTokenizer
2100: 3d 20 70 54 6f 6b 65 6e 69 7a 65 72 3b 0a 0a 20 = pTokenizer;..
2110: 20 77 68 69 6c 65 28 20 53 51 4c 49 54 45 5f 4f while( SQLITE_O
2120: 4b 3d 3d 70 2d 3e 78 4e 65 78 74 28 70 43 73 72 K==p->xNext(pCsr
2130: 2c 20 26 7a 54 6f 6b 65 6e 2c 20 26 6e 54 6f 6b , &zToken, &nTok
2140: 65 6e 2c 20 26 69 53 74 61 72 74 2c 20 26 69 45 en, &iStart, &iE
2150: 6e 64 2c 20 26 69 50 6f 73 29 20 29 7b 0a 20 20 nd, &iPos) ){.
2160: 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a 41 70 70 Tcl_ListObjApp
2170: 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c 20 70 52 endElement(0, pR
2180: 65 74 2c 20 54 63 6c 5f 4e 65 77 49 6e 74 4f 62 et, Tcl_NewIntOb
2190: 6a 28 69 50 6f 73 29 29 3b 0a 20 20 20 20 54 63 j(iPos));. Tc
21a0: 6c 5f 4c 69 73 74 4f 62 6a 41 70 70 65 6e 64 45 l_ListObjAppendE
21b0: 6c 65 6d 65 6e 74 28 30 2c 20 70 52 65 74 2c 20 lement(0, pRet,
21c0: 54 63 6c 5f 4e 65 77 53 74 72 69 6e 67 4f 62 6a Tcl_NewStringObj
21d0: 28 7a 54 6f 6b 65 6e 2c 20 6e 54 6f 6b 65 6e 29 (zToken, nToken)
21e0: 29 3b 0a 20 20 20 20 7a 54 6f 6b 65 6e 20 3d 20 );. zToken =
21f0: 26 7a 49 6e 70 75 74 5b 69 53 74 61 72 74 5d 3b &zInput[iStart];
2200: 0a 20 20 20 20 6e 54 6f 6b 65 6e 20 3d 20 69 45 . nToken = iE
2210: 6e 64 2d 69 53 74 61 72 74 3b 0a 20 20 20 20 54 nd-iStart;. T
2220: 63 6c 5f 4c 69 73 74 4f 62 6a 41 70 70 65 6e 64 cl_ListObjAppend
2230: 45 6c 65 6d 65 6e 74 28 30 2c 20 70 52 65 74 2c Element(0, pRet,
2240: 20 54 63 6c 5f 4e 65 77 53 74 72 69 6e 67 4f 62 Tcl_NewStringOb
2250: 6a 28 7a 54 6f 6b 65 6e 2c 20 6e 54 6f 6b 65 6e j(zToken, nToken
2260: 29 29 3b 0a 20 20 7d 0a 0a 20 20 69 66 28 20 53 ));. }.. if( S
2270: 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 43 6c QLITE_OK!=p->xCl
2280: 6f 73 65 28 70 43 73 72 29 20 29 7b 0a 20 20 20 ose(pCsr) ){.
2290: 20 7a 45 72 72 20 3d 20 22 65 72 72 6f 72 20 69 zErr = "error i
22a0: 6e 20 78 43 6c 6f 73 65 28 29 22 3b 0a 20 20 20 n xClose()";.
22b0: 20 67 6f 74 6f 20 66 69 6e 69 73 68 3b 0a 20 20 goto finish;.
22c0: 7d 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f 4f }. if( SQLITE_O
22d0: 4b 21 3d 70 2d 3e 78 44 65 73 74 72 6f 79 28 70 K!=p->xDestroy(p
22e0: 54 6f 6b 65 6e 69 7a 65 72 29 20 29 7b 0a 20 20 Tokenizer) ){.
22f0: 20 20 7a 45 72 72 20 3d 20 22 65 72 72 6f 72 20 zErr = "error
2300: 69 6e 20 78 44 65 73 74 72 6f 79 28 29 22 3b 0a in xDestroy()";.
2310: 20 20 20 20 67 6f 74 6f 20 66 69 6e 69 73 68 3b goto finish;
2320: 0a 20 20 7d 0a 0a 66 69 6e 69 73 68 3a 0a 20 20 . }..finish:.
2330: 69 66 28 20 7a 45 72 72 20 29 7b 0a 20 20 20 20 if( zErr ){.
2340: 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65 sqlite3_result_e
2350: 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 7a 45 rror(context, zE
2360: 72 72 2c 20 2d 31 29 3b 0a 20 20 7d 65 6c 73 65 rr, -1);. }else
2370: 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 72 65 {. sqlite3_re
2380: 73 75 6c 74 5f 74 65 78 74 28 63 6f 6e 74 65 78 sult_text(contex
2390: 74 2c 20 54 63 6c 5f 47 65 74 53 74 72 69 6e 67 t, Tcl_GetString
23a0: 28 70 52 65 74 29 2c 20 2d 31 2c 20 53 51 4c 49 (pRet), -1, SQLI
23b0: 54 45 5f 54 52 41 4e 53 49 45 4e 54 29 3b 0a 20 TE_TRANSIENT);.
23c0: 20 7d 0a 20 20 54 63 6c 5f 44 65 63 72 52 65 66 }. Tcl_DecrRef
23d0: 43 6f 75 6e 74 28 70 52 65 74 29 3b 0a 7d 0a 0a Count(pRet);.}..
23e0: 73 74 61 74 69 63 0a 69 6e 74 20 72 65 67 69 73 static.int regis
23f0: 74 65 72 54 6f 6b 65 6e 69 7a 65 72 28 0a 20 20 terTokenizer(.
2400: 73 71 6c 69 74 65 33 20 2a 64 62 2c 20 0a 20 20 sqlite3 *db, .
2410: 63 68 61 72 20 2a 7a 4e 61 6d 65 2c 20 0a 20 20 char *zName, .
2420: 63 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f 74 6f const sqlite3_to
2430: 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a kenizer_module *
2440: 70 0a 29 7b 0a 20 20 69 6e 74 20 72 63 3b 0a 20 p.){. int rc;.
2450: 20 73 71 6c 69 74 65 33 5f 73 74 6d 74 20 2a 70 sqlite3_stmt *p
2460: 53 74 6d 74 3b 0a 20 20 63 6f 6e 73 74 20 63 68 Stmt;. const ch
2470: 61 72 20 7a 53 71 6c 5b 5d 20 3d 20 22 53 45 4c ar zSql[] = "SEL
2480: 45 43 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a ECT fts3_tokeniz
2490: 65 72 28 3f 2c 20 3f 29 22 3b 0a 0a 20 20 72 63 er(?, ?)";.. rc
24a0: 20 3d 20 73 71 6c 69 74 65 33 5f 70 72 65 70 61 = sqlite3_prepa
24b0: 72 65 5f 76 32 28 64 62 2c 20 7a 53 71 6c 2c 20 re_v2(db, zSql,
24c0: 2d 31 2c 20 26 70 53 74 6d 74 2c 20 30 29 3b 0a -1, &pStmt, 0);.
24d0: 20 20 69 66 28 20 72 63 21 3d 53 51 4c 49 54 45 if( rc!=SQLITE
24e0: 5f 4f 4b 20 29 7b 0a 20 20 20 20 72 65 74 75 72 _OK ){. retur
24f0: 6e 20 72 63 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c n rc;. }.. sql
2500: 69 74 65 33 5f 62 69 6e 64 5f 74 65 78 74 28 70 ite3_bind_text(p
2510: 53 74 6d 74 2c 20 31 2c 20 7a 4e 61 6d 65 2c 20 Stmt, 1, zName,
2520: 2d 31 2c 20 53 51 4c 49 54 45 5f 53 54 41 54 49 -1, SQLITE_STATI
2530: 43 29 3b 0a 20 20 73 71 6c 69 74 65 33 5f 62 69 C);. sqlite3_bi
2540: 6e 64 5f 62 6c 6f 62 28 70 53 74 6d 74 2c 20 32 nd_blob(pStmt, 2
2550: 2c 20 26 70 2c 20 73 69 7a 65 6f 66 28 70 29 2c , &p, sizeof(p),
2560: 20 53 51 4c 49 54 45 5f 53 54 41 54 49 43 29 3b SQLITE_STATIC);
2570: 0a 20 20 73 71 6c 69 74 65 33 5f 73 74 65 70 28 . sqlite3_step(
2580: 70 53 74 6d 74 29 3b 0a 0a 20 20 72 65 74 75 72 pStmt);.. retur
2590: 6e 20 73 71 6c 69 74 65 33 5f 66 69 6e 61 6c 69 n sqlite3_finali
25a0: 7a 65 28 70 53 74 6d 74 29 3b 0a 7d 0a 0a 73 74 ze(pStmt);.}..st
25b0: 61 74 69 63 0a 69 6e 74 20 71 75 65 72 79 54 6f atic.int queryTo
25c0: 6b 65 6e 69 7a 65 72 28 0a 20 20 73 71 6c 69 74 kenizer(. sqlit
25d0: 65 33 20 2a 64 62 2c 20 0a 20 20 63 68 61 72 20 e3 *db, . char
25e0: 2a 7a 4e 61 6d 65 2c 20 20 0a 20 20 63 6f 6e 73 *zName, . cons
25f0: 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 t sqlite3_tokeni
2600: 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 2a 70 70 0a zer_module **pp.
2610: 29 7b 0a 20 20 69 6e 74 20 72 63 3b 0a 20 20 73 ){. int rc;. s
2620: 71 6c 69 74 65 33 5f 73 74 6d 74 20 2a 70 53 74 qlite3_stmt *pSt
2630: 6d 74 3b 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 mt;. const char
2640: 20 7a 53 71 6c 5b 5d 20 3d 20 22 53 45 4c 45 43 zSql[] = "SELEC
2650: 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 T fts3_tokenizer
2660: 28 3f 29 22 3b 0a 0a 20 20 2a 70 70 20 3d 20 30 (?)";.. *pp = 0
2670: 3b 0a 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 ;. rc = sqlite3
2680: 5f 70 72 65 70 61 72 65 5f 76 32 28 64 62 2c 20 _prepare_v2(db,
2690: 7a 53 71 6c 2c 20 2d 31 2c 20 26 70 53 74 6d 74 zSql, -1, &pStmt
26a0: 2c 20 30 29 3b 0a 20 20 69 66 28 20 72 63 21 3d , 0);. if( rc!=
26b0: 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 SQLITE_OK ){.
26c0: 20 72 65 74 75 72 6e 20 72 63 3b 0a 20 20 7d 0a return rc;. }.
26d0: 0a 20 20 73 71 6c 69 74 65 33 5f 62 69 6e 64 5f . sqlite3_bind_
26e0: 74 65 78 74 28 70 53 74 6d 74 2c 20 31 2c 20 7a text(pStmt, 1, z
26f0: 4e 61 6d 65 2c 20 2d 31 2c 20 53 51 4c 49 54 45 Name, -1, SQLITE
2700: 5f 53 54 41 54 49 43 29 3b 0a 20 20 69 66 28 20 _STATIC);. if(
2710: 53 51 4c 49 54 45 5f 52 4f 57 3d 3d 73 71 6c 69 SQLITE_ROW==sqli
2720: 74 65 33 5f 73 74 65 70 28 70 53 74 6d 74 29 20 te3_step(pStmt)
2730: 29 7b 0a 20 20 20 20 69 66 28 20 73 71 6c 69 74 ){. if( sqlit
2740: 65 33 5f 63 6f 6c 75 6d 6e 5f 74 79 70 65 28 70 e3_column_type(p
2750: 53 74 6d 74 2c 20 30 29 3d 3d 53 51 4c 49 54 45 Stmt, 0)==SQLITE
2760: 5f 42 4c 4f 42 20 29 7b 0a 20 20 20 20 20 20 6d _BLOB ){. m
2770: 65 6d 63 70 79 28 28 76 6f 69 64 20 2a 29 70 70 emcpy((void *)pp
2780: 2c 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e , sqlite3_column
2790: 5f 62 6c 6f 62 28 70 53 74 6d 74 2c 20 30 29 2c _blob(pStmt, 0),
27a0: 20 73 69 7a 65 6f 66 28 2a 70 70 29 29 3b 0a 20 sizeof(*pp));.
27b0: 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 72 65 74 75 }. }.. retu
27c0: 72 6e 20 73 71 6c 69 74 65 33 5f 66 69 6e 61 6c rn sqlite3_final
27d0: 69 7a 65 28 70 53 74 6d 74 29 3b 0a 7d 0a 0a 76 ize(pStmt);.}..v
27e0: 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 33 53 oid sqlite3Fts3S
27f0: 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f impleTokenizerMo
2800: 64 75 6c 65 28 73 71 6c 69 74 65 33 5f 74 6f 6b dule(sqlite3_tok
2810: 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 63 6f enizer_module co
2820: 6e 73 74 2a 2a 70 70 4d 6f 64 75 6c 65 29 3b 0a nst**ppModule);.
2830: 0a 2f 2a 0a 2a 2a 20 49 6d 70 6c 65 6d 65 6e 74 ./*.** Implement
2840: 61 74 69 6f 6e 20 6f 66 20 74 68 65 20 73 63 61 ation of the sca
2850: 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 66 74 73 lar function fts
2860: 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 69 6e 74 65 3_tokenizer_inte
2870: 72 6e 61 6c 5f 74 65 73 74 28 29 2e 0a 2a 2a 20 rnal_test()..**
2880: 54 68 69 73 20 66 75 6e 63 74 69 6f 6e 20 69 73 This function is
2890: 20 75 73 65 64 20 66 6f 72 20 74 65 73 74 69 6e used for testin
28a0: 67 20 6f 6e 6c 79 2c 20 69 74 20 69 73 20 6e 6f g only, it is no
28b0: 74 20 69 6e 63 6c 75 64 65 64 20 69 6e 20 74 68 t included in th
28c0: 65 0a 2a 2a 20 62 75 69 6c 64 20 75 6e 6c 65 73 e.** build unles
28d0: 73 20 53 51 4c 49 54 45 5f 54 45 53 54 20 69 73 s SQLITE_TEST is
28e0: 20 64 65 66 69 6e 65 64 2e 0a 2a 2a 0a 2a 2a 20 defined..**.**
28f0: 54 68 65 20 70 75 72 70 6f 73 65 20 6f 66 20 74 The purpose of t
2900: 68 69 73 20 69 73 20 74 6f 20 74 65 73 74 20 74 his is to test t
2910: 68 61 74 20 74 68 65 20 66 74 73 33 5f 74 6f 6b hat the fts3_tok
2920: 65 6e 69 7a 65 72 28 29 20 66 75 6e 63 74 69 6f enizer() functio
2930: 6e 0a 2a 2a 20 63 61 6e 20 62 65 20 75 73 65 64 n.** can be used
2940: 20 61 73 20 64 65 73 69 67 6e 65 64 20 62 79 20 as designed by
2950: 74 68 65 20 43 2d 63 6f 64 65 20 69 6e 20 74 68 the C-code in th
2960: 65 20 71 75 65 72 79 54 6f 6b 65 6e 69 7a 65 72 e queryTokenizer
2970: 20 61 6e 64 0a 2a 2a 20 72 65 67 69 73 74 65 72 and.** register
2980: 54 6f 6b 65 6e 69 7a 65 72 28 29 20 66 75 6e 63 Tokenizer() func
2990: 74 69 6f 6e 73 20 61 62 6f 76 65 2e 20 54 68 65 tions above. The
29a0: 73 65 20 74 77 6f 20 66 75 6e 63 74 69 6f 6e 73 se two functions
29b0: 20 61 72 65 20 72 65 70 65 61 74 65 64 0a 2a 2a are repeated.**
29c0: 20 69 6e 20 74 68 65 20 52 45 41 44 4d 45 2e 74 in the README.t
29d0: 6f 6b 65 6e 69 7a 65 72 20 66 69 6c 65 20 61 73 okenizer file as
29e0: 20 61 6e 20 65 78 61 6d 70 6c 65 2c 20 73 6f 20 an example, so
29f0: 69 74 20 69 73 20 69 6d 70 6f 72 74 61 6e 74 20 it is important
2a00: 74 6f 0a 2a 2a 20 74 65 73 74 20 74 68 65 6d 2e to.** test them.
2a10: 0a 2a 2a 0a 2a 2a 20 54 6f 20 72 75 6e 20 74 68 .**.** To run th
2a20: 65 20 74 65 73 74 73 2c 20 65 76 61 6c 75 61 74 e tests, evaluat
2a30: 65 20 74 68 65 20 66 74 73 33 5f 74 6f 6b 65 6e e the fts3_token
2a40: 69 7a 65 72 5f 69 6e 74 65 72 6e 61 6c 5f 74 65 izer_internal_te
2a50: 73 74 28 29 20 73 63 61 6c 61 72 0a 2a 2a 20 66 st() scalar.** f
2a60: 75 6e 63 74 69 6f 6e 20 77 69 74 68 20 6e 6f 20 unction with no
2a70: 61 72 67 75 6d 65 6e 74 73 2e 20 41 6e 20 61 73 arguments. An as
2a80: 73 65 72 74 28 29 20 77 69 6c 6c 20 66 61 69 6c sert() will fail
2a90: 20 69 66 20 61 20 70 72 6f 62 6c 65 6d 20 69 73 if a problem is
2aa0: 0a 2a 2a 20 64 65 74 65 63 74 65 64 2e 20 69 2e .** detected. i.
2ab0: 65 2e 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 53 45 e.:.**.** SE
2ac0: 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69 LECT fts3_tokeni
2ad0: 7a 65 72 5f 69 6e 74 65 72 6e 61 6c 5f 74 65 73 zer_internal_tes
2ae0: 74 28 29 3b 0a 2a 2a 0a 2a 2f 0a 73 74 61 74 69 t();.**.*/.stati
2af0: 63 20 76 6f 69 64 20 69 6e 74 54 65 73 74 46 75 c void intTestFu
2b00: 6e 63 28 0a 20 20 73 71 6c 69 74 65 33 5f 63 6f nc(. sqlite3_co
2b10: 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78 74 2c 0a ntext *context,.
2b20: 20 20 69 6e 74 20 61 72 67 63 2c 0a 20 20 73 71 int argc,. sq
2b30: 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a 2a 61 72 lite3_value **ar
2b40: 67 76 0a 29 7b 0a 20 20 69 6e 74 20 72 63 3b 0a gv.){. int rc;.
2b50: 20 20 63 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f const sqlite3_
2b60: 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 tokenizer_module
2b70: 20 2a 70 31 3b 0a 20 20 63 6f 6e 73 74 20 73 71 *p1;. const sq
2b80: 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f lite3_tokenizer_
2b90: 6d 6f 64 75 6c 65 20 2a 70 32 3b 0a 20 20 73 71 module *p2;. sq
2ba0: 6c 69 74 65 33 20 2a 64 62 20 3d 20 28 73 71 6c lite3 *db = (sql
2bb0: 69 74 65 33 20 2a 29 73 71 6c 69 74 65 33 5f 75 ite3 *)sqlite3_u
2bc0: 73 65 72 5f 64 61 74 61 28 63 6f 6e 74 65 78 74 ser_data(context
2bd0: 29 3b 0a 0a 20 20 55 4e 55 53 45 44 5f 50 41 52 );.. UNUSED_PAR
2be0: 41 4d 45 54 45 52 28 61 72 67 63 29 3b 0a 20 20 AMETER(argc);.
2bf0: 55 4e 55 53 45 44 5f 50 41 52 41 4d 45 54 45 52 UNUSED_PARAMETER
2c00: 28 61 72 67 76 29 3b 0a 0a 20 20 2f 2a 20 54 65 (argv);.. /* Te
2c10: 73 74 20 74 68 65 20 71 75 65 72 79 20 66 75 6e st the query fun
2c20: 63 74 69 6f 6e 20 2a 2f 0a 20 20 73 71 6c 69 74 ction */. sqlit
2c30: 65 33 46 74 73 33 53 69 6d 70 6c 65 54 6f 6b 65 e3Fts3SimpleToke
2c40: 6e 69 7a 65 72 4d 6f 64 75 6c 65 28 26 70 31 29 nizerModule(&p1)
2c50: 3b 0a 20 20 72 63 20 3d 20 71 75 65 72 79 54 6f ;. rc = queryTo
2c60: 6b 65 6e 69 7a 65 72 28 64 62 2c 20 22 73 69 6d kenizer(db, "sim
2c70: 70 6c 65 22 2c 20 26 70 32 29 3b 0a 20 20 61 73 ple", &p2);. as
2c80: 73 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 sert( rc==SQLITE
2c90: 5f 4f 4b 20 29 3b 0a 20 20 61 73 73 65 72 74 28 _OK );. assert(
2ca0: 20 70 31 3d 3d 70 32 20 29 3b 0a 20 20 72 63 20 p1==p2 );. rc
2cb0: 3d 20 71 75 65 72 79 54 6f 6b 65 6e 69 7a 65 72 = queryTokenizer
2cc0: 28 64 62 2c 20 22 6e 6f 73 75 63 68 74 6f 6b 65 (db, "nosuchtoke
2cd0: 6e 69 7a 65 72 22 2c 20 26 70 32 29 3b 0a 20 20 nizer", &p2);.
2ce0: 61 73 73 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 assert( rc==SQLI
2cf0: 54 45 5f 45 52 52 4f 52 20 29 3b 0a 20 20 61 73 TE_ERROR );. as
2d00: 73 65 72 74 28 20 70 32 3d 3d 30 20 29 3b 0a 20 sert( p2==0 );.
2d10: 20 61 73 73 65 72 74 28 20 30 3d 3d 73 74 72 63 assert( 0==strc
2d20: 6d 70 28 73 71 6c 69 74 65 33 5f 65 72 72 6d 73 mp(sqlite3_errms
2d30: 67 28 64 62 29 2c 20 22 75 6e 6b 6e 6f 77 6e 20 g(db), "unknown
2d40: 74 6f 6b 65 6e 69 7a 65 72 3a 20 6e 6f 73 75 63 tokenizer: nosuc
2d50: 68 74 6f 6b 65 6e 69 7a 65 72 22 29 20 29 3b 0a htokenizer") );.
2d60: 0a 20 20 2f 2a 20 54 65 73 74 20 74 68 65 20 73 . /* Test the s
2d70: 74 6f 72 61 67 65 20 66 75 6e 63 74 69 6f 6e 20 torage function
2d80: 2a 2f 0a 20 20 72 63 20 3d 20 72 65 67 69 73 74 */. rc = regist
2d90: 65 72 54 6f 6b 65 6e 69 7a 65 72 28 64 62 2c 20 erTokenizer(db,
2da0: 22 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72 "nosuchtokenizer
2db0: 22 2c 20 70 31 29 3b 0a 20 20 61 73 73 65 72 74 ", p1);. assert
2dc0: 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4f 4b 20 ( rc==SQLITE_OK
2dd0: 29 3b 0a 20 20 72 63 20 3d 20 71 75 65 72 79 54 );. rc = queryT
2de0: 6f 6b 65 6e 69 7a 65 72 28 64 62 2c 20 22 6e 6f okenizer(db, "no
2df0: 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72 22 2c 20 suchtokenizer",
2e00: 26 70 32 29 3b 0a 20 20 61 73 73 65 72 74 28 20 &p2);. assert(
2e10: 72 63 3d 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 3b rc==SQLITE_OK );
2e20: 0a 20 20 61 73 73 65 72 74 28 20 70 32 3d 3d 70 . assert( p2==p
2e30: 31 20 29 3b 0a 0a 20 20 73 71 6c 69 74 65 33 5f 1 );.. sqlite3_
2e40: 72 65 73 75 6c 74 5f 74 65 78 74 28 63 6f 6e 74 result_text(cont
2e50: 65 78 74 2c 20 22 6f 6b 22 2c 20 2d 31 2c 20 53 ext, "ok", -1, S
2e60: 51 4c 49 54 45 5f 53 54 41 54 49 43 29 3b 0a 7d QLITE_STATIC);.}
2e70: 0a 0a 23 65 6e 64 69 66 0a 0a 2f 2a 0a 2a 2a 20 ..#endif../*.**
2e80: 53 65 74 20 75 70 20 53 51 4c 20 6f 62 6a 65 63 Set up SQL objec
2e90: 74 73 20 69 6e 20 64 61 74 61 62 61 73 65 20 64 ts in database d
2ea0: 62 20 75 73 65 64 20 74 6f 20 61 63 63 65 73 73 b used to access
2eb0: 20 74 68 65 20 63 6f 6e 74 65 6e 74 73 20 6f 66 the contents of
2ec0: 0a 2a 2a 20 74 68 65 20 68 61 73 68 20 74 61 62 .** the hash tab
2ed0: 6c 65 20 70 6f 69 6e 74 65 64 20 74 6f 20 62 79 le pointed to by
2ee0: 20 61 72 67 75 6d 65 6e 74 20 70 48 61 73 68 2e argument pHash.
2ef0: 20 54 68 65 20 68 61 73 68 20 74 61 62 6c 65 20 The hash table
2f00: 6d 75 73 74 0a 2a 2a 20 62 65 65 6e 20 69 6e 69 must.** been ini
2f10: 74 69 61 6c 69 73 65 64 20 74 6f 20 75 73 65 20 tialised to use
2f20: 73 74 72 69 6e 67 20 6b 65 79 73 2c 20 61 6e 64 string keys, and
2f30: 20 74 6f 20 74 61 6b 65 20 61 20 70 72 69 76 61 to take a priva
2f40: 74 65 20 63 6f 70 79 20 0a 2a 2a 20 6f 66 20 74 te copy .** of t
2f50: 68 65 20 6b 65 79 20 77 68 65 6e 20 61 20 76 61 he key when a va
2f60: 6c 75 65 20 69 73 20 69 6e 73 65 72 74 65 64 2e lue is inserted.
2f70: 20 69 2e 65 2e 20 62 79 20 61 20 63 61 6c 6c 20 i.e. by a call
2f80: 73 69 6d 69 6c 61 72 20 74 6f 3a 0a 2a 2a 0a 2a similar to:.**.*
2f90: 2a 20 20 20 20 73 71 6c 69 74 65 33 46 74 73 33 * sqlite3Fts3
2fa0: 48 61 73 68 49 6e 69 74 28 70 48 61 73 68 2c 20 HashInit(pHash,
2fb0: 46 54 53 33 5f 48 41 53 48 5f 53 54 52 49 4e 47 FTS3_HASH_STRING
2fc0: 2c 20 31 29 3b 0a 2a 2a 0a 2a 2a 20 54 68 69 73 , 1);.**.** This
2fd0: 20 66 75 6e 63 74 69 6f 6e 20 61 64 64 73 20 61 function adds a
2fe0: 20 73 63 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e scalar function
2ff0: 20 28 73 65 65 20 68 65 61 64 65 72 20 63 6f 6d (see header com
3000: 6d 65 6e 74 20 61 62 6f 76 65 0a 2a 2a 20 73 63 ment above.** sc
3010: 61 6c 61 72 46 75 6e 63 28 29 20 69 6e 20 74 68 alarFunc() in th
3020: 69 73 20 66 69 6c 65 20 66 6f 72 20 64 65 74 61 is file for deta
3030: 69 6c 73 29 20 61 6e 64 2c 20 69 66 20 45 4e 41 ils) and, if ENA
3040: 42 4c 45 5f 54 41 42 4c 45 20 69 73 0a 2a 2a 20 BLE_TABLE is.**
3050: 64 65 66 69 6e 65 64 20 61 74 20 63 6f 6d 70 69 defined at compi
3060: 6c 61 74 69 6f 6e 20 74 69 6d 65 2c 20 61 20 74 lation time, a t
3070: 65 6d 70 6f 72 61 72 79 20 76 69 72 74 75 61 6c emporary virtual
3080: 20 74 61 62 6c 65 20 28 73 65 65 20 68 65 61 64 table (see head
3090: 65 72 20 0a 2a 2a 20 63 6f 6d 6d 65 6e 74 20 61 er .** comment a
30a0: 62 6f 76 65 20 73 74 72 75 63 74 20 48 61 73 68 bove struct Hash
30b0: 54 61 62 6c 65 56 74 61 62 29 20 74 6f 20 74 68 TableVtab) to th
30c0: 65 20 64 61 74 61 62 61 73 65 20 73 63 68 65 6d e database schem
30d0: 61 2e 20 42 6f 74 68 20 0a 2a 2a 20 70 72 6f 76 a. Both .** prov
30e0: 69 64 65 20 72 65 61 64 2f 77 72 69 74 65 20 61 ide read/write a
30f0: 63 63 65 73 73 20 74 6f 20 74 68 65 20 63 6f 6e ccess to the con
3100: 74 65 6e 74 73 20 6f 66 20 2a 70 48 61 73 68 2e tents of *pHash.
3110: 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74 68 69 72 64 .**.** The third
3120: 20 61 72 67 75 6d 65 6e 74 20 74 6f 20 74 68 69 argument to thi
3130: 73 20 66 75 6e 63 74 69 6f 6e 2c 20 7a 4e 61 6d s function, zNam
3140: 65 2c 20 69 73 20 75 73 65 64 20 61 73 20 74 68 e, is used as th
3150: 65 20 6e 61 6d 65 0a 2a 2a 20 6f 66 20 62 6f 74 e name.** of bot
3160: 68 20 74 68 65 20 73 63 61 6c 61 72 20 61 6e 64 h the scalar and
3170: 2c 20 69 66 20 63 72 65 61 74 65 64 2c 20 74 68 , if created, th
3180: 65 20 76 69 72 74 75 61 6c 20 74 61 62 6c 65 2e e virtual table.
3190: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 46 .*/.int sqlite3F
31a0: 74 73 33 49 6e 69 74 48 61 73 68 54 61 62 6c 65 ts3InitHashTable
31b0: 28 0a 20 20 73 71 6c 69 74 65 33 20 2a 64 62 2c (. sqlite3 *db,
31c0: 20 0a 20 20 46 74 73 33 48 61 73 68 20 2a 70 48 . Fts3Hash *pH
31d0: 61 73 68 2c 20 0a 20 20 63 6f 6e 73 74 20 63 68 ash, . const ch
31e0: 61 72 20 2a 7a 4e 61 6d 65 0a 29 7b 0a 20 20 69 ar *zName.){. i
31f0: 6e 74 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 4f nt rc = SQLITE_O
3200: 4b 3b 0a 20 20 76 6f 69 64 20 2a 70 20 3d 20 28 K;. void *p = (
3210: 76 6f 69 64 20 2a 29 70 48 61 73 68 3b 0a 20 20 void *)pHash;.
3220: 63 6f 6e 73 74 20 69 6e 74 20 61 6e 79 20 3d 20 const int any =
3230: 53 51 4c 49 54 45 5f 41 4e 59 3b 0a 0a 23 69 66 SQLITE_ANY;..#if
3240: 64 65 66 20 53 51 4c 49 54 45 5f 54 45 53 54 0a def SQLITE_TEST.
3250: 20 20 63 68 61 72 20 2a 7a 54 65 73 74 20 3d 20 char *zTest =
3260: 30 3b 0a 20 20 63 68 61 72 20 2a 7a 54 65 73 74 0;. char *zTest
3270: 32 20 3d 20 30 3b 0a 20 20 76 6f 69 64 20 2a 70 2 = 0;. void *p
3280: 64 62 20 3d 20 28 76 6f 69 64 20 2a 29 64 62 3b db = (void *)db;
3290: 0a 20 20 7a 54 65 73 74 20 3d 20 73 71 6c 69 74 . zTest = sqlit
32a0: 65 33 5f 6d 70 72 69 6e 74 66 28 22 25 73 5f 74 e3_mprintf("%s_t
32b0: 65 73 74 22 2c 20 7a 4e 61 6d 65 29 3b 0a 20 20 est", zName);.
32c0: 7a 54 65 73 74 32 20 3d 20 73 71 6c 69 74 65 33 zTest2 = sqlite3
32d0: 5f 6d 70 72 69 6e 74 66 28 22 25 73 5f 69 6e 74 _mprintf("%s_int
32e0: 65 72 6e 61 6c 5f 74 65 73 74 22 2c 20 7a 4e 61 ernal_test", zNa
32f0: 6d 65 29 3b 0a 20 20 69 66 28 20 21 7a 54 65 73 me);. if( !zTes
3300: 74 20 7c 7c 20 21 7a 54 65 73 74 32 20 29 7b 0a t || !zTest2 ){.
3310: 20 20 20 20 72 63 20 3d 20 53 51 4c 49 54 45 5f rc = SQLITE_
3320: 4e 4f 4d 45 4d 3b 0a 20 20 7d 0a 23 65 6e 64 69 NOMEM;. }.#endi
3330: 66 0a 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f f.. if( SQLITE_
3340: 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20 72 63 OK==rc ){. rc
3350: 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 65 61 74 = sqlite3_creat
3360: 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a e_function(db, z
3370: 4e 61 6d 65 2c 20 31 2c 20 61 6e 79 2c 20 70 2c Name, 1, any, p,
3380: 20 73 63 61 6c 61 72 46 75 6e 63 2c 20 30 2c 20 scalarFunc, 0,
3390: 30 29 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53 51 0);. }. if( SQ
33a0: 4c 49 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 LITE_OK==rc ){.
33b0: 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f rc = sqlite3_
33c0: 63 72 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 create_function(
33d0: 64 62 2c 20 7a 4e 61 6d 65 2c 20 32 2c 20 61 6e db, zName, 2, an
33e0: 79 2c 20 70 2c 20 73 63 61 6c 61 72 46 75 6e 63 y, p, scalarFunc
33f0: 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a 23 69 66 , 0, 0);. }.#if
3400: 64 65 66 20 53 51 4c 49 54 45 5f 54 45 53 54 0a def SQLITE_TEST.
3410: 20 20 69 66 28 20 53 51 4c 49 54 45 5f 4f 4b 3d if( SQLITE_OK=
3420: 3d 72 63 20 29 7b 0a 20 20 20 20 72 63 20 3d 20 =rc ){. rc =
3430: 73 71 6c 69 74 65 33 5f 63 72 65 61 74 65 5f 66 sqlite3_create_f
3440: 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a 54 65 73 unction(db, zTes
3450: 74 2c 20 32 2c 20 61 6e 79 2c 20 70 2c 20 74 65 t, 2, any, p, te
3460: 73 74 46 75 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 stFunc, 0, 0);.
3470: 20 7d 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f }. if( SQLITE_
3480: 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20 72 63 OK==rc ){. rc
3490: 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 65 61 74 = sqlite3_creat
34a0: 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c 20 7a e_function(db, z
34b0: 54 65 73 74 2c 20 33 2c 20 61 6e 79 2c 20 70 2c Test, 3, any, p,
34c0: 20 74 65 73 74 46 75 6e 63 2c 20 30 2c 20 30 29 testFunc, 0, 0)
34d0: 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53 51 4c 49 ;. }. if( SQLI
34e0: 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 TE_OK==rc ){.
34f0: 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 rc = sqlite3_cr
3500: 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 eate_function(db
3510: 2c 20 7a 54 65 73 74 32 2c 20 30 2c 20 61 6e 79 , zTest2, 0, any
3520: 2c 20 70 64 62 2c 20 69 6e 74 54 65 73 74 46 75 , pdb, intTestFu
3530: 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a 23 nc, 0, 0);. }.#
3540: 65 6e 64 69 66 0a 0a 23 69 66 64 65 66 20 53 51 endif..#ifdef SQ
3550: 4c 49 54 45 5f 54 45 53 54 0a 20 20 73 71 6c 69 LITE_TEST. sqli
3560: 74 65 33 5f 66 72 65 65 28 7a 54 65 73 74 29 3b te3_free(zTest);
3570: 0a 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 . sqlite3_free(
3580: 7a 54 65 73 74 32 29 3b 0a 23 65 6e 64 69 66 0a zTest2);.#endif.
3590: 0a 20 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d 0a . return rc;.}.
35a0: 0a 23 65 6e 64 69 66 20 2f 2a 20 21 64 65 66 69 .#endif /* !defi
35b0: 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f 52 45 29 ned(SQLITE_CORE)
35c0: 20 7c 7c 20 64 65 66 69 6e 65 64 28 53 51 4c 49 || defined(SQLI
35d0: 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33 29 20 TE_ENABLE_FTS3)
35e0: 2a 2f 0a */.