Artifact
a2770eb52be62359e1c191c5469857dfbd52b72f:
- File
test/enc.test
— part of check-in
[211c1baef7]
at
2013-06-11 15:18:06
on branch trunk
— Add tests and minor fixes for the sqlite4_translate() API.
(user:
dan
size: 8358)
0000: 23 20 32 30 30 32 20 4d 61 79 20 32 34 0a 23 0a # 2002 May 24.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73 # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74 claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20 to this source
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20 code. In place
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74 of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62 ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20 lessing:.#.#
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20 May you do good
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20 and not evil..#
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20 May you find
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20 forgiveness for
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72 yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20 give others..#
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20 May you share
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61 freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79 king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0160: 2a 2a 2a 0a 23 20 54 68 69 73 20 66 69 6c 65 20 ***.# This file
0170: 69 6d 70 6c 65 6d 65 6e 74 73 20 72 65 67 72 65 implements regre
0180: 73 73 69 6f 6e 20 74 65 73 74 73 20 66 6f 72 20 ssion tests for
0190: 53 51 4c 69 74 65 20 6c 69 62 72 61 72 79 2e 20 SQLite library.
01a0: 20 54 68 65 20 66 6f 63 75 73 20 6f 66 0a 23 20 The focus of.#
01b0: 74 68 69 73 20 66 69 6c 65 20 69 73 20 74 65 73 this file is tes
01c0: 74 69 6e 67 20 74 68 65 20 53 51 4c 69 74 65 20 ting the SQLite
01d0: 72 6f 75 74 69 6e 65 73 20 75 73 65 64 20 66 6f routines used fo
01e0: 72 20 63 6f 6e 76 65 72 74 69 6e 67 20 62 65 74 r converting bet
01f0: 77 65 65 6e 20 74 68 65 0a 23 20 76 61 72 69 6f ween the.# vario
0200: 75 73 20 73 75 70 6f 72 74 65 64 20 75 6e 69 63 us suported unic
0210: 6f 64 65 20 65 6e 63 6f 64 69 6e 67 73 20 28 55 ode encodings (U
0220: 54 46 2d 38 2c 20 55 54 46 2d 31 36 2c 20 55 54 TF-8, UTF-16, UT
0230: 46 2d 31 36 6c 65 20 61 6e 64 0a 23 20 55 54 46 F-16le and.# UTF
0240: 2d 31 36 62 65 29 2e 0a 23 0a 23 20 24 49 64 3a -16be)..#.# $Id:
0250: 20 65 6e 63 2e 74 65 73 74 2c 76 20 31 2e 37 20 enc.test,v 1.7
0260: 32 30 30 37 2f 30 35 2f 32 33 20 31 36 3a 32 33 2007/05/23 16:23
0270: 3a 30 39 20 64 61 6e 69 65 6c 6b 31 39 37 37 20 :09 danielk1977
0280: 45 78 70 20 24 0a 0a 73 65 74 20 74 65 73 74 64 Exp $..set testd
0290: 69 72 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65 ir [file dirname
02a0: 20 24 61 72 67 76 30 5d 0a 73 6f 75 72 63 65 20 $argv0].source
02b0: 24 74 65 73 74 64 69 72 2f 74 65 73 74 65 72 2e $testdir/tester.
02c0: 74 63 6c 0a 73 65 74 20 3a 3a 74 65 73 74 70 72 tcl.set ::testpr
02d0: 65 66 69 78 20 65 6e 63 0a 0a 23 20 53 6b 69 70 efix enc..# Skip
02e0: 20 74 68 69 73 20 74 65 73 74 20 69 66 20 74 68 this test if th
02f0: 65 20 62 75 69 6c 64 20 64 6f 65 73 20 6e 6f 74 e build does not
0300: 20 73 75 70 70 6f 72 74 20 6d 75 6c 74 69 70 6c support multipl
0310: 65 20 65 6e 63 6f 64 69 6e 67 73 2e 0a 23 0a 69 e encodings..#.i
0320: 66 63 61 70 61 62 6c 65 20 7b 21 75 74 66 31 36 fcapable {!utf16
0330: 7d 20 7b 0a 20 20 66 69 6e 69 73 68 5f 74 65 73 } {. finish_tes
0340: 74 0a 20 20 72 65 74 75 72 6e 0a 7d 0a 0a 70 72 t. return.}..pr
0350: 6f 63 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 oc do_bincmp_tes
0360: 74 20 7b 74 65 73 74 6e 61 6d 65 20 67 6f 74 20 t {testname got
0370: 65 78 70 65 63 74 7d 20 7b 0a 20 20 62 69 6e 61 expect} {. bina
0380: 72 79 20 73 63 61 6e 20 24 65 78 70 65 63 74 20 ry scan $expect
0390: 5c 63 2a 20 65 78 70 65 63 74 76 61 6c 73 0a 20 \c* expectvals.
03a0: 20 62 69 6e 61 72 79 20 73 63 61 6e 20 24 67 6f binary scan $go
03b0: 74 20 5c 63 2a 20 67 6f 74 76 61 6c 73 0a 20 20 t \c* gotvals.
03c0: 64 6f 5f 74 65 73 74 20 24 74 65 73 74 6e 61 6d do_test $testnam
03d0: 65 20 5b 6c 69 73 74 20 73 65 74 20 64 75 6d 6d e [list set dumm
03e0: 79 20 24 67 6f 74 76 61 6c 73 5d 20 24 65 78 70 y $gotvals] $exp
03f0: 65 63 74 76 61 6c 73 0a 7d 0a 0a 23 20 24 75 74 ectvals.}..# $ut
0400: 66 31 36 20 69 73 20 61 20 55 54 46 2d 31 36 20 f16 is a UTF-16
0410: 65 6e 63 6f 64 65 64 20 73 74 72 69 6e 67 2e 20 encoded string.
0420: 53 77 61 70 20 65 61 63 68 20 70 61 69 72 20 6f Swap each pair o
0430: 66 20 62 79 74 65 73 20 61 72 6f 75 6e 64 0a 23 f bytes around.#
0440: 20 74 6f 20 63 68 61 6e 67 65 20 74 68 65 20 62 to change the b
0450: 79 74 65 2d 6f 72 64 65 72 20 6f 66 20 74 68 65 yte-order of the
0460: 20 73 74 72 69 6e 67 2e 0a 70 72 6f 63 20 73 77 string..proc sw
0470: 61 70 5f 62 79 74 65 5f 6f 72 64 65 72 20 7b 75 ap_byte_order {u
0480: 74 66 31 36 7d 20 7b 0a 20 20 62 69 6e 61 72 79 tf16} {. binary
0490: 20 73 63 61 6e 20 24 75 74 66 31 36 20 5c 63 2a scan $utf16 \c*
04a0: 20 69 6e 74 73 0a 0a 20 20 73 65 74 20 69 6e 74 ints.. set int
04b0: 73 32 20 5b 6c 69 73 74 5d 0a 20 20 66 6f 72 65 s2 [list]. fore
04c0: 61 63 68 20 7b 61 20 62 7d 20 24 69 6e 74 73 20 ach {a b} $ints
04d0: 7b 0a 20 20 20 20 6c 61 70 70 65 6e 64 20 69 6e {. lappend in
04e0: 74 73 32 20 24 62 0a 20 20 20 20 6c 61 70 70 65 ts2 $b. lappe
04f0: 6e 64 20 69 6e 74 73 32 20 24 61 0a 20 20 7d 0a nd ints2 $a. }.
0500: 0a 20 20 72 65 74 75 72 6e 20 5b 62 69 6e 61 72 . return [binar
0510: 79 20 66 6f 72 6d 61 74 20 5c 63 2a 20 24 69 6e y format \c* $in
0520: 74 73 32 5d 0a 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d ts2].}..#-------
0530: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0540: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0550: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
0560: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 --------------.#
0570: 20 54 65 73 74 20 74 68 61 74 20 74 68 65 20 53 Test that the S
0580: 51 4c 69 74 65 20 72 6f 75 74 69 6e 65 73 20 66 QLite routines f
0590: 6f 72 20 63 6f 6e 76 65 72 74 69 6e 67 20 62 65 or converting be
05a0: 74 77 65 65 6e 20 55 54 46 20 65 6e 63 6f 64 69 tween UTF encodi
05b0: 6e 67 73 0a 23 20 70 72 6f 64 75 63 65 20 74 68 ngs.# produce th
05c0: 65 20 73 61 6d 65 20 72 65 73 75 6c 74 73 20 61 e same results a
05d0: 73 20 74 68 65 69 72 20 54 43 4c 20 63 6f 75 6e s their TCL coun
05e0: 74 65 72 70 61 72 74 73 2e 20 54 68 65 20 64 69 terparts. The di
05f0: 66 66 65 72 65 6e 63 65 0a 23 20 62 65 74 77 65 fference.# betwe
0600: 65 6e 20 74 68 69 73 20 63 6f 6d 6d 61 6e 64 20 en this command
0610: 61 6e 64 20 74 68 65 20 74 65 73 74 5f 73 71 6c and the test_sql
0620: 69 74 65 34 5f 74 72 61 6e 73 6c 61 74 65 20 63 ite4_translate c
0630: 6f 6d 6d 61 6e 64 20 62 65 6c 6f 77 0a 23 20 69 ommand below.# i
0640: 73 20 74 68 61 74 20 74 68 69 73 20 6f 6e 65 20 s that this one
0650: 75 73 65 73 20 63 61 6c 6c 73 20 74 6f 20 70 72 uses calls to pr
0660: 69 76 61 74 65 20 6c 69 62 72 61 72 79 20 66 75 ivate library fu
0670: 6e 63 74 69 6f 6e 73 20 74 6f 20 74 65 73 74 0a nctions to test.
0680: 23 20 63 6f 6e 76 65 72 73 69 6f 6e 73 20 6f 6e # conversions on
0690: 20 76 61 6c 75 65 73 20 73 74 6f 72 65 64 20 77 values stored w
06a0: 69 74 68 69 6e 20 76 64 62 65 20 4d 65 6d 2a 20 ithin vdbe Mem*
06b0: 6f 62 6a 65 63 74 73 2e 20 54 68 65 0a 23 20 74 objects. The.# t
06c0: 65 73 74 5f 73 71 6c 69 74 65 34 5f 74 72 61 6e est_sqlite4_tran
06d0: 73 6c 61 74 65 20 63 6f 6d 6d 61 6e 64 20 62 65 slate command be
06e0: 6c 6f 77 20 74 65 73 74 73 20 74 68 65 20 70 75 low tests the pu
06f0: 62 6c 69 63 20 73 71 6c 69 74 65 34 5f 74 72 61 blic sqlite4_tra
0700: 6e 73 6c 61 74 65 0a 23 20 69 6e 74 65 72 66 61 nslate.# interfa
0710: 63 65 2e 0a 23 0a 23 20 24 74 65 73 74 6e 61 6d ce..#.# $testnam
0720: 65 20 69 73 20 74 68 65 20 70 72 65 66 69 78 20 e is the prefix
0730: 74 6f 20 62 65 20 75 73 65 64 20 66 6f 72 20 74 to be used for t
0740: 68 65 20 74 65 73 74 20 6e 61 6d 65 73 2e 0a 23 he test names..#
0750: 20 24 73 74 72 20 69 73 20 61 20 73 74 72 69 6e $str is a strin
0760: 67 20 74 6f 20 75 73 65 20 66 6f 72 20 74 65 73 g to use for tes
0770: 74 69 6e 67 20 28 65 6e 63 6f 64 65 64 20 69 6e ting (encoded in
0780: 20 55 54 46 2d 38 2c 20 61 73 20 6e 6f 72 6d 61 UTF-8, as norma
0790: 6c 20 66 6f 72 20 54 43 4c 29 2e 0a 23 0a 23 20 l for TCL)..#.#
07a0: 54 68 65 20 74 65 73 74 20 70 72 6f 63 65 64 75 The test procedu
07b0: 72 65 20 69 73 3a 0a 23 20 31 2e 20 43 6f 6e 76 re is:.# 1. Conv
07c0: 65 72 74 20 74 68 65 20 73 74 72 69 6e 67 20 66 ert the string f
07d0: 72 6f 6d 20 55 54 46 2d 38 20 74 6f 20 55 54 46 rom UTF-8 to UTF
07e0: 2d 31 36 6c 65 20 61 6e 64 20 63 68 65 63 6b 20 -16le and check
07f0: 74 68 61 74 20 74 68 65 20 54 43 4c 20 61 6e 64 that the TCL and
0800: 0a 23 20 20 20 20 53 51 4c 69 74 65 20 72 6f 75 .# SQLite rou
0810: 74 69 6e 65 73 20 70 72 6f 64 75 63 65 20 74 68 tines produce th
0820: 65 20 73 61 6d 65 20 72 65 73 75 6c 74 73 2e 0a e same results..
0830: 23 0a 23 20 32 2e 20 43 6f 6e 76 65 72 74 20 74 #.# 2. Convert t
0840: 68 65 20 73 74 72 69 6e 67 20 66 72 6f 6d 20 55 he string from U
0850: 54 46 2d 38 20 74 6f 20 55 54 46 2d 31 36 62 65 TF-8 to UTF-16be
0860: 20 61 6e 64 20 63 68 65 63 6b 20 74 68 61 74 20 and check that
0870: 74 68 65 20 54 43 4c 20 61 6e 64 0a 23 20 20 20 the TCL and.#
0880: 20 53 51 4c 69 74 65 20 72 6f 75 74 69 6e 65 73 SQLite routines
0890: 20 70 72 6f 64 75 63 65 20 74 68 65 20 73 61 6d produce the sam
08a0: 65 20 72 65 73 75 6c 74 73 2e 0a 23 0a 23 20 33 e results..#.# 3
08b0: 2e 20 55 73 65 20 74 68 65 20 53 51 4c 69 74 65 . Use the SQLite
08c0: 20 72 6f 75 74 69 6e 65 73 20 74 6f 20 63 6f 6e routines to con
08d0: 76 65 72 74 20 74 68 65 20 6e 61 74 69 76 65 20 vert the native
08e0: 6d 61 63 68 69 6e 65 20 6f 72 64 65 72 20 55 54 machine order UT
08f0: 46 2d 31 36 0a 23 20 20 20 20 72 65 70 72 65 73 F-16.# repres
0900: 65 6e 74 61 74 69 6f 6e 20 62 61 63 6b 20 74 6f entation back to
0910: 20 74 68 65 20 6f 72 69 67 69 6e 61 6c 20 55 54 the original UT
0920: 46 2d 38 2e 20 43 68 65 63 6b 20 74 68 61 74 20 F-8. Check that
0930: 74 68 65 20 72 65 73 75 6c 74 0a 23 20 20 20 20 the result.#
0940: 6d 61 74 63 68 65 73 20 74 68 65 20 6f 72 69 67 matches the orig
0950: 69 6e 61 6c 20 72 65 70 72 65 73 65 6e 74 61 74 inal representat
0960: 69 6f 6e 2e 0a 23 0a 23 20 34 2e 20 41 64 64 20 ion..#.# 4. Add
0970: 61 20 62 79 74 65 2d 6f 72 64 65 72 20 6d 61 72 a byte-order mar
0980: 6b 20 74 6f 20 65 61 63 68 20 6f 66 20 74 68 65 k to each of the
0990: 20 55 54 46 2d 31 36 20 72 65 70 72 65 73 65 6e UTF-16 represen
09a0: 74 61 74 69 6f 6e 73 20 61 6e 64 0a 23 20 20 20 tations and.#
09b0: 20 63 68 65 63 6b 20 74 68 61 74 20 74 68 65 20 check that the
09c0: 53 51 4c 69 74 65 20 72 6f 75 74 69 6e 65 73 20 SQLite routines
09d0: 63 61 6e 20 63 6f 6e 76 65 72 74 20 74 68 65 6d can convert them
09e0: 20 62 61 63 6b 20 74 6f 20 55 54 46 2d 38 2e 20 back to UTF-8.
09f0: 20 46 6f 72 0a 23 20 20 20 20 62 79 74 65 2d 6f For.# byte-o
0a00: 72 64 65 72 20 6d 61 72 6b 20 69 6e 66 6f 2c 20 rder mark info,
0a10: 72 65 66 65 72 20 74 6f 20 73 65 63 74 69 6f 6e refer to section
0a20: 20 33 2e 31 30 20 6f 66 20 74 68 65 20 75 6e 69 3.10 of the uni
0a30: 63 6f 64 65 20 73 74 61 6e 64 61 72 64 2e 0a 23 code standard..#
0a40: 0a 23 20 35 2e 20 54 61 6b 65 20 74 68 65 20 62 .# 5. Take the b
0a50: 79 74 65 2d 6f 72 64 65 72 20 6d 61 72 6b 65 64 yte-order marked
0a60: 20 55 54 46 2d 31 36 20 73 74 72 69 6e 67 73 20 UTF-16 strings
0a70: 66 72 6f 6d 20 73 74 65 70 20 34 20 61 6e 64 20 from step 4 and
0a80: 65 6e 73 75 72 65 0a 23 20 20 20 20 74 68 61 74 ensure.# that
0a90: 20 53 51 4c 69 74 65 20 63 61 6e 20 63 6f 6e 76 SQLite can conv
0aa0: 65 72 74 20 74 68 65 6d 20 62 6f 74 68 20 74 6f ert them both to
0ab0: 20 6e 61 74 69 76 65 20 62 79 74 65 20 6f 72 64 native byte ord
0ac0: 65 72 20 55 54 46 2d 31 36 20 0a 23 20 20 20 20 er UTF-16 .#
0ad0: 73 74 72 69 6e 67 73 2c 20 73 61 6e 73 20 42 4f strings, sans BO
0ae0: 4d 2e 0a 23 0a 23 20 43 6f 76 65 72 61 67 65 3a M..#.# Coverage:
0af0: 0a 23 0a 23 20 73 71 6c 69 74 65 5f 75 74 66 38 .#.# sqlite_utf8
0b00: 74 6f 31 36 62 65 20 28 73 74 65 70 20 32 29 0a to16be (step 2).
0b10: 23 20 73 71 6c 69 74 65 5f 75 74 66 38 74 6f 31 # sqlite_utf8to1
0b20: 36 6c 65 20 28 73 74 65 70 20 31 29 0a 23 20 73 6le (step 1).# s
0b30: 71 6c 69 74 65 5f 75 74 66 31 36 74 6f 38 20 28 qlite_utf16to8 (
0b40: 73 74 65 70 73 20 33 2c 20 34 29 0a 23 20 73 71 steps 3, 4).# sq
0b50: 6c 69 74 65 5f 75 74 66 31 36 74 6f 31 36 6c 65 lite_utf16to16le
0b60: 20 28 73 74 65 70 20 35 29 0a 23 20 73 71 6c 69 (step 5).# sqli
0b70: 74 65 5f 75 74 66 31 36 74 6f 31 36 62 65 20 28 te_utf16to16be (
0b80: 73 74 65 70 20 35 29 0a 23 0a 70 72 6f 63 20 74 step 5).#.proc t
0b90: 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 7b est_conversion {
0ba0: 74 65 73 74 6e 61 6d 65 20 73 74 72 7d 20 7b 0a testname str} {.
0bb0: 20 0a 20 20 23 20 53 74 65 70 20 31 2e 0a 20 20 . # Step 1..
0bc0: 73 65 74 20 75 74 66 31 36 6c 65 5f 73 71 6c 69 set utf16le_sqli
0bd0: 74 65 34 20 5b 74 65 73 74 5f 74 72 61 6e 73 6c te4 [test_transl
0be0: 61 74 65 20 24 73 74 72 20 55 54 46 38 20 55 54 ate $str UTF8 UT
0bf0: 46 31 36 4c 45 5d 0a 20 20 73 65 74 20 75 74 66 F16LE]. set utf
0c00: 31 36 6c 65 5f 74 63 6c 20 5b 65 6e 63 6f 64 69 16le_tcl [encodi
0c10: 6e 67 20 63 6f 6e 76 65 72 74 74 6f 20 75 6e 69 ng convertto uni
0c20: 63 6f 64 65 20 24 73 74 72 5d 0a 20 20 61 70 70 code $str]. app
0c30: 65 6e 64 20 75 74 66 31 36 6c 65 5f 74 63 6c 20 end utf16le_tcl
0c40: 22 5c 78 30 30 5c 78 30 30 22 0a 20 20 69 66 20 "\x00\x00". if
0c50: 7b 20 24 3a 3a 74 63 6c 5f 70 6c 61 74 66 6f 72 { $::tcl_platfor
0c60: 6d 28 62 79 74 65 4f 72 64 65 72 29 21 3d 22 6c m(byteOrder)!="l
0c70: 69 74 74 6c 65 45 6e 64 69 61 6e 22 20 7d 20 7b ittleEndian" } {
0c80: 0a 20 20 20 20 73 65 74 20 75 74 66 31 36 6c 65 . set utf16le
0c90: 5f 74 63 6c 20 5b 73 77 61 70 5f 62 79 74 65 5f _tcl [swap_byte_
0ca0: 6f 72 64 65 72 20 24 75 74 66 31 36 6c 65 5f 74 order $utf16le_t
0cb0: 63 6c 5d 0a 20 20 7d 0a 20 20 64 6f 5f 62 69 6e cl]. }. do_bin
0cc0: 63 6d 70 5f 74 65 73 74 20 24 74 65 73 74 6e 61 cmp_test $testna
0cd0: 6d 65 2e 31 20 24 75 74 66 31 36 6c 65 5f 73 71 me.1 $utf16le_sq
0ce0: 6c 69 74 65 34 20 24 75 74 66 31 36 6c 65 5f 74 lite4 $utf16le_t
0cf0: 63 6c 0a 20 20 73 65 74 20 75 74 66 31 36 6c 65 cl. set utf16le
0d00: 20 24 75 74 66 31 36 6c 65 5f 74 63 6c 0a 0a 20 $utf16le_tcl..
0d10: 20 23 20 53 74 65 70 20 32 2e 0a 20 20 73 65 74 # Step 2.. set
0d20: 20 75 74 66 31 36 62 65 5f 73 71 6c 69 74 65 34 utf16be_sqlite4
0d30: 20 5b 74 65 73 74 5f 74 72 61 6e 73 6c 61 74 65 [test_translate
0d40: 20 24 73 74 72 20 55 54 46 38 20 55 54 46 31 36 $str UTF8 UTF16
0d50: 42 45 5d 0a 20 20 73 65 74 20 75 74 66 31 36 62 BE]. set utf16b
0d60: 65 5f 74 63 6c 20 5b 65 6e 63 6f 64 69 6e 67 20 e_tcl [encoding
0d70: 63 6f 6e 76 65 72 74 74 6f 20 75 6e 69 63 6f 64 convertto unicod
0d80: 65 20 24 73 74 72 5d 0a 20 20 61 70 70 65 6e 64 e $str]. append
0d90: 20 75 74 66 31 36 62 65 5f 74 63 6c 20 22 5c 78 utf16be_tcl "\x
0da0: 30 30 5c 78 30 30 22 0a 20 20 69 66 20 7b 20 24 00\x00". if { $
0db0: 3a 3a 74 63 6c 5f 70 6c 61 74 66 6f 72 6d 28 62 ::tcl_platform(b
0dc0: 79 74 65 4f 72 64 65 72 29 3d 3d 22 6c 69 74 74 yteOrder)=="litt
0dd0: 6c 65 45 6e 64 69 61 6e 22 20 7d 20 7b 0a 20 20 leEndian" } {.
0de0: 20 20 73 65 74 20 75 74 66 31 36 62 65 5f 74 63 set utf16be_tc
0df0: 6c 20 5b 73 77 61 70 5f 62 79 74 65 5f 6f 72 64 l [swap_byte_ord
0e00: 65 72 20 24 75 74 66 31 36 62 65 5f 74 63 6c 5d er $utf16be_tcl]
0e10: 0a 20 20 7d 0a 20 20 64 6f 5f 62 69 6e 63 6d 70 . }. do_bincmp
0e20: 5f 74 65 73 74 20 24 74 65 73 74 6e 61 6d 65 2e _test $testname.
0e30: 32 20 24 75 74 66 31 36 62 65 5f 73 71 6c 69 74 2 $utf16be_sqlit
0e40: 65 34 20 24 75 74 66 31 36 62 65 5f 74 63 6c 0a e4 $utf16be_tcl.
0e50: 20 20 73 65 74 20 75 74 66 31 36 62 65 20 24 75 set utf16be $u
0e60: 74 66 31 36 62 65 5f 74 63 6c 0a 20 0a 20 20 23 tf16be_tcl. . #
0e70: 20 53 74 65 70 20 33 2e 0a 20 20 69 66 20 7b 20 Step 3.. if {
0e80: 24 3a 3a 74 63 6c 5f 70 6c 61 74 66 6f 72 6d 28 $::tcl_platform(
0e90: 62 79 74 65 4f 72 64 65 72 29 3d 3d 22 6c 69 74 byteOrder)=="lit
0ea0: 74 6c 65 45 6e 64 69 61 6e 22 20 7d 20 7b 0a 20 tleEndian" } {.
0eb0: 20 20 20 73 65 74 20 75 74 66 31 36 20 24 75 74 set utf16 $ut
0ec0: 66 31 36 6c 65 0a 20 20 7d 20 65 6c 73 65 20 7b f16le. } else {
0ed0: 0a 20 20 20 20 73 65 74 20 75 74 66 31 36 20 24 . set utf16 $
0ee0: 75 74 66 31 36 62 65 0a 20 20 7d 0a 20 20 73 65 utf16be. }. se
0ef0: 74 20 75 74 66 38 5f 73 71 6c 69 74 65 34 20 5b t utf8_sqlite4 [
0f00: 74 65 73 74 5f 74 72 61 6e 73 6c 61 74 65 20 24 test_translate $
0f10: 75 74 66 31 36 20 55 54 46 31 36 20 55 54 46 38 utf16 UTF16 UTF8
0f20: 5d 0a 20 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 ]. do_bincmp_te
0f30: 73 74 20 24 74 65 73 74 6e 61 6d 65 2e 33 20 24 st $testname.3 $
0f40: 75 74 66 38 5f 73 71 6c 69 74 65 34 20 5b 62 69 utf8_sqlite4 [bi
0f50: 6e 61 72 69 7a 65 20 24 73 74 72 5d 0a 0a 20 20 narize $str]..
0f60: 23 20 53 74 65 70 20 34 20 28 6c 69 74 74 6c 65 # Step 4 (little
0f70: 20 65 6e 64 69 61 6e 29 2e 0a 20 20 61 70 70 65 endian).. appe
0f80: 6e 64 20 75 74 66 31 36 6c 65 5f 62 6f 6d 20 22 nd utf16le_bom "
0f90: 5c 78 46 46 5c 78 46 45 22 20 24 75 74 66 31 36 \xFF\xFE" $utf16
0fa0: 6c 65 0a 20 20 73 65 74 20 75 74 66 38 5f 73 71 le. set utf8_sq
0fb0: 6c 69 74 65 34 20 5b 74 65 73 74 5f 74 72 61 6e lite4 [test_tran
0fc0: 73 6c 61 74 65 20 24 75 74 66 31 36 6c 65 5f 62 slate $utf16le_b
0fd0: 6f 6d 20 55 54 46 31 36 20 55 54 46 38 20 31 5d om UTF16 UTF8 1]
0fe0: 0a 20 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 . do_bincmp_tes
0ff0: 74 20 24 74 65 73 74 6e 61 6d 65 2e 34 2e 6c 65 t $testname.4.le
1000: 20 24 75 74 66 38 5f 73 71 6c 69 74 65 34 20 5b $utf8_sqlite4 [
1010: 62 69 6e 61 72 69 7a 65 20 24 73 74 72 5d 0a 0a binarize $str]..
1020: 20 20 23 20 53 74 65 70 20 34 20 28 62 69 67 20 # Step 4 (big
1030: 65 6e 64 69 61 6e 29 2e 0a 20 20 61 70 70 65 6e endian).. appen
1040: 64 20 75 74 66 31 36 62 65 5f 62 6f 6d 20 22 5c d utf16be_bom "\
1050: 78 46 45 5c 78 46 46 22 20 24 75 74 66 31 36 62 xFE\xFF" $utf16b
1060: 65 0a 20 20 73 65 74 20 75 74 66 38 5f 73 71 6c e. set utf8_sql
1070: 69 74 65 34 20 5b 74 65 73 74 5f 74 72 61 6e 73 ite4 [test_trans
1080: 6c 61 74 65 20 24 75 74 66 31 36 62 65 5f 62 6f late $utf16be_bo
1090: 6d 20 55 54 46 31 36 20 55 54 46 38 5d 0a 20 20 m UTF16 UTF8].
10a0: 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 74 20 24 do_bincmp_test $
10b0: 74 65 73 74 6e 61 6d 65 2e 34 2e 62 65 20 24 75 testname.4.be $u
10c0: 74 66 38 5f 73 71 6c 69 74 65 34 20 5b 62 69 6e tf8_sqlite4 [bin
10d0: 61 72 69 7a 65 20 24 73 74 72 5d 0a 0a 20 20 23 arize $str].. #
10e0: 20 53 74 65 70 20 35 20 28 6c 69 74 74 6c 65 20 Step 5 (little
10f0: 65 6e 64 69 61 6e 20 74 6f 20 6c 69 74 74 6c 65 endian to little
1100: 20 65 6e 64 69 61 6e 29 2e 0a 20 20 73 65 74 20 endian).. set
1110: 75 74 66 31 36 5f 73 71 6c 69 74 65 34 20 5b 74 utf16_sqlite4 [t
1120: 65 73 74 5f 74 72 61 6e 73 6c 61 74 65 20 24 75 est_translate $u
1130: 74 66 31 36 6c 65 5f 62 6f 6d 20 55 54 46 31 36 tf16le_bom UTF16
1140: 4c 45 20 55 54 46 31 36 4c 45 5d 0a 20 20 64 6f LE UTF16LE]. do
1150: 5f 62 69 6e 63 6d 70 5f 74 65 73 74 20 24 74 65 _bincmp_test $te
1160: 73 74 6e 61 6d 65 2e 35 2e 6c 65 2e 6c 65 20 24 stname.5.le.le $
1170: 75 74 66 31 36 5f 73 71 6c 69 74 65 34 20 24 75 utf16_sqlite4 $u
1180: 74 66 31 36 6c 65 0a 0a 20 20 23 20 53 74 65 70 tf16le.. # Step
1190: 20 35 20 28 62 69 67 20 65 6e 64 69 61 6e 20 74 5 (big endian t
11a0: 6f 20 62 69 67 20 65 6e 64 69 61 6e 29 2e 0a 20 o big endian)..
11b0: 20 73 65 74 20 75 74 66 31 36 5f 73 71 6c 69 74 set utf16_sqlit
11c0: 65 34 20 5b 74 65 73 74 5f 74 72 61 6e 73 6c 61 e4 [test_transla
11d0: 74 65 20 24 75 74 66 31 36 62 65 5f 62 6f 6d 20 te $utf16be_bom
11e0: 55 54 46 31 36 20 55 54 46 31 36 42 45 5d 0a 20 UTF16 UTF16BE].
11f0: 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 74 20 do_bincmp_test
1200: 24 74 65 73 74 6e 61 6d 65 2e 35 2e 62 65 2e 62 $testname.5.be.b
1210: 65 20 24 75 74 66 31 36 5f 73 71 6c 69 74 65 34 e $utf16_sqlite4
1220: 20 24 75 74 66 31 36 62 65 0a 0a 20 20 23 20 53 $utf16be.. # S
1230: 74 65 70 20 35 20 28 62 69 67 20 65 6e 64 69 61 tep 5 (big endia
1240: 6e 20 74 6f 20 6c 69 74 74 6c 65 20 65 6e 64 69 n to little endi
1250: 61 6e 29 2e 0a 20 20 73 65 74 20 75 74 66 31 36 an).. set utf16
1260: 5f 73 71 6c 69 74 65 34 20 5b 74 65 73 74 5f 74 _sqlite4 [test_t
1270: 72 61 6e 73 6c 61 74 65 20 24 75 74 66 31 36 62 ranslate $utf16b
1280: 65 5f 62 6f 6d 20 55 54 46 31 36 20 55 54 46 31 e_bom UTF16 UTF1
1290: 36 4c 45 5d 0a 20 20 64 6f 5f 62 69 6e 63 6d 70 6LE]. do_bincmp
12a0: 5f 74 65 73 74 20 24 74 65 73 74 6e 61 6d 65 2e _test $testname.
12b0: 35 2e 62 65 2e 6c 65 20 24 75 74 66 31 36 5f 73 5.be.le $utf16_s
12c0: 71 6c 69 74 65 34 20 24 75 74 66 31 36 6c 65 0a qlite4 $utf16le.
12d0: 0a 20 20 23 20 53 74 65 70 20 35 20 28 6c 69 74 . # Step 5 (lit
12e0: 74 6c 65 20 65 6e 64 69 61 6e 20 74 6f 20 62 69 tle endian to bi
12f0: 67 20 65 6e 64 69 61 6e 29 2e 0a 20 20 73 65 74 g endian).. set
1300: 20 75 74 66 31 36 5f 73 71 6c 69 74 65 34 20 5b utf16_sqlite4 [
1310: 74 65 73 74 5f 74 72 61 6e 73 6c 61 74 65 20 24 test_translate $
1320: 75 74 66 31 36 6c 65 5f 62 6f 6d 20 55 54 46 31 utf16le_bom UTF1
1330: 36 20 55 54 46 31 36 42 45 5d 0a 20 20 64 6f 5f 6 UTF16BE]. do_
1340: 62 69 6e 63 6d 70 5f 74 65 73 74 20 24 74 65 73 bincmp_test $tes
1350: 74 6e 61 6d 65 2e 35 2e 6c 65 2e 62 65 20 24 75 tname.5.le.be $u
1360: 74 66 31 36 5f 73 71 6c 69 74 65 34 20 24 75 74 tf16_sqlite4 $ut
1370: 66 31 36 62 65 0a 7d 0a 0a 0a 74 72 61 6e 73 6c f16be.}...transl
1380: 61 74 65 5f 73 65 6c 66 74 65 73 74 0a 0a 74 65 ate_selftest..te
1390: 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 31 2e st_conversion 1.
13a0: 31 20 22 68 65 6c 6c 6f 20 77 6f 72 6c 64 22 0a 1 "hello world".
13b0: 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 test_conversion
13c0: 31 2e 32 20 22 73 71 6c 69 74 65 22 0a 74 65 73 1.2 "sqlite".tes
13d0: 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 31 2e 33 t_conversion 1.3
13e0: 20 22 22 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 "".test_convers
13f0: 69 6f 6e 20 31 2e 58 20 22 5c 75 30 31 30 30 22 ion 1.X "\u0100"
1400: 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e .test_conversion
1410: 20 31 2e 34 20 22 5c 75 31 32 33 34 22 0a 74 65 1.4 "\u1234".te
1420: 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 31 2e st_conversion 1.
1430: 35 20 22 5c 75 34 33 32 31 61 62 63 22 0a 74 65 5 "\u4321abc".te
1440: 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 31 2e st_conversion 1.
1450: 36 20 22 5c 75 34 33 32 31 5c 75 31 32 33 34 22 6 "\u4321\u1234"
1460: 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e .test_conversion
1470: 20 31 2e 37 20 5b 73 74 72 69 6e 67 20 72 65 70 1.7 [string rep
1480: 65 61 74 20 22 61 62 63 64 65 5c 75 30 30 45 46 eat "abcde\u00EF
1490: 5c 75 30 30 45 45 5c 75 46 46 46 43 61 62 63 22 \u00EE\uFFFCabc"
14a0: 20 31 30 30 5d 0a 74 65 73 74 5f 63 6f 6e 76 65 100].test_conve
14b0: 72 73 69 6f 6e 20 31 2e 38 20 5b 73 74 72 69 6e rsion 1.8 [strin
14c0: 67 20 72 65 70 65 61 74 20 22 5c 75 30 30 37 45 g repeat "\u007E
14d0: 5c 75 30 30 37 46 5c 75 30 30 38 30 5c 75 30 30 \u007F\u0080\u00
14e0: 38 31 22 20 31 30 30 5d 0a 74 65 73 74 5f 63 6f 81" 100].test_co
14f0: 6e 76 65 72 73 69 6f 6e 20 31 2e 39 20 5b 73 74 nversion 1.9 [st
1500: 72 69 6e 67 20 72 65 70 65 61 74 20 22 5c 75 30 ring repeat "\u0
1510: 37 46 45 5c 75 30 37 46 46 5c 75 30 38 30 30 5c 7FE\u07FF\u0800\
1520: 75 30 38 30 31 5c 75 46 46 46 30 22 20 31 30 30 u0801\uFFF0" 100
1530: 5d 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f ].test_conversio
1540: 6e 20 31 2e 31 30 20 5b 73 74 72 69 6e 67 20 72 n 1.10 [string r
1550: 65 70 65 61 74 20 22 5c 75 45 30 30 30 22 20 31 epeat "\uE000" 1
1560: 30 30 5d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 00]..#----------
1570: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
1580: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
1590: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d ----------------
15a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 54 ------------.# T
15b0: 68 69 73 20 63 6f 6d 6d 61 6e 64 20 69 73 20 75 his command is u
15c0: 73 65 64 20 74 6f 20 74 65 73 74 20 74 72 61 6e sed to test tran
15d0: 73 6c 61 74 69 6f 6e 20 62 65 74 77 65 65 6e 20 slation between
15e0: 74 65 78 74 20 65 6e 63 6f 64 69 6e 67 73 20 75 text encodings u
15f0: 73 69 6e 67 0a 23 20 74 68 65 20 70 75 62 6c 69 sing.# the publi
1600: 63 20 73 71 6c 69 74 65 34 5f 74 72 61 6e 73 6c c sqlite4_transl
1610: 61 74 65 28 29 20 69 6e 74 65 72 66 61 63 65 2e ate() interface.
1620: 0a 23 0a 23 20 54 68 65 20 74 65 73 74 20 70 72 .#.# The test pr
1630: 6f 63 65 64 75 72 65 20 69 73 3a 0a 23 0a 23 20 ocedure is:.#.#
1640: 31 2e 31 20 43 6f 6e 76 65 72 74 20 74 68 65 20 1.1 Convert the
1650: 73 74 72 69 6e 67 20 66 72 6f 6d 20 55 54 46 2d string from UTF-
1660: 38 20 74 6f 20 55 54 46 2d 31 36 6c 65 20 61 6e 8 to UTF-16le an
1670: 64 20 63 68 65 63 6b 20 74 68 61 74 20 74 68 65 d check that the
1680: 20 54 43 4c 20 61 6e 64 0a 23 20 20 20 20 20 53 TCL and.# S
1690: 51 4c 69 74 65 20 72 6f 75 74 69 6e 65 73 20 70 QLite routines p
16a0: 72 6f 64 75 63 65 20 74 68 65 20 73 61 6d 65 20 roduce the same
16b0: 72 65 73 75 6c 74 73 2e 0a 23 0a 23 20 31 2e 32 results..#.# 1.2
16c0: 20 43 6f 6e 76 65 72 74 20 74 68 65 20 55 54 46 Convert the UTF
16d0: 2d 31 36 6c 65 20 62 61 63 6b 20 74 6f 20 55 54 -16le back to UT
16e0: 46 2d 38 20 61 6e 64 20 74 65 73 74 20 74 68 61 F-8 and test tha
16f0: 74 20 74 68 65 20 72 65 73 75 6c 74 20 69 73 20 t the result is
1700: 0a 23 20 20 20 20 20 69 64 65 6e 74 69 63 61 6c .# identical
1710: 20 74 6f 20 74 68 65 20 6f 72 69 67 69 6e 61 6c to the original
1720: 20 73 74 72 69 6e 67 2e 0a 23 0a 23 20 32 2e 31 string..#.# 2.1
1730: 20 43 6f 6e 76 65 72 74 20 74 68 65 20 73 74 72 Convert the str
1740: 69 6e 67 20 66 72 6f 6d 20 55 54 46 2d 38 20 74 ing from UTF-8 t
1750: 6f 20 55 54 46 2d 31 36 6c 65 20 61 6e 64 20 63 o UTF-16le and c
1760: 68 65 63 6b 20 74 68 61 74 20 74 68 65 20 54 43 heck that the TC
1770: 4c 20 61 6e 64 0a 23 20 20 20 20 20 53 51 4c 69 L and.# SQLi
1780: 74 65 20 72 6f 75 74 69 6e 65 73 20 70 72 6f 64 te routines prod
1790: 75 63 65 20 74 68 65 20 73 61 6d 65 20 72 65 73 uce the same res
17a0: 75 6c 74 73 2e 0a 23 0a 23 20 32 2e 32 20 43 6f ults..#.# 2.2 Co
17b0: 6e 76 65 72 74 20 74 68 65 20 55 54 46 2d 31 36 nvert the UTF-16
17c0: 6c 65 20 62 61 63 6b 20 74 6f 20 55 54 46 2d 38 le back to UTF-8
17d0: 20 61 6e 64 20 74 65 73 74 20 74 68 61 74 20 74 and test that t
17e0: 68 65 20 72 65 73 75 6c 74 20 69 73 20 0a 23 20 he result is .#
17f0: 20 20 20 20 69 64 65 6e 74 69 63 61 6c 20 74 6f identical to
1800: 20 74 68 65 20 6f 72 69 67 69 6e 61 6c 20 73 74 the original st
1810: 72 69 6e 67 2e 0a 23 0a 23 20 33 2e 31 20 43 6f ring..#.# 3.1 Co
1820: 6e 76 65 72 74 20 74 68 65 20 73 74 72 69 6e 67 nvert the string
1830: 20 66 72 6f 6d 20 55 54 46 2d 38 20 74 6f 20 55 from UTF-8 to U
1840: 54 46 2d 31 36 20 61 6e 64 20 63 68 65 63 6b 20 TF-16 and check
1850: 74 68 61 74 20 74 68 65 20 72 65 73 75 6c 74 0a that the result.
1860: 23 20 20 20 20 20 6d 61 74 63 68 65 73 20 74 68 # matches th
1870: 65 20 72 65 73 75 6c 74 20 69 6e 20 73 74 65 70 e result in step
1880: 20 31 2e 31 20 28 66 6f 72 20 61 20 6c 69 74 74 1.1 (for a litt
1890: 6c 65 2d 65 6e 64 69 61 6e 20 68 6f 73 74 29 20 le-endian host)
18a0: 6f 72 20 31 2e 32 0a 23 20 20 20 20 20 28 66 6f or 1.2.# (fo
18b0: 72 20 61 20 62 69 67 2d 65 6e 64 69 61 6e 20 68 r a big-endian h
18c0: 6f 73 74 29 2e 0a 23 0a 23 20 33 2e 32 20 43 6f ost)..#.# 3.2 Co
18d0: 6e 76 65 72 74 20 74 68 65 20 55 54 46 2d 31 36 nvert the UTF-16
18e0: 20 66 72 6f 6d 20 33 2e 31 20 62 61 63 6b 20 74 from 3.1 back t
18f0: 6f 20 55 54 46 2d 38 20 61 6e 64 20 74 65 73 74 o UTF-8 and test
1900: 20 74 68 61 74 20 74 68 65 20 72 65 73 75 6c 74 that the result
1910: 20 0a 23 20 20 20 20 20 69 73 20 69 64 65 6e 74 .# is ident
1920: 69 63 61 6c 20 74 6f 20 74 68 65 20 6f 72 69 67 ical to the orig
1930: 69 6e 61 6c 20 73 74 72 69 6e 67 2e 0a 23 0a 70 inal string..#.p
1940: 72 6f 63 20 74 65 73 74 5f 73 71 6c 69 74 65 34 roc test_sqlite4
1950: 5f 74 72 61 6e 73 6c 61 74 65 20 7b 74 65 73 74 _translate {test
1960: 6e 61 6d 65 20 73 74 72 7d 20 7b 0a 0a 20 20 23 name str} {.. #
1970: 20 53 74 65 70 20 31 2e 31 2e 0a 20 20 73 65 74 Step 1.1.. set
1980: 20 75 74 66 31 36 6c 65 5f 73 71 6c 69 74 65 34 utf16le_sqlite4
1990: 20 5b 73 71 6c 69 74 65 34 5f 74 72 61 6e 73 6c [sqlite4_transl
19a0: 61 74 65 20 24 73 74 72 20 75 74 66 38 5f 75 74 ate $str utf8_ut
19b0: 66 31 36 6c 65 5d 0a 20 20 73 65 74 20 75 74 66 f16le]. set utf
19c0: 31 36 6c 65 5f 74 63 6c 20 5b 65 6e 63 6f 64 69 16le_tcl [encodi
19d0: 6e 67 20 63 6f 6e 76 65 72 74 74 6f 20 75 6e 69 ng convertto uni
19e0: 63 6f 64 65 20 24 73 74 72 5d 0a 20 20 69 66 20 code $str]. if
19f0: 7b 20 24 3a 3a 74 63 6c 5f 70 6c 61 74 66 6f 72 { $::tcl_platfor
1a00: 6d 28 62 79 74 65 4f 72 64 65 72 29 21 3d 22 6c m(byteOrder)!="l
1a10: 69 74 74 6c 65 45 6e 64 69 61 6e 22 20 7d 20 7b ittleEndian" } {
1a20: 0a 20 20 20 20 73 65 74 20 75 74 66 31 36 6c 65 . set utf16le
1a30: 5f 74 63 6c 20 5b 73 77 61 70 5f 62 79 74 65 5f _tcl [swap_byte_
1a40: 6f 72 64 65 72 20 24 75 74 66 31 36 6c 65 5f 74 order $utf16le_t
1a50: 63 6c 5d 0a 20 20 7d 0a 20 20 64 6f 5f 62 69 6e cl]. }. do_bin
1a60: 63 6d 70 5f 74 65 73 74 20 24 74 65 73 74 6e 61 cmp_test $testna
1a70: 6d 65 2e 31 2e 31 20 24 75 74 66 31 36 6c 65 5f me.1.1 $utf16le_
1a80: 73 71 6c 69 74 65 34 20 24 75 74 66 31 36 6c 65 sqlite4 $utf16le
1a90: 5f 74 63 6c 0a 20 20 73 65 74 20 75 74 66 31 36 _tcl. set utf16
1aa0: 6c 65 20 24 75 74 66 31 36 6c 65 5f 74 63 6c 0a le $utf16le_tcl.
1ab0: 20 20 0a 20 20 23 20 53 74 65 70 20 31 2e 32 2e . # Step 1.2.
1ac0: 0a 20 20 73 65 74 20 75 74 66 38 20 5b 73 71 6c . set utf8 [sql
1ad0: 69 74 65 34 5f 74 72 61 6e 73 6c 61 74 65 20 24 ite4_translate $
1ae0: 75 74 66 31 36 6c 65 20 75 74 66 31 36 6c 65 5f utf16le utf16le_
1af0: 75 74 66 38 5d 0a 20 20 64 6f 5f 62 69 6e 63 6d utf8]. do_bincm
1b00: 70 5f 74 65 73 74 20 24 74 65 73 74 6e 61 6d 65 p_test $testname
1b10: 2e 31 2e 32 20 24 75 74 66 38 20 5b 62 69 6e 61 .1.2 $utf8 [bina
1b20: 72 69 7a 65 20 2d 6e 6f 74 65 72 6d 20 24 73 74 rize -noterm $st
1b30: 72 5d 0a 20 20 0a 20 20 23 20 53 74 65 70 20 32 r]. . # Step 2
1b40: 2e 31 2e 0a 20 20 73 65 74 20 75 74 66 31 36 62 .1.. set utf16b
1b50: 65 5f 73 71 6c 69 74 65 34 20 5b 73 71 6c 69 74 e_sqlite4 [sqlit
1b60: 65 34 5f 74 72 61 6e 73 6c 61 74 65 20 24 73 74 e4_translate $st
1b70: 72 20 75 74 66 38 5f 75 74 66 31 36 62 65 5d 0a r utf8_utf16be].
1b80: 20 20 73 65 74 20 75 74 66 31 36 62 65 5f 74 63 set utf16be_tc
1b90: 6c 20 5b 65 6e 63 6f 64 69 6e 67 20 63 6f 6e 76 l [encoding conv
1ba0: 65 72 74 74 6f 20 75 6e 69 63 6f 64 65 20 24 73 ertto unicode $s
1bb0: 74 72 5d 0a 20 20 69 66 20 7b 20 24 3a 3a 74 63 tr]. if { $::tc
1bc0: 6c 5f 70 6c 61 74 66 6f 72 6d 28 62 79 74 65 4f l_platform(byteO
1bd0: 72 64 65 72 29 3d 3d 22 6c 69 74 74 6c 65 45 6e rder)=="littleEn
1be0: 64 69 61 6e 22 20 7d 20 7b 0a 20 20 20 20 73 65 dian" } {. se
1bf0: 74 20 75 74 66 31 36 62 65 5f 74 63 6c 20 5b 73 t utf16be_tcl [s
1c00: 77 61 70 5f 62 79 74 65 5f 6f 72 64 65 72 20 24 wap_byte_order $
1c10: 75 74 66 31 36 62 65 5f 74 63 6c 5d 0a 20 20 7d utf16be_tcl]. }
1c20: 0a 20 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 . do_bincmp_tes
1c30: 74 20 24 74 65 73 74 6e 61 6d 65 2e 32 2e 31 20 t $testname.2.1
1c40: 24 75 74 66 31 36 62 65 5f 73 71 6c 69 74 65 34 $utf16be_sqlite4
1c50: 20 24 75 74 66 31 36 62 65 5f 74 63 6c 0a 20 20 $utf16be_tcl.
1c60: 73 65 74 20 75 74 66 31 36 62 65 20 24 75 74 66 set utf16be $utf
1c70: 31 36 62 65 5f 74 63 6c 0a 20 20 0a 20 20 23 20 16be_tcl. . #
1c80: 53 74 65 70 20 32 2e 32 2e 0a 20 20 73 65 74 20 Step 2.2.. set
1c90: 75 74 66 38 20 5b 73 71 6c 69 74 65 34 5f 74 72 utf8 [sqlite4_tr
1ca0: 61 6e 73 6c 61 74 65 20 24 75 74 66 31 36 62 65 anslate $utf16be
1cb0: 20 75 74 66 31 36 62 65 5f 75 74 66 38 5d 0a 20 utf16be_utf8].
1cc0: 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 74 20 do_bincmp_test
1cd0: 24 74 65 73 74 6e 61 6d 65 2e 32 2e 32 20 24 75 $testname.2.2 $u
1ce0: 74 66 38 20 5b 62 69 6e 61 72 69 7a 65 20 2d 6e tf8 [binarize -n
1cf0: 6f 74 65 72 6d 20 24 73 74 72 5d 0a 0a 20 20 23 oterm $str].. #
1d00: 20 53 74 65 70 20 33 2e 31 2e 0a 20 20 73 65 74 Step 3.1.. set
1d10: 20 75 74 66 31 36 20 5b 73 71 6c 69 74 65 34 5f utf16 [sqlite4_
1d20: 74 72 61 6e 73 6c 61 74 65 20 24 73 74 72 20 75 translate $str u
1d30: 74 66 38 5f 75 74 66 31 36 5d 0a 20 20 69 66 20 tf8_utf16]. if
1d40: 7b 20 24 3a 3a 74 63 6c 5f 70 6c 61 74 66 6f 72 { $::tcl_platfor
1d50: 6d 28 62 79 74 65 4f 72 64 65 72 29 3d 3d 22 6c m(byteOrder)=="l
1d60: 69 74 74 6c 65 45 6e 64 69 61 6e 22 20 7d 20 7b ittleEndian" } {
1d70: 0a 20 20 20 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 . do_bincmp_t
1d80: 65 73 74 20 24 74 65 73 74 6e 61 6d 65 2e 33 2e est $testname.3.
1d90: 31 2e 6c 65 20 24 75 74 66 31 36 20 24 75 74 66 1.le $utf16 $utf
1da0: 31 36 6c 65 0a 20 20 7d 20 65 6c 73 65 20 7b 0a 16le. } else {.
1db0: 20 20 20 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 do_bincmp_te
1dc0: 73 74 20 24 74 65 73 74 6e 61 6d 65 2e 33 2e 31 st $testname.3.1
1dd0: 2e 62 65 20 24 75 74 66 31 36 20 24 75 74 66 31 .be $utf16 $utf1
1de0: 36 62 65 0a 20 20 7d 0a 0a 20 20 23 20 53 74 65 6be. }.. # Ste
1df0: 70 20 33 2e 32 2e 0a 20 20 73 65 74 20 75 74 66 p 3.2.. set utf
1e00: 38 20 5b 73 71 6c 69 74 65 34 5f 74 72 61 6e 73 8 [sqlite4_trans
1e10: 6c 61 74 65 20 24 75 74 66 31 36 20 75 74 66 31 late $utf16 utf1
1e20: 36 5f 75 74 66 38 5d 0a 20 20 64 6f 5f 62 69 6e 6_utf8]. do_bin
1e30: 63 6d 70 5f 74 65 73 74 20 24 74 65 73 74 6e 61 cmp_test $testna
1e40: 6d 65 2e 33 2e 32 20 24 75 74 66 38 20 5b 62 69 me.3.2 $utf8 [bi
1e50: 6e 61 72 69 7a 65 20 2d 6e 6f 74 65 72 6d 20 24 narize -noterm $
1e60: 73 74 72 5d 0a 0a 7d 0a 0a 74 65 73 74 5f 73 71 str]..}..test_sq
1e70: 6c 69 74 65 34 5f 74 72 61 6e 73 6c 61 74 65 20 lite4_translate
1e80: 32 2e 31 20 22 68 65 6c 6c 6f 20 77 6f 72 6c 64 2.1 "hello world
1e90: 22 0a 74 65 73 74 5f 73 71 6c 69 74 65 34 5f 74 ".test_sqlite4_t
1ea0: 72 61 6e 73 6c 61 74 65 20 32 2e 32 20 22 73 71 ranslate 2.2 "sq
1eb0: 6c 69 74 65 22 0a 74 65 73 74 5f 73 71 6c 69 74 lite".test_sqlit
1ec0: 65 34 5f 74 72 61 6e 73 6c 61 74 65 20 32 2e 33 e4_translate 2.3
1ed0: 20 22 22 0a 74 65 73 74 5f 73 71 6c 69 74 65 34 "".test_sqlite4
1ee0: 5f 74 72 61 6e 73 6c 61 74 65 20 32 2e 58 20 22 _translate 2.X "
1ef0: 5c 75 30 31 30 30 22 0a 74 65 73 74 5f 73 71 6c \u0100".test_sql
1f00: 69 74 65 34 5f 74 72 61 6e 73 6c 61 74 65 20 32 ite4_translate 2
1f10: 2e 34 20 22 5c 75 31 32 33 34 22 0a 74 65 73 74 .4 "\u1234".test
1f20: 5f 73 71 6c 69 74 65 34 5f 74 72 61 6e 73 6c 61 _sqlite4_transla
1f30: 74 65 20 32 2e 35 20 22 5c 75 34 33 32 31 61 62 te 2.5 "\u4321ab
1f40: 63 22 0a 74 65 73 74 5f 73 71 6c 69 74 65 34 5f c".test_sqlite4_
1f50: 74 72 61 6e 73 6c 61 74 65 20 32 2e 36 20 22 5c translate 2.6 "\
1f60: 75 34 33 32 31 5c 75 31 32 33 34 22 0a 74 65 73 u4321\u1234".tes
1f70: 74 5f 73 71 6c 69 74 65 34 5f 74 72 61 6e 73 6c t_sqlite4_transl
1f80: 61 74 65 20 32 2e 37 20 5b 73 74 72 69 6e 67 20 ate 2.7 [string
1f90: 72 65 70 65 61 74 20 22 61 62 63 64 65 5c 75 30 repeat "abcde\u0
1fa0: 30 45 46 5c 75 30 30 45 45 5c 75 46 46 46 43 61 0EF\u00EE\uFFFCa
1fb0: 62 63 22 20 31 30 30 5d 0a 74 65 73 74 5f 73 71 bc" 100].test_sq
1fc0: 6c 69 74 65 34 5f 74 72 61 6e 73 6c 61 74 65 20 lite4_translate
1fd0: 32 2e 38 20 5b 73 74 72 69 6e 67 20 72 65 70 65 2.8 [string repe
1fe0: 61 74 20 22 5c 75 30 30 37 45 5c 75 30 30 37 46 at "\u007E\u007F
1ff0: 5c 75 30 30 38 30 5c 75 30 30 38 31 22 20 31 30 \u0080\u0081" 10
2000: 30 5d 0a 73 65 74 20 73 74 72 20 5b 73 74 72 69 0].set str [stri
2010: 6e 67 20 72 65 70 65 61 74 20 22 5c 75 30 37 46 ng repeat "\u07F
2020: 45 5c 75 30 37 46 46 5c 75 30 38 30 30 5c 75 30 E\u07FF\u0800\u0
2030: 38 30 31 5c 75 46 46 46 30 22 20 31 30 30 5d 0a 801\uFFF0" 100].
2040: 74 65 73 74 5f 73 71 6c 69 74 65 34 5f 74 72 61 test_sqlite4_tra
2050: 6e 73 6c 61 74 65 20 32 2e 39 20 24 73 74 72 0a nslate 2.9 $str.
2060: 74 65 73 74 5f 73 71 6c 69 74 65 34 5f 74 72 61 test_sqlite4_tra
2070: 6e 73 6c 61 74 65 20 32 2e 31 30 20 5b 73 74 72 nslate 2.10 [str
2080: 69 6e 67 20 72 65 70 65 61 74 20 22 5c 75 45 30 ing repeat "\uE0
2090: 30 30 22 20 31 30 30 5d 0a 0a 66 69 6e 69 73 68 00" 100]..finish
20a0: 5f 74 65 73 74 0a _test.