/ Hex Artifact Content
Login

Artifact e54531cd6bf941ee6760be041dff19a104c7acea:


0000: 23 20 32 30 30 32 20 4d 61 79 20 32 34 0a 23 0a  # 2002 May 24.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 0a 23 20 54 68 69 73 20 66 69 6c 65 20  ***.# This file 
0170: 69 6d 70 6c 65 6d 65 6e 74 73 20 72 65 67 72 65  implements regre
0180: 73 73 69 6f 6e 20 74 65 73 74 73 20 66 6f 72 20  ssion tests for 
0190: 53 51 4c 69 74 65 20 6c 69 62 72 61 72 79 2e 20  SQLite library. 
01a0: 20 54 68 65 20 66 6f 63 75 73 20 6f 66 0a 23 20   The focus of.# 
01b0: 74 68 69 73 20 66 69 6c 65 20 69 73 20 74 65 73  this file is tes
01c0: 74 69 6e 67 20 74 68 65 20 53 51 4c 69 74 65 20  ting the SQLite 
01d0: 72 6f 75 74 69 6e 65 73 20 75 73 65 64 20 66 6f  routines used fo
01e0: 72 20 63 6f 6e 76 65 72 74 69 6e 67 20 62 65 74  r converting bet
01f0: 77 65 65 6e 20 74 68 65 0a 23 20 76 61 72 69 6f  ween the.# vario
0200: 75 73 20 73 75 70 6f 72 74 65 64 20 75 6e 69 63  us suported unic
0210: 6f 64 65 20 65 6e 63 6f 64 69 6e 67 73 20 28 55  ode encodings (U
0220: 54 46 2d 38 2c 20 55 54 46 2d 31 36 2c 20 55 54  TF-8, UTF-16, UT
0230: 46 2d 31 36 6c 65 20 61 6e 64 0a 23 20 55 54 46  F-16le and.# UTF
0240: 2d 31 36 62 65 29 2e 0a 23 0a 23 20 24 49 64 3a  -16be)..#.# $Id:
0250: 20 65 6e 63 2e 74 65 73 74 2c 76 20 31 2e 37 20   enc.test,v 1.7 
0260: 32 30 30 37 2f 30 35 2f 32 33 20 31 36 3a 32 33  2007/05/23 16:23
0270: 3a 30 39 20 64 61 6e 69 65 6c 6b 31 39 37 37 20  :09 danielk1977 
0280: 45 78 70 20 24 0a 0a 73 65 74 20 74 65 73 74 64  Exp $..set testd
0290: 69 72 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65  ir [file dirname
02a0: 20 24 61 72 67 76 30 5d 0a 73 6f 75 72 63 65 20   $argv0].source 
02b0: 24 74 65 73 74 64 69 72 2f 74 65 73 74 65 72 2e  $testdir/tester.
02c0: 74 63 6c 0a 0a 23 20 53 6b 69 70 20 74 68 69 73  tcl..# Skip this
02d0: 20 74 65 73 74 20 69 66 20 74 68 65 20 62 75 69   test if the bui
02e0: 6c 64 20 64 6f 65 73 20 6e 6f 74 20 73 75 70 70  ld does not supp
02f0: 6f 72 74 20 6d 75 6c 74 69 70 6c 65 20 65 6e 63  ort multiple enc
0300: 6f 64 69 6e 67 73 2e 0a 23 0a 69 66 63 61 70 61  odings..#.ifcapa
0310: 62 6c 65 20 7b 21 75 74 66 31 36 7d 20 7b 0a 20  ble {!utf16} {. 
0320: 20 66 69 6e 69 73 68 5f 74 65 73 74 0a 20 20 72   finish_test.  r
0330: 65 74 75 72 6e 0a 7d 0a 0a 70 72 6f 63 20 64 6f  eturn.}..proc do
0340: 5f 62 69 6e 63 6d 70 5f 74 65 73 74 20 7b 74 65  _bincmp_test {te
0350: 73 74 6e 61 6d 65 20 67 6f 74 20 65 78 70 65 63  stname got expec
0360: 74 7d 20 7b 0a 20 20 62 69 6e 61 72 79 20 73 63  t} {.  binary sc
0370: 61 6e 20 24 65 78 70 65 63 74 20 5c 63 2a 20 65  an $expect \c* e
0380: 78 70 65 63 74 76 61 6c 73 0a 20 20 62 69 6e 61  xpectvals.  bina
0390: 72 79 20 73 63 61 6e 20 24 67 6f 74 20 5c 63 2a  ry scan $got \c*
03a0: 20 67 6f 74 76 61 6c 73 0a 20 20 64 6f 5f 74 65   gotvals.  do_te
03b0: 73 74 20 24 74 65 73 74 6e 61 6d 65 20 5b 6c 69  st $testname [li
03c0: 73 74 20 73 65 74 20 64 75 6d 6d 79 20 24 67 6f  st set dummy $go
03d0: 74 76 61 6c 73 5d 20 24 65 78 70 65 63 74 76 61  tvals] $expectva
03e0: 6c 73 0a 7d 0a 0a 23 20 24 75 74 66 31 36 20 69  ls.}..# $utf16 i
03f0: 73 20 61 20 55 54 46 2d 31 36 20 65 6e 63 6f 64  s a UTF-16 encod
0400: 65 64 20 73 74 72 69 6e 67 2e 20 53 77 61 70 20  ed string. Swap 
0410: 65 61 63 68 20 70 61 69 72 20 6f 66 20 62 79 74  each pair of byt
0420: 65 73 20 61 72 6f 75 6e 64 0a 23 20 74 6f 20 63  es around.# to c
0430: 68 61 6e 67 65 20 74 68 65 20 62 79 74 65 2d 6f  hange the byte-o
0440: 72 64 65 72 20 6f 66 20 74 68 65 20 73 74 72 69  rder of the stri
0450: 6e 67 2e 0a 70 72 6f 63 20 73 77 61 70 5f 62 79  ng..proc swap_by
0460: 74 65 5f 6f 72 64 65 72 20 7b 75 74 66 31 36 7d  te_order {utf16}
0470: 20 7b 0a 20 20 62 69 6e 61 72 79 20 73 63 61 6e   {.  binary scan
0480: 20 24 75 74 66 31 36 20 5c 63 2a 20 69 6e 74 73   $utf16 \c* ints
0490: 0a 0a 20 20 66 6f 72 65 61 63 68 20 7b 61 20 62  ..  foreach {a b
04a0: 7d 20 24 69 6e 74 73 20 7b 0a 20 20 20 20 6c 61  } $ints {.    la
04b0: 70 70 65 6e 64 20 69 6e 74 73 32 20 24 62 0a 20  ppend ints2 $b. 
04c0: 20 20 20 6c 61 70 70 65 6e 64 20 69 6e 74 73 32     lappend ints2
04d0: 20 24 61 0a 20 20 7d 0a 0a 20 20 72 65 74 75 72   $a.  }..  retur
04e0: 6e 20 5b 62 69 6e 61 72 79 20 66 6f 72 6d 61 74  n [binary format
04f0: 20 5c 63 2a 20 24 69 6e 74 73 32 5d 0a 7d 0a 0a   \c* $ints2].}..
0500: 23 0a 23 20 54 65 73 74 20 74 68 61 74 20 74 68  #.# Test that th
0510: 65 20 53 51 4c 69 74 65 20 72 6f 75 74 69 6e 65  e SQLite routine
0520: 73 20 66 6f 72 20 63 6f 6e 76 65 72 74 69 6e 67  s for converting
0530: 20 62 65 74 77 65 65 6e 20 55 54 46 20 65 6e 63   between UTF enc
0540: 6f 64 69 6e 67 73 0a 23 20 70 72 6f 64 75 63 65  odings.# produce
0550: 20 74 68 65 20 73 61 6d 65 20 72 65 73 75 6c 74   the same result
0560: 73 20 61 73 20 74 68 65 69 72 20 54 43 4c 20 63  s as their TCL c
0570: 6f 75 6e 74 65 72 70 61 72 74 73 2e 0a 23 0a 23  ounterparts..#.#
0580: 20 24 74 65 73 74 6e 61 6d 65 20 69 73 20 74 68   $testname is th
0590: 65 20 70 72 65 66 69 78 20 74 6f 20 62 65 20 75  e prefix to be u
05a0: 73 65 64 20 66 6f 72 20 74 68 65 20 74 65 73 74  sed for the test
05b0: 20 6e 61 6d 65 73 2e 0a 23 20 24 73 74 72 20 69   names..# $str i
05c0: 73 20 61 20 73 74 72 69 6e 67 20 74 6f 20 75 73  s a string to us
05d0: 65 20 66 6f 72 20 74 65 73 74 69 6e 67 20 28 65  e for testing (e
05e0: 6e 63 6f 64 65 64 20 69 6e 20 55 54 46 2d 38 2c  ncoded in UTF-8,
05f0: 20 61 73 20 6e 6f 72 6d 61 6c 20 66 6f 72 20 54   as normal for T
0600: 43 4c 29 2e 0a 23 0a 23 20 54 68 65 20 74 65 73  CL)..#.# The tes
0610: 74 20 70 72 6f 63 65 64 75 72 65 20 69 73 3a 0a  t procedure is:.
0620: 23 20 31 2e 20 43 6f 6e 76 65 72 74 20 74 68 65  # 1. Convert the
0630: 20 73 74 72 69 6e 67 20 66 72 6f 6d 20 55 54 46   string from UTF
0640: 2d 38 20 74 6f 20 55 54 46 2d 31 36 6c 65 20 61  -8 to UTF-16le a
0650: 6e 64 20 63 68 65 63 6b 20 74 68 61 74 20 74 68  nd check that th
0660: 65 20 54 43 4c 20 61 6e 64 0a 23 20 20 20 20 53  e TCL and.#    S
0670: 51 4c 69 74 65 20 72 6f 75 74 69 6e 65 73 20 70  QLite routines p
0680: 72 6f 64 75 63 65 20 74 68 65 20 73 61 6d 65 20  roduce the same 
0690: 72 65 73 75 6c 74 73 2e 0a 23 0a 23 20 32 2e 20  results..#.# 2. 
06a0: 43 6f 6e 76 65 72 74 20 74 68 65 20 73 74 72 69  Convert the stri
06b0: 6e 67 20 66 72 6f 6d 20 55 54 46 2d 38 20 74 6f  ng from UTF-8 to
06c0: 20 55 54 46 2d 31 36 62 65 20 61 6e 64 20 63 68   UTF-16be and ch
06d0: 65 63 6b 20 74 68 61 74 20 74 68 65 20 54 43 4c  eck that the TCL
06e0: 20 61 6e 64 0a 23 20 20 20 20 53 51 4c 69 74 65   and.#    SQLite
06f0: 20 72 6f 75 74 69 6e 65 73 20 70 72 6f 64 75 63   routines produc
0700: 65 20 74 68 65 20 73 61 6d 65 20 72 65 73 75 6c  e the same resul
0710: 74 73 2e 0a 23 0a 23 20 33 2e 20 55 73 65 20 74  ts..#.# 3. Use t
0720: 68 65 20 53 51 4c 69 74 65 20 72 6f 75 74 69 6e  he SQLite routin
0730: 65 73 20 74 6f 20 63 6f 6e 76 65 72 74 20 74 68  es to convert th
0740: 65 20 6e 61 74 69 76 65 20 6d 61 63 68 69 6e 65  e native machine
0750: 20 6f 72 64 65 72 20 55 54 46 2d 31 36 0a 23 20   order UTF-16.# 
0760: 20 20 20 72 65 70 72 65 73 65 6e 74 61 74 69 6f     representatio
0770: 6e 20 62 61 63 6b 20 74 6f 20 74 68 65 20 6f 72  n back to the or
0780: 69 67 69 6e 61 6c 20 55 54 46 2d 38 2e 20 43 68  iginal UTF-8. Ch
0790: 65 63 6b 20 74 68 61 74 20 74 68 65 20 72 65 73  eck that the res
07a0: 75 6c 74 0a 23 20 20 20 20 6d 61 74 63 68 65 73  ult.#    matches
07b0: 20 74 68 65 20 6f 72 69 67 69 6e 61 6c 20 72 65   the original re
07c0: 70 72 65 73 65 6e 74 61 74 69 6f 6e 2e 0a 23 0a  presentation..#.
07d0: 23 20 34 2e 20 41 64 64 20 61 20 62 79 74 65 2d  # 4. Add a byte-
07e0: 6f 72 64 65 72 20 6d 61 72 6b 20 74 6f 20 65 61  order mark to ea
07f0: 63 68 20 6f 66 20 74 68 65 20 55 54 46 2d 31 36  ch of the UTF-16
0800: 20 72 65 70 72 65 73 65 6e 74 61 74 69 6f 6e 73   representations
0810: 20 61 6e 64 0a 23 20 20 20 20 63 68 65 63 6b 20   and.#    check 
0820: 74 68 61 74 20 74 68 65 20 53 51 4c 69 74 65 20  that the SQLite 
0830: 72 6f 75 74 69 6e 65 73 20 63 61 6e 20 63 6f 6e  routines can con
0840: 76 65 72 74 20 74 68 65 6d 20 62 61 63 6b 20 74  vert them back t
0850: 6f 20 55 54 46 2d 38 2e 20 20 46 6f 72 0a 23 20  o UTF-8.  For.# 
0860: 20 20 20 62 79 74 65 2d 6f 72 64 65 72 20 6d 61     byte-order ma
0870: 72 6b 20 69 6e 66 6f 2c 20 72 65 66 65 72 20 74  rk info, refer t
0880: 6f 20 73 65 63 74 69 6f 6e 20 33 2e 31 30 20 6f  o section 3.10 o
0890: 66 20 74 68 65 20 75 6e 69 63 6f 64 65 20 73 74  f the unicode st
08a0: 61 6e 64 61 72 64 2e 0a 23 0a 23 20 35 2e 20 54  andard..#.# 5. T
08b0: 61 6b 65 20 74 68 65 20 62 79 74 65 2d 6f 72 64  ake the byte-ord
08c0: 65 72 20 6d 61 72 6b 65 64 20 55 54 46 2d 31 36  er marked UTF-16
08d0: 20 73 74 72 69 6e 67 73 20 66 72 6f 6d 20 73 74   strings from st
08e0: 65 70 20 34 20 61 6e 64 20 65 6e 73 75 72 65 0a  ep 4 and ensure.
08f0: 23 20 20 20 20 74 68 61 74 20 53 51 4c 69 74 65  #    that SQLite
0900: 20 63 61 6e 20 63 6f 6e 76 65 72 74 20 74 68 65   can convert the
0910: 6d 20 62 6f 74 68 20 74 6f 20 6e 61 74 69 76 65  m both to native
0920: 20 62 79 74 65 20 6f 72 64 65 72 20 55 54 46 2d   byte order UTF-
0930: 31 36 20 0a 23 20 20 20 20 73 74 72 69 6e 67 73  16 .#    strings
0940: 2c 20 73 61 6e 73 20 42 4f 4d 2e 0a 23 0a 23 20  , sans BOM..#.# 
0950: 43 6f 76 65 72 61 67 65 3a 0a 23 0a 23 20 73 71  Coverage:.#.# sq
0960: 6c 69 74 65 5f 75 74 66 38 74 6f 31 36 62 65 20  lite_utf8to16be 
0970: 28 73 74 65 70 20 32 29 0a 23 20 73 71 6c 69 74  (step 2).# sqlit
0980: 65 5f 75 74 66 38 74 6f 31 36 6c 65 20 28 73 74  e_utf8to16le (st
0990: 65 70 20 31 29 0a 23 20 73 71 6c 69 74 65 5f 75  ep 1).# sqlite_u
09a0: 74 66 31 36 74 6f 38 20 28 73 74 65 70 73 20 33  tf16to8 (steps 3
09b0: 2c 20 34 29 0a 23 20 73 71 6c 69 74 65 5f 75 74  , 4).# sqlite_ut
09c0: 66 31 36 74 6f 31 36 6c 65 20 28 73 74 65 70 20  f16to16le (step 
09d0: 35 29 0a 23 20 73 71 6c 69 74 65 5f 75 74 66 31  5).# sqlite_utf1
09e0: 36 74 6f 31 36 62 65 20 28 73 74 65 70 20 35 29  6to16be (step 5)
09f0: 0a 23 0a 70 72 6f 63 20 74 65 73 74 5f 63 6f 6e  .#.proc test_con
0a00: 76 65 72 73 69 6f 6e 20 7b 74 65 73 74 6e 61 6d  version {testnam
0a10: 65 20 73 74 72 7d 20 7b 0a 20 0a 20 20 23 20 53  e str} {. .  # S
0a20: 74 65 70 20 31 2e 0a 20 20 73 65 74 20 75 74 66  tep 1..  set utf
0a30: 31 36 6c 65 5f 73 71 6c 69 74 65 33 20 5b 74 65  16le_sqlite3 [te
0a40: 73 74 5f 74 72 61 6e 73 6c 61 74 65 20 24 73 74  st_translate $st
0a50: 72 20 55 54 46 38 20 55 54 46 31 36 4c 45 5d 0a  r UTF8 UTF16LE].
0a60: 20 20 73 65 74 20 75 74 66 31 36 6c 65 5f 74 63    set utf16le_tc
0a70: 6c 20 5b 65 6e 63 6f 64 69 6e 67 20 63 6f 6e 76  l [encoding conv
0a80: 65 72 74 74 6f 20 75 6e 69 63 6f 64 65 20 24 73  ertto unicode $s
0a90: 74 72 5d 0a 20 20 61 70 70 65 6e 64 20 75 74 66  tr].  append utf
0aa0: 31 36 6c 65 5f 74 63 6c 20 22 5c 78 30 30 5c 78  16le_tcl "\x00\x
0ab0: 30 30 22 0a 20 20 69 66 20 7b 20 24 3a 3a 74 63  00".  if { $::tc
0ac0: 6c 5f 70 6c 61 74 66 6f 72 6d 28 62 79 74 65 4f  l_platform(byteO
0ad0: 72 64 65 72 29 21 3d 22 6c 69 74 74 6c 65 45 6e  rder)!="littleEn
0ae0: 64 69 61 6e 22 20 7d 20 7b 0a 20 20 20 20 73 65  dian" } {.    se
0af0: 74 20 75 74 66 31 36 6c 65 5f 74 63 6c 20 5b 73  t utf16le_tcl [s
0b00: 77 61 70 5f 62 79 74 65 5f 6f 72 64 65 72 20 24  wap_byte_order $
0b10: 75 74 66 31 36 6c 65 5f 74 63 6c 5d 0a 20 20 7d  utf16le_tcl].  }
0b20: 0a 20 20 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73  .  do_bincmp_tes
0b30: 74 20 24 74 65 73 74 6e 61 6d 65 2e 31 20 24 75  t $testname.1 $u
0b40: 74 66 31 36 6c 65 5f 73 71 6c 69 74 65 33 20 24  tf16le_sqlite3 $
0b50: 75 74 66 31 36 6c 65 5f 74 63 6c 0a 20 20 73 65  utf16le_tcl.  se
0b60: 74 20 75 74 66 31 36 6c 65 20 24 75 74 66 31 36  t utf16le $utf16
0b70: 6c 65 5f 74 63 6c 0a 0a 20 20 23 20 53 74 65 70  le_tcl..  # Step
0b80: 20 32 2e 0a 20 20 73 65 74 20 75 74 66 31 36 62   2..  set utf16b
0b90: 65 5f 73 71 6c 69 74 65 33 20 5b 74 65 73 74 5f  e_sqlite3 [test_
0ba0: 74 72 61 6e 73 6c 61 74 65 20 24 73 74 72 20 55  translate $str U
0bb0: 54 46 38 20 55 54 46 31 36 42 45 5d 0a 20 20 73  TF8 UTF16BE].  s
0bc0: 65 74 20 75 74 66 31 36 62 65 5f 74 63 6c 20 5b  et utf16be_tcl [
0bd0: 65 6e 63 6f 64 69 6e 67 20 63 6f 6e 76 65 72 74  encoding convert
0be0: 74 6f 20 75 6e 69 63 6f 64 65 20 24 73 74 72 5d  to unicode $str]
0bf0: 0a 20 20 61 70 70 65 6e 64 20 75 74 66 31 36 62  .  append utf16b
0c00: 65 5f 74 63 6c 20 22 5c 78 30 30 5c 78 30 30 22  e_tcl "\x00\x00"
0c10: 0a 20 20 69 66 20 7b 20 24 3a 3a 74 63 6c 5f 70  .  if { $::tcl_p
0c20: 6c 61 74 66 6f 72 6d 28 62 79 74 65 4f 72 64 65  latform(byteOrde
0c30: 72 29 3d 3d 22 6c 69 74 74 6c 65 45 6e 64 69 61  r)=="littleEndia
0c40: 6e 22 20 7d 20 7b 0a 20 20 20 20 73 65 74 20 75  n" } {.    set u
0c50: 74 66 31 36 62 65 5f 74 63 6c 20 5b 73 77 61 70  tf16be_tcl [swap
0c60: 5f 62 79 74 65 5f 6f 72 64 65 72 20 24 75 74 66  _byte_order $utf
0c70: 31 36 62 65 5f 74 63 6c 5d 0a 20 20 7d 0a 20 20  16be_tcl].  }.  
0c80: 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 74 20 24  do_bincmp_test $
0c90: 74 65 73 74 6e 61 6d 65 2e 32 20 24 75 74 66 31  testname.2 $utf1
0ca0: 36 62 65 5f 73 71 6c 69 74 65 33 20 24 75 74 66  6be_sqlite3 $utf
0cb0: 31 36 62 65 5f 74 63 6c 0a 20 20 73 65 74 20 75  16be_tcl.  set u
0cc0: 74 66 31 36 62 65 20 24 75 74 66 31 36 62 65 5f  tf16be $utf16be_
0cd0: 74 63 6c 0a 20 0a 20 20 23 20 53 74 65 70 20 33  tcl. .  # Step 3
0ce0: 2e 0a 20 20 69 66 20 7b 20 24 3a 3a 74 63 6c 5f  ..  if { $::tcl_
0cf0: 70 6c 61 74 66 6f 72 6d 28 62 79 74 65 4f 72 64  platform(byteOrd
0d00: 65 72 29 3d 3d 22 6c 69 74 74 6c 65 45 6e 64 69  er)=="littleEndi
0d10: 61 6e 22 20 7d 20 7b 0a 20 20 20 20 73 65 74 20  an" } {.    set 
0d20: 75 74 66 31 36 20 24 75 74 66 31 36 6c 65 0a 20  utf16 $utf16le. 
0d30: 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 73 65   } else {.    se
0d40: 74 20 75 74 66 31 36 20 24 75 74 66 31 36 62 65  t utf16 $utf16be
0d50: 0a 20 20 7d 0a 20 20 73 65 74 20 75 74 66 38 5f  .  }.  set utf8_
0d60: 73 71 6c 69 74 65 33 20 5b 74 65 73 74 5f 74 72  sqlite3 [test_tr
0d70: 61 6e 73 6c 61 74 65 20 24 75 74 66 31 36 20 55  anslate $utf16 U
0d80: 54 46 31 36 20 55 54 46 38 5d 0a 20 20 64 6f 5f  TF16 UTF8].  do_
0d90: 62 69 6e 63 6d 70 5f 74 65 73 74 20 24 74 65 73  bincmp_test $tes
0da0: 74 6e 61 6d 65 2e 33 20 24 75 74 66 38 5f 73 71  tname.3 $utf8_sq
0db0: 6c 69 74 65 33 20 5b 62 69 6e 61 72 69 7a 65 20  lite3 [binarize 
0dc0: 24 73 74 72 5d 0a 0a 20 20 23 20 53 74 65 70 20  $str]..  # Step 
0dd0: 34 20 28 6c 69 74 74 6c 65 20 65 6e 64 69 61 6e  4 (little endian
0de0: 29 2e 0a 20 20 61 70 70 65 6e 64 20 75 74 66 31  )..  append utf1
0df0: 36 6c 65 5f 62 6f 6d 20 22 5c 78 46 46 5c 78 46  6le_bom "\xFF\xF
0e00: 45 22 20 24 75 74 66 31 36 6c 65 0a 20 20 73 65  E" $utf16le.  se
0e10: 74 20 75 74 66 38 5f 73 71 6c 69 74 65 33 20 5b  t utf8_sqlite3 [
0e20: 74 65 73 74 5f 74 72 61 6e 73 6c 61 74 65 20 24  test_translate $
0e30: 75 74 66 31 36 6c 65 5f 62 6f 6d 20 55 54 46 31  utf16le_bom UTF1
0e40: 36 20 55 54 46 38 20 31 5d 0a 20 20 64 6f 5f 62  6 UTF8 1].  do_b
0e50: 69 6e 63 6d 70 5f 74 65 73 74 20 24 74 65 73 74  incmp_test $test
0e60: 6e 61 6d 65 2e 34 2e 6c 65 20 24 75 74 66 38 5f  name.4.le $utf8_
0e70: 73 71 6c 69 74 65 33 20 5b 62 69 6e 61 72 69 7a  sqlite3 [binariz
0e80: 65 20 24 73 74 72 5d 0a 0a 20 20 23 20 53 74 65  e $str]..  # Ste
0e90: 70 20 34 20 28 62 69 67 20 65 6e 64 69 61 6e 29  p 4 (big endian)
0ea0: 2e 0a 20 20 61 70 70 65 6e 64 20 75 74 66 31 36  ..  append utf16
0eb0: 62 65 5f 62 6f 6d 20 22 5c 78 46 45 5c 78 46 46  be_bom "\xFE\xFF
0ec0: 22 20 24 75 74 66 31 36 62 65 0a 20 20 73 65 74  " $utf16be.  set
0ed0: 20 75 74 66 38 5f 73 71 6c 69 74 65 33 20 5b 74   utf8_sqlite3 [t
0ee0: 65 73 74 5f 74 72 61 6e 73 6c 61 74 65 20 24 75  est_translate $u
0ef0: 74 66 31 36 62 65 5f 62 6f 6d 20 55 54 46 31 36  tf16be_bom UTF16
0f00: 20 55 54 46 38 5d 0a 20 20 64 6f 5f 62 69 6e 63   UTF8].  do_binc
0f10: 6d 70 5f 74 65 73 74 20 24 74 65 73 74 6e 61 6d  mp_test $testnam
0f20: 65 2e 34 2e 62 65 20 24 75 74 66 38 5f 73 71 6c  e.4.be $utf8_sql
0f30: 69 74 65 33 20 5b 62 69 6e 61 72 69 7a 65 20 24  ite3 [binarize $
0f40: 73 74 72 5d 0a 0a 20 20 23 20 53 74 65 70 20 35  str]..  # Step 5
0f50: 20 28 6c 69 74 74 6c 65 20 65 6e 64 69 61 6e 20   (little endian 
0f60: 74 6f 20 6c 69 74 74 6c 65 20 65 6e 64 69 61 6e  to little endian
0f70: 29 2e 0a 20 20 73 65 74 20 75 74 66 31 36 5f 73  )..  set utf16_s
0f80: 71 6c 69 74 65 33 20 5b 74 65 73 74 5f 74 72 61  qlite3 [test_tra
0f90: 6e 73 6c 61 74 65 20 24 75 74 66 31 36 6c 65 5f  nslate $utf16le_
0fa0: 62 6f 6d 20 55 54 46 31 36 4c 45 20 55 54 46 31  bom UTF16LE UTF1
0fb0: 36 4c 45 5d 0a 20 20 64 6f 5f 62 69 6e 63 6d 70  6LE].  do_bincmp
0fc0: 5f 74 65 73 74 20 24 74 65 73 74 6e 61 6d 65 2e  _test $testname.
0fd0: 35 2e 6c 65 2e 6c 65 20 24 75 74 66 31 36 5f 73  5.le.le $utf16_s
0fe0: 71 6c 69 74 65 33 20 24 75 74 66 31 36 6c 65 0a  qlite3 $utf16le.
0ff0: 0a 20 20 23 20 53 74 65 70 20 35 20 28 62 69 67  .  # Step 5 (big
1000: 20 65 6e 64 69 61 6e 20 74 6f 20 62 69 67 20 65   endian to big e
1010: 6e 64 69 61 6e 29 2e 0a 20 20 73 65 74 20 75 74  ndian)..  set ut
1020: 66 31 36 5f 73 71 6c 69 74 65 33 20 5b 74 65 73  f16_sqlite3 [tes
1030: 74 5f 74 72 61 6e 73 6c 61 74 65 20 24 75 74 66  t_translate $utf
1040: 31 36 62 65 5f 62 6f 6d 20 55 54 46 31 36 20 55  16be_bom UTF16 U
1050: 54 46 31 36 42 45 5d 0a 20 20 64 6f 5f 62 69 6e  TF16BE].  do_bin
1060: 63 6d 70 5f 74 65 73 74 20 24 74 65 73 74 6e 61  cmp_test $testna
1070: 6d 65 2e 35 2e 62 65 2e 62 65 20 24 75 74 66 31  me.5.be.be $utf1
1080: 36 5f 73 71 6c 69 74 65 33 20 24 75 74 66 31 36  6_sqlite3 $utf16
1090: 62 65 0a 0a 20 20 23 20 53 74 65 70 20 35 20 28  be..  # Step 5 (
10a0: 62 69 67 20 65 6e 64 69 61 6e 20 74 6f 20 6c 69  big endian to li
10b0: 74 74 6c 65 20 65 6e 64 69 61 6e 29 2e 0a 20 20  ttle endian)..  
10c0: 73 65 74 20 75 74 66 31 36 5f 73 71 6c 69 74 65  set utf16_sqlite
10d0: 33 20 5b 74 65 73 74 5f 74 72 61 6e 73 6c 61 74  3 [test_translat
10e0: 65 20 24 75 74 66 31 36 62 65 5f 62 6f 6d 20 55  e $utf16be_bom U
10f0: 54 46 31 36 20 55 54 46 31 36 4c 45 5d 0a 20 20  TF16 UTF16LE].  
1100: 64 6f 5f 62 69 6e 63 6d 70 5f 74 65 73 74 20 24  do_bincmp_test $
1110: 74 65 73 74 6e 61 6d 65 2e 35 2e 62 65 2e 6c 65  testname.5.be.le
1120: 20 24 75 74 66 31 36 5f 73 71 6c 69 74 65 33 20   $utf16_sqlite3 
1130: 24 75 74 66 31 36 6c 65 0a 0a 20 20 23 20 53 74  $utf16le..  # St
1140: 65 70 20 35 20 28 6c 69 74 74 6c 65 20 65 6e 64  ep 5 (little end
1150: 69 61 6e 20 74 6f 20 62 69 67 20 65 6e 64 69 61  ian to big endia
1160: 6e 29 2e 0a 20 20 73 65 74 20 75 74 66 31 36 5f  n)..  set utf16_
1170: 73 71 6c 69 74 65 33 20 5b 74 65 73 74 5f 74 72  sqlite3 [test_tr
1180: 61 6e 73 6c 61 74 65 20 24 75 74 66 31 36 6c 65  anslate $utf16le
1190: 5f 62 6f 6d 20 55 54 46 31 36 20 55 54 46 31 36  _bom UTF16 UTF16
11a0: 42 45 5d 0a 20 20 64 6f 5f 62 69 6e 63 6d 70 5f  BE].  do_bincmp_
11b0: 74 65 73 74 20 24 74 65 73 74 6e 61 6d 65 2e 35  test $testname.5
11c0: 2e 6c 65 2e 62 65 20 24 75 74 66 31 36 5f 73 71  .le.be $utf16_sq
11d0: 6c 69 74 65 33 20 24 75 74 66 31 36 62 65 0a 7d  lite3 $utf16be.}
11e0: 0a 0a 74 72 61 6e 73 6c 61 74 65 5f 73 65 6c 66  ..translate_self
11f0: 74 65 73 74 0a 0a 74 65 73 74 5f 63 6f 6e 76 65  test..test_conve
1200: 72 73 69 6f 6e 20 65 6e 63 2d 31 20 22 68 65 6c  rsion enc-1 "hel
1210: 6c 6f 20 77 6f 72 6c 64 22 0a 74 65 73 74 5f 63  lo world".test_c
1220: 6f 6e 76 65 72 73 69 6f 6e 20 65 6e 63 2d 32 20  onversion enc-2 
1230: 22 73 71 6c 69 74 65 22 0a 74 65 73 74 5f 63 6f  "sqlite".test_co
1240: 6e 76 65 72 73 69 6f 6e 20 65 6e 63 2d 33 20 22  nversion enc-3 "
1250: 22 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f  ".test_conversio
1260: 6e 20 65 6e 63 2d 58 20 22 5c 75 30 31 30 30 22  n enc-X "\u0100"
1270: 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e  .test_conversion
1280: 20 65 6e 63 2d 34 20 22 5c 75 31 32 33 34 22 0a   enc-4 "\u1234".
1290: 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20  test_conversion 
12a0: 65 6e 63 2d 35 20 22 5c 75 34 33 32 31 61 62 63  enc-5 "\u4321abc
12b0: 22 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 69 6f  ".test_conversio
12c0: 6e 20 65 6e 63 2d 36 20 22 5c 75 34 33 32 31 5c  n enc-6 "\u4321\
12d0: 75 31 32 33 34 22 0a 74 65 73 74 5f 63 6f 6e 76  u1234".test_conv
12e0: 65 72 73 69 6f 6e 20 65 6e 63 2d 37 20 5b 73 74  ersion enc-7 [st
12f0: 72 69 6e 67 20 72 65 70 65 61 74 20 22 61 62 63  ring repeat "abc
1300: 64 65 5c 75 30 30 45 46 5c 75 30 30 45 45 5c 75  de\u00EF\u00EE\u
1310: 46 46 46 43 61 62 63 22 20 31 30 30 5d 0a 74 65  FFFCabc" 100].te
1320: 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 65 6e  st_conversion en
1330: 63 2d 38 20 5b 73 74 72 69 6e 67 20 72 65 70 65  c-8 [string repe
1340: 61 74 20 22 5c 75 30 30 37 45 5c 75 30 30 37 46  at "\u007E\u007F
1350: 5c 75 30 30 38 30 5c 75 30 30 38 31 22 20 31 30  \u0080\u0081" 10
1360: 30 5d 0a 74 65 73 74 5f 63 6f 6e 76 65 72 73 69  0].test_conversi
1370: 6f 6e 20 65 6e 63 2d 39 20 5b 73 74 72 69 6e 67  on enc-9 [string
1380: 20 72 65 70 65 61 74 20 22 5c 75 30 37 46 45 5c   repeat "\u07FE\
1390: 75 30 37 46 46 5c 75 30 38 30 30 5c 75 30 38 30  u07FF\u0800\u080
13a0: 31 5c 75 46 46 46 30 22 20 31 30 30 5d 0a 74 65  1\uFFF0" 100].te
13b0: 73 74 5f 63 6f 6e 76 65 72 73 69 6f 6e 20 65 6e  st_conversion en
13c0: 63 2d 31 30 20 5b 73 74 72 69 6e 67 20 72 65 70  c-10 [string rep
13d0: 65 61 74 20 22 5c 75 45 30 30 30 22 20 31 30 30  eat "\uE000" 100
13e0: 5d 0a 0a 70 72 6f 63 20 74 65 73 74 5f 63 6f 6c  ]..proc test_col
13f0: 6c 61 74 65 20 7b 65 6e 63 20 7a 4c 65 66 74 20  late {enc zLeft 
1400: 7a 52 69 67 68 74 7d 20 7b 0a 20 20 72 65 74 75  zRight} {.  retu
1410: 72 6e 20 5b 73 74 72 69 6e 67 20 63 6f 6d 70 61  rn [string compa
1420: 72 65 20 24 7a 4c 65 66 74 20 24 7a 52 69 67 68  re $zLeft $zRigh
1430: 74 5d 0a 7d 0a 61 64 64 5f 74 65 73 74 5f 63 6f  t].}.add_test_co
1440: 6c 6c 61 74 65 20 24 3a 3a 44 42 20 30 20 30 20  llate $::DB 0 0 
1450: 31 0a 64 6f 5f 74 65 73 74 20 65 6e 63 2d 31 31  1.do_test enc-11
1460: 2e 31 20 7b 0a 20 20 65 78 65 63 73 71 6c 20 7b  .1 {.  execsql {
1470: 0a 20 20 20 20 43 52 45 41 54 45 20 54 41 42 4c  .    CREATE TABL
1480: 45 20 61 62 28 61 20 43 4f 4c 4c 41 54 45 20 74  E ab(a COLLATE t
1490: 65 73 74 5f 63 6f 6c 6c 61 74 65 2c 20 62 29 3b  est_collate, b);
14a0: 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e 54 4f  .    INSERT INTO
14b0: 20 61 62 20 56 41 4c 55 45 53 28 43 41 53 54 20   ab VALUES(CAST 
14c0: 28 58 27 43 33 38 38 27 20 41 53 20 54 45 58 54  (X'C388' AS TEXT
14d0: 29 2c 20 58 27 38 38 38 38 30 30 27 29 3b 0a 20  ), X'888800');. 
14e0: 20 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 61     INSERT INTO a
14f0: 62 20 56 41 4c 55 45 53 28 43 41 53 54 20 28 58  b VALUES(CAST (X
1500: 27 43 30 38 30 38 30 38 30 38 30 38 30 38 30 38  'C08080808080808
1510: 30 38 30 38 30 38 30 38 30 38 30 38 30 38 30 38  0808080808080808
1520: 30 38 30 38 30 38 30 38 30 38 30 38 30 38 30 38  0808080808080808
1530: 30 38 30 38 30 38 30 38 30 38 30 38 30 38 30 38  0808080808080808
1540: 30 38 30 38 30 38 30 38 30 38 30 38 30 38 30 38  0808080808080808
1550: 30 38 30 38 30 38 30 38 30 38 30 38 30 38 30 38  0808080808080808
1560: 30 38 30 38 30 38 30 38 30 38 30 38 33 38 38 27  080808080808388'
1570: 20 41 53 20 54 45 58 54 29 2c 20 58 27 38 38 38   AS TEXT), X'888
1580: 38 30 30 27 29 3b 0a 20 20 20 20 43 52 45 41 54  800');.    CREAT
1590: 45 20 49 4e 44 45 58 20 61 62 5f 69 20 4f 4e 20  E INDEX ab_i ON 
15a0: 61 62 28 61 2c 20 62 29 3b 0a 20 20 7d 0a 7d 20  ab(a, b);.  }.} 
15b0: 7b 7d 0a 64 6f 5f 74 65 73 74 20 65 6e 63 2d 31  {}.do_test enc-1
15c0: 31 2e 32 20 7b 0a 20 20 73 65 74 20 63 70 32 30  1.2 {.  set cp20
15d0: 30 20 22 5c 75 30 30 43 38 22 0a 20 20 65 78 65  0 "\u00C8".  exe
15e0: 63 73 71 6c 20 7b 0a 20 20 20 20 53 45 4c 45 43  csql {.    SELEC
15f0: 54 20 63 6f 75 6e 74 28 2a 29 20 46 52 4f 4d 20  T count(*) FROM 
1600: 61 62 20 57 48 45 52 45 20 61 20 3d 20 24 3a 3a  ab WHERE a = $::
1610: 63 70 32 30 30 3b 0a 20 20 7d 0a 7d 20 7b 32 7d  cp200;.  }.} {2}
1620: 0a 0a 66 69 6e 69 73 68 5f 74 65 73 74 0a        ..finish_test.