/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact 1480ed7c4c157682542224e05e3b75faf4a149e5:


0000: 23 20 32 30 31 34 20 4d 61 72 63 68 20 32 35 2e  # 2014 March 25.
0010: 0a 23 0a 23 20 54 68 65 20 61 75 74 68 6f 72 20  .#.# The author 
0020: 64 69 73 63 6c 61 69 6d 73 20 63 6f 70 79 72 69  disclaims copyri
0030: 67 68 74 20 74 6f 20 74 68 69 73 20 73 6f 75 72  ght to this sour
0040: 63 65 20 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61  ce code.  In pla
0050: 63 65 20 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20  ce of.# a legal 
0060: 6e 6f 74 69 63 65 2c 20 68 65 72 65 20 69 73 20  notice, here is 
0070: 61 20 62 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20  a blessing:.#.# 
0080: 20 20 20 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f     May you do go
0090: 6f 64 20 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e  od and not evil.
00a0: 0a 23 20 20 20 20 4d 61 79 20 79 6f 75 20 66 69  .#    May you fi
00b0: 6e 64 20 66 6f 72 67 69 76 65 6e 65 73 73 20 66  nd forgiveness f
00c0: 6f 72 20 79 6f 75 72 73 65 6c 66 20 61 6e 64 20  or yourself and 
00d0: 66 6f 72 67 69 76 65 20 6f 74 68 65 72 73 2e 0a  forgive others..
00e0: 23 20 20 20 20 4d 61 79 20 79 6f 75 20 73 68 61  #    May you sha
00f0: 72 65 20 66 72 65 65 6c 79 2c 20 6e 65 76 65 72  re freely, never
0100: 20 74 61 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61   taking more tha
0110: 6e 20 79 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a  n you give..#.#*
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 0a 23 20 54 68 69 73 20 66 69  ******.# This fi
0170: 6c 65 20 69 6d 70 6c 65 6d 65 6e 74 73 20 72 65  le implements re
0180: 67 72 65 73 73 69 6f 6e 20 74 65 73 74 73 20 66  gression tests f
0190: 6f 72 20 53 51 4c 69 74 65 20 6c 69 62 72 61 72  or SQLite librar
01a0: 79 2e 20 0a 23 0a 23 20 54 68 65 20 74 65 73 74  y. .#.# The test
01b0: 73 20 69 6e 20 74 68 69 73 20 66 69 6c 65 20 76  s in this file v
01c0: 65 72 69 66 79 20 74 68 61 74 20 73 6f 72 74 69  erify that sorti
01d0: 6e 67 20 77 6f 72 6b 73 20 77 68 65 6e 20 74 68  ng works when th
01e0: 65 20 6c 69 62 72 61 72 79 20 69 73 0a 23 20 63  e library is.# c
01f0: 6f 6e 66 69 67 75 72 65 64 20 74 6f 20 75 73 65  onfigured to use
0200: 20 6d 6d 61 70 28 29 2c 20 62 75 74 20 74 68 65   mmap(), but the
0210: 20 74 65 6d 70 6f 72 61 72 79 20 66 69 6c 65 73   temporary files
0220: 20 67 65 6e 65 72 61 74 65 64 20 62 79 20 74 68   generated by th
0230: 65 0a 23 20 73 6f 72 74 65 72 20 61 72 65 20 74  e.# sorter are t
0240: 6f 6f 20 6c 61 72 67 65 20 74 6f 20 62 65 20 63  oo large to be c
0250: 6f 6d 70 6c 65 74 65 6c 79 20 6d 61 70 70 65 64  ompletely mapped
0260: 2e 0a 23 0a 0a 73 65 74 20 74 65 73 74 64 69 72  ..#..set testdir
0270: 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65 20 24   [file dirname $
0280: 61 72 67 76 30 5d 0a 73 6f 75 72 63 65 20 24 74  argv0].source $t
0290: 65 73 74 64 69 72 2f 74 65 73 74 65 72 2e 74 63  estdir/tester.tc
02a0: 6c 0a 73 65 74 20 74 65 73 74 70 72 65 66 69 78  l.set testprefix
02b0: 20 73 6f 72 74 33 0a 0a 23 2d 2d 2d 2d 2d 2d 2d   sort3..#-------
02c0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
02d0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
02e0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
02f0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0300: 2d 2d 0a 23 20 53 6f 72 74 20 73 6f 6d 65 20 6c  --.# Sort some l
0310: 61 72 67 65 20 28 20 3e 20 34 4b 69 42 29 20 72  arge ( > 4KiB) r
0320: 65 63 6f 72 64 73 2e 0a 23 0a 70 72 6f 63 20 63  ecords..#.proc c
0330: 6b 73 75 6d 20 7b 78 7d 20 7b 0a 20 20 73 65 74  ksum {x} {.  set
0340: 20 69 31 20 31 0a 20 20 73 65 74 20 69 32 20 32   i1 1.  set i2 2
0350: 0a 20 20 62 69 6e 61 72 79 20 73 63 61 6e 20 24  .  binary scan $
0360: 78 20 63 2a 20 4c 0a 20 20 66 6f 72 65 61 63 68  x c* L.  foreach
0370: 20 7b 61 20 62 7d 20 24 4c 20 7b 0a 20 20 20 20   {a b} $L {.    
0380: 73 65 74 20 69 31 20 5b 65 78 70 72 20 28 28 24  set i1 [expr (($
0390: 69 32 3c 3c 33 29 20 2b 20 24 61 29 20 26 20 30  i2<<3) + $a) & 0
03a0: 78 37 46 46 46 46 46 46 46 5d 0a 20 20 20 20 73  x7FFFFFFF].    s
03b0: 65 74 20 69 32 20 5b 65 78 70 72 20 28 28 24 69  et i2 [expr (($i
03c0: 31 3c 3c 33 29 20 2b 20 24 62 29 20 26 20 30 78  1<<3) + $b) & 0x
03d0: 37 46 46 46 46 46 46 46 5d 0a 20 20 7d 0a 20 20  7FFFFFFF].  }.  
03e0: 6c 69 73 74 20 24 69 31 20 24 69 32 0a 7d 0a 64  list $i1 $i2.}.d
03f0: 62 20 66 75 6e 63 20 63 6b 73 75 6d 20 63 6b 73  b func cksum cks
0400: 75 6d 0a 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74  um..do_execsql_t
0410: 65 73 74 20 31 2e 30 20 7b 0a 20 20 50 52 41 47  est 1.0 {.  PRAG
0420: 4d 41 20 63 61 63 68 65 5f 73 69 7a 65 20 3d 20  MA cache_size = 
0430: 35 3b 0a 20 20 43 52 45 41 54 45 20 54 41 42 4c  5;.  CREATE TABL
0440: 45 20 74 31 31 28 61 2c 20 62 29 3b 0a 20 20 49  E t11(a, b);.  I
0450: 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 31 20 56  NSERT INTO t11 V
0460: 41 4c 55 45 53 28 72 61 6e 64 6f 6d 62 6c 6f 62  ALUES(randomblob
0470: 28 35 30 30 30 29 2c 20 4e 55 4c 4c 29 3b 0a 20  (5000), NULL);. 
0480: 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 31   INSERT INTO t11
0490: 20 53 45 4c 45 43 54 20 72 61 6e 64 6f 6d 62 6c   SELECT randombl
04a0: 6f 62 28 35 30 30 30 29 2c 20 4e 55 4c 4c 20 46  ob(5000), NULL F
04b0: 52 4f 4d 20 74 31 31 3b 20 2d 2d 32 0a 20 20 49  ROM t11; --2.  I
04c0: 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 31 20 53  NSERT INTO t11 S
04d0: 45 4c 45 43 54 20 72 61 6e 64 6f 6d 62 6c 6f 62  ELECT randomblob
04e0: 28 35 30 30 30 29 2c 20 4e 55 4c 4c 20 46 52 4f  (5000), NULL FRO
04f0: 4d 20 74 31 31 3b 20 2d 2d 33 0a 20 20 49 4e 53  M t11; --3.  INS
0500: 45 52 54 20 49 4e 54 4f 20 74 31 31 20 53 45 4c  ERT INTO t11 SEL
0510: 45 43 54 20 72 61 6e 64 6f 6d 62 6c 6f 62 28 35  ECT randomblob(5
0520: 30 30 30 29 2c 20 4e 55 4c 4c 20 46 52 4f 4d 20  000), NULL FROM 
0530: 74 31 31 3b 20 2d 2d 34 0a 20 20 49 4e 53 45 52  t11; --4.  INSER
0540: 54 20 49 4e 54 4f 20 74 31 31 20 53 45 4c 45 43  T INTO t11 SELEC
0550: 54 20 72 61 6e 64 6f 6d 62 6c 6f 62 28 35 30 30  T randomblob(500
0560: 30 29 2c 20 4e 55 4c 4c 20 46 52 4f 4d 20 74 31  0), NULL FROM t1
0570: 31 3b 20 2d 2d 35 0a 20 20 49 4e 53 45 52 54 20  1; --5.  INSERT 
0580: 49 4e 54 4f 20 74 31 31 20 53 45 4c 45 43 54 20  INTO t11 SELECT 
0590: 72 61 6e 64 6f 6d 62 6c 6f 62 28 35 30 30 30 29  randomblob(5000)
05a0: 2c 20 4e 55 4c 4c 20 46 52 4f 4d 20 74 31 31 3b  , NULL FROM t11;
05b0: 20 2d 2d 36 0a 20 20 49 4e 53 45 52 54 20 49 4e   --6.  INSERT IN
05c0: 54 4f 20 74 31 31 20 53 45 4c 45 43 54 20 72 61  TO t11 SELECT ra
05d0: 6e 64 6f 6d 62 6c 6f 62 28 35 30 30 30 29 2c 20  ndomblob(5000), 
05e0: 4e 55 4c 4c 20 46 52 4f 4d 20 74 31 31 3b 20 2d  NULL FROM t11; -
05f0: 2d 37 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f  -7.  INSERT INTO
0600: 20 74 31 31 20 53 45 4c 45 43 54 20 72 61 6e 64   t11 SELECT rand
0610: 6f 6d 62 6c 6f 62 28 35 30 30 30 29 2c 20 4e 55  omblob(5000), NU
0620: 4c 4c 20 46 52 4f 4d 20 74 31 31 3b 20 2d 2d 38  LL FROM t11; --8
0630: 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74  .  INSERT INTO t
0640: 31 31 20 53 45 4c 45 43 54 20 72 61 6e 64 6f 6d  11 SELECT random
0650: 62 6c 6f 62 28 35 30 30 30 29 2c 20 4e 55 4c 4c  blob(5000), NULL
0660: 20 46 52 4f 4d 20 74 31 31 3b 20 2d 2d 39 0a 20   FROM t11; --9. 
0670: 20 55 50 44 41 54 45 20 74 31 31 20 53 45 54 20   UPDATE t11 SET 
0680: 62 20 3d 20 63 6b 73 75 6d 28 61 29 3b 0a 7d 0a  b = cksum(a);.}.
0690: 0a 66 6f 72 65 61 63 68 20 7b 74 6e 20 6d 6d 61  .foreach {tn mma
06a0: 70 5f 6c 69 6d 69 74 7d 20 7b 0a 20 20 31 20 30  p_limit} {.  1 0
06b0: 0a 20 20 32 20 31 30 30 30 30 30 30 0a 7d 20 7b  .  2 1000000.} {
06c0: 0a 20 20 64 6f 5f 74 65 73 74 20 31 2e 24 74 6e  .  do_test 1.$tn
06d0: 20 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 74   {.    sqlite3_t
06e0: 65 73 74 5f 63 6f 6e 74 72 6f 6c 20 53 51 4c 49  est_control SQLI
06f0: 54 45 5f 54 45 53 54 43 54 52 4c 5f 53 4f 52 54  TE_TESTCTRL_SORT
0700: 45 52 5f 4d 4d 41 50 20 64 62 20 24 6d 6d 61 70  ER_MMAP db $mmap
0710: 5f 6c 69 6d 69 74 0a 20 20 20 20 73 65 74 20 70  _limit.    set p
0720: 72 65 76 20 22 22 0a 20 20 20 20 64 62 20 65 76  rev "".    db ev
0730: 61 6c 20 7b 20 53 45 4c 45 43 54 20 2a 20 46 52  al { SELECT * FR
0740: 4f 4d 20 74 31 31 20 4f 52 44 45 52 20 42 59 20  OM t11 ORDER BY 
0750: 62 20 7d 20 7b 0a 20 20 20 20 20 20 69 66 20 7b  b } {.      if {
0760: 24 62 20 21 3d 20 5b 63 6b 73 75 6d 20 24 61 5d  $b != [cksum $a]
0770: 7d 20 7b 65 72 72 6f 72 20 22 63 68 65 63 6b 73  } {error "checks
0780: 75 6d 20 66 61 69 6c 65 64 22 7d 0a 20 20 20 20  um failed"}.    
0790: 20 20 69 66 20 7b 5b 73 74 72 69 6e 67 20 63 6f    if {[string co
07a0: 6d 70 61 72 65 20 24 62 20 24 70 72 65 76 5d 20  mpare $b $prev] 
07b0: 3c 20 30 7d 20 7b 65 72 72 6f 72 20 22 73 6f 72  < 0} {error "sor
07c0: 74 20 66 61 69 6c 65 64 22 7d 0a 20 20 20 20 20  t failed"}.     
07d0: 20 73 65 74 20 70 72 65 76 20 24 62 0a 20 20 20   set prev $b.   
07e0: 20 7d 0a 20 20 20 20 73 65 74 20 7b 7d 20 7b 7d   }.    set {} {}
07f0: 0a 20 20 7d 20 7b 7d 0a 7d 0a 0a 0a 23 20 53 6f  .  } {}.}...# So
0800: 72 74 20 72 6f 75 67 68 6c 79 20 32 30 4d 42 20  rt roughly 20MB 
0810: 6f 66 20 64 61 74 61 2e 20 4f 6e 63 65 20 77 69  of data. Once wi
0820: 74 68 20 61 20 6d 6d 61 70 20 6c 69 6d 69 74 20  th a mmap limit 
0830: 6f 66 20 35 4d 42 20 61 6e 64 20 6f 6e 63 65 20  of 5MB and once 
0840: 77 69 74 68 6f 75 74 2e 0a 23 0a 66 6f 72 65 61  without..#.forea
0850: 63 68 20 7b 69 74 65 73 74 20 6c 69 6d 69 74 7d  ch {itest limit}
0860: 20 7b 0a 20 20 31 20 35 30 30 30 30 30 30 0a 20   {.  1 5000000. 
0870: 20 32 20 30 78 37 46 46 46 46 46 46 46 0a 7d 20   2 0x7FFFFFFF.} 
0880: 7b 0a 20 20 73 71 6c 69 74 65 33 5f 74 65 73 74  {.  sqlite3_test
0890: 5f 63 6f 6e 74 72 6f 6c 20 53 51 4c 49 54 45 5f  _control SQLITE_
08a0: 54 45 53 54 43 54 52 4c 5f 53 4f 52 54 45 52 5f  TESTCTRL_SORTER_
08b0: 4d 4d 41 50 20 64 62 20 24 6c 69 6d 69 74 0a 20  MMAP db $limit. 
08c0: 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74   do_execsql_test
08d0: 20 32 2e 24 69 74 65 73 74 20 7b 0a 20 20 20 20   2.$itest {.    
08e0: 57 49 54 48 20 72 28 78 2c 79 29 20 41 53 20 28  WITH r(x,y) AS (
08f0: 0a 20 20 20 20 20 20 20 20 53 45 4c 45 43 54 20  .        SELECT 
0900: 31 2c 20 72 61 6e 64 6f 6d 62 6c 6f 62 28 31 30  1, randomblob(10
0910: 30 30 29 0a 20 20 20 20 20 20 20 20 55 4e 49 4f  00).        UNIO
0920: 4e 20 41 4c 4c 0a 20 20 20 20 20 20 20 20 53 45  N ALL.        SE
0930: 4c 45 43 54 20 78 2b 31 2c 20 72 61 6e 64 6f 6d  LECT x+1, random
0940: 62 6c 6f 62 28 31 30 30 30 29 20 46 52 4f 4d 20  blob(1000) FROM 
0950: 72 0a 20 20 20 20 20 20 20 20 4c 49 4d 49 54 20  r.        LIMIT 
0960: 32 30 30 30 30 0a 20 20 20 20 29 0a 20 20 20 20  20000.    ).    
0970: 53 45 4c 45 43 54 20 63 6f 75 6e 74 28 2a 29 2c  SELECT count(*),
0980: 20 73 75 6d 28 6c 65 6e 67 74 68 28 79 29 29 20   sum(length(y)) 
0990: 46 52 4f 4d 20 72 20 47 52 4f 55 50 20 42 59 20  FROM r GROUP BY 
09a0: 28 78 25 35 29 3b 0a 20 20 7d 20 7b 0a 20 20 20  (x%5);.  } {.   
09b0: 20 34 30 30 30 20 34 30 30 30 30 30 30 20 0a 20   4000 4000000 . 
09c0: 20 20 20 34 30 30 30 20 34 30 30 30 30 30 30 20     4000 4000000 
09d0: 0a 20 20 20 20 34 30 30 30 20 34 30 30 30 30 30  .    4000 400000
09e0: 30 20 0a 20 20 20 20 34 30 30 30 20 34 30 30 30  0 .    4000 4000
09f0: 30 30 30 20 0a 20 20 20 20 34 30 30 30 20 34 30  000 .    4000 40
0a00: 30 30 30 30 30 0a 20 20 7d 0a 7d 0a 0a 23 20 53  00000.  }.}..# S
0a10: 6f 72 74 20 6d 6f 72 65 20 74 68 61 6e 20 32 47  ort more than 2G
0a20: 42 20 6f 66 20 64 61 74 61 2e 20 41 74 20 6f 6e  B of data. At on
0a30: 65 20 70 6f 69 6e 74 20 74 68 69 73 20 77 61 73  e point this was
0a40: 20 63 61 75 73 69 6e 67 20 61 20 70 72 6f 62 6c   causing a probl
0a50: 65 6d 2e 0a 23 20 54 68 69 73 20 74 65 73 74 20  em..# This test 
0a60: 6d 69 67 68 74 20 74 61 6b 65 20 6f 6e 65 20 6d  might take one m
0a70: 69 6e 75 74 65 20 6f 72 20 6d 6f 72 65 20 74 6f  inute or more to
0a80: 20 72 75 6e 2e 0a 23 0a 64 6f 5f 65 78 65 63 73   run..#.do_execs
0a90: 71 6c 5f 74 65 73 74 20 33 20 7b 0a 20 20 50 52  ql_test 3 {.  PR
0aa0: 41 47 4d 41 20 63 61 63 68 65 5f 73 69 7a 65 20  AGMA cache_size 
0ab0: 3d 20 32 30 30 30 30 3b 0a 20 20 57 49 54 48 20  = 20000;.  WITH 
0ac0: 72 28 78 2c 79 29 20 41 53 20 28 0a 20 20 20 20  r(x,y) AS (.    
0ad0: 53 45 4c 45 43 54 20 31 2c 20 72 61 6e 64 6f 6d  SELECT 1, random
0ae0: 62 6c 6f 62 28 31 30 30 30 29 0a 20 20 20 20 55  blob(1000).    U
0af0: 4e 49 4f 4e 20 41 4c 4c 0a 20 20 20 20 53 45 4c  NION ALL.    SEL
0b00: 45 43 54 20 78 2b 31 2c 20 72 61 6e 64 6f 6d 62  ECT x+1, randomb
0b10: 6c 6f 62 28 31 30 30 30 29 20 46 52 4f 4d 20 72  lob(1000) FROM r
0b20: 0a 20 20 20 20 4c 49 4d 49 54 20 32 32 30 30 30  .    LIMIT 22000
0b30: 30 30 0a 20 20 29 0a 20 20 53 45 4c 45 43 54 20  00.  ).  SELECT 
0b40: 63 6f 75 6e 74 28 2a 29 2c 20 73 75 6d 28 6c 65  count(*), sum(le
0b50: 6e 67 74 68 28 79 29 29 20 46 52 4f 4d 20 72 20  ngth(y)) FROM r 
0b60: 47 52 4f 55 50 20 42 59 20 28 78 25 35 29 3b 0a  GROUP BY (x%5);.
0b70: 7d 20 7b 0a 20 20 34 34 30 30 30 30 20 34 34 30  } {.  440000 440
0b80: 30 30 30 30 30 30 20 0a 20 20 34 34 30 30 30 30  000000 .  440000
0b90: 20 34 34 30 30 30 30 30 30 30 20 0a 20 20 34 34   440000000 .  44
0ba0: 30 30 30 30 20 34 34 30 30 30 30 30 30 30 20 0a  0000 440000000 .
0bb0: 20 20 34 34 30 30 30 30 20 34 34 30 30 30 30 30    440000 4400000
0bc0: 30 30 20 0a 20 20 34 34 30 30 30 30 20 34 34 30  00 .  440000 440
0bd0: 30 30 30 30 30 30 0a 7d 0a 0a 66 69 6e 69 73 68  000000.}..finish
0be0: 5f 74 65 73 74 0a                                _test.