source: branches/new-random/level-0/nfasload.lisp

Last change on this file was 13279, checked in by gb, 10 years ago

Lots of changes from "purify" branch, mostly involving:

  • new memory layout, to support x86 function purification, static cons
  • fasloader changes to load/save string constants faster

Fasl version, image version changed; new binaries for all platforms soon.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 40.6 KB
Line 
1;;;-*- Mode: Lisp; Package: CCL -*-
2;;;
3;;;   Copyright (C) 2009 Clozure Associates
4;;;   Copyright (C) 1994-2001 Digitool, Inc
5;;;   This file is part of Clozure CL. 
6;;;
7;;;   Clozure CL is licensed under the terms of the Lisp Lesser GNU Public
8;;;   License , known as the LLGPL and distributed with Clozure CL as the
9;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
10;;;   which is distributed with Clozure CL as the file "LGPL".  Where these
11;;;   conflict, the preamble takes precedence. 
12;;;
13;;;   Clozure CL is referenced in the preamble as the "LIBRARY."
14;;;
15;;;   The LLGPL is also available online at
16;;;   http://opensource.franz.com/preamble.html
17
18(in-package "CCL")
19
20(eval-when (:compile-toplevel :execute)
21
22(require "FASLENV" "ccl:xdump;faslenv")
23
24
25(defconstant $primsizes (make-array 23
26                                    :element-type '(unsigned-byte 16)
27                                    :initial-contents
28                                    '(41 61 97 149 223 337 509 769 887 971 1153 1559 1733
29                                      2609 2801 3917 5879 8819 13229 19843 24989 29789 32749)))
30(defconstant $hprimes (make-array 8 
31                                  :element-type '(unsigned-byte 16)
32                                  :initial-contents '(5 7 11 13 17 19 23 29)))
33
34;;; Symbol hash tables: (htvec . (hcount . hlimit))
35
36(defmacro htvec (htab) `(%car ,htab))
37(defmacro htcount (htab) `(%cadr ,htab))
38(defmacro htlimit (htab) `(%cddr ,htab))
39)
40
41(eval-when (:execute :compile-toplevel)
42  (assert (= 80 numfaslops)))
43
44
45
46
47
48(defvar *fasl-dispatch-table* #80(%bad-fasl))
49
50
51
52
53
54(defun %bad-fasl (s)
55  (error "bad opcode near position ~d in FASL file ~s"
56         (%fasl-get-file-pos s)
57         (faslstate.faslfname s)))
58
59(defun %cant-epush (s)
60  (if (faslstate.faslepush s)
61    (%bad-fasl s)))
62
63(defun %epushval (s val)
64  (setf (faslstate.faslval s) val)
65  (when (faslstate.faslepush s)
66    (setf (svref (faslstate.faslevec s) (faslstate.faslecnt s)) val)
67    (incf (the fixnum (faslstate.faslecnt s))))
68  val)
69
70(defun %simple-fasl-read-buffer (s)
71  (let* ((fd (faslstate.faslfd s))
72         (buffer (faslstate.iobuffer s))
73         (bufptr (%get-ptr buffer)))
74    (declare (dynamic-extent bufptr)
75             (type macptr buffer bufptr))
76    (%setf-macptr bufptr (%inc-ptr buffer target::node-size))
77    (setf (%get-ptr buffer) bufptr)
78    (let* ((n (fd-read fd bufptr $fasl-buf-len)))
79      (declare (fixnum n))
80      (if (> n 0)
81        (setf (faslstate.bufcount s) n)
82        (error "Fix this: look at errno, EOF")))))
83
84 
85(defun %simple-fasl-read-byte (s)
86  (loop
87    (let* ((buffer (faslstate.iobuffer s))
88           (bufptr (%get-ptr buffer)))
89      (declare (dynamic-extent bufptr)
90               (type macptr buffer bufptr))
91      (if (>= (the fixnum (decf (the fixnum (faslstate.bufcount s))))
92              0)
93        (return
94         (prog1
95           (%get-unsigned-byte bufptr)
96           (setf (%get-ptr buffer)
97                 (%incf-ptr bufptr))))
98        (%fasl-read-buffer s)))))
99
100(defun %fasl-read-word (s)
101  (the fixnum 
102    (logior (the fixnum (ash (the fixnum (%fasl-read-byte s)) 8))
103            (the fixnum (%fasl-read-byte s)))))
104
105
106(defun %fasl-read-long (s)
107  (logior (ash (%fasl-read-word s) 16) (%fasl-read-word s)))
108
109(defun %fasl-read-signed-long (s)
110  (logior (ash (%word-to-int (%fasl-read-word s)) 16)
111          (%fasl-read-word s)))
112
113
114(defun %fasl-read-count (s)
115  (do* ((val 0)
116        (shift 0 (+ shift 7))
117        (done nil))
118       (done val)
119    (let* ((b (%fasl-read-byte s)))
120      (declare (type (unsigned-byte 8) b))
121      (setq done (logbitp 7 b) val (logior val (ash (logand b #x7f) shift))))))
122
123(defun %simple-fasl-read-n-bytes (s ivector byte-offset n)
124  (declare (fixnum byte-offset n))
125  (do* ()
126       ((= n 0))
127    (let* ((count (faslstate.bufcount s))
128           (buffer (faslstate.iobuffer s))
129           (bufptr (%get-ptr buffer))
130           (nthere (if (< count n) count n)))
131      (declare (dynamic-extent bufptr)
132               (type macptr buffer bufptr)
133               (fixnum count nthere))
134      (if (= nthere 0)
135        (%fasl-read-buffer s)
136        (progn
137          (decf n nthere)
138          (decf (the fixnum (faslstate.bufcount s)) nthere)
139          (%copy-ptr-to-ivector bufptr 0 ivector byte-offset nthere)
140          (incf byte-offset nthere)
141          (setf (%get-ptr buffer)
142                (%incf-ptr bufptr nthere)))))))
143       
144
145(defun %fasl-read-utf-8-string (s string nchars nextra)
146  (declare (fixnum nchars nextra))
147  (if (eql 0 nextra)
148    (dotimes (i nchars)
149      (setf (%scharcode string i) (%fasl-read-byte s)))
150    (flet ((trailer-byte ()
151             (when (> nextra 0)
152               (decf nextra)
153               (let* ((b (%fasl-read-byte s)))
154                 (declare ((unsigned-byte 8) b))
155                 (and (>= b #x80)
156                      (< b #xc0)
157                      (logand b #x3f))))))
158      (declare (inline trailer-byte))
159      (dotimes (i nchars)
160        (let* ((b0 (%fasl-read-byte s)))
161          (declare ((unsigned-byte 8) b0))
162          (setf (%scharcode string i)
163                (or
164                 (cond ((< b0 #x80) b0)
165                       ((and (>= b0 #xc2)
166                             (< b0 #xe0))
167                        (let* ((b1 (trailer-byte)))
168                          (and b1 (logior (ash (logand b0 #x1f) 6) b1))))
169                       ((and (>= b0 #xe0)
170                             (< b0 #xf0))
171                        (let* ((b1 (trailer-byte))
172                               (b2 (trailer-byte)))
173                          (and b1 b2 (logior (ash (logand b0 #x0f) 12)
174                                             (logior (ash b1 6)
175                                                     b2)))))
176                       ((and (>= b0 #xf0)
177                             (< b0 #xf5))
178                        (let* ((b1 (trailer-byte))
179                               (b2 (trailer-byte))
180                               (b3 (trailer-byte)))
181                          (and b1
182                               b2
183                               b3
184                               (logior (ash (logand b0 #x7) 18)
185                                       (logior (ash b1 12)
186                                               (logior (ash b2 6)
187                                                       b3)))))))
188                 (char-code #\Replacement_Character))))))))
189
190
191(defun %fasl-vreadstr (s)
192  (let* ((nchars (%fasl-read-count s))
193         (nextra (%fasl-read-count s))
194         (copy t)
195         (n nchars)
196         (str (faslstate.faslstr s)))
197    (declare (fixnum nchars n nextra))
198    (if (> n (length str))
199      (setq str (make-string n :element-type 'base-char))
200      (setq copy nil))
201    (%fasl-read-utf-8-string s str nchars nextra)
202    (values str nchars copy)))
203
204
205(defun %fasl-read-n-string (s string start n)
206  (declare (fixnum start n))
207  (do* ((i start (1+ i))
208        (n n (1- n)))
209       ((<= n 0))
210    (declare (fixnum i n))
211    (setf (%scharcode string i) (%fasl-read-byte s))))
212
213(defun %fasl-nvreadstr (s)
214  (let* ((nchars (%fasl-read-count s))
215         (copy t)
216         (n nchars)
217         (str (faslstate.faslstr s)))
218    (declare (fixnum n nchars))
219    (if (> n (length str))
220        (setq str (make-string n :element-type 'base-char))
221        (setq copy nil))
222    (%fasl-read-n-string  s str 0 nchars)
223    (values str n copy)))
224
225(defun %fasl-copystr (str len)
226  (declare (fixnum len))
227  (let* ((new (make-string len :element-type 'base-char)))
228    (declare (simple-base-string new))
229    (declare (optimize (speed 3)(safety 0)))
230    (dotimes (i len new)
231      (setf (schar new i) (schar str i)))))
232
233(defun %fasl-dispatch (s op)
234  (declare (fixnum op)) 
235  (setf (faslstate.faslepush s) (logbitp $fasl-epush-bit op))
236  #+debug
237  (format t "~& dispatch: op = ~d at ~x" (logand op (lognot (ash 1 $fasl-epush-bit)))
238          (1- (%fasl-get-file-pos s)))
239  (funcall (svref (faslstate.fasldispatch s) (logand op (lognot (ash 1 $fasl-epush-bit)))) 
240           s))
241
242(defun %fasl-expr (s)
243  (%fasl-dispatch s (%fasl-read-byte s))
244  (faslstate.faslval s))
245
246(defun %fasl-expr-preserve-epush (s)
247  (let* ((epush (faslstate.faslepush s))
248         (val (%fasl-expr s)))
249    (setf (faslstate.faslepush s) epush)
250    val))
251
252
253(defun %fasl-vmake-symbol (s &optional idx)
254  (let* ((n (%fasl-read-count s))
255         (nextra (%fasl-read-count s))
256         (str (make-string n :element-type 'base-char)))
257    (declare (fixnum n))
258    (%fasl-read-utf-8-string s str n nextra)
259    (let* ((sym (make-symbol str)))
260      (when idx (ensure-binding-index sym))
261      (%epushval s sym))))
262
263(defun %fasl-nvmake-symbol (s &optional idx)
264  (let* ((n (%fasl-read-count s))
265         (str (make-string n :element-type 'base-char)))
266    (declare (fixnum n))
267    (%fasl-read-n-string s str 0 n)
268    (let* ((sym (make-symbol str)))
269      (when idx (ensure-binding-index sym))
270      (%epushval s sym))))
271
272(defun %fasl-vintern (s package &optional binding-index)
273  (multiple-value-bind (str len new-p) (%fasl-vreadstr s)
274    (with-package-lock (package)
275      (multiple-value-bind (symbol access internal-offset external-offset)
276          (%find-symbol str len package)
277        (unless access
278          (unless new-p (setq str (%fasl-copystr str len)))
279          (setq symbol (%add-symbol str package internal-offset external-offset)))
280        (when binding-index
281          (ensure-binding-index symbol))
282        (%epushval s symbol)))))
283
284(defun %fasl-nvintern (s package &optional binding-index)
285  (multiple-value-bind (str len new-p) (%fasl-nvreadstr s)
286    (with-package-lock (package)
287      (multiple-value-bind (symbol access internal-offset external-offset)
288          (%find-symbol str len package)
289        (unless access
290          (unless new-p (setq str (%fasl-copystr str len)))
291          (setq symbol (%add-symbol str package internal-offset external-offset)))
292        (when binding-index
293          (ensure-binding-index symbol))
294        (%epushval s symbol)))))
295
296(defvar *package-refs*)
297(setq *package-refs* (make-hash-table :test #'equal))
298(defvar *package-refs-lock*)
299(setq *package-refs-lock* (make-lock))
300
301(defun register-package-ref (name)
302  (unless (typep name 'string)
303    (report-bad-arg name 'string))
304  (let* ((ref
305          (or (gethash name *package-refs*)
306              (with-lock-grabbed (*package-refs-lock*)
307                (or
308                 (gethash name *package-refs*) ; check again
309                 (let* ((r (make-package-ref name)))
310                   (setf (gethash name *package-refs*) r)))))))
311    (unless (package-ref.pkg ref)
312      (setf (package-ref.pkg ref) (find-package name)))
313    ref))
314
315
316(dolist (p %all-packages%)
317  (dolist (name (pkg.names p))
318    (setf (package-ref.pkg (register-package-ref name)) p)))
319
320
321(defun find-package (name)
322  (if (typep  name 'package)
323    name
324    (%find-pkg (string name))))
325
326(defun %pkg-ref-find-package (ref)
327  (package-ref.pkg ref))
328
329(defun set-package (name &aux (pkg (find-package name)))
330  (if pkg
331    (setq *package* pkg)
332    (set-package (%kernel-restart $xnopkg name))))
333
334 
335(defun %find-pkg (name &optional (len (length name)))
336  (declare (fixnum len))
337  (with-package-list-read-lock
338      (dolist (p %all-packages%)
339        (if (dolist (pkgname (pkg.names p))
340              (when (and (= (the fixnum (length pkgname)) len)
341                         (dotimes (i len t)
342                           ;; Aref: allow non-simple strings
343                           (unless (eq (aref name i) (schar pkgname i))
344                             (return))))
345                (return t)))
346          (return p)))))
347
348
349
350(defun pkg-arg (thing &optional deleted-ok)
351  (let* ((xthing (cond ((or (symbolp thing) (typep thing 'character))
352                        (string thing))
353                       ((typep thing 'string)
354                        (ensure-simple-string thing))
355                       (t
356                        thing))))
357    (let* ((typecode (typecode xthing)))
358        (declare (fixnum typecode))
359        (cond ((= typecode target::subtag-package)
360               (if (or deleted-ok (pkg.names xthing))
361                 xthing
362                 (error "~S is a deleted package ." thing)))
363              ((= typecode target::subtag-simple-base-string)
364               (or (%find-pkg xthing)
365                   (%kernel-restart $xnopkg xthing)))
366              (t (report-bad-arg thing 'simple-string))))))
367
368(defun %fasl-vpackage (s)
369  (multiple-value-bind (str len new-p) (%fasl-vreadstr s)
370    (let* ((p (%find-pkg str len)))
371      (%epushval s (or p (%kernel-restart $XNOPKG (if new-p str (%fasl-copystr str len))))))))
372
373
374(defun %fasl-nvpackage (s)
375  (multiple-value-bind (str len new-p) (%fasl-nvreadstr s)
376    (let* ((p (%find-pkg str len)))
377      (%epushval s (or p  (%kernel-restart $XNOPKG (if new-p str (%fasl-copystr str len))))))))
378
379(defun %fasl-vlistX (s dotp)
380  (let* ((len (%fasl-read-count s)))
381    (declare (fixnum len))
382    (let* ((val (%epushval s (cons nil nil)))
383           (tail val))
384      (declare (type cons val tail))
385      (setf (car val) (%fasl-expr s))
386      (dotimes (i len)
387        (setf (cdr tail) (setq tail (cons (%fasl-expr s) nil))))
388      (if dotp
389        (setf (cdr tail) (%fasl-expr s)))
390      (setf (faslstate.faslval s) val))))
391
392(deffaslop $fasl-noop (s)
393  (%cant-epush s))
394
395
396(deffaslop $fasl-vetab-alloc (s)
397  (%cant-epush s)
398  (setf (faslstate.faslevec s) (make-array (the fixnum (%fasl-read-count s)))
399        (faslstate.faslecnt s) 0))
400
401(deffaslop $fasl-platform (s)
402  (%cant-epush s)
403  (let* ((platform (%fasl-expr s))
404         (host-platform (%get-kernel-global 'host-platform)))
405    (declare (fixnum platform host-platform))
406    (unless (= platform host-platform)
407      (error "Not a native fasl file : ~s" (faslstate.faslfname s)))))
408
409
410(deffaslop $fasl-veref (s)
411  (let* ((idx (%fasl-read-count s)))
412    (declare (fixnum idx))
413    (if (>= idx (the fixnum (faslstate.faslecnt s)))
414      (%bad-fasl s))
415    (%epushval s (svref (faslstate.faslevec s) idx))))
416
417#+x86-target
418;;; Read a "concatenated" lisp function, in which the machine code
419;;; and constants are both contained in the same underlying uvector.
420(deffaslop $fasl-clfun (s)
421  (let* ((size-in-elements (%fasl-read-count s))
422         (size-of-code (%fasl-read-count s))
423         (vector (%alloc-misc size-in-elements target::subtag-function))
424         (function (function-vector-to-function vector)))
425    (declare (fixnum size-in-elements size-of-code))
426    (%epushval s function)
427    (%fasl-read-n-bytes s vector 0 (ash size-of-code target::word-shift))
428    #+x8632-target
429    (%update-self-references vector)
430    (do* ((numconst (- size-in-elements size-of-code))
431          (i 0 (1+ i))
432          (constidx size-of-code (1+ constidx)))
433         ((= i numconst)
434          (setf (faslstate.faslval s) function))
435      (declare (fixnum i numconst constidx))
436      (setf (%svref vector constidx) (%fasl-expr s)))))
437   
438   
439(deffaslop $fasl-lfuncall (s)
440  (let* ((fun (%fasl-expr-preserve-epush s)))
441    ;(break "fun = ~s" fun)
442     (%epushval s (funcall fun))))
443
444(deffaslop $fasl-globals (s)
445  (setf (faslstate.faslgsymbols s) (%fasl-expr s)))
446
447(deffaslop $fasl-char (s)
448  (%epushval s (code-char (%fasl-read-count s))))
449
450;;; Deprecated
451(deffaslop $fasl-fixnum (s)
452  (%epushval
453   s
454   (logior (the fixnum (ash (the fixnum (%word-to-int (%fasl-read-word s)))
455                            16))
456           (the fixnum (%fasl-read-word s))) ))
457
458(deffaslop $fasl-s32 (s)
459  (%epushval s (%fasl-read-signed-long s)))
460
461(deffaslop $fasl-s64 (s)
462  (%epushval s (logior (ash (%fasl-read-signed-long s) 32)
463                       (%fasl-read-long s))))
464
465(deffaslop $fasl-dfloat (s)
466  ;; A double-float is a 3-element "misc" object.
467  ;; Element 0 is always 0 and exists solely to keep elements 1 and 2
468  ;; aligned on a 64-bit boundary.
469  (%epushval s (double-float-from-bits (%fasl-read-long s) (%fasl-read-long s))))
470
471(deffaslop $fasl-sfloat (s)
472  (%epushval s (host-single-float-from-unsigned-byte-32 (%fasl-read-long s))))
473
474(deffaslop $fasl-vstr (s)
475  (let* ((nchars (%fasl-read-count s))
476         (nextra (%fasl-read-count s))
477         (str (make-string (the fixnum nchars) :element-type 'base-char)))
478    (%epushval s str)
479    (%fasl-read-utf-8-string s str nchars nextra)))
480
481
482(deffaslop $fasl-nvstr (s)
483  (let* ((n (%fasl-read-count s))
484         (str (make-string (the fixnum n) :element-type 'base-char)))
485    (%epushval s str)
486    (%fasl-read-n-string s str 0 n)))
487
488(deffaslop $fasl-word-fixnum (s)
489  (%epushval s (%word-to-int (%fasl-read-word s))))
490
491(deffaslop $fasl-vmksym (s)
492  (%fasl-vmake-symbol s))
493
494(deffaslop $fasl-nvmksym (s)
495  (%fasl-nvmake-symbol s))
496
497(deffaslop $fasl-vmksym-special (s)
498  (%fasl-vmake-symbol s t))
499
500(deffaslop $fasl-nvmksym-special (s)
501  (%fasl-nvmake-symbol s t))
502
503(deffaslop $fasl-vintern (s)
504  (%fasl-vintern s *package*))
505
506(deffaslop $fasl-nvintern (s)
507  (%fasl-nvintern s *package*))
508
509(deffaslop $fasl-vintern-special (s)
510  (%fasl-vintern s *package* t))
511
512(deffaslop $fasl-nvintern-special (s)
513  (%fasl-nvintern s *package* t))
514
515
516
517
518(deffaslop $fasl-vpkg-intern (s)
519  (let* ((pkg (%fasl-expr-preserve-epush s)))
520    #+paranoia
521    (setq pkg (pkg-arg pkg))
522    (%fasl-vintern s pkg)))
523
524(deffaslop $fasl-nvpkg-intern (s)
525  (let* ((pkg (%fasl-expr-preserve-epush s)))
526    #+paranoia
527    (setq pkg (pkg-arg pkg))
528    (%fasl-nvintern s pkg)))
529
530(deffaslop $fasl-vpkg-intern-special (s)
531  (let* ((pkg (%fasl-expr-preserve-epush s)))
532    #+paranoia
533    (setq pkg (pkg-arg pkg))
534    (%fasl-vintern s pkg t)))
535
536(deffaslop $fasl-nvpkg-intern-special (s)
537  (let* ((pkg (%fasl-expr-preserve-epush s)))
538    #+paranoia
539    (setq pkg (pkg-arg pkg))
540    (%fasl-nvintern s pkg t)))
541
542(deffaslop $fasl-vpkg (s)
543  (%fasl-vpackage s))
544
545(deffaslop $fasl-nvpkg (s)
546  (%fasl-nvpackage s))
547
548(deffaslop $fasl-cons (s)
549  (let* ((cons (%epushval s (cons nil nil))))
550    (declare (type cons cons))
551    (setf (car cons) (%fasl-expr s)
552          (cdr cons) (%fasl-expr s))
553    (setf (faslstate.faslval s) cons)))
554
555(deffaslop $fasl-vlist (s)
556  (%fasl-vlistX s nil))
557
558(deffaslop $fasl-vlist* (s)
559  (%fasl-vlistX s t))
560
561(deffaslop $fasl-nil (s)
562  (%epushval s nil))
563
564(deffaslop $fasl-timm (s)
565  (rlet ((p :int))
566    (setf (%get-long p) (%fasl-read-long s))
567    (%epushval s (%get-unboxed-ptr p))))
568
569(deffaslop $fasl-symfn (s)
570  (%epushval s (%function (%fasl-expr-preserve-epush s))))
571   
572(deffaslop $fasl-eval (s)
573  (%epushval s (eval (%fasl-expr-preserve-epush s))))
574
575;;; For bootstrapping. The real version is cheap-eval in l1-readloop
576(when (not (fboundp 'eval))
577  (defun eval (form)
578    (if (and (listp form)
579             (let ((f (%car form)))
580               (and (symbolp f)
581                    (functionp (fboundp f)))))
582      (do* ((tail (%cdr form) (%cdr tail)))
583           ((null tail) (apply (%car form) (%cdr form)))
584        (let* ((head (car tail)))
585          (when (and (consp head) (eq (car head) 'quote))
586            (setf (car tail) (cadr head)))))
587      (error "Can't eval yet: ~s" form))))
588
589
590(deffaslop $fasl-vivec (s)
591  (let* ((subtag (%fasl-read-byte s))
592         (element-count (%fasl-read-count s))
593         (size-in-bytes (subtag-bytes subtag element-count))
594         (vector (%alloc-misc element-count subtag))
595         (byte-offset (or #+32-bit-target (if (= subtag target::subtag-double-float-vector) 4) 0)))
596    (declare (fixnum subtag element-count size-in-bytes))
597    (%epushval s vector)
598    (%fasl-read-n-bytes s vector byte-offset size-in-bytes)
599    vector))
600
601(defun fasl-read-ivector (s subtag)
602  (let* ((element-count (%fasl-read-count s))
603         (size-in-bytes (subtag-bytes subtag element-count))
604         (vector (%alloc-misc element-count subtag)))
605    (declare (fixnum subtag element-count size-in-bytes))
606    (%epushval s vector)
607    (%fasl-read-n-bytes s vector 0 size-in-bytes)
608    vector))
609 
610(deffaslop $fasl-u8-vector (s)
611  (fasl-read-ivector s target::subtag-u8-vector))
612
613(deffaslop $fasl-s8-vector (s)
614  (fasl-read-ivector s target::subtag-s8-vector))
615
616(deffaslop $fasl-u16-vector (s)
617  (fasl-read-ivector s target::subtag-u16-vector))
618
619(deffaslop $fasl-s16-vector (s)
620  (fasl-read-ivector s target::subtag-s16-vector))
621
622(deffaslop $fasl-u32-vector (s)
623  (fasl-read-ivector s target::subtag-u32-vector))
624
625(deffaslop $fasl-s32-vector (s)
626  (fasl-read-ivector s target::subtag-s32-vector))
627
628#+64-bit-target
629(deffaslop $fasl-u64-vector (s)
630  (fasl-read-ivector s target::subtag-u64-vector))
631
632#+64-bit-target
633(deffaslop $fasl-u64-vector (s)
634  (fasl-read-ivector s target::subtag-s64-vector))
635
636(deffaslop $fasl-bit-vector (s)
637  (fasl-read-ivector s target::subtag-bit-vector))
638
639(deffaslop $fasl-bignum32 (s)
640  (let* ((element-count (%fasl-read-count s))
641         (size-in-bytes (* element-count 4))
642         (num (%alloc-misc element-count target::subtag-bignum)))
643    (declare (fixnum element-count size-in-bytes))
644    (%fasl-read-n-bytes s num 0 size-in-bytes)
645    (setq num (%normalize-bignum-2 t num))
646    (%epushval s num)
647    num))
648
649(deffaslop $fasl-single-float-vector (s)
650  (fasl-read-ivector s target::subtag-single-float-vector))
651
652(deffaslop $fasl-double-float-vector (s)
653  #+64-bit-target
654  (fasl-read-ivector s target::subtag-double-float-vector)
655  #+32-bit-target
656  (let* ((element-count (%fasl-read-count s))
657         (size-in-bytes (subtag-bytes target::subtag-double-float-vector
658                                      element-count))
659         (vector (%alloc-misc element-count
660                              target::subtag-double-float-vector)))
661    (declare (fixnum element-count size-in-bytes))
662    (%epushval s vector)
663    (%fasl-read-n-bytes s vector (- target::misc-dfloat-offset
664                                    target::misc-data-offset)
665                        size-in-bytes)
666    vector))
667
668
669
670#-x86-target
671(deffaslop $fasl-code-vector (s)
672  (let* ((element-count (%fasl-read-count s))
673         (size-in-bytes (* 4 element-count))
674         (vector (allocate-typed-vector :code-vector element-count)))
675    (declare (fixnum element-count size-in-bytes))
676    (%epushval s vector)
677    (%fasl-read-n-bytes s vector 0 size-in-bytes)
678    (%make-code-executable vector)
679    vector))
680
681(defun fasl-read-gvector (s subtype)
682  (let* ((n (%fasl-read-count s))
683         (vector (%alloc-misc n subtype)))
684    (declare (fixnum n subtype))
685    (%epushval s vector)
686    (dotimes (i n (setf (faslstate.faslval s) vector))
687      (setf (%svref vector i) (%fasl-expr s)))))
688
689(deffaslop $fasl-vgvec (s)
690  (let* ((subtype (%fasl-read-byte s)))
691    (fasl-read-gvector s subtype)))
692 
693(deffaslop $fasl-ratio (s)
694  (let* ((r (%alloc-misc target::ratio.element-count target::subtag-ratio)))
695    (%epushval s r)
696    (setf (%svref r target::ratio.numer-cell) (%fasl-expr s)
697          (%svref r target::ratio.denom-cell) (%fasl-expr s))
698    (setf (faslstate.faslval s) r)))
699
700(deffaslop $fasl-complex (s)
701  (let* ((c (%alloc-misc target::complex.element-count
702                         target::subtag-complex)))
703    (%epushval s c)
704    (setf (%svref c target::complex.realpart-cell) (%fasl-expr s)
705          (%svref c target::complex.imagpart-cell) (%fasl-expr s))
706    (setf (faslstate.faslval s) c)))
707
708(deffaslop $fasl-t-vector (s)
709  (fasl-read-gvector s target::subtag-simple-vector))
710
711(deffaslop $fasl-function (s)
712  (fasl-read-gvector s target::subtag-function))
713
714(deffaslop $fasl-istruct (s)
715  (fasl-read-gvector s target::subtag-istruct))
716
717(deffaslop $fasl-vector-header (s)
718  (fasl-read-gvector s target::subtag-vectorH))
719
720(deffaslop $fasl-array-header (s)
721  (fasl-read-gvector s target::subtag-arrayH))
722
723
724(deffaslop $fasl-defun (s)
725  (%cant-epush s)
726  (%defun (%fasl-expr s) (%fasl-expr s)))
727
728(deffaslop $fasl-macro (s)
729  (%cant-epush s)
730  (%macro (%fasl-expr s) (%fasl-expr s)))
731
732(deffaslop $fasl-defconstant (s)
733  (%cant-epush s)
734  (%defconstant (%fasl-expr s) (%fasl-expr s) (%fasl-expr s)))
735
736(deffaslop $fasl-defparameter (s)
737  (%cant-epush s)
738  (let* ((sym (%fasl-expr s))
739         (val (%fasl-expr s)))
740    (%defvar sym (%fasl-expr s))
741    (set sym val)))
742
743;;; (defvar var)
744(deffaslop $fasl-defvar (s)
745  (%cant-epush s)
746  (%defvar (%fasl-expr s)))
747
748;;; (defvar var initfom doc)
749(deffaslop $fasl-defvar-init (s)
750  (%cant-epush s)
751  (let* ((sym (%fasl-expr s))
752         (val (%fasl-expr s)))
753    (unless (%defvar sym (%fasl-expr s))
754      (set sym val))))
755
756
757(deffaslop $fasl-prog1 (s)
758  (let* ((val (%fasl-expr s)))
759    (%fasl-expr s)
760    (setf (faslstate.faslval s) val)))
761
762
763
764(deffaslop $fasl-src (s)
765  (%cant-epush s)
766  (let* ((source-file (%fasl-expr s)))
767    ; (format t "~& source-file = ~s" source-file)
768    (setq *loading-file-source-file* source-file)))
769
770(deffaslop $fasl-toplevel-location (s)
771  (%cant-epush s)
772  (setq *loading-toplevel-location* (%fasl-expr s)))
773
774(defvar *modules* nil)
775
776;;; Bootstrapping version
777(defun provide (module-name)
778  (push (string module-name) *modules*))
779
780(deffaslop $fasl-provide (s)
781  (provide (%fasl-expr s)))
782
783(deffaslop $fasl-istruct-cell (s)
784  (%epushval s (register-istruct-cell (%fasl-expr-preserve-epush s))))
785
786
787
788;;; files compiled with code coverage do this
789;; list of lfuns and (source-fn-name . vector-of-lfuns), the latter put there by fasloading.
790(defvar *code-covered-functions* nil)
791
792(defun register-code-covered-functions (functions)
793  ;; unpack the parent-note references - see comment at fcomp-digest-code-notes
794  (labels ((reg (lfun refs)
795             (unless (memq lfun refs)
796               (let* ((lfv (function-to-function-vector lfun))
797                      (start #+ppc-target 0 #+x86-target (%function-code-words lfun))
798                      (refs (cons lfun refs)))
799                 (declare (dynamic-extent refs))
800                 (loop for i from start below (uvsize lfv) as imm = (uvref lfv i)
801                       do (typecase imm
802                            (code-note
803                             (let ((parent (code-note-parent-note imm)))
804                               (when (integerp parent)
805                                 (setf (code-note-parent-note imm) (uvref lfv parent)))))
806                            (function (reg imm refs))))))))
807    (loop for fn across functions do (reg fn nil)))
808  (let ((a (assoc (pathname *loading-file-source-file*)
809                  *code-covered-functions*
810                  :test #'(lambda (p q)
811                            (and (equalp (pathname-name p) (pathname-name q))
812                                 ;; same name, so worth trying harder to match 'em up.
813                                 (or (equal p q)
814                                     (let ((p (full-pathname p)) (q (full-pathname q)))
815                                       (and p q (equalp p q)))
816                                     (let ((p (probe-file p)) (q (probe-file q)))
817                                       (and p q (equalp p q)))))))))
818    (when (null a)
819      (push (setq a (list nil nil)) *code-covered-functions*))
820    (setf (car a) *loading-file-source-file* (cdr a) functions))
821  nil)
822
823;;; The loader itself
824
825(defun %simple-fasl-set-file-pos (s new)
826  (let* ((fd (faslstate.faslfd s))
827         (posoffset (fd-tell fd)))
828    (if (>= (decf posoffset new) 0)
829      (let* ((count (faslstate.bufcount s)))
830        (if (>= (decf count posoffset ) 0)
831          (progn
832            (setf (faslstate.bufcount s) posoffset)
833            (incf #+32-bit-target (%get-long (faslstate.iobuffer s))
834                  #+64-bit-target (%%get-signed-longlong (faslstate.iobuffer s)
835                                                        0)
836                  count)
837            (return-from %simple-fasl-set-file-pos nil)))))
838    (progn
839      (setf (faslstate.bufcount s) 0)
840      (fd-lseek fd new #$SEEK_SET))))
841
842(defun %simple-fasl-get-file-pos (s)
843  (- (fd-tell (faslstate.faslfd s)) (faslstate.bufcount s)))
844
845(defparameter *%fasload-verbose* t)
846
847;;; the default fasl file opener sets up the fasl state and checks the header
848(defun %simple-fasl-open (string s)
849  (let* ((ok nil)
850         (fd (fd-open string #$O_RDONLY))
851         (err 0))
852    (declare (fixnum fd))
853    (if (>= fd 0)
854      (if (< (fd-lseek fd 0 #$SEEK_END) 4)
855        (setq err $xnotfasl)
856        (progn
857          (setq err 0)
858          (setf (faslstate.bufcount s) 0
859                (faslstate.faslfd s) fd)
860          (fd-lseek fd 0 #$SEEK_SET)
861          (multiple-value-setq (ok err) (%fasl-check-header s))))
862      (setq err fd))
863    (unless (eql err 0) (setf (faslstate.faslerr s) err))
864    ok))
865
866;;; once the fasl state is set up, this checks the fasl header and
867;;; returns (values ok err)
868(defun %fasl-check-header (s)
869  (let* ((signature (%fasl-read-word s)))
870    (declare (fixnum signature))
871    (if (= signature $fasl-file-id)
872        (values t 0)
873      (if (= signature $fasl-file-id1)
874          (progn
875            (%fasl-set-file-pos s (%fasl-read-long s))
876            (values t 0))
877        (values nil $xnotfasl)))))
878
879(defun %simple-fasl-close (s)
880  (let* ((fd (faslstate.faslfd s)))
881    (when fd (fd-close fd))))
882
883(defun %simple-fasl-init-buffer (s)
884  (declare (ignore s))
885  nil)
886
887(defvar *fasl-api* nil)
888(setf *fasl-api* (%istruct 'faslapi
889                           #'%simple-fasl-open
890                           #'%simple-fasl-close
891                           #'%simple-fasl-init-buffer
892                           #'%simple-fasl-set-file-pos
893                           #'%simple-fasl-get-file-pos
894                           #'%simple-fasl-read-buffer
895                           #'%simple-fasl-read-byte
896                           #'%simple-fasl-read-n-bytes))
897
898(defun %fasl-open (string s)
899  (funcall (faslapi.fasl-open *fasl-api*) string s))
900(defun %fasl-close (s)
901  (funcall (faslapi.fasl-close *fasl-api*) s))
902(defun %fasl-init-buffer (s)
903  (funcall (faslapi.fasl-init-buffer *fasl-api*) s))
904(defun %fasl-set-file-pos (s new)
905  (funcall (faslapi.fasl-set-file-pos *fasl-api*) s new))
906(defun %fasl-get-file-pos (s)
907  (funcall (faslapi.fasl-get-file-pos *fasl-api*) s))
908(defun %fasl-read-buffer (s)
909  (funcall (faslapi.fasl-read-buffer *fasl-api*) s))
910(defun %fasl-read-byte (s)
911  (funcall (faslapi.fasl-read-byte *fasl-api*) s))
912(defun %fasl-read-n-bytes (s ivector byte-offset n)
913  (funcall (faslapi.fasl-read-n-bytes *fasl-api*) s ivector byte-offset n))
914
915(defun %fasload (string &optional (table *fasl-dispatch-table*))
916  ;;(dbg string)
917  (when (and *%fasload-verbose*
918             (not *load-verbose*))
919    (%string-to-stderr ";Loading ") (pdbg string))
920  (let* ((s (%istruct
921             'faslstate
922             nil
923             nil
924             nil
925             nil
926             nil
927             nil
928             nil
929             nil
930             nil
931             nil
932             nil
933             nil
934             nil
935             nil)))
936    (declare (dynamic-extent s))
937    (setf (faslstate.faslfname s) string)
938    (setf (faslstate.fasldispatch s) table)
939    (setf (faslstate.faslversion s) 0)
940    (%stack-block ((buffer (+ target::node-size $fasl-buf-len)))
941      (setf (faslstate.iobuffer s) buffer)
942      (%fasl-init-buffer s)
943      (let* ((parse-string (make-string 255 :element-type 'base-char)))
944        (declare (dynamic-extent parse-string))
945        (setf (faslstate.oldfaslstr s) nil
946              (faslstate.faslstr s) parse-string)
947        (unwind-protect
948             (when (%fasl-open string s)
949               (let* ((nblocks (%fasl-read-word s)))
950                 (declare (fixnum nblocks))
951                 (unless (= nblocks 0)
952                   (let* ((pos (%fasl-get-file-pos s)))
953                     (dotimes (i nblocks)
954                       (%fasl-set-file-pos s pos)
955                       (%fasl-set-file-pos s (%fasl-read-long s))
956                       (incf pos 8)
957                       (let* ((version (%fasl-read-word s)))
958                         (declare (fixnum version))
959                         (if (or (> version (+ #xff00 $fasl-vers))
960                                 (< version (+ #xff00 $fasl-min-vers)))
961                           (%err-disp (if (>= version #xff00) $xfaslvers $xnotfasl))
962                           (progn
963                             (setf (faslstate.faslversion s) version)
964                             (%fasl-read-word s) 
965                             (%fasl-read-word s) ; Ignore kernel version stuff
966                             (setf (faslstate.faslevec s) nil
967                                   (faslstate.faslecnt s) 0)
968                             (do* ((op (%fasl-read-byte s) (%fasl-read-byte s)))
969                                  ((= op $faslend))
970                               (declare (fixnum op))
971                               (%fasl-dispatch s op))))))))))
972          (%fasl-close s))
973        (let* ((err (faslstate.faslerr s)))
974          (if err
975            (progn
976              (when *%fasload-verbose*
977                (let* ((herald ";!!Error loading ")
978                       (hlen (length herald))
979                       (len (length string))
980                       (msg (make-string (+ hlen len))))
981                  (declare (dynamic-extent msg))
982                  (%copy-ivector-to-ivector herald 0 msg 0 (* hlen 4))
983                  (%copy-ivector-to-ivector string 0 msg (* hlen 4) (* len 4))
984                  (bug msg)))
985              (values nil err))
986            (values t nil)))))))
987
988
989(defun %new-package-hashtable (size)
990  (%initialize-htab (cons nil (cons 0 0)) size))
991
992(defun %initialize-htab (htab size)
993  (declare (fixnum size))
994  ;; Ensure that "size" is relatively prime to all secondary hash values.
995  ;; If it's small enough, pick the next highest known prime out of the
996  ;; "primsizes" array.  Otherwize, iterate through all all of "hprimes"
997  ;; until we find something relatively prime to all of them.
998  (setq size
999        (if (> size 32749)
1000          (do* ((nextsize (logior 1 size) (+ nextsize 2)))
1001               ()
1002            (declare (fixnum nextsize))
1003            (when (dotimes (i 8 t)
1004                    (unless (eql 1 (gcd nextsize (uvref #.$hprimes i)))
1005                      (return)))
1006              (return nextsize)))
1007          (dotimes (i (the fixnum (length #.$primsizes)))
1008            (let* ((psize (uvref #.$primsizes i)))
1009              (declare (fixnum psize))
1010              (if (>= psize size) 
1011                (return psize))))))
1012  (setf (htvec htab) (make-array size #|:initial-element 0|#))
1013  (setf (htcount htab) 0)
1014  (setf (htlimit htab) (the fixnum (- size (the fixnum (ash size -3)))))
1015  htab)
1016
1017
1018(defun %resize-htab (htab)
1019  (declare (optimize (speed 3) (safety 0)))
1020  (without-interrupts
1021   (let* ((old-vector (htvec htab))
1022          (old-len (length old-vector)))
1023     (declare (fixnum old-len)
1024              (simple-vector old-vector))
1025     (let* ((nsyms 0))
1026       (declare (fixnum nsyms))
1027       (dovector (s old-vector)
1028         (when (symbolp s) (incf nsyms)))
1029       (%initialize-htab htab 
1030                         (the fixnum (+ 
1031                                      (the fixnum 
1032                                        (+ nsyms (the fixnum (ash nsyms -2))))
1033                                      2)))
1034       (let* ((new-vector (htvec htab))
1035              (nnew 0))
1036         (declare (fixnum nnew)
1037                  (simple-vector new-vector))
1038         (dotimes (i old-len (setf (htcount htab) nnew))
1039           (let* ((s (svref old-vector i)))
1040               (if (symbolp s)
1041                 (let* ((pname (symbol-name s)))
1042                   (setf (svref 
1043                          new-vector 
1044                          (nth-value 
1045                           2
1046                           (%get-htab-symbol 
1047                            pname
1048                            (length pname)
1049                            htab)))
1050                         s)
1051                   (incf nnew)))))
1052         htab)))))
1053       
1054(defun hash-pname (str len)
1055  (declare (optimize (speed 3) (safety 0)))
1056  (let* ((primary (%pname-hash str len)))
1057    (declare (fixnum primary))
1058    (values primary (aref (the (simple-array (unsigned-byte 16) (8)) $hprimes) (logand primary 7)))))
1059   
1060
1061
1062(defun %get-hashed-htab-symbol (str len htab primary secondary)
1063  (declare (optimize (speed 3) (safety 0))
1064           (fixnum primary secondary len))
1065  (let* ((vec (htvec htab))
1066         (vlen (length vec)))
1067    (declare (fixnum vlen))
1068    (do* ((idx (fast-mod primary vlen) (+ i secondary))
1069          (i idx (if (>= idx vlen) (- idx vlen) idx))
1070          (elt (svref vec i) (svref vec i)))
1071         ((eql elt 0) (values nil nil i))
1072      (declare (fixnum i idx))
1073      (when (symbolp elt)
1074        (let* ((pname (symbol-name elt)))
1075          (if (and 
1076               (= (the fixnum (length pname)) len)
1077               (dotimes (j len t)
1078                 (unless (eq (aref str j) (schar pname j))
1079                   (return))))
1080            (return (values t (%symptr->symbol elt) i))))))))
1081
1082(defun %get-htab-symbol (string len htab)
1083  (declare (optimize (speed 3) (safety 0)))
1084  (multiple-value-bind (p s) (hash-pname string len)
1085    (%get-hashed-htab-symbol string len htab p s)))
1086
1087(defun %find-symbol (string len package)
1088  (declare (optimize (speed 3) (safety 0)))
1089  (multiple-value-bind (found-p sym internal-offset)
1090                       (%get-htab-symbol string len (pkg.itab package))
1091    (if found-p
1092      (values sym :internal internal-offset nil)
1093      (multiple-value-bind (found-p sym external-offset)
1094                           (%get-htab-symbol string len (pkg.etab package))
1095        (if found-p
1096          (values sym :external internal-offset external-offset)
1097          (dolist (p (pkg.used package) (values nil nil internal-offset external-offset))
1098            (multiple-value-bind (found-p sym)
1099                                 (%get-htab-symbol string len (pkg.etab p))
1100              (when found-p
1101                (return (values sym :inherited internal-offset external-offset))))))))))
1102         
1103(defun %htab-add-symbol (symbol htab idx)
1104  (declare (optimize (speed 3) (safety 0)))
1105  (setf (svref (htvec htab) idx) (%symbol->symptr symbol))
1106  (if (>= (incf (the fixnum (htcount htab)))
1107          (the fixnum (htlimit htab)))
1108    (%resize-htab htab))
1109  symbol)
1110
1111(defun %set-symbol-package (symbol package-or-nil)
1112  (declare (optimize (speed 3) (safety 0)))
1113  (let* ((symvec (symptr->symvector (%symbol->symptr symbol)))
1114         (old-pp (%svref symvec target::symbol.package-predicate-cell)))
1115    (if (consp old-pp)
1116      (setf (car old-pp) package-or-nil)
1117      (setf (%svref symvec target::symbol.package-predicate-cell) package-or-nil))))
1118
1119
1120(let* ((force-export-packages (list *keyword-package*))
1121       (force-export-packages-lock (make-lock)))
1122  (defun force-export-packages ()
1123    (with-lock-grabbed (force-export-packages-lock)
1124      (copy-list force-export-packages)))
1125  (defun package-force-export (p)
1126    (let* ((pkg (pkg-arg p)))
1127      (with-lock-grabbed (force-export-packages-lock)
1128        (pushnew pkg force-export-packages))
1129    pkg))
1130  (defun force-export-package-p (pkg)
1131    (with-lock-grabbed (force-export-packages-lock)
1132      (if (memq pkg force-export-packages)
1133        t))))
1134
1135
1136(defun %insert-symbol (symbol package internal-idx external-idx &optional force-export)
1137  (let* ((symvec (symptr->symvector (%symbol->symptr symbol)))
1138         (package-predicate (%svref symvec target::symbol.package-predicate-cell))
1139         (keyword-package (eq package *keyword-package*)))
1140    ;; Set home package
1141    (if package-predicate
1142      (if (listp package-predicate)
1143        (unless (%car package-predicate) (%rplaca package-predicate package)))
1144      (setf (%svref symvec target::symbol.package-predicate-cell) package))
1145    (if (or force-export (force-export-package-p package))
1146      (progn
1147        (%htab-add-symbol symbol (pkg.etab package) external-idx)
1148        (if keyword-package
1149          ;;(define-constant symbol symbol)
1150          (progn
1151            (%set-sym-global-value symbol symbol)
1152            (%symbol-bits symbol 
1153                          (logior (ash 1 $sym_vbit_special) 
1154                                  (ash 1 $sym_vbit_const)
1155                                  (the fixnum (%symbol-bits symbol)))))))
1156      (%htab-add-symbol symbol (pkg.itab package) internal-idx))
1157    (let* ((hook (pkg.intern-hook package)))
1158      (when hook (funcall hook symbol)))
1159    symbol))
1160
1161;;; PNAME must be a simple string!
1162(defun %add-symbol (pname package internal-idx external-idx &optional force-export)
1163  (let* ((sym (make-symbol pname)))
1164    (%insert-symbol sym package internal-idx external-idx force-export)))
1165
1166
1167
1168
1169;;; The initial %toplevel-function% sets %toplevel-function% to NIL;
1170;;; if the %fasload call fails, the lisp should exit (instead of
1171;;; repeating the process endlessly ...
1172
1173
1174(defvar %toplevel-function%
1175  #'(lambda ()
1176      (declare (special *xload-cold-load-functions*
1177                        *xload-cold-load-documentation*
1178                        *xload-startup-file*
1179                        *early-class-cells*))
1180      (%set-tcr-toplevel-function (%current-tcr) nil) ; should get reset by l1-boot.
1181      (setq %system-locks% (%cons-population nil))
1182      ;; Need to make %ALL-PACKAGES-LOCK% early, so that we can casually
1183      ;; do SET-PACKAGE in cold load functions.
1184      (setq %all-packages-lock% (make-read-write-lock))
1185      (dolist (f (prog1 *xload-cold-load-functions* (setq *xload-cold-load-functions* nil)))
1186        (funcall f))
1187      (dolist (pair (prog1 *early-class-cells* (setq *early-class-cells* nil)))
1188        (setf (gethash (car pair) %find-classes%) (cdr pair)))
1189      (dolist (p %all-packages%)
1190        (%resize-htab (pkg.itab p))
1191        (%resize-htab (pkg.etab p)))
1192      (dolist (f (prog1 *xload-cold-load-documentation* (setq *xload-cold-load-documentation* nil)))
1193        (apply 'set-documentation f))
1194      ;; Can't bind any specials until this happens
1195      (let* ((max 0))
1196        (%map-areas #'(lambda (symvec)
1197                        (when (= (the fixnum (typecode symvec))
1198                                 target::subtag-symbol)
1199                          (let* ((s (symvector->symptr symvec))
1200                                 (idx (symbol-binding-index s)))
1201                            (when (> idx 0)
1202                              (cold-load-binding-index s))
1203                            (when (> idx max)
1204                              (setq max idx))))))
1205        (%set-binding-index max))
1206      (%fasload *xload-startup-file*)))
1207
Note: See TracBrowser for help on using the repository browser.