source: branches/shrink-tcr/level-0/nfasload.lisp @ 14607

Last change on this file since 14607 was 14607, checked in by rme, 9 years ago

More tweaks; a cross-compiled Windows x86 lisp now bootstraps on Windows x64.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 41.0 KB
Line 
1;;;-*- Mode: Lisp; Package: CCL -*-
2;;;
3;;;   Copyright (C) 2009 Clozure Associates
4;;;   Copyright (C) 1994-2001 Digitool, Inc
5;;;   This file is part of Clozure CL. 
6;;;
7;;;   Clozure CL is licensed under the terms of the Lisp Lesser GNU Public
8;;;   License , known as the LLGPL and distributed with Clozure CL as the
9;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
10;;;   which is distributed with Clozure CL as the file "LGPL".  Where these
11;;;   conflict, the preamble takes precedence. 
12;;;
13;;;   Clozure CL is referenced in the preamble as the "LIBRARY."
14;;;
15;;;   The LLGPL is also available online at
16;;;   http://opensource.franz.com/preamble.html
17
18(in-package "CCL")
19
20(eval-when (:compile-toplevel :execute)
21
22(require "FASLENV" "ccl:xdump;faslenv")
23
24
25(defconstant $primsizes (make-array 23
26                                    :element-type '(unsigned-byte 16)
27                                    :initial-contents
28                                    '(41 61 97 149 223 337 509 769 887 971 1153 1559 1733
29                                      2609 2801 3917 5879 8819 13229 19843 24989 29789 32749)))
30(defconstant $hprimes (make-array 8 
31                                  :element-type '(unsigned-byte 16)
32                                  :initial-contents '(5 7 11 13 17 19 23 29)))
33
34;;; Symbol hash tables: (htvec . (hcount . hlimit))
35
36(defmacro htvec (htab) `(%car ,htab))
37(defmacro htcount (htab) `(%cadr ,htab))
38(defmacro htlimit (htab) `(%cddr ,htab))
39)
40
41(eval-when (:execute :compile-toplevel)
42  (assert (= 80 numfaslops)))
43
44
45
46
47
48(defvar *fasl-dispatch-table* #80(%bad-fasl))
49
50
51
52
53
54(defun %bad-fasl (s)
55  (error "bad opcode near position ~d in FASL file ~s"
56         (%fasl-get-file-pos s)
57         (faslstate.faslfname s)))
58
59(defun %cant-epush (s)
60  (if (faslstate.faslepush s)
61    (%bad-fasl s)))
62
63(defun %epushval (s val)
64  (setf (faslstate.faslval s) val)
65  (when (faslstate.faslepush s)
66    (setf (svref (faslstate.faslevec s) (faslstate.faslecnt s)) val)
67    (incf (the fixnum (faslstate.faslecnt s))))
68  val)
69
70(defun %simple-fasl-read-buffer (s)
71  (let* ((fd (faslstate.faslfd s))
72         (buffer (faslstate.iobuffer s))
73         (bufptr (%get-ptr buffer)))
74    (declare (dynamic-extent bufptr)
75             (type macptr buffer bufptr))
76    (%setf-macptr bufptr (%inc-ptr buffer target::node-size))
77    (setf (%get-ptr buffer) bufptr)
78    (let* ((n (fd-read fd bufptr $fasl-buf-len)))
79      (declare (fixnum n))
80      (if (> n 0)
81        (setf (faslstate.bufcount s) n)
82        (error "Fix this: look at errno, EOF")))))
83
84 
85(defun %simple-fasl-read-byte (s)
86  (loop
87    (let* ((buffer (faslstate.iobuffer s))
88           (bufptr (%get-ptr buffer)))
89      (declare (dynamic-extent bufptr)
90               (type macptr buffer bufptr))
91      (if (>= (the fixnum (decf (the fixnum (faslstate.bufcount s))))
92              0)
93        (return
94         (prog1
95           (%get-unsigned-byte bufptr)
96           (setf (%get-ptr buffer)
97                 (%incf-ptr bufptr))))
98        (%fasl-read-buffer s)))))
99
100(defun %fasl-read-word (s)
101  (the fixnum 
102    (logior (the fixnum (ash (the fixnum (%fasl-read-byte s)) 8))
103            (the fixnum (%fasl-read-byte s)))))
104
105
106(defun %fasl-read-long (s)
107  (logior (ash (%fasl-read-word s) 16) (%fasl-read-word s)))
108
109(defun %fasl-read-signed-long (s)
110  (logior (ash (%word-to-int (%fasl-read-word s)) 16)
111          (%fasl-read-word s)))
112
113
114(defun %fasl-read-count (s)
115  (do* ((val 0)
116        (shift 0 (+ shift 7))
117        (done nil))
118       (done val)
119    (let* ((b (%fasl-read-byte s)))
120      (declare (type (unsigned-byte 8) b))
121      (setq done (logbitp 7 b) val (logior val (ash (logand b #x7f) shift))))))
122
123(defun %simple-fasl-read-n-bytes (s ivector byte-offset n)
124  (declare (fixnum byte-offset n))
125  (do* ()
126       ((= n 0))
127    (let* ((count (faslstate.bufcount s))
128           (buffer (faslstate.iobuffer s))
129           (bufptr (%get-ptr buffer))
130           (nthere (if (< count n) count n)))
131      (declare (dynamic-extent bufptr)
132               (type macptr buffer bufptr)
133               (fixnum count nthere))
134      (if (= nthere 0)
135        (%fasl-read-buffer s)
136        (progn
137          (decf n nthere)
138          (decf (the fixnum (faslstate.bufcount s)) nthere)
139          (%copy-ptr-to-ivector bufptr 0 ivector byte-offset nthere)
140          (incf byte-offset nthere)
141          (setf (%get-ptr buffer)
142                (%incf-ptr bufptr nthere)))))))
143       
144
145(defun %fasl-read-utf-8-string (s string nchars nextra)
146  (declare (fixnum nchars nextra))
147  (if (eql 0 nextra)
148    (dotimes (i nchars)
149      (setf (%scharcode string i) (%fasl-read-byte s)))
150    (flet ((trailer-byte ()
151             (when (> nextra 0)
152               (decf nextra)
153               (let* ((b (%fasl-read-byte s)))
154                 (declare ((unsigned-byte 8) b))
155                 (and (>= b #x80)
156                      (< b #xc0)
157                      (logand b #x3f))))))
158      (declare (inline trailer-byte))
159      (dotimes (i nchars)
160        (let* ((b0 (%fasl-read-byte s)))
161          (declare ((unsigned-byte 8) b0))
162          (setf (%scharcode string i)
163                (or
164                 (cond ((< b0 #x80) b0)
165                       ((and (>= b0 #xc2)
166                             (< b0 #xe0))
167                        (let* ((b1 (trailer-byte)))
168                          (and b1 (logior (ash (logand b0 #x1f) 6) b1))))
169                       ((and (>= b0 #xe0)
170                             (< b0 #xf0))
171                        (let* ((b1 (trailer-byte))
172                               (b2 (trailer-byte)))
173                          (and b1 b2 (logior (ash (logand b0 #x0f) 12)
174                                             (logior (ash b1 6)
175                                                     b2)))))
176                       ((and (>= b0 #xf0)
177                             (< b0 #xf5))
178                        (let* ((b1 (trailer-byte))
179                               (b2 (trailer-byte))
180                               (b3 (trailer-byte)))
181                          (and b1
182                               b2
183                               b3
184                               (logior (ash (logand b0 #x7) 18)
185                                       (logior (ash b1 12)
186                                               (logior (ash b2 6)
187                                                       b3)))))))
188                 (char-code #\Replacement_Character))))))))
189
190
191(defun %fasl-vreadstr (s)
192  (let* ((nchars (%fasl-read-count s))
193         (nextra (%fasl-read-count s))
194         (copy t)
195         (n nchars)
196         (str (faslstate.faslstr s)))
197    (declare (fixnum nchars n nextra))
198    (if (> n (length str))
199      (setq str (make-string n :element-type 'base-char))
200      (setq copy nil))
201    (%fasl-read-utf-8-string s str nchars nextra)
202    (values str nchars copy)))
203
204
205(defun %fasl-read-n-string (s string start n)
206  (declare (fixnum start n))
207  (do* ((i start (1+ i))
208        (n n (1- n)))
209       ((<= n 0))
210    (declare (fixnum i n))
211    (setf (%scharcode string i) (%fasl-read-byte s))))
212
213(defun %fasl-nvreadstr (s)
214  (let* ((nchars (%fasl-read-count s))
215         (copy t)
216         (n nchars)
217         (str (faslstate.faslstr s)))
218    (declare (fixnum n nchars))
219    (if (> n (length str))
220        (setq str (make-string n :element-type 'base-char))
221        (setq copy nil))
222    (%fasl-read-n-string  s str 0 nchars)
223    (values str n copy)))
224
225(defun %fasl-copystr (str len)
226  (declare (fixnum len))
227  (let* ((new (make-string len :element-type 'base-char)))
228    (declare (simple-base-string new))
229    (declare (optimize (speed 3)(safety 0)))
230    (dotimes (i len new)
231      (setf (schar new i) (schar str i)))))
232
233(defun %fasl-dispatch (s op)
234  (declare (fixnum op)) 
235  (setf (faslstate.faslepush s) (logbitp $fasl-epush-bit op))
236  #+debug
237  (format t "~& dispatch: op = ~d at ~x" (logand op (lognot (ash 1 $fasl-epush-bit)))
238          (1- (%fasl-get-file-pos s)))
239  (funcall (svref (faslstate.fasldispatch s) (logand op (lognot (ash 1 $fasl-epush-bit)))) 
240           s))
241
242(defun %fasl-expr (s)
243  (%fasl-dispatch s (%fasl-read-byte s))
244  (faslstate.faslval s))
245
246(defun %fasl-expr-preserve-epush (s)
247  (let* ((epush (faslstate.faslepush s))
248         (val (%fasl-expr s)))
249    (setf (faslstate.faslepush s) epush)
250    val))
251
252
253(defun %fasl-vmake-symbol (s &optional idx)
254  (let* ((n (%fasl-read-count s))
255         (nextra (%fasl-read-count s))
256         (str (make-string n :element-type 'base-char)))
257    (declare (fixnum n))
258    (%fasl-read-utf-8-string s str n nextra)
259    (let* ((sym (make-symbol str)))
260      (when idx (ensure-binding-index sym))
261      (%epushval s sym))))
262
263(defun %fasl-nvmake-symbol (s &optional idx)
264  (let* ((n (%fasl-read-count s))
265         (str (make-string n :element-type 'base-char)))
266    (declare (fixnum n))
267    (%fasl-read-n-string s str 0 n)
268    (let* ((sym (make-symbol str)))
269      (when idx (ensure-binding-index sym))
270      (%epushval s sym))))
271
272(defun %fasl-vintern (s package &optional binding-index)
273  (multiple-value-bind (str len new-p) (%fasl-vreadstr s)
274    (with-package-lock (package)
275      (multiple-value-bind (symbol access internal-offset external-offset)
276          (%find-symbol str len package)
277        (unless access
278          (unless new-p (setq str (%fasl-copystr str len)))
279          (setq symbol (%add-symbol str package internal-offset external-offset)))
280        (when binding-index
281          (ensure-binding-index symbol))
282        (%epushval s symbol)))))
283
284(defun %fasl-nvintern (s package &optional binding-index)
285  (multiple-value-bind (str len new-p) (%fasl-nvreadstr s)
286    (with-package-lock (package)
287      (multiple-value-bind (symbol access internal-offset external-offset)
288          (%find-symbol str len package)
289        (unless access
290          (unless new-p (setq str (%fasl-copystr str len)))
291          (setq symbol (%add-symbol str package internal-offset external-offset)))
292        (when binding-index
293          (ensure-binding-index symbol))
294        (%epushval s symbol)))))
295
296(defvar *package-refs*)
297(setq *package-refs* (make-hash-table :test #'equal))
298(defvar *package-refs-lock*)
299(setq *package-refs-lock* (make-lock))
300
301(defun register-package-ref (name)
302  (unless (typep name 'string)
303    (report-bad-arg name 'string))
304  (let* ((ref
305          (or (gethash name *package-refs*)
306              (with-lock-grabbed (*package-refs-lock*)
307                (or
308                 (gethash name *package-refs*) ; check again
309                 (let* ((r (make-package-ref name)))
310                   (setf (gethash name *package-refs*) r)))))))
311    (unless (package-ref.pkg ref)
312      (setf (package-ref.pkg ref) (find-package name)))
313    ref))
314
315
316(dolist (p %all-packages%)
317  (dolist (name (pkg.names p))
318    (setf (package-ref.pkg (register-package-ref name)) p)))
319
320
321(defun find-package (name)
322  (if (typep  name 'package)
323    name
324    (%find-pkg (string name))))
325
326(defun %pkg-ref-find-package (ref)
327  (package-ref.pkg ref))
328
329(defun set-package (name &aux (pkg (find-package name)))
330  (if pkg
331    (setq *package* pkg)
332    (set-package (%kernel-restart $xnopkg name))))
333
334 
335(defun %find-pkg (name &optional (len (length name)))
336  (declare (fixnum len))
337  (with-package-list-read-lock
338      (dolist (p %all-packages%)
339        (if (dolist (pkgname (pkg.names p))
340              (when (and (= (the fixnum (length pkgname)) len)
341                         (dotimes (i len t)
342                           ;; Aref: allow non-simple strings
343                           (unless (eq (aref name i) (schar pkgname i))
344                             (return))))
345                (return t)))
346          (return p)))))
347
348
349
350(defun pkg-arg (thing &optional deleted-ok)
351  (let* ((xthing (cond ((or (symbolp thing) (typep thing 'character))
352                        (string thing))
353                       ((typep thing 'string)
354                        (ensure-simple-string thing))
355                       (t
356                        thing))))
357    (let* ((typecode (typecode xthing)))
358        (declare (fixnum typecode))
359        (cond ((= typecode target::subtag-package)
360               (if (or deleted-ok (pkg.names xthing))
361                 xthing
362                 (error "~S is a deleted package ." thing)))
363              ((= typecode target::subtag-simple-base-string)
364               (or (%find-pkg xthing)
365                   (%kernel-restart $xnopkg xthing)))
366              (t (report-bad-arg thing 'simple-string))))))
367
368(defun %fasl-vpackage (s)
369  (multiple-value-bind (str len new-p) (%fasl-vreadstr s)
370    (let* ((p (%find-pkg str len)))
371      (%epushval s (or p (%kernel-restart $XNOPKG (if new-p str (%fasl-copystr str len))))))))
372
373
374(defun %fasl-nvpackage (s)
375  (multiple-value-bind (str len new-p) (%fasl-nvreadstr s)
376    (let* ((p (%find-pkg str len)))
377      (%epushval s (or p  (%kernel-restart $XNOPKG (if new-p str (%fasl-copystr str len))))))))
378
379(defun %fasl-vlistX (s dotp)
380  (let* ((len (%fasl-read-count s)))
381    (declare (fixnum len))
382    (let* ((val (%epushval s (cons nil nil)))
383           (tail val))
384      (declare (type cons val tail))
385      (setf (car val) (%fasl-expr s))
386      (dotimes (i len)
387        (setf (cdr tail) (setq tail (cons (%fasl-expr s) nil))))
388      (if dotp
389        (setf (cdr tail) (%fasl-expr s)))
390      (setf (faslstate.faslval s) val))))
391
392(deffaslop $fasl-noop (s)
393  (%cant-epush s))
394
395
396(deffaslop $fasl-vetab-alloc (s)
397  (%cant-epush s)
398  (setf (faslstate.faslevec s) (make-array (the fixnum (%fasl-read-count s)))
399        (faslstate.faslecnt s) 0))
400
401(deffaslop $fasl-platform (s)
402  (%cant-epush s)
403  (let* ((platform (%fasl-expr s))
404         (host-platform (%get-kernel-global 'host-platform)))
405    (declare (fixnum platform host-platform))
406    (unless (= platform host-platform)
407      (error "Not a native fasl file : ~s" (faslstate.faslfname s)))))
408
409
410(deffaslop $fasl-veref (s)
411  (let* ((idx (%fasl-read-count s)))
412    (declare (fixnum idx))
413    (if (>= idx (the fixnum (faslstate.faslecnt s)))
414      (%bad-fasl s))
415    (%epushval s (svref (faslstate.faslevec s) idx))))
416
417#+x86-target
418;;; Read a "concatenated" lisp function, in which the machine code
419;;; and constants are both contained in the same underlying uvector.
420(deffaslop $fasl-clfun (s)
421  (let* ((size-in-elements (%fasl-read-count s))
422         (size-of-code (%fasl-read-count s))
423         (vector (%alloc-misc size-in-elements target::subtag-function))
424         (function (function-vector-to-function vector)))
425    (declare (fixnum size-in-elements size-of-code))
426    (%epushval s function)
427    (%fasl-read-n-bytes s vector 0 (ash size-of-code target::word-shift))
428    #+x8632-target
429    (%update-self-references vector)
430    #+x8632-target
431    (let* ((addr (%address-of vector))
432           (insn (%get-unsigned-long (%int-to-ptr addr))))
433      (when (eql insn #xbf)
434        (pdbg "update-self-references blew it")
435        (dbg vector)))
436    (do* ((numconst (- size-in-elements size-of-code))
437          (i 0 (1+ i))
438          (constidx size-of-code (1+ constidx)))
439         ((= i numconst)
440          (setf (faslstate.faslval s) function))
441      (declare (fixnum i numconst constidx))
442      (setf (%svref vector constidx) (%fasl-expr s)))))
443   
444   
445(deffaslop $fasl-lfuncall (s)
446  (let* ((fun (%fasl-expr-preserve-epush s)))
447    ;(break "fun = ~s" fun)
448     (%epushval s (funcall fun))))
449
450(deffaslop $fasl-globals (s)
451  (setf (faslstate.faslgsymbols s) (%fasl-expr s)))
452
453(deffaslop $fasl-char (s)
454  (%epushval s (code-char (%fasl-read-count s))))
455
456;;; Deprecated
457(deffaslop $fasl-fixnum (s)
458  (%epushval
459   s
460   (logior (the fixnum (ash (the fixnum (%word-to-int (%fasl-read-word s)))
461                            16))
462           (the fixnum (%fasl-read-word s))) ))
463
464(deffaslop $fasl-s32 (s)
465  (%epushval s (%fasl-read-signed-long s)))
466
467(deffaslop $fasl-s64 (s)
468  (%epushval s (logior (ash (%fasl-read-signed-long s) 32)
469                       (%fasl-read-long s))))
470
471(deffaslop $fasl-dfloat (s)
472  ;; A double-float is a 3-element "misc" object.
473  ;; Element 0 is always 0 and exists solely to keep elements 1 and 2
474  ;; aligned on a 64-bit boundary.
475  (%epushval s (double-float-from-bits (%fasl-read-long s) (%fasl-read-long s))))
476
477(deffaslop $fasl-sfloat (s)
478  (%epushval s (host-single-float-from-unsigned-byte-32 (%fasl-read-long s))))
479
480(deffaslop $fasl-vstr (s)
481  (let* ((nchars (%fasl-read-count s))
482         (nextra (%fasl-read-count s))
483         (str (make-string (the fixnum nchars) :element-type 'base-char)))
484    (%epushval s str)
485    (%fasl-read-utf-8-string s str nchars nextra)))
486
487
488(deffaslop $fasl-nvstr (s)
489  (let* ((n (%fasl-read-count s))
490         (str (make-string (the fixnum n) :element-type 'base-char)))
491    (%epushval s str)
492    (%fasl-read-n-string s str 0 n)))
493
494(deffaslop $fasl-word-fixnum (s)
495  (%epushval s (%word-to-int (%fasl-read-word s))))
496
497(deffaslop $fasl-vmksym (s)
498  (%fasl-vmake-symbol s))
499
500(deffaslop $fasl-nvmksym (s)
501  (%fasl-nvmake-symbol s))
502
503(deffaslop $fasl-vmksym-special (s)
504  (%fasl-vmake-symbol s t))
505
506(deffaslop $fasl-nvmksym-special (s)
507  (%fasl-nvmake-symbol s t))
508
509(deffaslop $fasl-vintern (s)
510  (%fasl-vintern s *package*))
511
512(deffaslop $fasl-nvintern (s)
513  (%fasl-nvintern s *package*))
514
515(deffaslop $fasl-vintern-special (s)
516  (%fasl-vintern s *package* t))
517
518(deffaslop $fasl-nvintern-special (s)
519  (%fasl-nvintern s *package* t))
520
521
522
523
524(deffaslop $fasl-vpkg-intern (s)
525  (let* ((pkg (%fasl-expr-preserve-epush s)))
526    #+paranoia
527    (setq pkg (pkg-arg pkg))
528    (%fasl-vintern s pkg)))
529
530(deffaslop $fasl-nvpkg-intern (s)
531  (let* ((pkg (%fasl-expr-preserve-epush s)))
532    #+paranoia
533    (setq pkg (pkg-arg pkg))
534    (%fasl-nvintern s pkg)))
535
536(deffaslop $fasl-vpkg-intern-special (s)
537  (let* ((pkg (%fasl-expr-preserve-epush s)))
538    #+paranoia
539    (setq pkg (pkg-arg pkg))
540    (%fasl-vintern s pkg t)))
541
542(deffaslop $fasl-nvpkg-intern-special (s)
543  (let* ((pkg (%fasl-expr-preserve-epush s)))
544    #+paranoia
545    (setq pkg (pkg-arg pkg))
546    (%fasl-nvintern s pkg t)))
547
548(deffaslop $fasl-vpkg (s)
549  (%fasl-vpackage s))
550
551(deffaslop $fasl-nvpkg (s)
552  (%fasl-nvpackage s))
553
554(deffaslop $fasl-cons (s)
555  (let* ((cons (%epushval s (cons nil nil))))
556    (declare (type cons cons))
557    (setf (car cons) (%fasl-expr s)
558          (cdr cons) (%fasl-expr s))
559    (setf (faslstate.faslval s) cons)))
560
561(deffaslop $fasl-vlist (s)
562  (%fasl-vlistX s nil))
563
564(deffaslop $fasl-vlist* (s)
565  (%fasl-vlistX s t))
566
567(deffaslop $fasl-nil (s)
568  (%epushval s nil))
569
570(deffaslop $fasl-timm (s)
571  (rlet ((p :int))
572    (setf (%get-long p) (%fasl-read-long s))
573    (%epushval s (%get-unboxed-ptr p))))
574
575(deffaslop $fasl-symfn (s)
576  (%epushval s (%function (%fasl-expr-preserve-epush s))))
577   
578(deffaslop $fasl-eval (s)
579  (%epushval s (eval (%fasl-expr-preserve-epush s))))
580
581;;; For bootstrapping. The real version is cheap-eval in l1-readloop
582(when (not (fboundp 'eval))
583  (defun eval (form)
584    (if (and (listp form)
585             (let ((f (%car form)))
586               (and (symbolp f)
587                    (functionp (fboundp f)))))
588      (do* ((tail (%cdr form) (%cdr tail)))
589           ((null tail) (apply (%car form) (%cdr form)))
590        (let* ((head (car tail)))
591          (when (and (consp head) (eq (car head) 'quote))
592            (setf (car tail) (cadr head)))))
593      (error "Can't eval yet: ~s" form))))
594
595
596(deffaslop $fasl-vivec (s)
597  (let* ((subtag (%fasl-read-byte s))
598         (element-count (%fasl-read-count s))
599         (size-in-bytes (subtag-bytes subtag element-count))
600         (vector (%alloc-misc element-count subtag))
601         (byte-offset (or #+32-bit-target (if (= subtag target::subtag-double-float-vector) 4) 0)))
602    (declare (fixnum subtag element-count size-in-bytes))
603    (%epushval s vector)
604    (%fasl-read-n-bytes s vector byte-offset size-in-bytes)
605    vector))
606
607(defun fasl-read-ivector (s subtag)
608  (let* ((element-count (%fasl-read-count s))
609         (size-in-bytes (subtag-bytes subtag element-count))
610         (vector (%alloc-misc element-count subtag)))
611    (declare (fixnum subtag element-count size-in-bytes))
612    (%epushval s vector)
613    (%fasl-read-n-bytes s vector 0 size-in-bytes)
614    vector))
615 
616(deffaslop $fasl-u8-vector (s)
617  (fasl-read-ivector s target::subtag-u8-vector))
618
619(deffaslop $fasl-s8-vector (s)
620  (fasl-read-ivector s target::subtag-s8-vector))
621
622(deffaslop $fasl-u16-vector (s)
623  (fasl-read-ivector s target::subtag-u16-vector))
624
625(deffaslop $fasl-s16-vector (s)
626  (fasl-read-ivector s target::subtag-s16-vector))
627
628(deffaslop $fasl-u32-vector (s)
629  (fasl-read-ivector s target::subtag-u32-vector))
630
631(deffaslop $fasl-s32-vector (s)
632  (fasl-read-ivector s target::subtag-s32-vector))
633
634#+64-bit-target
635(deffaslop $fasl-u64-vector (s)
636  (fasl-read-ivector s target::subtag-u64-vector))
637
638#+64-bit-target
639(deffaslop $fasl-u64-vector (s)
640  (fasl-read-ivector s target::subtag-s64-vector))
641
642(deffaslop $fasl-bit-vector (s)
643  (fasl-read-ivector s target::subtag-bit-vector))
644
645(deffaslop $fasl-bignum32 (s)
646  (let* ((element-count (%fasl-read-count s))
647         (size-in-bytes (* element-count 4))
648         (num (%alloc-misc element-count target::subtag-bignum)))
649    (declare (fixnum element-count size-in-bytes))
650    (%fasl-read-n-bytes s num 0 size-in-bytes)
651    (setq num (%normalize-bignum-2 t num))
652    (%epushval s num)
653    num))
654
655(deffaslop $fasl-single-float-vector (s)
656  (fasl-read-ivector s target::subtag-single-float-vector))
657
658(deffaslop $fasl-double-float-vector (s)
659  #+64-bit-target
660  (fasl-read-ivector s target::subtag-double-float-vector)
661  #+32-bit-target
662  (let* ((element-count (%fasl-read-count s))
663         (size-in-bytes (subtag-bytes target::subtag-double-float-vector
664                                      element-count))
665         (vector (%alloc-misc element-count
666                              target::subtag-double-float-vector)))
667    (declare (fixnum element-count size-in-bytes))
668    (%epushval s vector)
669    (%fasl-read-n-bytes s vector (- target::misc-dfloat-offset
670                                    target::misc-data-offset)
671                        size-in-bytes)
672    vector))
673
674
675
676#-x86-target
677(deffaslop $fasl-code-vector (s)
678  (let* ((element-count (%fasl-read-count s))
679         (size-in-bytes (* 4 element-count))
680         (vector (allocate-typed-vector :code-vector element-count)))
681    (declare (fixnum element-count size-in-bytes))
682    (%epushval s vector)
683    (%fasl-read-n-bytes s vector 0 size-in-bytes)
684    (%make-code-executable vector)
685    vector))
686
687(defun fasl-read-gvector (s subtype)
688  (let* ((n (%fasl-read-count s))
689         (vector (%alloc-misc n subtype)))
690    (declare (fixnum n subtype))
691    (%epushval s vector)
692    (dotimes (i n (setf (faslstate.faslval s) vector))
693      (setf (%svref vector i) (%fasl-expr s)))))
694
695(deffaslop $fasl-vgvec (s)
696  (let* ((subtype (%fasl-read-byte s)))
697    (fasl-read-gvector s subtype)))
698 
699(deffaslop $fasl-ratio (s)
700  (let* ((r (%alloc-misc target::ratio.element-count target::subtag-ratio)))
701    (%epushval s r)
702    (setf (%svref r target::ratio.numer-cell) (%fasl-expr s)
703          (%svref r target::ratio.denom-cell) (%fasl-expr s))
704    (setf (faslstate.faslval s) r)))
705
706(deffaslop $fasl-complex (s)
707  (let* ((c (%alloc-misc target::complex.element-count
708                         target::subtag-complex)))
709    (%epushval s c)
710    (setf (%svref c target::complex.realpart-cell) (%fasl-expr s)
711          (%svref c target::complex.imagpart-cell) (%fasl-expr s))
712    (setf (faslstate.faslval s) c)))
713
714(deffaslop $fasl-t-vector (s)
715  (fasl-read-gvector s target::subtag-simple-vector))
716
717(deffaslop $fasl-function (s)
718  (fasl-read-gvector s target::subtag-function))
719
720(deffaslop $fasl-istruct (s)
721  (fasl-read-gvector s target::subtag-istruct))
722
723(deffaslop $fasl-vector-header (s)
724  (fasl-read-gvector s target::subtag-vectorH))
725
726(deffaslop $fasl-array-header (s)
727  (fasl-read-gvector s target::subtag-arrayH))
728
729
730(deffaslop $fasl-defun (s)
731  (%cant-epush s)
732  (%defun (%fasl-expr s) (%fasl-expr s)))
733
734(deffaslop $fasl-macro (s)
735  (%cant-epush s)
736  (%macro (%fasl-expr s) (%fasl-expr s)))
737
738(deffaslop $fasl-defconstant (s)
739  (%cant-epush s)
740  (%defconstant (%fasl-expr s) (%fasl-expr s) (%fasl-expr s)))
741
742(deffaslop $fasl-defparameter (s)
743  (%cant-epush s)
744  (let* ((sym (%fasl-expr s))
745         (val (%fasl-expr s)))
746    (%defvar sym (%fasl-expr s))
747    (set sym val)))
748
749;;; (defvar var)
750(deffaslop $fasl-defvar (s)
751  (%cant-epush s)
752  (%defvar (%fasl-expr s)))
753
754;;; (defvar var initfom doc)
755(deffaslop $fasl-defvar-init (s)
756  (%cant-epush s)
757  (let* ((sym (%fasl-expr s))
758         (val (%fasl-expr s)))
759    (unless (%defvar sym (%fasl-expr s))
760      (set sym val))))
761
762
763(deffaslop $fasl-prog1 (s)
764  (let* ((val (%fasl-expr s)))
765    (%fasl-expr s)
766    (setf (faslstate.faslval s) val)))
767
768
769
770(deffaslop $fasl-src (s)
771  (%cant-epush s)
772  (let* ((source-file (%fasl-expr s)))
773    ; (format t "~& source-file = ~s" source-file)
774    (setq *loading-file-source-file* source-file)))
775
776(deffaslop $fasl-toplevel-location (s)
777  (%cant-epush s)
778  (setq *loading-toplevel-location* (%fasl-expr s)))
779
780(defvar *modules* nil)
781
782;;; Bootstrapping version
783(defun provide (module-name)
784  (push (string module-name) *modules*))
785
786(deffaslop $fasl-provide (s)
787  (provide (%fasl-expr s)))
788
789(deffaslop $fasl-istruct-cell (s)
790  (%epushval s (register-istruct-cell (%fasl-expr-preserve-epush s))))
791
792
793
794;;; files compiled with code coverage do this
795;; list of lfuns and (source-fn-name vector-of-lfuns external-format id), the latter put there by fasloading.
796(defvar *code-covered-functions* nil)
797
798(defun register-code-covered-functions (functions &optional external-format id)
799  ;; unpack the parent-note references - see comment at fcomp-digest-code-notes
800  (labels ((reg (lfun refs)
801             (unless (memq lfun refs)
802               (let* ((lfv (function-to-function-vector lfun))
803                      (start #+ppc-target 0 #+x86-target (%function-code-words lfun))
804                      (refs (cons lfun refs)))
805                 (declare (dynamic-extent refs))
806                 (loop for i from start below (uvsize lfv) as imm = (uvref lfv i)
807                       do (typecase imm
808                            (code-note
809                             (let ((parent (code-note-parent-note imm)))
810                               (when (integerp parent)
811                                 (setf (code-note-parent-note imm) (uvref lfv parent)))))
812                            (function (reg imm refs))))))))
813    (loop for fn across functions do (reg fn nil)))
814  (let ((a (assoc (pathname *loading-file-source-file*)
815                  *code-covered-functions*
816                  :test #'(lambda (p q)
817                            (and (equalp (pathname-name p) (pathname-name q))
818                                 ;; same name, so worth trying harder to match 'em up.
819                                 (or (equal p q)
820                                     (let ((p (full-pathname p)) (q (full-pathname q)))
821                                       (and p q (equalp p q)))
822                                     (let ((p (probe-file p)) (q (probe-file q)))
823                                       (and p q (equalp p q)))))))))
824    (when (null a)
825      (push (setq a (list nil nil nil nil)) *code-covered-functions*))
826    (setf (car a) *loading-file-source-file*
827          (cadr a) functions
828          (caddr a) external-format
829          (cadddr a) id))
830  nil)
831
832;;; The loader itself
833
834(defun %simple-fasl-set-file-pos (s new)
835  (let* ((fd (faslstate.faslfd s))
836         (posoffset (fd-tell fd)))
837    (if (>= (decf posoffset new) 0)
838      (let* ((count (faslstate.bufcount s)))
839        (if (>= (decf count posoffset ) 0)
840          (progn
841            (setf (faslstate.bufcount s) posoffset)
842            (incf #+32-bit-target (%get-long (faslstate.iobuffer s))
843                  #+64-bit-target (%%get-signed-longlong (faslstate.iobuffer s)
844                                                        0)
845                  count)
846            (return-from %simple-fasl-set-file-pos nil)))))
847    (progn
848      (setf (faslstate.bufcount s) 0)
849      (fd-lseek fd new #$SEEK_SET))))
850
851(defun %simple-fasl-get-file-pos (s)
852  (- (fd-tell (faslstate.faslfd s)) (faslstate.bufcount s)))
853
854(defparameter *%fasload-verbose* t)
855
856;;; the default fasl file opener sets up the fasl state and checks the header
857(defun %simple-fasl-open (string s)
858  (let* ((ok nil)
859         (fd (fd-open string #$O_RDONLY))
860         (err 0))
861    (declare (fixnum fd))
862    (if (>= fd 0)
863      (if (< (fd-lseek fd 0 #$SEEK_END) 4)
864        (setq err $xnotfasl)
865        (progn
866          (setq err 0)
867          (setf (faslstate.bufcount s) 0
868                (faslstate.faslfd s) fd)
869          (fd-lseek fd 0 #$SEEK_SET)
870          (multiple-value-setq (ok err) (%fasl-check-header s))))
871      (setq err fd))
872    (unless (eql err 0) (setf (faslstate.faslerr s) err))
873    ok))
874
875;;; once the fasl state is set up, this checks the fasl header and
876;;; returns (values ok err)
877(defun %fasl-check-header (s)
878  (let* ((signature (%fasl-read-word s)))
879    (declare (fixnum signature))
880    (if (= signature $fasl-file-id)
881        (values t 0)
882      (if (= signature $fasl-file-id1)
883          (progn
884            (%fasl-set-file-pos s (%fasl-read-long s))
885            (values t 0))
886        (values nil $xnotfasl)))))
887
888(defun %simple-fasl-close (s)
889  (let* ((fd (faslstate.faslfd s)))
890    (when fd (fd-close fd))))
891
892(defun %simple-fasl-init-buffer (s)
893  (declare (ignore s))
894  nil)
895
896(defvar *fasl-api* nil)
897(setf *fasl-api* (%istruct 'faslapi
898                           #'%simple-fasl-open
899                           #'%simple-fasl-close
900                           #'%simple-fasl-init-buffer
901                           #'%simple-fasl-set-file-pos
902                           #'%simple-fasl-get-file-pos
903                           #'%simple-fasl-read-buffer
904                           #'%simple-fasl-read-byte
905                           #'%simple-fasl-read-n-bytes))
906
907(defun %fasl-open (string s)
908  (funcall (faslapi.fasl-open *fasl-api*) string s))
909(defun %fasl-close (s)
910  (funcall (faslapi.fasl-close *fasl-api*) s))
911(defun %fasl-init-buffer (s)
912  (funcall (faslapi.fasl-init-buffer *fasl-api*) s))
913(defun %fasl-set-file-pos (s new)
914  (funcall (faslapi.fasl-set-file-pos *fasl-api*) s new))
915(defun %fasl-get-file-pos (s)
916  (funcall (faslapi.fasl-get-file-pos *fasl-api*) s))
917(defun %fasl-read-buffer (s)
918  (funcall (faslapi.fasl-read-buffer *fasl-api*) s))
919(defun %fasl-read-byte (s)
920  (funcall (faslapi.fasl-read-byte *fasl-api*) s))
921(defun %fasl-read-n-bytes (s ivector byte-offset n)
922  (funcall (faslapi.fasl-read-n-bytes *fasl-api*) s ivector byte-offset n))
923
924(defun %fasload (string &optional (table *fasl-dispatch-table*))
925  ;;(dbg string)
926  (when (and *%fasload-verbose*
927             (not *load-verbose*))
928    (%string-to-stderr ";Loading ") (pdbg string))
929  (let* ((s (%istruct
930             'faslstate
931             nil
932             nil
933             nil
934             nil
935             nil
936             nil
937             nil
938             nil
939             nil
940             nil
941             nil
942             nil
943             nil
944             nil)))
945    (declare (dynamic-extent s))
946    (setf (faslstate.faslfname s) string)
947    (setf (faslstate.fasldispatch s) table)
948    (setf (faslstate.faslversion s) 0)
949    (%stack-block ((buffer (+ target::node-size $fasl-buf-len)))
950      (setf (faslstate.iobuffer s) buffer)
951      (%fasl-init-buffer s)
952      (let* ((parse-string (make-string 255 :element-type 'base-char)))
953        (declare (dynamic-extent parse-string))
954        (setf (faslstate.oldfaslstr s) nil
955              (faslstate.faslstr s) parse-string)
956        (unwind-protect
957             (when (%fasl-open string s)
958               (let* ((nblocks (%fasl-read-word s)))
959                 (declare (fixnum nblocks))
960                 (unless (= nblocks 0)
961                   (let* ((pos (%fasl-get-file-pos s)))
962                     (dotimes (i nblocks)
963                       (%fasl-set-file-pos s pos)
964                       (%fasl-set-file-pos s (%fasl-read-long s))
965                       (incf pos 8)
966                       (let* ((version (%fasl-read-word s)))
967                         (declare (fixnum version))
968                         (if (or (> version (+ #xff00 $fasl-vers))
969                                 (< version (+ #xff00 $fasl-min-vers)))
970                           (%err-disp (if (>= version #xff00) $xfaslvers $xnotfasl))
971                           (progn
972                             (setf (faslstate.faslversion s) version)
973                             (%fasl-read-word s) 
974                             (%fasl-read-word s) ; Ignore kernel version stuff
975                             (setf (faslstate.faslevec s) nil
976                                   (faslstate.faslecnt s) 0)
977                             (do* ((op (%fasl-read-byte s) (%fasl-read-byte s)))
978                                  ((= op $faslend))
979                               (declare (fixnum op))
980                               (%fasl-dispatch s op))))))))))
981          (%fasl-close s))
982        (let* ((err (faslstate.faslerr s)))
983          (if err
984            (progn
985              (when *%fasload-verbose*
986                (let* ((herald ";!!Error loading ")
987                       (hlen (length herald))
988                       (len (length string))
989                       (msg (make-string (+ hlen len))))
990                  (declare (dynamic-extent msg))
991                  (%copy-ivector-to-ivector herald 0 msg 0 (* hlen 4))
992                  (%copy-ivector-to-ivector string 0 msg (* hlen 4) (* len 4))
993                  (bug msg)))
994              (values nil err))
995            (values t nil)))))))
996
997
998(defun %new-package-hashtable (size)
999  (%initialize-htab (cons nil (cons 0 0)) size))
1000
1001(defun %initialize-htab (htab size)
1002  (declare (fixnum size))
1003  ;; Ensure that "size" is relatively prime to all secondary hash values.
1004  ;; If it's small enough, pick the next highest known prime out of the
1005  ;; "primsizes" array.  Otherwize, iterate through all all of "hprimes"
1006  ;; until we find something relatively prime to all of them.
1007  (setq size
1008        (if (> size 32749)
1009          (do* ((nextsize (logior 1 size) (+ nextsize 2)))
1010               ()
1011            (declare (fixnum nextsize))
1012            (when (dotimes (i 8 t)
1013                    (unless (eql 1 (gcd nextsize (uvref #.$hprimes i)))
1014                      (return)))
1015              (return nextsize)))
1016          (dotimes (i (the fixnum (length #.$primsizes)))
1017            (let* ((psize (uvref #.$primsizes i)))
1018              (declare (fixnum psize))
1019              (if (>= psize size) 
1020                (return psize))))))
1021  (setf (htvec htab) (make-array size #|:initial-element 0|#))
1022  (setf (htcount htab) 0)
1023  (setf (htlimit htab) (the fixnum (- size (the fixnum (ash size -3)))))
1024  htab)
1025
1026
1027(defun %resize-htab (htab)
1028  (declare (optimize (speed 3) (safety 0)))
1029  (without-interrupts
1030   (let* ((old-vector (htvec htab))
1031          (old-len (length old-vector)))
1032     (declare (fixnum old-len)
1033              (simple-vector old-vector))
1034     (let* ((nsyms 0))
1035       (declare (fixnum nsyms))
1036       (dovector (s old-vector)
1037         (when (symbolp s) (incf nsyms)))
1038       (%initialize-htab htab 
1039                         (the fixnum (+ 
1040                                      (the fixnum 
1041                                        (+ nsyms (the fixnum (ash nsyms -2))))
1042                                      2)))
1043       (let* ((new-vector (htvec htab))
1044              (nnew 0))
1045         (declare (fixnum nnew)
1046                  (simple-vector new-vector))
1047         (dotimes (i old-len (setf (htcount htab) nnew))
1048           (let* ((s (svref old-vector i)))
1049               (if (symbolp s)
1050                 (let* ((pname (symbol-name s)))
1051                   (setf (svref 
1052                          new-vector 
1053                          (nth-value 
1054                           2
1055                           (%get-htab-symbol 
1056                            pname
1057                            (length pname)
1058                            htab)))
1059                         s)
1060                   (incf nnew)))))
1061         htab)))))
1062       
1063(defun hash-pname (str len)
1064  (declare (optimize (speed 3) (safety 0)))
1065  (let* ((primary (%pname-hash str len)))
1066    (declare (fixnum primary))
1067    (values primary (aref (the (simple-array (unsigned-byte 16) (8)) $hprimes) (logand primary 7)))))
1068   
1069
1070
1071(defun %get-hashed-htab-symbol (str len htab primary secondary)
1072  (declare (optimize (speed 3) (safety 0))
1073           (fixnum primary secondary len))
1074  (let* ((vec (htvec htab))
1075         (vlen (length vec)))
1076    (declare (fixnum vlen))
1077    (do* ((idx (fast-mod primary vlen) (+ i secondary))
1078          (i idx (if (>= idx vlen) (- idx vlen) idx))
1079          (elt (svref vec i) (svref vec i)))
1080         ((eql elt 0) (values nil nil i))
1081      (declare (fixnum i idx))
1082      (when (symbolp elt)
1083        (let* ((pname (symbol-name elt)))
1084          (if (and 
1085               (= (the fixnum (length pname)) len)
1086               (dotimes (j len t)
1087                 (unless (eq (aref str j) (schar pname j))
1088                   (return))))
1089            (return (values t (%symptr->symbol elt) i))))))))
1090
1091(defun %get-htab-symbol (string len htab)
1092  (declare (optimize (speed 3) (safety 0)))
1093  (multiple-value-bind (p s) (hash-pname string len)
1094    (%get-hashed-htab-symbol string len htab p s)))
1095
1096(defun %find-symbol (string len package)
1097  (declare (optimize (speed 3) (safety 0)))
1098  (multiple-value-bind (found-p sym internal-offset)
1099                       (%get-htab-symbol string len (pkg.itab package))
1100    (if found-p
1101      (values sym :internal internal-offset nil)
1102      (multiple-value-bind (found-p sym external-offset)
1103                           (%get-htab-symbol string len (pkg.etab package))
1104        (if found-p
1105          (values sym :external internal-offset external-offset)
1106          (dolist (p (pkg.used package) (values nil nil internal-offset external-offset))
1107            (multiple-value-bind (found-p sym)
1108                                 (%get-htab-symbol string len (pkg.etab p))
1109              (when found-p
1110                (return (values sym :inherited internal-offset external-offset))))))))))
1111         
1112(defun %htab-add-symbol (symbol htab idx)
1113  (declare (optimize (speed 3) (safety 0)))
1114  (setf (svref (htvec htab) idx) (%symbol->symptr symbol))
1115  (if (>= (incf (the fixnum (htcount htab)))
1116          (the fixnum (htlimit htab)))
1117    (%resize-htab htab))
1118  symbol)
1119
1120(defun %set-symbol-package (symbol package-or-nil)
1121  (declare (optimize (speed 3) (safety 0)))
1122  (let* ((symvec (symptr->symvector (%symbol->symptr symbol)))
1123         (old-pp (%svref symvec target::symbol.package-predicate-cell)))
1124    (if (consp old-pp)
1125      (setf (car old-pp) package-or-nil)
1126      (setf (%svref symvec target::symbol.package-predicate-cell) package-or-nil))))
1127
1128
1129(let* ((force-export-packages (list *keyword-package*))
1130       (force-export-packages-lock (make-lock)))
1131  (defun force-export-packages ()
1132    (with-lock-grabbed (force-export-packages-lock)
1133      (copy-list force-export-packages)))
1134  (defun package-force-export (p)
1135    (let* ((pkg (pkg-arg p)))
1136      (with-lock-grabbed (force-export-packages-lock)
1137        (pushnew pkg force-export-packages))
1138    pkg))
1139  (defun force-export-package-p (pkg)
1140    (with-lock-grabbed (force-export-packages-lock)
1141      (if (memq pkg force-export-packages)
1142        t))))
1143
1144
1145(defun %insert-symbol (symbol package internal-idx external-idx &optional force-export)
1146  (let* ((symvec (symptr->symvector (%symbol->symptr symbol)))
1147         (package-predicate (%svref symvec target::symbol.package-predicate-cell))
1148         (keyword-package (eq package *keyword-package*)))
1149    ;; Set home package
1150    (if package-predicate
1151      (if (listp package-predicate)
1152        (unless (%car package-predicate) (%rplaca package-predicate package)))
1153      (setf (%svref symvec target::symbol.package-predicate-cell) package))
1154    (if (or force-export (force-export-package-p package))
1155      (progn
1156        (%htab-add-symbol symbol (pkg.etab package) external-idx)
1157        (if keyword-package
1158          ;;(define-constant symbol symbol)
1159          (progn
1160            (%set-sym-global-value symbol symbol)
1161            (%symbol-bits symbol 
1162                          (logior (ash 1 $sym_vbit_special) 
1163                                  (ash 1 $sym_vbit_const)
1164                                  (the fixnum (%symbol-bits symbol)))))))
1165      (%htab-add-symbol symbol (pkg.itab package) internal-idx))
1166    (let* ((hook (pkg.intern-hook package)))
1167      (when hook (funcall hook symbol)))
1168    symbol))
1169
1170;;; PNAME must be a simple string!
1171(defun %add-symbol (pname package internal-idx external-idx &optional force-export)
1172  (let* ((sym (make-symbol pname)))
1173    (%insert-symbol sym package internal-idx external-idx force-export)))
1174
1175
1176
1177
1178;;; The initial %toplevel-function% sets %toplevel-function% to NIL;
1179;;; if the %fasload call fails, the lisp should exit (instead of
1180;;; repeating the process endlessly ...
1181
1182
1183(defvar %toplevel-function%
1184  #'(lambda ()
1185      (declare (special *xload-cold-load-functions*
1186                        *xload-cold-load-documentation*
1187                        *xload-startup-file*
1188                        *early-class-cells*))
1189      (%set-tcr-toplevel-function (%current-tcr) nil) ; should get reset by l1-boot.
1190      (setq %system-locks% (%cons-population nil))
1191      ;; Need to make %ALL-PACKAGES-LOCK% early, so that we can casually
1192      ;; do SET-PACKAGE in cold load functions.
1193      (setq %all-packages-lock% (make-read-write-lock))
1194      (dolist (f (prog1 *xload-cold-load-functions* (setq *xload-cold-load-functions* nil)))
1195        (funcall f))
1196      (dolist (pair (prog1 *early-class-cells* (setq *early-class-cells* nil)))
1197        (setf (gethash (car pair) %find-classes%) (cdr pair)))
1198      (dolist (p %all-packages%)
1199        (%resize-htab (pkg.itab p))
1200        (%resize-htab (pkg.etab p)))
1201      (dolist (f (prog1 *xload-cold-load-documentation* (setq *xload-cold-load-documentation* nil)))
1202        (apply 'set-documentation f))
1203      ;; Can't bind any specials until this happens
1204      (let* ((max 0))
1205        (%map-areas #'(lambda (symvec)
1206                        (when (= (the fixnum (typecode symvec))
1207                                 target::subtag-symbol)
1208                          (let* ((s (symvector->symptr symvec))
1209                                 (idx (symbol-binding-index s)))
1210                            (when (> idx 0)
1211                              (cold-load-binding-index s))
1212                            (when (> idx max)
1213                              (setq max idx))))))
1214        (%set-binding-index max))
1215      (%fasload *xload-startup-file*)))
1216
Note: See TracBrowser for help on using the repository browser.