source: branches/working-0711-perf/ccl/level-0/nfasload.lisp @ 9437

Last change on this file since 9437 was 9437, checked in by gb, 11 years ago

Support PACKAGE-REFs.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 37.6 KB
Line 
1;;;-*- Mode: Lisp; Package: CCL -*-
2;;;
3;;;   Copyright (C) 1994-2001 Digitool, Inc
4;;;   This file is part of OpenMCL. 
5;;;
6;;;   OpenMCL is licensed under the terms of the Lisp Lesser GNU Public
7;;;   License , known as the LLGPL and distributed with OpenMCL as the
8;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
9;;;   which is distributed with OpenMCL as the file "LGPL".  Where these
10;;;   conflict, the preamble takes precedence. 
11;;;
12;;;   OpenMCL is referenced in the preamble as the "LIBRARY."
13;;;
14;;;   The LLGPL is also available online at
15;;;   http://opensource.franz.com/preamble.html
16
17(in-package "CCL")
18
19(eval-when (:compile-toplevel :execute)
20
21(require "FASLENV" "ccl:xdump;faslenv")
22
23
24(defconstant $primsizes (make-array 23
25                                    :element-type '(unsigned-byte 16)
26                                    :initial-contents
27                                    '(41 61 97 149 223 337 509 769 887 971 1153 1559 1733
28                                      2609 2801 3917 5879 8819 13229 19843 24989 29789 32749)))
29(defconstant $hprimes (make-array 8 
30                                  :element-type '(unsigned-byte 16)
31                                  :initial-contents '(5 7 11 13 17 19 23 29)))
32
33;;; Symbol hash tables: (htvec . (hcount . hlimit))
34
35(defmacro htvec (htab) `(%car ,htab))
36(defmacro htcount (htab) `(%cadr ,htab))
37(defmacro htlimit (htab) `(%cddr ,htab))
38)
39
40(eval-when (:execute :compile-toplevel)
41  (assert (= 80 numfaslops)))
42
43
44
45
46(setq *package-refs* (make-hash-table))
47
48(defvar *fasl-dispatch-table* #80(%bad-fasl))
49
50
51
52
53
54(defun %bad-fasl (s)
55  (error "bad opcode near position ~d in FASL file ~s"
56         (%fasl-get-file-pos s)
57         (faslstate.faslfname s)))
58
59(defun %cant-epush (s)
60  (if (faslstate.faslepush s)
61    (%bad-fasl s)))
62
63(defun %epushval (s val)
64  (setf (faslstate.faslval s) val)
65  (when (faslstate.faslepush s)
66    (setf (svref (faslstate.faslevec s) (faslstate.faslecnt s)) val)
67    (incf (the fixnum (faslstate.faslecnt s))))
68  val)
69
70(defun %simple-fasl-read-buffer (s)
71  (let* ((fd (faslstate.faslfd s))
72         (buffer (faslstate.iobuffer s))
73         (bufptr (%get-ptr buffer)))
74    (declare (dynamic-extent bufptr)
75             (type macptr buffer bufptr pb))
76    (%setf-macptr bufptr (%inc-ptr buffer target::node-size))
77    (setf (%get-ptr buffer) bufptr)
78    (let* ((n (fd-read fd bufptr $fasl-buf-len)))
79      (declare (fixnum n))
80      (if (> n 0)
81        (setf (faslstate.bufcount s) n)
82        (error "Fix this: look at errno, EOF")))))
83
84 
85(defun %simple-fasl-read-byte (s)
86  (loop
87    (let* ((buffer (faslstate.iobuffer s))
88           (bufptr (%get-ptr buffer)))
89      (declare (dynamic-extent bufptr)
90               (type macptr buffer bufptr))
91      (if (>= (the fixnum (decf (the fixnum (faslstate.bufcount s))))
92              0)
93        (return
94         (prog1
95           (%get-unsigned-byte bufptr)
96           (setf (%get-ptr buffer)
97                 (%incf-ptr bufptr))))
98        (%fasl-read-buffer s)))))
99
100(defun %fasl-read-word (s)
101  (the fixnum 
102    (logior (the fixnum (ash (the fixnum (%fasl-read-byte s)) 8))
103            (the fixnum (%fasl-read-byte s)))))
104
105
106(defun %fasl-read-long (s)
107  (logior (ash (%fasl-read-word s) 16) (%fasl-read-word s)))
108
109(defun %fasl-read-signed-long (s)
110  (logior (ash (%word-to-int (%fasl-read-word s)) 16)
111          (%fasl-read-word s)))
112
113
114(defun %fasl-read-count (s)
115  (do* ((val 0)
116        (shift 0 (+ shift 7))
117        (done nil))
118       (done val)
119    (let* ((b (%fasl-read-byte s)))
120      (declare (type (unsigned-byte 8) b))
121      (setq done (logbitp 7 b) val (logior val (ash (logand b #x7f) shift))))))
122
123(defun %simple-fasl-read-n-bytes (s ivector byte-offset n)
124  (declare (fixnum byte-offset n))
125  (do* ()
126       ((= n 0))
127    (let* ((count (faslstate.bufcount s))
128           (buffer (faslstate.iobuffer s))
129           (bufptr (%get-ptr buffer))
130           (nthere (if (< count n) count n)))
131      (declare (dynamic-extent bufptr)
132               (type macptr buffer bufptr)
133               (fixnum count nthere))
134      (if (= nthere 0)
135        (%fasl-read-buffer s)
136        (progn
137          (decf n nthere)
138          (decf (the fixnum (faslstate.bufcount s)) nthere)
139          (%copy-ptr-to-ivector bufptr 0 ivector byte-offset nthere)
140          (incf byte-offset nthere)
141          (setf (%get-ptr buffer)
142                (%incf-ptr bufptr nthere)))))))
143       
144
145(defun %fasl-vreadstr (s)
146  (let* ((nbytes (%fasl-read-count s))
147         (copy t)
148         (n nbytes)
149         (str (faslstate.faslstr s)))
150    (declare (fixnum n nbytes))
151    (if (> n (length str))
152        (setq str (make-string n :element-type 'base-char))
153        (setq copy nil))
154    (%fasl-read-n-bytes s str 0 nbytes)
155    (values str n copy)))
156
157
158(defun %fasl-read-n-string (s string start n)
159  (declare (fixnum start n))
160  (do* ((i start (1+ i))
161        (n n (1- n)))
162       ((<= n 0))
163    (declare (fixnum i n))
164    (setf (schar string i) (code-char (%fasl-read-count s)))))
165
166(defun %fasl-nvreadstr (s)
167  (let* ((nchars (%fasl-read-count s))
168         (copy t)
169         (n nchars)
170         (str (faslstate.faslstr s)))
171    (declare (fixnum n nbytes))
172    (if (> n (length str))
173        (setq str (make-string n :element-type 'base-char))
174        (setq copy nil))
175    (%fasl-read-n-string  s str 0 nchars)
176    (values str n copy)))
177
178(defun %fasl-copystr (str len)
179  (declare (fixnum len))
180  (let* ((new (make-string len :element-type 'base-char)))
181    (declare (simple-base-string new))
182    (declare (optimize (speed 3)(safety 0)))
183    (dotimes (i len new)
184      (setf (schar new i) (schar str i)))))
185
186(defun %fasl-dispatch (s op)
187  (declare (fixnum op)) 
188  (setf (faslstate.faslepush s) (logbitp $fasl-epush-bit op))
189  #+debug
190  (format t "~& dispatch: op = ~d at ~x" (logand op (lognot (ash 1 $fasl-epush-bit)))
191          (1- (%fasl-get-file-pos s)))
192  (funcall (svref (faslstate.fasldispatch s) (logand op (lognot (ash 1 $fasl-epush-bit)))) 
193           s))
194
195(defun %fasl-expr (s)
196  (%fasl-dispatch s (%fasl-read-byte s))
197  (faslstate.faslval s))
198
199(defun %fasl-expr-preserve-epush (s)
200  (let* ((epush (faslstate.faslepush s))
201         (val (%fasl-expr s)))
202    (setf (faslstate.faslepush s) epush)
203    val))
204
205
206(defun %fasl-vmake-symbol (s &optional idx)
207  (declare (fixnum subtype))
208  (let* ((n (%fasl-read-count s))
209         (str (make-string n :element-type 'base-char)))
210    (declare (fixnum n))
211    (%fasl-read-n-bytes s str 0 n)
212    (let* ((sym (make-symbol str)))
213      (when idx (ensure-binding-index sym))
214      (%epushval s sym))))
215
216(defun %fasl-nvmake-symbol (s &optional idx)
217  (declare (fixnum subtype))
218  (let* ((n (%fasl-read-count s))
219         (str (make-string n :element-type 'base-char)))
220    (declare (fixnum n))
221    (%fasl-read-n-string s str 0 n)
222    (let* ((sym (make-symbol str)))
223      (when idx (ensure-binding-index sym))
224      (%epushval s sym))))
225
226(defun %fasl-vintern (s package &optional binding-index)
227  (multiple-value-bind (str len new-p) (%fasl-vreadstr s)
228    (with-package-lock (package)
229      (multiple-value-bind (symbol access internal-offset external-offset)
230          (%find-symbol str len package)
231        (unless access
232          (unless new-p (setq str (%fasl-copystr str len)))
233          (setq symbol (%add-symbol str package internal-offset external-offset)))
234        (when binding-index
235          (ensure-binding-index symbol))
236        (%epushval s symbol)))))
237
238(defun %fasl-nvintern (s package &optional binding-index)
239  (multiple-value-bind (str len new-p) (%fasl-nvreadstr s)
240    (with-package-lock (package)
241      (multiple-value-bind (symbol access internal-offset external-offset)
242          (%find-symbol str len package)
243        (unless access
244          (unless new-p (setq str (%fasl-copystr str len)))
245          (setq symbol (%add-symbol str package internal-offset external-offset)))
246        (when binding-index
247          (ensure-binding-index symbol))
248        (%epushval s symbol)))))
249
250(defvar *package-refs*)
251(setq *package-refs* (make-hash-table :test #'equal))
252
253(defun register-package-ref (name)
254  (or (gethash name *package-refs*)
255      (setf (gethash name *package-refs*) (make-package-ref name))))
256
257(dolist (p %all-packages%)
258  (dolist (name (pkg.names p))
259    (setf (package-ref.pkg (register-package-ref name)) p)))
260
261
262(defun find-package (name)
263  (if (packagep name) 
264    name
265    (%find-pkg (string name))))
266
267(defun %pkg-ref-find-package (ref)
268  (package-ref.pkg ref))
269
270(defun set-package (name &aux (pkg (find-package name)))
271  (if pkg
272    (setq *package* pkg)
273    (set-package (%kernel-restart $xnopkg name))))
274
275 
276(defun %find-pkg (name &optional (len (length name)))
277  (declare (fixnum len))
278  (with-package-list-read-lock
279      (dolist (p %all-packages%)
280        (if (dolist (pkgname (pkg.names p))
281              (when (and (= (the fixnum (length pkgname)) len)
282                         (dotimes (i len t)
283                           ;; Aref: allow non-simple strings
284                           (unless (eq (aref name i) (schar pkgname i))
285                             (return))))
286                (return t)))
287          (return p)))))
288
289
290
291(defun pkg-arg (thing &optional deleted-ok)
292  (let* ((xthing (cond ((or (symbolp thing) (typep thing 'character))
293                        (string thing))
294                       ((typep thing 'string)
295                        (ensure-simple-string thing))
296                       (t
297                        thing))))
298    (let* ((typecode (typecode xthing)))
299        (declare (fixnum typecode))
300        (cond ((= typecode target::subtag-package)
301               (if (or deleted-ok (pkg.names xthing))
302                 xthing
303                 (error "~S is a deleted package ." thing)))
304              ((= typecode target::subtag-simple-base-string)
305               (or (%find-pkg xthing)
306                   (%kernel-restart $xnopkg xthing)))
307              (t (report-bad-arg thing 'simple-string))))))
308
309(defun %fasl-vpackage (s)
310  (multiple-value-bind (str len new-p) (%fasl-vreadstr s)
311    (let* ((p (%find-pkg str len)))
312      (%epushval s (or p (%kernel-restart $XNOPKG (if new-p str (%fasl-copystr str len))))))))
313
314
315(defun %fasl-nvpackage (s)
316  (multiple-value-bind (str len new-p) (%fasl-nvreadstr s)
317    (let* ((p (%find-pkg str len)))
318      (%epushval s (or p  (%kernel-restart $XNOPKG (if new-p str (%fasl-copystr str len))))))))
319
320(defun %fasl-vlistX (s dotp)
321  (let* ((len (%fasl-read-count s)))
322    (declare (fixnum len))
323    (let* ((val (%epushval s (cons nil nil)))
324           (tail val))
325      (declare (type cons val tail))
326      (setf (car val) (%fasl-expr s))
327      (dotimes (i len)
328        (setf (cdr tail) (setq tail (cons (%fasl-expr s) nil))))
329      (if dotp
330        (setf (cdr tail) (%fasl-expr s)))
331      (setf (faslstate.faslval s) val))))
332
333(deffaslop $fasl-noop (s)
334  (%cant-epush s))
335
336
337(deffaslop $fasl-vetab-alloc (s)
338  (%cant-epush s)
339  (setf (faslstate.faslevec s) (make-array (the fixnum (%fasl-read-count s)))
340        (faslstate.faslecnt s) 0))
341
342(deffaslop $fasl-platform (s)
343  (%cant-epush s)
344  (let* ((platform (%fasl-expr s))
345         (host-platform (%get-kernel-global 'host-platform)))
346    (declare (fixnum platform host-platform))
347    (unless (= platform host-platform)
348      (error "Not a native fasl file : ~s" (faslstate.faslfname s)))))
349
350
351(deffaslop $fasl-veref (s)
352  (let* ((idx (%fasl-read-count s)))
353    (declare (fixnum idx))
354    (if (>= idx (the fixnum (faslstate.faslecnt s)))
355      (%bad-fasl s))
356    (%epushval s (svref (faslstate.faslevec s) idx))))
357
358#+x86-target
359;;; Read a "concatenated" lisp function, in which the machine code
360;;; and constants are both contained in the same underlying uvector.
361(deffaslop $fasl-clfun (s)
362  (let* ((size-in-elements (%fasl-read-count s))
363         (size-of-code (%fasl-read-count s))
364         (vector (%alloc-misc size-in-elements target::subtag-function))
365         (function (%function-vector-to-function vector)))
366    (declare (fixnum size-in-elements size-of-code))
367    (%epushval s function)
368    (%fasl-read-n-bytes s vector 0 (ash size-of-code target::word-shift))
369    (do* ((numconst (- size-in-elements size-of-code))
370          (i 0 (1+ i))
371          (constidx size-of-code (1+ constidx)))
372         ((= i numconst)
373          (setf (faslstate.faslval s) function))
374      (declare (fixnum i numconst constidx))
375      (setf (%svref vector constidx) (%fasl-expr s)))))
376   
377   
378(deffaslop $fasl-lfuncall (s)
379  (let* ((fun (%fasl-expr-preserve-epush s)))
380    ;(break "fun = ~s" fun)
381     (%epushval s (funcall fun))))
382
383(deffaslop $fasl-globals (s)
384  (setf (faslstate.faslgsymbols s) (%fasl-expr s)))
385
386(deffaslop $fasl-char (s)
387  (%epushval s (code-char (%fasl-read-count s))))
388
389;;; Deprecated
390(deffaslop $fasl-fixnum (s)
391  (%epushval
392   s
393   (logior (the fixnum (ash (the fixnum (%word-to-int (%fasl-read-word s)))
394                            16))
395           (the fixnum (%fasl-read-word s))) ))
396
397(deffaslop $fasl-s32 (s)
398  (%epushval s (%fasl-read-signed-long s)))
399
400(deffaslop $fasl-s64 (s)
401  (%epushval s (logior (ash (%fasl-read-signed-long s) 32)
402                       (%fasl-read-long s))))
403
404(deffaslop $fasl-dfloat (s)
405  ;; A double-float is a 3-element "misc" object.
406  ;; Element 0 is always 0 and exists solely to keep elements 1 and 2
407  ;; aligned on a 64-bit boundary.
408  (%epushval s (double-float-from-bits (%fasl-read-long s) (%fasl-read-long s))))
409
410(deffaslop $fasl-sfloat (s)
411  (%epushval s (host-single-float-from-unsigned-byte-32 (%fasl-read-long s))))
412
413(deffaslop $fasl-vstr (s)
414  (let* ((n (%fasl-read-count s))
415         (str (make-string (the fixnum n) :element-type 'base-char)))
416    (%epushval s str)
417    (%fasl-read-n-bytes s str 0 n)))
418
419(deffaslop $fasl-nvstr (s)
420  (let* ((n (%fasl-read-count s))
421         (str (make-string (the fixnum n) :element-type 'base-char)))
422    (%epushval s str)
423    (%fasl-read-n-string s str 0 n)))
424
425(deffaslop $fasl-word-fixnum (s)
426  (%epushval s (%word-to-int (%fasl-read-word s))))
427
428(deffaslop $fasl-vmksym (s)
429  (%fasl-vmake-symbol s))
430
431(deffaslop $fasl-nvmksym (s)
432  (%fasl-nvmake-symbol s))
433
434(deffaslop $fasl-vmksym-special (s)
435  (%fasl-vmake-symbol s t))
436
437(deffaslop $fasl-nvmksym-special (s)
438  (%fasl-nvmake-symbol s t))
439
440(deffaslop $fasl-vintern (s)
441  (%fasl-vintern s *package*))
442
443(deffaslop $fasl-nvintern (s)
444  (%fasl-nvintern s *package*))
445
446(deffaslop $fasl-vintern-special (s)
447  (%fasl-vintern s *package* t))
448
449(deffaslop $fasl-nvintern-special (s)
450  (%fasl-nvintern s *package* t))
451
452
453
454
455(deffaslop $fasl-vpkg-intern (s)
456  (let* ((pkg (%fasl-expr-preserve-epush s)))
457    #+paranoia
458    (setq pkg (pkg-arg pkg))
459    (%fasl-vintern s pkg)))
460
461(deffaslop $fasl-nvpkg-intern (s)
462  (let* ((pkg (%fasl-expr-preserve-epush s)))
463    #+paranoia
464    (setq pkg (pkg-arg pkg))
465    (%fasl-nvintern s pkg)))
466
467(deffaslop $fasl-vpkg-intern-special (s)
468  (let* ((pkg (%fasl-expr-preserve-epush s)))
469    #+paranoia
470    (setq pkg (pkg-arg pkg))
471    (%fasl-vintern s pkg t)))
472
473(deffaslop $fasl-nvpkg-intern-special (s)
474  (let* ((pkg (%fasl-expr-preserve-epush s)))
475    #+paranoia
476    (setq pkg (pkg-arg pkg))
477    (%fasl-nvintern s pkg t)))
478
479(deffaslop $fasl-vpkg (s)
480  (%fasl-vpackage s))
481
482(deffaslop $fasl-nvpkg (s)
483  (%fasl-nvpackage s))
484
485(deffaslop $fasl-cons (s)
486  (let* ((cons (%epushval s (cons nil nil))))
487    (declare (type cons cons))
488    (setf (car cons) (%fasl-expr s)
489          (cdr cons) (%fasl-expr s))
490    (setf (faslstate.faslval s) cons)))
491
492(deffaslop $fasl-vlist (s)
493  (%fasl-vlistX s nil))
494
495(deffaslop $fasl-vlist* (s)
496  (%fasl-vlistX s t))
497
498(deffaslop $fasl-nil (s)
499  (%epushval s nil))
500
501(deffaslop $fasl-timm (s)
502  (rlet ((p :int))
503    (setf (%get-long p) (%fasl-read-long s))
504    (%epushval s (%get-unboxed-ptr p))))
505
506(deffaslop $fasl-symfn (s)
507  (%epushval s (%function (%fasl-expr-preserve-epush s))))
508   
509(deffaslop $fasl-eval (s)
510  (%epushval s (eval (%fasl-expr-preserve-epush s))))
511
512;;; For bootstrapping. The real version is cheap-eval in l1-readloop
513(when (not (fboundp 'eval))
514  (defun eval (form)
515    (if (and (listp form)
516             (let ((f (%car form)))
517               (and (symbolp f)
518                    (functionp (fboundp f)))))
519      (apply (%car form) (%cdr form))
520      (error "Can't eval yet: ~s" form))))
521
522
523(deffaslop $fasl-vivec (s)
524  (let* ((subtag (%fasl-read-byte s))
525         (element-count (%fasl-read-count s))
526         (size-in-bytes (subtag-bytes subtag element-count))
527         (vector (%alloc-misc element-count subtag))
528         (byte-offset (or #+ppc32-target (if (= subtag ppc32::subtag-double-float-vector) 4) 0)))
529    (declare (fixnum subtag element-count size-in-bytes))
530    (%epushval s vector)
531    (%fasl-read-n-bytes s vector byte-offset size-in-bytes)
532    vector))
533
534(defun fasl-read-ivector (s subtag)
535  (let* ((element-count (%fasl-read-count s))
536         (size-in-bytes (subtag-bytes subtag element-count))
537         (vector (%alloc-misc element-count subtag)))
538    (declare (fixnum subtag element-count size-in-bytes))
539    (%epushval s vector)
540    (%fasl-read-n-bytes s vector 0 size-in-bytes)
541    vector))
542 
543(deffaslop $fasl-u8-vector (s)
544  (fasl-read-ivector s target::subtag-u8-vector))
545
546(deffaslop $fasl-s8-vector (s)
547  (fasl-read-ivector s target::subtag-s8-vector))
548
549(deffaslop $fasl-u16-vector (s)
550  (fasl-read-ivector s target::subtag-u16-vector))
551
552(deffaslop $fasl-s16-vector (s)
553  (fasl-read-ivector s target::subtag-s16-vector))
554
555(deffaslop $fasl-u32-vector (s)
556  (fasl-read-ivector s target::subtag-u32-vector))
557
558(deffaslop $fasl-s32-vector (s)
559  (fasl-read-ivector s target::subtag-s32-vector))
560
561#+64-bit-target
562(deffaslop $fasl-u64-vector (s)
563  (fasl-read-ivector s target::subtag-u64-vector))
564
565#+64-bit-target
566(deffaslop $fasl-u64-vector (s)
567  (fasl-read-ivector s target::subtag-s64-vector))
568
569(deffaslop $fasl-bit-vector (s)
570  (fasl-read-ivector s target::subtag-bit-vector))
571
572(deffaslop $fasl-bignum32 (s)
573  (let* ((element-count (%fasl-read-count s))
574         (size-in-bytes (* element-count 4))
575         (num (%alloc-misc element-count target::subtag-bignum)))
576    (declare (fixnum subtag element-count size-in-bytes))
577    (%fasl-read-n-bytes s num 0 size-in-bytes)
578    (setq num (%normalize-bignum-2 t num))
579    (%epushval s num)
580    num))
581
582(deffaslop $fasl-single-float-vector (s)
583  (fasl-read-ivector s target::subtag-single-float-vector))
584
585(deffaslop $fasl-double-float-vector (s)
586  #+64-bit-target
587  (fasl-read-ivector s target::subtag-double-float-vector)
588  #+ppc32-target
589  (let* ((element-count (%fasl-read-count s))
590         (size-in-bytes (subtag-bytes ppc32::subtag-double-float-vector
591                                      element-count))
592         (vector (%alloc-misc element-count
593                              ppc32::subtag-double-float-vector)))
594    (declare (fixnum subtag element-count size-in-bytes))
595    (%epushval s vector)
596    (%fasl-read-n-bytes s vector (- ppc32::misc-dfloat-offset
597                                    ppc32::misc-data-offset)
598                        size-in-bytes)
599    vector))
600
601
602
603#-x86-target
604(deffaslop $fasl-code-vector (s)
605  (let* ((element-count (%fasl-read-count s))
606         (size-in-bytes (* 4 element-count))
607         (vector (allocate-typed-vector :code-vector element-count)))
608    (declare (fixnum subtag element-count size-in-bytes))
609    (%epushval s vector)
610    (%fasl-read-n-bytes s vector 0 size-in-bytes)
611    (%make-code-executable vector)
612    vector))
613
614(defun fasl-read-gvector (s subtype)
615  (let* ((n (%fasl-read-count s))
616         (vector (%alloc-misc n subtype)))
617    (declare (fixnum n subtype))
618    (%epushval s vector)
619    (dotimes (i n (setf (faslstate.faslval s) vector))
620      (setf (%svref vector i) (%fasl-expr s)))))
621
622(deffaslop $fasl-vgvec (s)
623  (let* ((subtype (%fasl-read-byte s)))
624    (fasl-read-gvector s subtype)))
625 
626(deffaslop $fasl-ratio (s)
627  (let* ((r (%alloc-misc target::ratio.element-count target::subtag-ratio)))
628    (%epushval s r)
629    (setf (%svref r target::ratio.numer-cell) (%fasl-expr s)
630          (%svref r target::ratio.denom-cell) (%fasl-expr s))
631    (setf (faslstate.faslval s) r)))
632
633(deffaslop $fasl-complex (s)
634  (let* ((c (%alloc-misc target::complex.element-count
635                         target::subtag-complex)))
636    (%epushval s c)
637    (setf (%svref c target::complex.realpart-cell) (%fasl-expr s)
638          (%svref c target::complex.imagpart-cell) (%fasl-expr s))
639    (setf (faslstate.faslval s) c)))
640
641(deffaslop $fasl-t-vector (s)
642  (fasl-read-gvector s target::subtag-simple-vector))
643
644(deffaslop $fasl-function (s)
645  (fasl-read-gvector s target::subtag-function))
646
647(deffaslop $fasl-istruct (s)
648  (fasl-read-gvector s target::subtag-istruct))
649
650(deffaslop $fasl-vector-header (s)
651  (fasl-read-gvector s target::subtag-vectorH))
652
653(deffaslop $fasl-array-header (s)
654  (fasl-read-gvector s target::subtag-arrayH))
655
656
657(deffaslop $fasl-defun (s)
658  (%cant-epush s)
659  (%defun (%fasl-expr s) (%fasl-expr s)))
660
661(deffaslop $fasl-macro (s)
662  (%cant-epush s)
663  (%macro (%fasl-expr s) (%fasl-expr s)))
664
665(deffaslop $fasl-defconstant (s)
666  (%cant-epush s)
667  (%defconstant (%fasl-expr s) (%fasl-expr s) (%fasl-expr s)))
668
669(deffaslop $fasl-defparameter (s)
670  (%cant-epush s)
671  (let* ((sym (%fasl-expr s))
672         (val (%fasl-expr s)))
673    (%defvar sym (%fasl-expr s))
674    (set sym val)))
675
676;;; (defvar var)
677(deffaslop $fasl-defvar (s)
678  (%cant-epush s)
679  (%defvar (%fasl-expr s)))
680
681;;; (defvar var initfom doc)
682(deffaslop $fasl-defvar-init (s)
683  (%cant-epush s)
684  (let* ((sym (%fasl-expr s))
685         (val (%fasl-expr s)))
686    (unless (%defvar sym (%fasl-expr s))
687      (set sym val))))
688
689
690(deffaslop $fasl-prog1 (s)
691  (let* ((val (%fasl-expr s)))
692    (%fasl-expr s)
693    (setf (faslstate.faslval s) val)))
694
695
696
697(deffaslop $fasl-src (s)
698  (%cant-epush s)
699  (let* ((source-file (%fasl-expr s)))
700    ; (format t "~& source-file = ~s" source-file)
701    (setq *loading-file-source-file* source-file)))
702
703(deffaslop $fasl-toplevel-location (s)
704  (%cant-epush s)
705  (setq *loading-toplevel-location* (%fasl-expr s)))
706
707(defvar *modules* nil)
708
709;;; Bootstrapping version
710(defun provide (module-name)
711  (push (string module-name) *modules*))
712
713(deffaslop $fasl-provide (s)
714  (provide (%fasl-expr s)))   
715
716
717;;; files compiled with code coverage do this
718;; list of lfuns and (source-fn-name . vector-of-lfuns), the latter put there by fasloading.
719(defvar *code-covered-functions* nil)
720
721(defun register-code-covered-functions (functions)
722  ;; unpack the parent-note references - see comment at fcomp-digest-code-notes
723  (labels ((reg (lfun refs)
724             (unless (memq lfun refs)
725               (let* ((lfv (function-to-function-vector lfun))
726                      (start #+ppc-target 0 #+x86-target (%function-code-words lfun))
727                      (refs (cons lfun refs)))
728                 (declare (dynamic-extent refs))
729                 (loop for i from start below (uvsize lfv) as imm = (uvref lfv i)
730                       do (typecase imm
731                            (code-note
732                             (let ((parent (code-note-parent-note imm)))
733                               (when (integerp parent)
734                                 (setf (code-note-parent-note imm) (uvref lfv parent)))))
735                            (function (reg imm refs))))))))
736    (loop for fn across functions do (reg fn nil)))
737  (let ((a (assoc (pathname *loading-file-source-file*)
738                  *code-covered-functions*
739                  :test #'(lambda (p q)
740                            (and (equalp (pathname-name p) (pathname-name q))
741                                 ;; same name, so worth trying harder to match 'em up.
742                                 (or (equal p q)
743                                     (let ((p (full-pathname p)) (q (full-pathname q)))
744                                       (and p q (equalp p q)))
745                                     (let ((p (probe-file p)) (q (probe-file q)))
746                                       (and p q (equalp p q)))))))))
747    (when (null a)
748      (push (setq a (list nil nil)) *code-covered-functions*))
749    (setf (car a) *loading-file-source-file* (cdr a) functions))
750  nil)
751
752;;; The loader itself
753
754(defun %simple-fasl-set-file-pos (s new)
755  (let* ((fd (faslstate.faslfd s))
756         (posoffset (fd-tell fd)))
757    (if (>= (decf posoffset new) 0)
758      (let* ((count (faslstate.bufcount s)))
759        (if (>= (decf count posoffset ) 0)
760          (progn
761            (setf (faslstate.bufcount s) posoffset)
762            (incf #+32-bit-target (%get-long (faslstate.iobuffer s))
763                  #+64-bit-target (%%get-signed-longlong (faslstate.iobuffer s)
764                                                        0)
765                  count)
766            (return-from %simple-fasl-set-file-pos nil)))))
767    (progn
768      (setf (faslstate.bufcount s) 0)
769      (fd-lseek fd new #$SEEK_SET))))
770
771(defun %simple-fasl-get-file-pos (s)
772  (- (fd-tell (faslstate.faslfd s)) (faslstate.bufcount s)))
773
774(defparameter *%fasload-verbose* t)
775
776;;; the default fasl file opener sets up the fasl state and checks the header
777(defun %simple-fasl-open (string s)
778  (let* ((ok nil)
779         (fd (fd-open string #$O_RDONLY))
780         (err 0))
781    (declare (fixnum fd))
782    (if (>= fd 0)
783      (if (< (fd-lseek fd 0 #$SEEK_END) 4)
784        (setq err $xnotfasl)
785        (progn
786          (setq err 0)
787          (setf (faslstate.bufcount s) 0
788                (faslstate.faslfd s) fd)
789          (fd-lseek fd 0 #$SEEK_SET)
790          (multiple-value-setq (ok err) (%fasl-check-header s))))
791      (setq err fd))
792    (unless (eql err 0) (setf (faslstate.faslerr s) err))
793    ok))
794
795;;; once the fasl state is set up, this checks the fasl header and
796;;; returns (values ok err)
797(defun %fasl-check-header (s)
798  (let* ((signature (%fasl-read-word s)))
799    (declare (fixnum signature))
800    (if (= signature $fasl-file-id)
801        (values t 0)
802      (if (= signature $fasl-file-id1)
803          (progn
804            (%fasl-set-file-pos s (%fasl-read-long s))
805            (values t 0))
806        (values nil $xnotfasl)))))
807
808(defun %simple-fasl-close (s)
809  (let* ((fd (faslstate.faslfd s)))
810    (when fd (fd-close fd))))
811
812(defun %simple-fasl-init-buffer (s)
813  (declare (ignore s))
814  nil)
815
816(defvar *fasl-api* nil)
817(setf *fasl-api* (%istruct 'faslapi
818                           #'%simple-fasl-open
819                           #'%simple-fasl-close
820                           #'%simple-fasl-init-buffer
821                           #'%simple-fasl-set-file-pos
822                           #'%simple-fasl-get-file-pos
823                           #'%simple-fasl-read-buffer
824                           #'%simple-fasl-read-byte
825                           #'%simple-fasl-read-n-bytes))
826
827(defun %fasl-open (string s)
828  (funcall (faslapi.fasl-open *fasl-api*) string s))
829(defun %fasl-close (s)
830  (funcall (faslapi.fasl-close *fasl-api*) s))
831(defun %fasl-init-buffer (s)
832  (funcall (faslapi.fasl-init-buffer *fasl-api*) s))
833(defun %fasl-set-file-pos (s new)
834  (funcall (faslapi.fasl-set-file-pos *fasl-api*) s new))
835(defun %fasl-get-file-pos (s)
836  (funcall (faslapi.fasl-get-file-pos *fasl-api*) s))
837(defun %fasl-read-buffer (s)
838  (funcall (faslapi.fasl-read-buffer *fasl-api*) s))
839(defun %fasl-read-byte (s)
840  (funcall (faslapi.fasl-read-byte *fasl-api*) s))
841(defun %fasl-read-n-bytes (s ivector byte-offset n)
842  (funcall (faslapi.fasl-read-n-bytes *fasl-api*) s ivector byte-offset n))
843
844(defun %fasload (string &optional (table *fasl-dispatch-table*))
845  ;;(dbg string)
846  (when (and *%fasload-verbose*
847             (not *load-verbose*))
848    (%string-to-stderr ";Loading ") (pdbg string))
849  (let* ((s (%istruct
850             'faslstate
851             nil
852             nil
853             nil
854             nil
855             nil
856             nil
857             nil
858             nil
859             nil
860             nil
861             nil
862             nil
863             nil
864             nil)))
865    (declare (dynamic-extent s))
866    (setf (faslstate.faslfname s) string)
867    (setf (faslstate.fasldispatch s) table)
868    (setf (faslstate.faslversion s) 0)
869    (%stack-block ((buffer (+ target::node-size $fasl-buf-len)))
870      (setf (faslstate.iobuffer s) buffer)
871      (%fasl-init-buffer s)
872      (let* ((parse-string (make-string 255 :element-type 'base-char)))
873        (declare (dynamic-extent parse-string))
874        (setf (faslstate.oldfaslstr s) nil
875              (faslstate.faslstr s) parse-string)
876        (unwind-protect
877             (when (%fasl-open string s)
878               (let* ((nblocks (%fasl-read-word s)))
879                 (declare (fixnum nblocks))
880                 (unless (= nblocks 0)
881                   (let* ((pos (%fasl-get-file-pos s)))
882                     (dotimes (i nblocks)
883                       (%fasl-set-file-pos s pos)
884                       (%fasl-set-file-pos s (%fasl-read-long s))
885                       (incf pos 8)
886                       (let* ((version (%fasl-read-word s)))
887                         (declare (fixnum version))
888                         (if (or (> version (+ #xff00 $fasl-vers))
889                                 (< version (+ #xff00 $fasl-min-vers)))
890                           (%err-disp (if (>= version #xff00) $xfaslvers $xnotfasl))
891                           (progn
892                             (setf (faslstate.faslversion s) version)
893                             (%fasl-read-word s) 
894                             (%fasl-read-word s) ; Ignore kernel version stuff
895                             (setf (faslstate.faslevec s) nil
896                                   (faslstate.faslecnt s) 0)
897                             (do* ((op (%fasl-read-byte s) (%fasl-read-byte s)))
898                                  ((= op $faslend))
899                               (declare (fixnum op))
900                               (%fasl-dispatch s op))))))))))
901          (%fasl-close s))
902        (let* ((err (faslstate.faslerr s)))
903          (if err
904            (progn
905              (when *%fasload-verbose*
906                (let* ((herald ";!!Error loading ")
907                       (hlen (length herald))
908                       (len (length string))
909                       (msg (make-string (+ hlen len))))
910                  (declare (dynamic-extent msg))
911                  (%copy-ivector-to-ivector herald 0 msg 0 (* hlen 4))
912                  (%copy-ivector-to-ivector string 0 msg (* hlen 4) (* len 4))
913                  (bug msg)))
914              (values nil err))
915            (values t nil)))))))
916
917
918(defun %new-package-hashtable (size)
919  (%initialize-htab (cons nil (cons 0 0)) size))
920
921(defun %initialize-htab (htab size)
922  (declare (fixnum size))
923  ;; Ensure that "size" is relatively prime to all secondary hash values.
924  ;; If it's small enough, pick the next highest known prime out of the
925  ;; "primsizes" array.  Otherwize, iterate through all all of "hprimes"
926  ;; until we find something relatively prime to all of them.
927  (setq size
928        (if (> size 32749)
929          (do* ((nextsize (logior 1 size) (+ nextsize 2)))
930               ()
931            (declare (fixnum nextsize))
932            (when (dotimes (i 8 t)
933                    (unless (eql 1 (gcd nextsize (uvref #.$hprimes i)))
934                      (return)))
935              (return nextsize)))
936          (dotimes (i (the fixnum (length #.$primsizes)))
937            (let* ((psize (uvref #.$primsizes i)))
938              (declare (fixnum psize))
939              (if (>= psize size) 
940                (return psize))))))
941  (setf (htvec htab) (make-array size #|:initial-element 0|#))
942  (setf (htcount htab) 0)
943  (setf (htlimit htab) (the fixnum (- size (the fixnum (ash size -3)))))
944  htab)
945
946
947(defun %resize-htab (htab)
948  (declare (optimize (speed 3) (safety 0)))
949  (without-interrupts
950   (let* ((old-vector (htvec htab))
951          (old-len (length old-vector)))
952     (declare (fixnum old-len)
953              (simple-vector old-vector))
954     (let* ((nsyms 0))
955       (declare (fixnum nsyms))
956       (dovector (s old-vector)
957         (when (symbolp s) (incf nsyms)))
958       (%initialize-htab htab 
959                         (the fixnum (+ 
960                                      (the fixnum 
961                                        (+ nsyms (the fixnum (ash nsyms -2))))
962                                      2)))
963       (let* ((new-vector (htvec htab))
964              (nnew 0))
965         (declare (fixnum nnew)
966                  (simple-vector new-vector))
967         (dotimes (i old-len (setf (htcount htab) nnew))
968           (let* ((s (svref old-vector i)))
969               (if (symbolp s)
970                 (let* ((pname (symbol-name s)))
971                   (setf (svref 
972                          new-vector 
973                          (nth-value 
974                           2
975                           (%get-htab-symbol 
976                            pname
977                            (length pname)
978                            htab)))
979                         s)
980                   (incf nnew)))))
981         htab)))))
982       
983(defun hash-pname (str len)
984  (declare (optimize (speed 3) (safety 0)))
985  (let* ((primary (%pname-hash str len)))
986    (declare (fixnum primary))
987    (values primary (aref (the (simple-array (unsigned-byte 16) (8)) $hprimes) (logand primary 7)))))
988   
989
990
991(defun %get-hashed-htab-symbol (str len htab primary secondary)
992  (declare (optimize (speed 3) (safety 0))
993           (fixnum primary secondary len))
994  (let* ((vec (htvec htab))
995         (vlen (length vec)))
996    (declare (fixnum vlen))
997    (do* ((idx (fast-mod primary vlen) (+ i secondary))
998          (i idx (if (>= idx vlen) (- idx vlen) idx))
999          (elt (svref vec i) (svref vec i)))
1000         ((eql elt 0) (values nil nil i))
1001      (declare (fixnum i idx))
1002      (when (symbolp elt)
1003        (let* ((pname (symbol-name elt)))
1004          (if (and 
1005               (= (the fixnum (length pname)) len)
1006               (dotimes (j len t)
1007                 (unless (eq (aref str j) (schar pname j))
1008                   (return))))
1009            (return (values t (%symptr->symbol elt) i))))))))
1010
1011(defun %get-htab-symbol (string len htab)
1012  (declare (optimize (speed 3) (safety 0)))
1013  (multiple-value-bind (p s) (hash-pname string len)
1014    (%get-hashed-htab-symbol string len htab p s)))
1015
1016(defun %find-symbol (string len package)
1017  (declare (optimize (speed 3) (safety 0)))
1018  (multiple-value-bind (found-p sym internal-offset)
1019                       (%get-htab-symbol string len (pkg.itab package))
1020    (if found-p
1021      (values sym :internal internal-offset nil)
1022      (multiple-value-bind (found-p sym external-offset)
1023                           (%get-htab-symbol string len (pkg.etab package))
1024        (if found-p
1025          (values sym :external internal-offset external-offset)
1026          (dolist (p (pkg.used package) (values nil nil internal-offset external-offset))
1027            (multiple-value-bind (found-p sym)
1028                                 (%get-htab-symbol string len (pkg.etab p))
1029              (when found-p
1030                (return (values sym :inherited internal-offset external-offset))))))))))
1031         
1032(defun %htab-add-symbol (symbol htab idx)
1033  (declare (optimize (speed 3) (safety 0)))
1034  (setf (svref (htvec htab) idx) (%symbol->symptr symbol))
1035  (if (>= (incf (the fixnum (htcount htab)))
1036          (the fixnum (htlimit htab)))
1037    (%resize-htab htab))
1038  symbol)
1039
1040(defun %set-symbol-package (symbol package-or-nil)
1041  (declare (optimize (speed 3) (safety 0)))
1042  (let* ((symvec (symptr->symvector (%symbol->symptr symbol)))
1043         (old-pp (%svref symvec target::symbol.package-predicate-cell)))
1044    (if (consp old-pp)
1045      (setf (car old-pp) package-or-nil)
1046      (setf (%svref symvec target::symbol.package-predicate-cell) package-or-nil))))
1047
1048
1049(let* ((force-export-packages (list *keyword-package*))
1050       (force-export-packages-lock (make-lock)))
1051  (defun force-export-packages ()
1052    (with-lock-grabbed (force-export-packages-lock)
1053      (copy-list force-export-packages)))
1054  (defun package-force-export (p)
1055    (let* ((pkg (pkg-arg p)))
1056      (with-lock-grabbed (force-export-packages-lock)
1057        (pushnew pkg force-export-packages))
1058    pkg))
1059  (defun force-export-package-p (pkg)
1060    (with-lock-grabbed (force-export-packages-lock)
1061      (if (memq pkg force-export-packages)
1062        t))))
1063
1064
1065(defun %insert-symbol (symbol package internal-idx external-idx &optional force-export)
1066  (let* ((symvec (symptr->symvector (%symbol->symptr symbol)))
1067         (package-predicate (%svref symvec target::symbol.package-predicate-cell))
1068         (keyword-package (eq package *keyword-package*)))
1069    ;; Set home package
1070    (if package-predicate
1071      (if (listp package-predicate)
1072        (unless (%car package-predicate) (%rplaca package-predicate package)))
1073      (setf (%svref symvec target::symbol.package-predicate-cell) package))
1074    (if (or force-export (force-export-package-p package))
1075      (progn
1076        (%htab-add-symbol symbol (pkg.etab package) external-idx)
1077        (if keyword-package
1078          ;;(define-constant symbol symbol)
1079          (progn
1080            (%set-sym-global-value symbol symbol)
1081            (%symbol-bits symbol 
1082                          (logior (ash 1 $sym_vbit_special) 
1083                                  (ash 1 $sym_vbit_const)
1084                                  (the fixnum (%symbol-bits symbol)))))))
1085      (%htab-add-symbol symbol (pkg.itab package) internal-idx))
1086    (let* ((hook (pkg.intern-hook package)))
1087      (when hook (funcall hook symbol)))
1088    symbol))
1089
1090;;; PNAME must be a simple string!
1091(defun %add-symbol (pname package internal-idx external-idx &optional force-export)
1092  (let* ((sym (make-symbol pname)))
1093    (%insert-symbol sym package internal-idx external-idx force-export)))
1094
1095
1096
1097
1098;;; The initial %toplevel-function% sets %toplevel-function% to NIL;
1099;;; if the %fasload call fails, the lisp should exit (instead of
1100;;; repeating the process endlessly ...
1101
1102
1103(defvar %toplevel-function%
1104  #'(lambda ()
1105      (declare (special *xload-cold-load-functions*
1106                        *xload-cold-load-documentation*
1107                        *xload-startup-file*))
1108      (%set-tcr-toplevel-function (%current-tcr) nil) ; should get reset by l1-boot.
1109      (setq %system-locks% (%cons-population nil))
1110      ;; Need to make %ALL-PACKAGES-LOCK% early, so that we can casually
1111      ;; do SET-PACKAGE in cold load functions.
1112      (setq %all-packages-lock% (make-read-write-lock))
1113      (dolist (f (prog1 *xload-cold-load-functions* (setq *xload-cold-load-functions* nil)))
1114        (funcall f))
1115      (dolist (p %all-packages%)
1116        (%resize-htab (pkg.itab p))
1117        (%resize-htab (pkg.etab p)))
1118      (dolist (f (prog1 *xload-cold-load-documentation* (setq *xload-cold-load-documentation* nil)))
1119        (apply 'set-documentation f))
1120      ;; Can't bind any specials until this happens
1121      (let* ((max 0))
1122        (%map-areas #'(lambda (symvec)
1123                        (when (= (the fixnum (typecode symvec))
1124                                 target::subtag-symbol)
1125                          (let* ((s (symvector->symptr symvec))
1126                                 (idx (symbol-binding-index s)))
1127                            (when (> idx 0)
1128                              (cold-load-binding-index s))
1129                            (when (> idx max)
1130                              (setq max idx))))))
1131        (%set-binding-index max))
1132      (%fasload *xload-startup-file*)))
1133
Note: See TracBrowser for help on using the repository browser.