source: trunk/source/level-1/linux-files.lisp @ 11516

Last change on this file since 11516 was 11516, checked in by gb, 11 years ago

Try to fix the bug addressed by r11513 in a different way, and fix it
on Windows, too. (Whether or not the bug occurred likely had something
to do with whether the process terminated before we noticed EOF on an
fd that was associated with a stream that another monitored fd was
also associated with.) Build the alist once, invalidate an entry
when the associated fd gets EOF/error (by setting the CAR of the pair
to NIL), delete invalid entries if any were invalidated on the previous
iteration.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 84.2 KB
Line 
1;;;-*- Mode: Lisp; Package: CCL -*-
2;;;
3;;;   Copyright (C) 1994-2001 Digitool, Inc
4;;;   This file is part of OpenMCL. 
5;;;
6;;;   OpenMCL is licensed under the terms of the Lisp Lesser GNU Public
7;;;   License , known as the LLGPL and distributed with OpenMCL as the
8;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
9;;;   which is distributed with OpenMCL as the file "LGPL".  Where these
10;;;   conflict, the preamble takes precedence. 
11;;;
12;;;   OpenMCL is referenced in the preamble as the "LIBRARY."
13;;;
14;;;   The LLGPL is also available online at
15;;;   http://opensource.franz.com/preamble.html
16
17(in-package "CCL")
18
19(defconstant unix-to-universal-time 2208988800)
20
21#+windows-target
22(progn
23
24
25           
26
27(defun nbackslash-to-forward-slash (namestring)
28  (dotimes (i (length namestring) namestring)
29    (when (eql (schar namestring i) #\\)
30      (setf (schar namestring i) #\/))))
31
32(defconstant univeral-time-start-in-windows-seconds 9435484800)
33
34(defun windows-filetime-to-universal-time (ft)
35  (let* ((100-ns (dpb (pref ft #>FILETIME.dwHighDateTime) (byte 32 32)
36                      (pref ft #>FILETIME.dwLowDateTime)))
37         (seconds-since-windows-epoch (floor 100-ns 10000000)))
38    (- seconds-since-windows-epoch univeral-time-start-in-windows-seconds)))
39)
40
41(defun get-foreign-namestring (pointer)
42  ;; On Darwin, foreign namestrings are encoded in UTF-8 and
43  ;; are canonically decomposed (NFD).  Use PRECOMPOSE-SIMPLE-STRING
44  ;; to ensure that the string is "precomposed" (NFC), like the
45  ;; rest of the world and most sane people would expect.
46  #+darwin-target
47  (precompose-simple-string (%get-utf-8-cstring pointer))
48  #+windows-target (nbackslash-to-forward-slash
49                     (%get-native-utf-16-cstring pointer))
50  ;; On some other platforms, the namestring is assumed to
51  ;; be encoded according to the current locale's character
52  ;; encoding (though FreeBSD seems to be moving towards
53  ;; precomposed UTF-8.).
54  #-(or darwin-target windows-target)
55  (let* ((encoding-name (pathname-encoding-name)))
56    (if encoding-name
57      (get-encoded-cstring encoding-name pointer)
58      (%get-cstring pointer))))
59
60(defun nanoseconds (n)
61  (unless (and (typep n 'fixnum)
62               (>= (the fixnum n) 0))
63    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
64  (multiple-value-bind (q r)
65      (floor n)
66    (if (zerop r)
67      (setq r 0)
68      (setq r (floor (* r 1000000000))))
69    (values q r)))
70
71(defun milliseconds (n)
72  (unless (and (typep n 'fixnum)
73               (>= (the fixnum n) 0))
74    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
75  (multiple-value-bind (q r)
76      (floor n)
77    (if (zerop r)
78      (setq r 0)
79      (setq r (floor (* r 1000))))
80    (values q r)))
81
82(defun microseconds (n)
83  (unless (and (typep n 'fixnum)
84               (>= (the fixnum n) 0))
85    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
86  (multiple-value-bind (q r)
87      (floor n)
88    (if (zerop r)
89      (setq r 0)
90      (setq r (floor (* r 1000000))))
91    (values q r)))
92
93(defun semaphore-value (s)
94  (if (istruct-typep s 'semaphore)
95    (semaphore.value s)
96    (semaphore-value (require-type s 'semaphore))))
97
98(defun %wait-on-semaphore-ptr (s seconds milliseconds &optional flag)
99  (if flag
100    (if (istruct-typep flag 'semaphore-notification)
101      (setf (semaphore-notification.status flag) nil)
102      (report-bad-arg flag 'semaphore-notification)))
103  (without-interrupts
104   (let* ((status (ff-call
105                   (%kernel-import target::kernel-import-wait-on-semaphore)
106                   :address s
107                   :unsigned seconds
108                   :unsigned milliseconds
109                   :signed))
110          (result (zerop status)))     
111     (declare (fixnum status))
112     (when flag (setf (semaphore-notification.status flag) result))
113     (values result status))))
114
115(defun %process-wait-on-semaphore-ptr (s seconds milliseconds &optional
116                                         (whostate "semaphore wait") flag)
117  (or (%wait-on-semaphore-ptr s 0 0 flag)
118      (with-process-whostate  (whostate)
119        (loop
120          (when (%wait-on-semaphore-ptr s seconds milliseconds flag)
121            (return))))))
122
123 
124(defun wait-on-semaphore (s &optional flag (whostate "semaphore wait"))
125  "Wait until the given semaphore has a positive count which can be
126atomically decremented."
127  (%process-wait-on-semaphore-ptr (semaphore-value s) #xffffff 0 whostate flag)
128  t)
129
130
131(defun %timed-wait-on-semaphore-ptr (semptr duration notification)
132  (or (%wait-on-semaphore-ptr semptr 0 0 notification)
133      (with-process-whostate ("Semaphore timed wait")
134        (multiple-value-bind (secs millis) (milliseconds duration)
135          (let* ((now (get-internal-real-time))
136                 (stop (+ now
137                          (* secs 1000)
138                          millis)))
139            (loop
140              (multiple-value-bind (success err)
141                  (progn
142                    (%wait-on-semaphore-ptr semptr secs millis notification))
143                (when success
144                  (return t))
145                (when (or (not (eql err #$EINTR))
146                          (>= (setq now (get-internal-real-time)) stop))
147                  (return nil))
148                (unless (zerop duration)
149                  (let* ((diff (- stop now)))
150                    (multiple-value-bind (remaining-seconds remaining-millis)
151                        (floor diff 1000)
152                      (setq secs remaining-seconds
153                            millis remaining-millis)))))))))))
154
155(defun timed-wait-on-semaphore (s duration &optional notification)
156  "Wait until the given semaphore has a postive count which can be
157atomically decremented, or until a timeout expires."
158  (%timed-wait-on-semaphore-ptr (semaphore-value s) duration notification))
159
160
161(defun %signal-semaphore-ptr (p)
162  (ff-call
163   (%kernel-import target::kernel-import-signal-semaphore)
164   :address p
165   :signed-fullword))
166
167(defun signal-semaphore (s)
168  "Atomically increment the count of a given semaphore."
169  (%signal-semaphore-ptr (semaphore-value s)))
170
171(defun %os-getcwd (buf noctets)
172  ;; Return N < 0, if error
173  ;;        N < noctets: success, string is of length N (octets).
174  ;;        N >= noctets: buffer needs to be larger.
175  (let* ((p #+windows-target
176           (#__wgetcwd buf (ash noctets -1))
177           #-windows-target
178           (#_getcwd buf noctets)))
179    (declare (dynamic-extent p))
180    (if (%null-ptr-p p)
181      (let* ((err (%get-errno)))
182        (if (eql err (- #$ERANGE))
183          (+ noctets noctets)
184          err))
185      #+windows-target
186      (do* ((i 0 (+ i 2)))
187           ((= i noctets) (+ noctets noctets))
188        (when (eql (%get-unsigned-word buf i) 0)
189          (return i)))
190      #-windows-target
191      (dotimes (i noctets (+ noctets noctets))
192        (when (eql 0 (%get-byte buf i))
193          (return i))))))
194   
195   
196(defun current-directory-name ()
197  "Look up the current working directory of the OpenMCL process; unless
198it has been changed, this is the directory OpenMCL was started in."
199  (flet ((try-getting-dirname (bufsize)
200           (%stack-block ((buf bufsize))
201             (let* ((len (%os-getcwd buf bufsize)))
202               (cond ((< len 0) (%errno-disp len))
203                     ((< len bufsize)
204                      (setf (%get-unsigned-byte buf len) 0)
205                      (values (get-foreign-namestring buf) len))
206                     (t (values nil len)))))))
207    (do* ((string nil)
208          (len #+windows-target 128 #-windows-target 64)
209          (bufsize len len))
210         ((multiple-value-setq (string len) (try-getting-dirname bufsize))
211          string))))
212
213
214(defun current-directory ()
215  (mac-default-directory))
216
217(defun (setf current-directory) (path)
218  (cwd path)
219  path)
220
221(defun cd (path)
222  (cwd path))
223
224
225
226
227(defun %chdir (dirname)
228  (with-filename-cstrs ((dirname dirname))
229    (int-errno-call (#+windows-target #__wchdir #-windows-target #_chdir dirname))))
230
231(defun %mkdir (name mode)
232  #+windows-target (declare (ignore mode))
233  (let* ((name name)
234         (len (length name)))
235    (when (and (> len 0) (eql (char name (1- len)) #\/))
236      (setq name (subseq name 0 (1- len))))
237    (with-filename-cstrs ((name name))
238      (int-errno-call (#+windows-target #__wmkdir #-windows-target #_mkdir  name #-windows-target mode)))))
239
240(defun %rmdir (name)
241  (let* ((last (1- (length name))))
242    (with-filename-cstrs ((name name))
243      (when (and (>= last 0)
244                 (eql (%get-byte name last) (char-code #\/)))
245        (setf (%get-byte name last) 0))
246      (int-errno-call (#+windows-target #__wrmdir #-windows-target #_rmdir  name)))))
247
248
249(defun getenv (key)
250  "Look up the value of the environment variable named by name, in the
251OS environment."
252  (with-cstrs ((key (string key)))
253    (let* ((env-ptr (%null-ptr)))
254      (declare (dynamic-extent env-ptr))
255      (%setf-macptr env-ptr (#_getenv key))
256      (unless (%null-ptr-p env-ptr)
257        (%get-cstring env-ptr))))
258  )
259
260(defun setenv (key value &optional (overwrite t))
261  "Set the value of the environment variable named by name, in the OS
262environment. If there is no such environment variable, create it."
263  #+windows-target (declare (ignore overwrite))
264  #-windows-target
265  (with-cstrs ((ckey key)
266               (cvalue value))
267    (#_setenv ckey cvalue (if overwrite 1 0)))
268  #+windows-target
269  (with-cstrs ((pair (format nil "~a=~a" key value)))
270    (#__putenv pair))
271  )
272
273#-windows-target                        ; Windows "impersonation" crap ?
274(defun setuid (uid)
275  "Attempt to change the current user ID (both real and effective);
276fails unless the OpenMCL process has super-user privileges or the ID
277given is that of the current user."
278  (int-errno-call (#_setuid uid)))
279
280#-windows-target
281(defun setgid (uid)
282  "Attempt to change the current group ID (both real and effective);
283fails unless the OpenMCL process has super-user privileges or the ID
284given is that of a group to which the current user belongs."
285  (int-errno-call (#_setgid uid)))
286 
287
288;;; On Linux, "stat" & friends are implemented in terms of deeper,
289;;; darker things that need to know what version of the stat buffer
290;;; they're talking about.
291
292#-windows-target
293(defun %stat-values (result stat)
294  (if (eql 0 (the fixnum result)) 
295      (values
296       t
297       (pref stat :stat.st_mode)
298       (pref stat :stat.st_size)
299       #+(or linux-target solaris-target)
300       (pref stat :stat.st_mtim.tv_sec)
301       #-(or linux-target solaris-target)
302       (pref stat :stat.st_mtimespec.tv_sec)
303       (pref stat :stat.st_ino)
304       (pref stat :stat.st_uid)
305       (pref stat :stat.st_blksize)
306       #+(or linux-target solaris-target)
307       (round (pref stat :stat.st_mtim.tv_nsec) 1000)
308       #-(or linux-target solaris-target)
309       (round (pref stat :stat.st_mtimespec.tv_nsec) 1000)
310       (pref stat :stat.st_gid))
311      (values nil nil nil nil nil nil nil)))
312
313#+win64-target
314(defun %stat-values (result stat)
315  (if (eql 0 (the fixnum result)) 
316      (values
317       t
318       (pref stat :_stat64.st_mode)
319       (pref stat :_stat64.st_size)
320       (pref stat :_stat64.st_mtime)
321       (pref stat :_stat64.st_ino)
322       (pref stat :_stat64.st_uid)
323       #$BUFSIZ
324       (pref stat :_stat64.st_mtime)     ; ???
325       (pref stat :_stat64.st_gid))
326      (values nil nil nil nil nil nil nil nil nil)))
327
328#+win32-target
329(defun %stat-values (result stat)
330  (if (eql 0 (the fixnum result)) 
331      (values
332       t
333       (pref stat :__stat64.st_mode)
334       (pref stat :__stat64.st_size)
335       (pref stat :__stat64.st_mtime)
336       (pref stat :__stat64.st_ino)
337       (pref stat :__stat64.st_uid)
338       #$BUFSIZ
339       (pref stat :__stat64.st_mtime)     ; ???
340       (pref stat :__stat64.st_gid))
341      (values nil nil nil nil nil nil nil nil nil)))
342
343#+windows-target
344(defun windows-strip-trailing-slash (namestring)
345  (do* ((len (length namestring) (length namestring)))
346       ((<= len 3) namestring)
347    (let* ((p (1- len))
348           (ch (char namestring p)))
349      (unless (or (eql ch #\\)
350                  (eql ch #\/))
351        (return namestring))
352      (setq namestring (subseq namestring 0 p)))))
353
354
355(defun %%stat (name stat)
356  (with-filename-cstrs ((cname #+windows-target (windows-strip-trailing-slash name) #-windows-target name))
357    (%stat-values
358     #+linux-target
359     (#_ __xstat #$_STAT_VER_LINUX cname stat)
360     #-linux-target
361     (int-errno-ffcall (%kernel-import target::kernel-import-lisp-stat)
362                       :address cname
363                       :address stat
364                       :int)
365     stat)))
366
367(defun %%fstat (fd stat)
368  (%stat-values
369   #+linux-target
370   (#_ __fxstat #$_STAT_VER_LINUX fd stat)
371   #-linux-target
372   (int-errno-ffcall (%kernel-import target::kernel-import-lisp-fstat)
373                     :int fd
374                     :address stat
375                     :int)
376   stat))
377
378#-windows-target
379(defun %%lstat (name stat)
380  (with-filename-cstrs ((cname name))
381    (%stat-values
382     #+linux-target
383     (#_ __lxstat #$_STAT_VER_LINUX cname stat)
384     #-linux-target
385     (#_lstat cname stat)
386     stat)))
387
388
389;;; Returns: (values t mode size mtime inode uid blksize) on success,
390;;;          (values nil nil nil nil nil nil nil) otherwise
391;;; NAME should be a "native namestring", e.g,, have all lisp pathname
392;;; escaping removed.
393#-windows-target
394(defun %stat (name &optional link-p)
395  (rlet ((stat :stat))
396    (if link-p
397      (%%lstat name stat)
398      (%%stat name stat))))
399
400#+windows-target
401(defun %stat (name &optional link-p)
402  (declare (ignore link-p))
403  (rlet ((stat  #+win64-target #>_stat64 #+win32-target #>__stat64))
404    (%%stat name stat)))
405
406(defun %fstat (fd)
407  (rlet ((stat #+win64-target #>_stat64 #+win32-target #>__stat64 #-windows-target :stat))
408    (%%fstat fd stat)))
409
410
411(defun %file-kind (mode &optional fd)
412  (declare (ignorable fd))
413  (when mode
414    (let* ((kind (logand mode #$S_IFMT)))
415      (cond ((eql kind #$S_IFDIR) :directory)
416            ((eql kind #$S_IFREG) :file)
417            #-windows-target
418            ((eql kind #$S_IFLNK) :link)
419            ((eql kind #$S_IFIFO) 
420             #-windows-target :pipe
421             ;; Windows doesn't seem to be able to distinguish between
422             ;; sockets and pipes.  Since this function is currently
423             ;; (mostly) used for printing streams and since we've
424             ;; already done something fairly expensive (stat, fstat)
425             ;; to get here.  try to distinguish between pipes and
426             ;; sockets by calling #_getsockopt.  If that succeeds,
427             ;; we've got a socket; otherwise, we're probably got a pipe.
428             #+windows-target (rlet ((ptype :int)
429                                     (plen :int 4))
430                                (if (and fd (eql 0 (#_getsockopt fd #$SOL_SOCKET #$SO_TYPE  ptype plen)))
431                                    :socket
432                                    :pipe)))
433            #-windows-target
434            ((eql kind #$S_IFSOCK) :socket)
435            ((eql kind #$S_IFCHR) :character-special)
436            (t :special)))))
437
438(defun %unix-file-kind (native-namestring &optional check-for-link)
439  (%file-kind (nth-value 1 (%stat native-namestring check-for-link))))
440
441(defun %unix-fd-kind (fd)
442  (if (isatty fd)
443    :tty
444    (%file-kind (nth-value 1 (%fstat fd)) fd)))
445
446#-windows-target
447(defun %uts-string (result idx buf)
448  (if (>= result 0)
449    (%get-cstring (%inc-ptr buf (* #+linux-target #$_UTSNAME_LENGTH
450                                   #+darwin-target #$_SYS_NAMELEN
451                                   #+(or freebsd-target solaris-target) #$SYS_NMLN
452                                   idx)))
453    "unknown"))
454
455#-windows-target
456(defun copy-file-attributes (source-path dest-path)
457  "Copy the mode, owner, group and modification time of source-path to dest-path.
458   Returns T if succeeded, NIL if some of the attributes couldn't be copied due to
459   permission problems.  Any other failures cause an error to be signalled"
460  (multiple-value-bind (win mode ignore mtime-sec ignore uid ignore mtime-usec gid)
461                       (%stat (native-translated-namestring source-path) t)
462    (declare (ignore ignore))
463    (unless win
464      (error "Cannot get attributes of ~s" source-path))
465    (with-filename-cstrs ((cnamestr (native-translated-namestring dest-path)))
466      (macrolet ((errchk (form)
467                   `(let ((err ,form))
468                      (unless (eql err 0)
469                        (setq win nil)
470                        (when (eql err -1)
471                          (setq err (- (%get-errno))))
472                        (unless (eql err #$EPERM) (%errno-disp err dest-path))))))
473        (errchk (#_chmod cnamestr mode))
474        (errchk (%stack-block ((times (record-length (:array (:struct :timeval) 2))))
475                  (setf (pref times :timeval.tv_sec) mtime-sec)
476                  (setf (pref times :timeval.tv_usec) mtime-usec)
477                  (%incf-ptr times (record-length :timeval))
478                  (setf (pref times :timeval.tv_sec) mtime-sec)
479                  (setf (pref times :timeval.tv_usec) mtime-usec)
480                  (%incf-ptr times (- (record-length :timeval)))
481                  (#_utimes cnamestr times)))
482        (errchk (#_chown cnamestr uid gid))))
483    win))
484
485#+windows-target
486(defun copy-file-attributes (source-path dest-path)
487  "could at least copy the file times"
488  (declare (ignore source-path dest-path)))
489
490
491#+linux-target
492(defun %uname (idx)
493  (%stack-block ((buf (* #$_UTSNAME_LENGTH 6))) 
494    (%uts-string (#_uname buf) idx buf)))
495
496#+darwin-target
497(defun %uname (idx)
498  (%stack-block ((buf (* #$_SYS_NAMELEN 5)))
499    (%uts-string (#_uname buf) idx buf)))
500
501#+freebsd-target
502(defun %uname (idx)
503  (%stack-block ((buf (* #$SYS_NMLN 5)))
504    (%uts-string (#___xuname #$SYS_NMLN buf) idx buf)))
505
506#+solaris-target
507(defun %uname (idx)
508  (%stack-block ((buf (* #$SYS_NMLN 5)))
509    (%uts-string (#_uname buf) idx buf)))
510
511#-windows-target
512(defun fd-dup (fd)
513  (int-errno-call (#_dup fd)))
514
515#+windows-target
516(defun fd-dup (fd &key direction inheritable)
517  (declare (ignore direction))
518  (rlet ((handle #>HANDLE))
519    (#_DuplicateHandle (#_GetCurrentProcess)
520                       fd
521                       (#_GetCurrentProcess) 
522                       handle
523                       0
524                       (if inheritable #$TRUE #$FALSE)
525                       #$DUPLICATE_SAME_ACCESS)))
526
527
528(defun fd-fsync (fd)
529  #+windows-target (#_FlushFileBuffers (%int-to-ptr fd))
530  #-windows-target
531  (int-errno-call (#_fsync fd)))
532
533#-windows-target
534(progn
535(defun fd-get-flags (fd)
536  (int-errno-call (#_fcntl fd #$F_GETFL)))
537
538(defun fd-set-flags (fd new)
539  (int-errno-call (#_fcntl fd #$F_SETFL :int new)))
540
541(defun fd-set-flag (fd mask)
542  (let* ((old (fd-get-flags fd)))
543    (if (< old 0)
544      old
545      (fd-set-flags fd (logior old mask)))))
546
547(defun fd-clear-flag (fd mask)
548  (let* ((old (fd-get-flags fd)))
549    (if (< old 0) 
550      old
551      (fd-set-flags fd (logandc2 old mask)))))
552)
553
554;;; Assume that any quoting's been removed already.
555(defun tilde-expand (namestring)
556  (let* ((len (length namestring)))
557    (if (or (zerop len)
558            (not (eql (schar namestring 0) #\~)))
559      namestring
560      (if (or (= len 1)
561              (eql (schar namestring 1) #\/))
562        (concatenate 'string (get-user-home-dir (getuid)) (if (= len 1) "/" (subseq namestring 1)))
563        #+windows-target namestring
564        #-windows-target
565        (let* ((slash-pos (position #\/ namestring))
566               (user-name (subseq namestring 1 slash-pos))
567               (uid (or (get-uid-from-name user-name)
568                        (error "Unknown user ~s in namestring ~s" user-name namestring))))
569          (concatenate 'string (get-user-home-dir uid) (if slash-pos (subseq namestring slash-pos) "/")))))))
570
571
572#+windows-target
573(defun %windows-realpath (namestring)
574  (with-filename-cstrs ((path namestring))
575    (do* ((bufsize 256))
576         ()
577      (%stack-block ((buf bufsize))
578        (let* ((nchars (#_GetFullPathNameW path (ash bufsize -1) buf (%null-ptr))))
579          (if (eql 0 nchars)
580            (return nil)
581            (let* ((max (+ nchars nchars 2)))
582              (if (> max bufsize)
583                (setq bufsize max)
584                (let* ((real (get-foreign-namestring buf)))
585                  (return (and (%stat real) real)))))))))))
586
587   
588;;; This doesn't seem to exist on VxWorks.  It's a POSIX
589;;; function AFAIK, so the source should be somewhere ...
590
591(defun %realpath (namestring)
592  ;; It's not at all right to just return the namestring here.
593  (when (zerop (length namestring))
594    (setq namestring (current-directory-name)))
595  #+windows-target (%windows-realpath namestring)
596  #-windows-target
597  (%stack-block ((resultbuf #$PATH_MAX))
598    (with-filename-cstrs ((name namestring #|(tilde-expand namestring)|#))
599      (let* ((result (#_realpath name resultbuf)))
600        (declare (dynamic-extent result))
601        (unless (%null-ptr-p result)
602          (get-foreign-namestring result))))))
603
604;;; Return fully resolved pathname & file kind, or (values nil nil)
605
606(defun %probe-file-x (namestring)
607  (let* ((realpath (%realpath namestring))
608         (kind (if realpath (%unix-file-kind realpath))))
609    (if kind
610      (values realpath kind)
611      (values nil nil))))
612
613;;; The mingw headers define timeval.tv_sec and timeval.tv_usec to be
614;;; signed 32-bit quantities.
615(macrolet ((timeval-ref (ptr accessor)
616             #+windows-target `(logand #xfffffffff (pref ,ptr ,accessor))
617             #-windows-target `(pref ,ptr ,accessor))
618           (set-timeval-ref (ptr accessor new)
619           `(setf (pref ,ptr ,accessor)
620             #+windows-target (u32->s32 ,new)
621             #-windows-target ,new)))
622 
623(defun timeval->milliseconds (tv)
624    (+ (* 1000 (timeval-ref tv :timeval.tv_sec)) (round (timeval-ref tv :timeval.tv_usec) 1000)))
625
626(defun timeval->microseconds (tv)
627    (+ (* 1000000 (timeval-ref tv :timeval.tv_sec)) (timeval-ref tv :timeval.tv_usec)))
628
629(defun %add-timevals (result a b)
630  (let* ((seconds (+ (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
631         (micros (+ (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
632    (if (>= micros 1000000)
633      (setq seconds (1+ seconds) micros (- micros 1000000)))
634    (set-timeval-ref result :timeval.tv_sec seconds)
635    (set-timeval-ref result :timeval.tv_usec micros)
636    result))
637
638(defun %sub-timevals (result a b)
639  (let* ((seconds (- (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
640         (micros (- (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
641    (if (< micros 0)
642      (setq seconds (1- seconds) micros (+ micros 1000000)))
643    (set-timeval-ref result :timeval.tv_sec  seconds)
644    (set-timeval-ref result :timeval.tv_usec micros)
645    result))
646
647;;; Return T iff the time denoted by the timeval a is not later than the
648;;; time denoted by the timeval b.
649(defun %timeval<= (a b)
650  (let* ((asec (timeval-ref a :timeval.tv_sec))
651         (bsec (timeval-ref b :timeval.tv_sec)))
652    (or (< asec bsec)
653        (and (= asec bsec)
654             (< (timeval-ref a :timeval.tv_usec)
655                (timeval-ref b :timeval.tv_usec))))))
656
657); windows signed nonsense.
658
659#-windows-target
660(defun %%rusage (usage &optional (who #$RUSAGE_SELF))
661  (int-errno-call (#_getrusage who usage)))
662
663
664
665
666(defun %file-write-date (namestring)
667  (let* ((date (nth-value 3 (%stat namestring))))
668    (if date
669      (+ date unix-to-universal-time))))
670
671#-windows-target
672(defun %file-author (namestring)
673  (let* ((uid (nth-value 5 (%stat namestring))))
674    (if uid
675      (with-macptrs ((pw (#_getpwuid uid)))
676        (unless (%null-ptr-p pw)
677          (without-interrupts
678           (%get-cstring (pref pw :passwd.pw_name))))))))
679
680#+windows-target
681(defun %file-author (namestring)
682  (declare (ignore namestring))
683  nil)
684
685#-windows-target
686(defun %utimes (namestring)
687  (with-filename-cstrs ((cnamestring namestring))
688    (let* ((err (#_utimes cnamestring (%null-ptr))))
689      (declare (fixnum err))
690      (or (eql err 0)
691          (%errno-disp err namestring)))))
692
693#+windows-target
694(defun %utimes (namestring)
695  (with-filename-cstrs ((cnamestring namestring))
696    (let* ((handle (#_CreateFileW
697                    cnamestring
698                    #$FILE_WRITE_ATTRIBUTES
699                    (logior #$FILE_SHARE_READ #$FILE_SHARE_WRITE)
700                    (%null-ptr)
701                    #$OPEN_EXISTING
702                    #$FILE_ATTRIBUTE_NORMAL
703                    (%null-ptr))))
704      (if (eql handle *windows-invalid-handle*)
705        (%windows-error-disp (#_GetLastError))
706        (rlet ((st #>SYSTEMTIME)
707               (ft #>FILETIME))
708          (#_GetSystemTime st)
709          (#_SystemTimeToFileTime st ft)
710          (let* ((result (#_SetFileTime handle (%null-ptr) (%null-ptr) ft))
711                 (err (unless (eql 0 result) (#_GetLastError))))
712            (#_CloseHandle handle)
713            (if err
714              (%windows-error-disp err)
715              t)))))))
716
717
718             
719
720#-windows-target
721(defun get-uid-from-name (name)
722  (with-cstrs ((name name))
723    (let* ((pwent (#_getpwnam name)))
724      (unless (%null-ptr-p pwent)
725        (pref pwent :passwd.pw_uid)))))
726
727
728(defun isatty (fd)
729  #+windows-target (declare (ignore fd))
730  #+windows-target nil
731  #-windows-target
732  (= 1 (#_isatty fd)))
733
734(defun %open-dir (namestring)
735  (with-filename-cstrs ((name namestring))
736    (let* ((DIR (ff-call (%kernel-import target::kernel-import-lisp-opendir)
737                         :address name
738                         :address)))
739      (unless (%null-ptr-p DIR)
740        DIR))))
741
742(defun close-dir (dir)
743  (ff-call (%kernel-import target::kernel-import-lisp-closedir)
744           :address dir
745           :int))
746
747(defun %read-dir (dir)
748  (let* ((res (ff-call (%kernel-import target::kernel-import-lisp-readdir)
749                       :address dir
750                       :address)))
751    (unless (%null-ptr-p res)
752      (get-foreign-namestring (pref res
753                                    #+windows-target :_wdirent.d_name
754                                    #-windows-target :dirent.d_name)))))
755
756
757#-windows-target
758(defun tcgetpgrp (fd)
759  (#_tcgetpgrp fd))
760
761(defun getpid ()
762  "Return the ID of the OpenMCL OS process."
763  #-windows-target
764  (int-errno-call (#_getpid))
765  #+windows-target (#_GetCurrentProcessId))
766
767
768(defun getuid ()
769  "Return the (real) user ID of the current user."
770  #+windows-target 0
771  #-windows-target (int-errno-call (#_getuid)))
772
773(defun get-user-home-dir (userid)
774  "Look up and return the defined home directory of the user identified
775by uid. This value comes from the OS user database, not from the $HOME
776environment variable. Returns NIL if there is no user with the ID uid."
777  #+windows-target
778  (declare (ignore userid))
779  #+windows-target
780  (dolist (k '(#||"HOME"||# "USERPROFILE")) 
781    (with-native-utf-16-cstrs ((key k))
782      (let* ((p (#__wgetenv key)))
783        (unless (%null-ptr-p p)
784          (return (get-foreign-namestring p))))))
785  #-windows-target
786  (rlet ((pwd :passwd)
787         (result :address pwd))
788    (do* ((buflen 512 (* 2 buflen)))
789         ()
790      (%stack-block ((buf buflen))
791        (let* ((err
792                #-solaris-target
793                 (#_getpwuid_r userid pwd buf buflen result)
794                 #+solaris-target
795                 (external-call "__posix_getpwuid_r"
796                                :uid_t userid
797                                :address pwd
798                                :address buf
799                                :int buflen
800                                :address result
801                                :int)))
802          (if (eql 0 err)
803            (return (let* ((rp (%get-ptr result)))
804                      (unless (%null-ptr-p rp)
805                        (get-foreign-namestring (pref rp :passwd.pw_dir)))))
806            (unless (eql err #$ERANGE)
807              (return nil))))))))
808
809(defun %delete-file (name)
810  (with-cstrs ((n name))
811    (int-errno-call (#+windows-target #__unlink #-windows-target #_unlink n))))
812
813(defun os-command (string)
814  "Invoke the Posix function system(), which invokes the user's default
815system shell (such as sh or tcsh) as a new process, and has that shell
816execute command-line.
817
818If the shell was able to find the command specified in command-line, then
819exit-code is the exit code of that command. If not, it is the exit code
820of the shell itself."
821  (with-cstrs ((s string))
822    (#_system s)))
823
824(defun %strerror (errno)
825  (declare (fixnum errno))
826  (if (< errno 0)
827    (setq errno (- errno)))
828  (with-macptrs (p)
829    (%setf-macptr p (#_strerror errno))
830    (if (%null-ptr-p p)
831      (format nil "OS Error %d" errno)
832      (%get-cstring p))))
833
834#+windows-target
835(defun %windows-error-string (error-number) 
836  (rlet ((pbuffer :address (%null-ptr)))
837    (if (eql 0
838             (#_FormatMessageW (logior #$FORMAT_MESSAGE_ALLOCATE_BUFFER
839                                       #$FORMAT_MESSAGE_FROM_SYSTEM
840                                       #$FORMAT_MESSAGE_IGNORE_INSERTS
841                                       #$FORMAT_MESSAGE_MAX_WIDTH_MASK)
842                               (%null-ptr)
843                               (abs error-number)
844                               0                 ; default langid, more-or-less
845                               pbuffer
846                               0
847                               (%null-ptr)))
848      (format nil "Windows error ~d" (abs error-number))
849      (let* ((p (%get-ptr pbuffer))
850             (q (%get-native-utf-16-cstring p)))
851        (#_LocalFree p)
852        q))))
853       
854                     
855
856;;; Kind of has something to do with files, and doesn't work in level-0.
857#+(or linux-target freebsd-target solaris-target)
858(defun close-shared-library (lib &key (completely t))
859  "If completely is T, set the reference count of library to 0. Otherwise,
860decrements it by 1. In either case, if the reference count becomes 0,
861close-shared-library frees all memory resources consumed library and causes
862any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
863  (let* ((lib (if (typep lib 'string)
864                (or (shared-library-with-name lib)
865                    (error "Shared library ~s not found." lib))
866                (require-type lib 'shlib)))
867         (handle (shlib.handle lib)))
868      (when handle
869        (let* ((found nil)
870               (base (shlib.base lib)))
871          (do* ()
872               ((progn           
873                  (#_dlclose handle)
874                  (or (not (setq found (shlib-containing-address base)))
875                      (not completely)))))
876          (when (not found)
877            (setf (shlib.pathname lib) nil
878              (shlib.base lib) nil
879              (shlib.handle lib) nil
880              (shlib.map lib) nil)
881            (unload-foreign-variables lib)
882            (unload-library-entrypoints lib))))))
883
884#+darwin-target
885;; completely specifies whether to remove it totally from our list
886(defun close-shared-library (lib &key (completely nil))
887  "If completely is T, set the reference count of library to 0. Otherwise,
888decrements it by 1. In either case, if the reference count becomes 0,
889close-shared-library frees all memory resources consumed library and causes
890any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
891  (let* ((lib (if (typep lib 'string)
892                  (or (shared-library-with-name lib)
893                      (error "Shared library ~s not found." lib))
894                (require-type lib 'shlib))))
895    ;; no possible danger closing libsystem since dylibs can't be closed
896    (cond
897     ((or (not (shlib.map lib)) (not (shlib.base lib)))
898      (error "Shared library ~s uninitialized." (shlib.soname lib)))
899     ((and (not (%null-ptr-p (shlib.map lib)))
900           (%null-ptr-p (shlib.base lib)))
901      (warn "Dynamic libraries cannot be closed on Darwin."))
902     ((and (%null-ptr-p (shlib.map lib))
903           (not (%null-ptr-p (shlib.base lib))))
904      ;; we have a bundle type library not sure what to do with the
905      ;; completely flag when we open the same bundle more than once,
906      ;; Darwin gives back a new module address, so we have multiple
907      ;; entries on *shared-libraries* the best we can do is unlink
908      ;; the module asked for (or our best guess based on name) and
909      ;; invalidate any entries which refer to this container
910      (if (= 0 (#_NSUnLinkModule (shlib.base lib) #$NSUNLINKMODULE_OPTION_NONE))
911          (error "Unable to close shared library, NSUnlinkModule failed.")
912        (progn
913          (setf (shlib.map lib) nil
914                (shlib.base lib) nil)
915          (unload-library-entrypoints lib)
916          (when completely
917            (setq *shared-libraries* (delete lib *shared-libraries*)))))))))
918
919
920
921;;; Foreign (unix) processes.
922
923(defun call-with-string-vector (function strings)
924  (let ((bufsize (reduce #'+ strings
925                         :key #'(lambda (s) (1+ (length (string s))))))
926        (argvsize (ash (1+ (length strings)) target::word-shift))
927        (bufpos 0)
928        (argvpos 0))
929    (%stack-block ((buf bufsize) (argv argvsize))
930      (flet ((init (s)
931             (multiple-value-bind (sstr start end) (get-sstring s)
932               (declare (fixnum start end))
933               (let ((len (- end start)))
934                 (declare (fixnum len))
935                 (do* ((i 0 (1+ i))
936                       (start start (1+ start))
937                       (bufpos bufpos (1+ bufpos)))
938                      ((= i len))
939                   (setf (%get-unsigned-byte buf bufpos)
940                         (logand #xff (%scharcode sstr start))))
941                 (setf (%get-byte buf (%i+ bufpos len)) 0)
942                 (setf (%get-ptr argv argvpos) (%inc-ptr buf bufpos))
943                 (setq bufpos (%i+ bufpos len 1))
944                 (setq argvpos (%i+ argvpos target::node-size))))))
945        (declare (dynamic-extent #'init))
946        (map nil #'init strings))
947      (setf (%get-ptr argv argvpos) (%null-ptr))
948      (funcall function argv))))
949
950(defmacro with-string-vector ((var &rest strings) &body body)
951  `(call-with-string-vector #'(lambda (,var) ,@body) ,@strings))
952
953(defloadvar *max-os-open-files* #-windows-target (#_getdtablesize) #+windows-target 32)
954
955(defun pipe ()
956  ;;  (rlet ((filedes (:array :int 2)))
957  (%stack-block ((filedes 8))
958    (let* ((status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
959                            :address filedes :int))
960           (errno (if (eql status 0) 0 (%get-errno))))
961      (unless (zerop status)
962        (when (or (eql errno (- #$EMFILE))
963                  (eql errno (- #$ENFILE)))
964          (gc)
965          (drain-termination-queue)
966          (setq status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
967                            :address filedes :int)
968                errno (if (zerop status) 0 (%get-errno)))))
969      (if (zerop status)
970        (values (paref filedes (:array :int)  0) (paref filedes (:array :int)  1))
971        (%errno-disp errno)))))
972
973#-windows-target
974(progn
975  (defun %execvp (argv)
976    (#_execvp (%get-ptr argv) argv)
977    (#_exit #$EX_OSERR))
978
979  (defun exec-with-io-redirection (new-in new-out new-err argv)
980    (#_setpgid 0 0)
981    (if new-in (#_dup2 new-in 0))
982    (if new-out (#_dup2 new-out 1))
983    (if new-err (#_dup2 new-err 2))
984    (do* ((fd 3 (1+ fd)))
985         ((= fd *max-os-open-files*) (%execvp argv))
986      (declare (fixnum fd))
987      (#_close fd)))
988
989
990
991
992
993  (defstruct external-process
994    pid
995    %status
996    %exit-code
997    pty
998    input
999    output
1000    error
1001    status-hook
1002    plist
1003    token                               
1004    core
1005    args
1006    (signal (make-semaphore))
1007    (completed (make-semaphore))
1008    watched-fds
1009    watched-streams
1010    )
1011
1012  (defmethod print-object ((p external-process) stream)
1013    (print-unreadable-object (p stream :type t :identity t)
1014      (let* ((status (external-process-%status p)))
1015        (let* ((*print-length* 3))
1016          (format stream "~a" (external-process-args p)))
1017        (format stream "[~d] (~a" (external-process-pid p) status)
1018        (unless (eq status :running)
1019          (format stream " : ~d" (external-process-%exit-code p)))
1020        (format stream ")"))))
1021
1022  (defun get-descriptor-for (object proc close-in-parent close-on-error
1023                                    &rest keys
1024                                    &key direction (element-type 'character)
1025                                    (sharing :private)
1026                                    &allow-other-keys)
1027    (etypecase object
1028      ((eql t)
1029       (values nil nil close-in-parent close-on-error))
1030      (null
1031       (let* ((null-device #+windows-target "nul" #-windows-target "/dev/null")
1032              (fd (fd-open null-device (case direction
1033                                         (:input #$O_RDONLY)
1034                                         (:output #$O_WRONLY)
1035                                         (t #$O_RDWR)))))
1036         (if (< fd 0)
1037           (signal-file-error fd null-device))
1038         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1039      ((eql :stream)
1040       (multiple-value-bind (read-pipe write-pipe) (pipe)
1041         (case direction
1042           (:input
1043            (values read-pipe
1044                    (make-fd-stream write-pipe
1045                                    :direction :output
1046                                    :element-type element-type
1047                                    :interactive nil
1048                                    :sharing sharing
1049                                    :basic t
1050                                    :auto-close t)
1051                    (cons read-pipe close-in-parent)
1052                    (cons write-pipe close-on-error)))
1053           (:output
1054            (values write-pipe
1055                    (make-fd-stream read-pipe
1056                                    :direction :input
1057                                    :element-type element-type
1058                                    :interactive nil
1059                                    :basic t
1060                                    :sharing sharing
1061                                    :auto-close t)
1062                    (cons write-pipe close-in-parent)
1063                    (cons read-pipe close-on-error)))
1064           (t
1065            (fd-close read-pipe)
1066            (fd-close write-pipe)
1067            (report-bad-arg direction '(member :input :output))))))
1068      ((or pathname string)
1069       (with-open-stream (file (apply #'open object keys))
1070         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)))))
1071           (values fd
1072                   nil
1073                   (cons fd close-in-parent)
1074                   (cons fd close-on-error)))))
1075      (fd-stream
1076       (let ((fd (fd-dup (ioblock-device (stream-ioblock object t)))))
1077         (values fd
1078                 nil
1079                 (cons fd close-in-parent)
1080                 (cons fd close-on-error))))
1081      (stream
1082       (ecase direction
1083         (:input
1084          (with-cstrs ((template "/tmp/lisp-tempXXXXXX"))
1085            (let* ((fd (#_mkstemp template)))
1086              (if (< fd 0)
1087                (%errno-disp fd))
1088              (#_unlink template)
1089              (loop
1090                (multiple-value-bind (line no-newline)
1091                    (read-line object nil nil)
1092                  (unless line
1093                    (return))
1094                  (let* ((len (length line)))
1095                    (%stack-block ((buf (1+ len)))
1096                      (%cstr-pointer line buf)
1097                      (fd-write fd buf len)
1098                      (if no-newline
1099                        (return))
1100                      (setf (%get-byte buf) (char-code #\newline))
1101                      (fd-write fd buf 1)))))
1102              (fd-lseek fd 0 #$SEEK_SET)
1103              (values fd nil (cons fd close-in-parent) (cons fd close-on-error)))))
1104         (:output
1105          (multiple-value-bind (read-pipe write-pipe) (pipe)
1106            (push read-pipe (external-process-watched-fds proc))
1107            (push object (external-process-watched-streams proc))
1108            (incf (car (external-process-token proc)))
1109            (values write-pipe
1110                    nil
1111                    (cons write-pipe close-in-parent)
1112                    (cons read-pipe close-on-error))))))))
1113
1114  (let* ((external-processes ())
1115         (external-processes-lock (make-lock)))
1116    (defun add-external-process (p)
1117      (with-lock-grabbed (external-processes-lock)
1118        (push p external-processes)))
1119    (defun remove-external-process (p)
1120      (with-lock-grabbed (external-processes-lock)
1121        (setq external-processes (delete p external-processes))))
1122    ;; Likewise
1123    (defun external-processes ()
1124      (with-lock-grabbed (external-processes-lock)
1125        (copy-list external-processes)))
1126    )
1127
1128
1129  (defmacro wtermsig (status)
1130    `(ldb (byte 7 0) ,status))
1131
1132  (defmacro wexitstatus (status)
1133    `(ldb (byte 8 8) (the fixnum ,status)))
1134
1135  (defmacro wstopsig (status)
1136    `(wexitstatus ,status))
1137
1138  (defmacro wifexited (status)
1139    `(eql (wtermsig ,status) 0))
1140
1141  (defmacro wifstopped (status)
1142    `(eql #x7f (ldb (byte 7 0) (the fixnum ,status))))
1143
1144  (defun monitor-external-process (p)
1145    (let* ((in-fds (external-process-watched-fds p))
1146           (out-streams (external-process-watched-streams p))
1147           (token (external-process-token p))
1148           (terminated)
1149           (changed)
1150           (maxfd 0)
1151           (pairs (pairlis in-fds out-streams)))
1152      (%stack-block ((in-fd-set *fd-set-size*))
1153        (rlet ((tv #>timeval))
1154          (loop
1155            (when changed
1156              (setq pairs (delete nil pairs :key #'car)
1157                    changed nil))
1158            (when (and terminated (null pairs))
1159              (signal-semaphore (external-process-completed p))
1160              (return))
1161            (when pairs
1162              (fd-zero in-fd-set)
1163              (setq maxfd 0)
1164              (dolist (p pairs)
1165                (let* ((fd (car p)))
1166                  (when (> fd maxfd)
1167                    (setq maxfd fd))
1168                  (fd-set fd in-fd-set)))
1169              (setf (pref tv #>timeval.tv_sec) 1
1170                    (pref tv #>timeval.tv_usec) 0)
1171              (when (> (#_select (1+ maxfd) in-fd-set (%null-ptr) (%null-ptr) tv)
1172                       0)
1173                (dolist (p pairs)
1174                  (let* ((in-fd (car p))
1175                         (out-stream (cdr p)))
1176                    (when (fd-is-set in-fd in-fd-set)
1177                      (%stack-block ((buf 1024))
1178                        (let* ((n (fd-read in-fd buf 1024)))
1179                          (declare (fixnum n))
1180                          (if (<= n 0)
1181                            (without-interrupts
1182                              (decf (car token))
1183                              (fd-close in-fd)
1184                              (setf (car p) nil changed t))
1185                            (let* ((string (make-string 1024)))
1186                              (declare (dynamic-extent string))
1187                              (%str-from-ptr buf n string)
1188                              (write-sequence string out-stream :end n))))))))))
1189            (let* ((statusflags (check-pid (external-process-pid p)
1190                                           (logior
1191                                            (if in-fds #$WNOHANG 0)
1192                                            #$WUNTRACED)))
1193                   (oldstatus (external-process-%status p)))
1194              (cond ((null statusflags)
1195                     (remove-external-process p)
1196                     (setq terminated t))
1197                    ((eq statusflags t)) ; Running.
1198                    (t
1199                     (multiple-value-bind (status code core)
1200                         (cond ((wifstopped statusflags)
1201                                (values :stopped (wstopsig statusflags)))
1202                               ((wifexited statusflags)
1203                                (values :exited (wexitstatus statusflags)))
1204                               (t
1205                                (let* ((signal (wtermsig statusflags)))
1206                                  (declare (fixnum signal))
1207                                  (values
1208                                   (if (or (= signal #$SIGSTOP)
1209                                           (= signal #$SIGTSTP)
1210                                           (= signal #$SIGTTIN)
1211                                           (= signal #$SIGTTOU))
1212                                     :stopped
1213                                     :signaled)
1214                                   signal
1215                                   (logtest #-solaris-target #$WCOREFLAG
1216                                            #+solaris-target #$WCOREFLG
1217                                            statusflags)))))
1218                       (setf (external-process-%status p) status
1219                             (external-process-%exit-code p) code
1220                             (external-process-core p) core)
1221                       (let* ((status-hook (external-process-status-hook p)))
1222                         (when (and status-hook (not (eq oldstatus status)))
1223                           (funcall status-hook p)))
1224                       (when (or (eq status :exited)
1225                                 (eq status :signaled))
1226                         (remove-external-process p)
1227                         (setq terminated t)))))))))))
1228     
1229  (defun run-external-process (proc in-fd out-fd error-fd argv &optional env)
1230    (let* ((signaled nil))
1231      (unwind-protect
1232           (let* ((child-pid (#-solaris-target #_fork #+solaris-target #_forkall)))
1233             (declare (fixnum child-pid))
1234             (cond ((zerop child-pid)
1235                    ;; Running in the child; do an exec
1236                    (setq signaled t)
1237                    (dolist (pair env)
1238                      (setenv (string (car pair)) (cdr pair)))
1239                    (without-interrupts
1240                     (exec-with-io-redirection
1241                      in-fd out-fd error-fd argv)))
1242                   ((> child-pid 0)
1243                    ;; Running in the parent: success
1244                    (setf (external-process-pid proc) child-pid)
1245                    (add-external-process proc)
1246                    (signal-semaphore (external-process-signal proc))
1247                    (setq signaled t)
1248                    (monitor-external-process proc))
1249                   (t
1250                    ;; Fork failed
1251                    (setf (external-process-%status proc) :error
1252                          (external-process-%exit-code proc) (%get-errno))
1253                    (signal-semaphore (external-process-signal proc))
1254                    (setq signaled t))))
1255        (unless signaled
1256          (setf (external-process-%status proc) :error
1257                (external-process-%exit-code proc) -1)
1258          (signal-semaphore (external-process-signal proc))))))
1259
1260  (defparameter *silently-ignore-catastrophic-failure-in-run-program*
1261    #+ccl-0711 t #-ccl-0711 nil
1262    "If NIL, signal an error if run-program is unable to start the program.
1263If non-NIL, treat failure to start the same as failure from the program
1264itself, by setting the status and exit-code fields.")
1265
1266  (defun run-program (program args &key
1267                              (wait t) pty
1268                              input if-input-does-not-exist
1269                              output (if-output-exists :error)
1270                              (error :output) (if-error-exists :error)
1271                              status-hook (element-type 'character)
1272                              env
1273                              (sharing :private)
1274                              (silently-ignore-catastrophic-failures
1275                               *silently-ignore-catastrophic-failure-in-run-program*))
1276    "Invoke an external program as an OS subprocess of lisp."
1277    (declare (ignore pty))
1278    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1279      (error "Program args must all be simple strings : ~s" args))
1280    (dolist (pair env)
1281      (destructuring-bind (var . val) pair
1282        (check-type var (or string symbol character))
1283        (check-type val string)))
1284    (push (native-untranslated-namestring program) args)
1285    (let* ((token (list 0))
1286           (in-fd nil)
1287           (in-stream nil)
1288           (out-fd nil)
1289           (out-stream nil)
1290           (error-fd nil)
1291           (error-stream nil)
1292           (close-in-parent nil)
1293           (close-on-error nil)
1294           (proc
1295            (make-external-process
1296             :pid nil
1297             :args args
1298             :%status :running
1299             :input nil
1300             :output nil
1301             :error nil
1302             :token token
1303             :status-hook status-hook)))
1304      (unwind-protect
1305           (progn
1306             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1307               (get-descriptor-for input proc  nil nil :direction :input
1308                                   :if-does-not-exist if-input-does-not-exist
1309                                   :element-type element-type
1310                                   :sharing sharing))
1311             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1312               (get-descriptor-for output proc close-in-parent close-on-error
1313                                   :direction :output
1314                                   :if-exists if-output-exists
1315                                   :element-type element-type
1316                                   :sharing sharing))
1317             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1318               (if (eq error :output)
1319                 (values out-fd out-stream close-in-parent close-on-error)
1320                 (get-descriptor-for error proc close-in-parent close-on-error
1321                                     :direction :output
1322                                     :if-exists if-error-exists
1323                                     :sharing sharing
1324                                     :element-type element-type)))
1325             (setf (external-process-input proc) in-stream
1326                   (external-process-output proc) out-stream
1327                   (external-process-error proc) error-stream)
1328             (call-with-string-vector
1329              #'(lambda (argv)
1330                  (process-run-function
1331                   (list :name
1332                         (format nil "Monitor thread for external process ~a" args)
1333                         :stack-size (ash 128 10)
1334                         :vstack-size (ash 128 10)
1335                         :tstack-size (ash 128 10))
1336                   #'run-external-process proc in-fd out-fd error-fd argv env)
1337                  (wait-on-semaphore (external-process-signal proc)))
1338              args))
1339        (dolist (fd close-in-parent) (fd-close fd))
1340        (unless (external-process-pid proc)
1341          (dolist (fd close-on-error) (fd-close fd)))
1342        (when (and wait (external-process-pid proc))
1343          (with-interrupts-enabled
1344              (wait-on-semaphore (external-process-completed proc)))))
1345      (unless (external-process-pid proc)
1346        ;; something is wrong
1347        (if (eq (external-process-%status proc) :error)
1348          ;; Fork failed
1349          (unless silently-ignore-catastrophic-failures
1350            (cerror "Pretend the program ran and failed" 'external-process-creation-failure :proc proc))
1351          ;; Currently can't happen.
1352          (error "Bug: fork failed but status field not set?")))
1353      proc))
1354
1355
1356
1357  (defmacro wifsignaled (status)
1358    (let* ((statname (gensym)))
1359      `(let* ((,statname ,status))
1360        (and (not (wifstopped ,statname)) (not (wifexited ,statname))))))
1361
1362
1363  (defun check-pid (pid &optional (flags (logior  #$WNOHANG #$WUNTRACED)))
1364    (declare (fixnum pid))
1365    (rlet ((status :signed))
1366      (let* ((retval (ff-call-ignoring-eintr (#_waitpid pid status flags))))
1367        (declare (fixnum retval))
1368        (if (= retval pid)
1369          (pref status :signed)
1370          (zerop retval)))))
1371
1372
1373
1374
1375
1376  (defun external-process-wait (proc &optional check-stopped)
1377    (process-wait "external-process-wait"
1378                  #'(lambda ()
1379                      (case (external-process-%status proc)
1380                        (:running)
1381                        (:stopped
1382                         (when check-stopped
1383                           t))
1384                        (t
1385                         (when (zerop (car (external-process-token proc)))
1386                           t))))))
1387
1388  (defun external-process-status (proc)
1389    "Return information about whether an OS subprocess is running; or, if
1390not, why not; and what its result code was if it completed."
1391    (require-type proc 'external-process)
1392    (values (external-process-%status proc)
1393            (external-process-%exit-code proc)))
1394
1395  (defun external-process-input-stream (proc)
1396    "Return the lisp stream which is used to write input to a given OS
1397subprocess, if it has one."
1398    (require-type proc 'external-process)
1399    (external-process-input proc))
1400
1401  (defun external-process-output-stream (proc)
1402    "Return the lisp stream which is used to read output from a given OS
1403subprocess, if there is one."
1404    (require-type proc 'external-process)
1405    (external-process-output proc))
1406
1407  (defun external-process-error-stream (proc)
1408    "Return the stream which is used to read error output from a given OS
1409subprocess, if it has one."
1410    (require-type proc 'external-process)
1411    (external-process-error proc))
1412
1413  (defun external-process-id (proc)
1414    "Return the process id of an OS subprocess, a positive integer which
1415identifies it."
1416    (require-type proc 'external-process)
1417    (external-process-pid proc))
1418 
1419  (defun signal-external-process (proc signal)
1420    "Send the specified signal to the specified external process.  (Typically,
1421it would only be useful to call this function if the EXTERNAL-PROCESS was
1422created with :WAIT NIL.) Return T if successful; NIL if the process wasn't
1423created successfully, and signal an error otherwise."
1424    (require-type proc 'external-process)
1425    (let* ((pid (external-process-pid proc)))
1426      (when pid
1427        (let ((error (int-errno-call (#_kill pid signal))))
1428          (or (eql error 0)
1429              (%errno-disp error))))))
1430
1431  )                                     ; #-windows-target (progn
1432
1433#+windows-target
1434(progn
1435  (defun temp-file-name (prefix)
1436    "Returns a unique name for a temporary file, residing in system temp
1437space, and prefixed with PREFIX."
1438    (rlet ((buffer (:array :wchar_t #.#$MAX_PATH)))
1439      (#_GetTempPathW #$MAX_PATH buffer)
1440      (with-filename-cstrs ((c-prefix prefix)) 
1441        (#_GetTempFileNameW buffer c-prefix 0 buffer)
1442        (%get-native-utf-16-cstring buffer))))
1443 
1444  (defun get-descriptor-for (object proc close-in-parent close-on-error
1445                                    &rest keys
1446                                    &key
1447                                    direction (element-type 'character)
1448                                    (sharing :private)
1449                                    &allow-other-keys)
1450    (etypecase object
1451      ((eql t)
1452       (values nil nil close-in-parent close-on-error))
1453      (null
1454       (let* ((null-device "nul")
1455              (fd (fd-open null-device (case direction
1456                                         (:input #$O_RDONLY)
1457                                         (:output #$O_WRONLY)
1458                                         (t #$O_RDWR)))))
1459         (if (< fd 0)
1460           (signal-file-error fd null-device))
1461         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1462      ((eql :stream)
1463       (multiple-value-bind (read-pipe write-pipe) (pipe)
1464         (case direction
1465           (:input
1466            (values read-pipe
1467                    (make-fd-stream (fd-uninheritable write-pipe :direction :output)
1468                                    :direction :output
1469                                    :element-type element-type
1470                                    :interactive nil
1471                                    :basic t
1472                                    :sharing sharing
1473                                    :auto-close t)
1474                    (cons read-pipe close-in-parent)
1475                    (cons write-pipe close-on-error)))
1476           (:output
1477            (values write-pipe
1478                    (make-fd-stream (fd-uninheritable read-pipe :direction :input)
1479                                    :direction :input
1480                                    :element-type element-type
1481                                    :interactive nil
1482                                    :basic t
1483                                    :sharing sharing
1484                                    :auto-close t)
1485                    (cons write-pipe close-in-parent)
1486                    (cons read-pipe close-on-error)))
1487           (t
1488            (fd-close read-pipe)
1489            (fd-close write-pipe)
1490            (report-bad-arg direction '(member :input :output))))))
1491      ((or pathname string)
1492       (with-open-stream (file (apply #'open object keys))
1493         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)) :direction direction :inheritable t)))
1494           (values fd
1495                   nil
1496                   (cons fd close-in-parent)
1497                   (cons fd close-on-error)))))
1498      (fd-stream
1499       (let ((fd (fd-dup (ioblock-device (stream-ioblock object t)))))
1500         (values fd
1501                 nil
1502                 (cons fd close-in-parent)
1503                 (cons fd close-on-error))))
1504      (stream
1505       (ecase direction
1506         (:input
1507          (let* ((tempname (temp-file-name "lisp-temp"))
1508                 (fd (fd-open tempname #$O_RDWR)))
1509            (if (< fd 0)
1510              (%errno-disp fd))
1511            (loop
1512              (multiple-value-bind (line no-newline)
1513                  (read-line object nil nil)
1514                (unless line
1515                  (return))
1516                (let* ((len (length line)))
1517                  (%stack-block ((buf (1+ len)))
1518                    (%cstr-pointer line buf)
1519                    (fd-write fd buf len)
1520                    (if no-newline
1521                      (return))
1522                    (setf (%get-byte buf) (char-code #\newline))
1523                    (fd-write fd buf 1)))))
1524            (fd-lseek fd 0 #$SEEK_SET)
1525            (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1526         (:output
1527          (multiple-value-bind (read-pipe write-pipe) (pipe)
1528            (push read-pipe (external-process-watched-fds proc))
1529            (push object (external-process-watched-streams proc))
1530            (incf (car (external-process-token proc)))
1531            (values write-pipe
1532                    nil
1533                    (cons write-pipe close-in-parent)
1534                    (cons read-pipe close-on-error))))))))
1535
1536  (defstruct external-process
1537    pid
1538    %status
1539    %exit-code
1540    pty
1541    input
1542    output
1543    error
1544    status-hook
1545    plist
1546    token
1547    core
1548    args
1549    (signal (make-semaphore))
1550    (completed (make-semaphore))
1551    watched-fds
1552    watched-streams
1553    )
1554
1555  (defun external-process-status (proc)
1556    "Return information about whether an OS subprocess is running; or, if
1557not, why not; and what its result code was if it completed."
1558    (require-type proc 'external-process)
1559    (values (external-process-%status proc)
1560            (external-process-%exit-code proc)))
1561
1562
1563  (defmethod print-object ((p external-process) stream)
1564    (print-unreadable-object (p stream :type t :identity t)
1565      (let* ((status (external-process-%status p)))
1566        (let* ((*print-length* 3))
1567          (format stream "~a" (external-process-args p)))
1568        (format stream "[~d] (~a" (external-process-pid p) status)
1569        (unless (eq status :running)
1570          (format stream " : ~d" (external-process-%exit-code p)))
1571        (format stream ")"))))
1572
1573  (defun run-program (program args &key
1574                              (wait t) pty
1575                              input if-input-does-not-exist
1576                              output (if-output-exists :error)
1577                              (error :output) (if-error-exists :error)
1578                              status-hook (element-type 'character)
1579                              (sharing :private)
1580                              env)
1581    "Invoke an external program as an OS subprocess of lisp."
1582    (declare (ignore pty))
1583    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1584      (error "Program args must all be simple strings : ~s" args))
1585    (push program args)
1586    (let* ((token (list 0))
1587           (in-fd nil)
1588           (in-stream nil)
1589           (out-fd nil)
1590           (out-stream nil)
1591           (error-fd nil)
1592           (error-stream nil)
1593           (close-in-parent nil)
1594           (close-on-error nil)
1595           (proc
1596            (make-external-process
1597             :pid nil
1598             :args args
1599             :%status :running
1600             :input nil
1601             :output nil
1602             :error nil
1603             :token token
1604             :status-hook status-hook)))
1605      (unwind-protect
1606           (progn
1607             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1608               (get-descriptor-for input proc  nil nil :direction :input
1609                                   :if-does-not-exist if-input-does-not-exist
1610                                   :sharing sharing
1611                                   :element-type element-type))
1612             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1613               (get-descriptor-for output proc close-in-parent close-on-error
1614                                   :direction :output
1615                                   :if-exists if-output-exists
1616                                   :sharing sharing
1617                                   :element-type element-type))
1618             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1619               (if (eq error :output)
1620                 (values out-fd out-stream close-in-parent close-on-error)
1621                 (get-descriptor-for error proc close-in-parent close-on-error
1622                                     :direction :output
1623                                     :if-exists if-error-exists
1624                                     :sharing sharing
1625                                     :element-type element-type)))
1626             (setf (external-process-input proc) in-stream
1627                   (external-process-output proc) out-stream
1628                   (external-process-error proc) error-stream)
1629             (process-run-function
1630              (format nil "Monitor thread for external process ~a" args)
1631                   
1632              #'run-external-process proc in-fd out-fd error-fd env)
1633             (wait-on-semaphore (external-process-signal proc))
1634             )
1635        (dolist (fd close-in-parent) (fd-close fd))
1636        (if (external-process-pid proc)
1637          (when (and wait (external-process-pid proc))
1638            (with-interrupts-enabled
1639                (wait-on-semaphore (external-process-completed proc))))
1640          (progn
1641            (dolist (fd close-on-error) (fd-close fd))
1642            (error "Process execution failed"))))
1643      proc))
1644
1645  (let* ((external-processes ())
1646         (external-processes-lock (make-lock)))
1647    (defun add-external-process (p)
1648      (with-lock-grabbed (external-processes-lock)
1649        (push p external-processes)))
1650    (defun remove-external-process (p)
1651      (with-lock-grabbed (external-processes-lock)
1652        (setq external-processes (delete p external-processes))))
1653    ;; Likewise
1654    (defun external-processes ()
1655      (with-lock-grabbed (external-processes-lock)
1656        (copy-list external-processes)))
1657    )
1658
1659
1660
1661
1662  (defun run-external-process (proc in-fd out-fd error-fd &optional env)
1663    (let* ((args (external-process-args proc))
1664           (child-pid (exec-with-io-redirection in-fd out-fd error-fd args proc env)))
1665      (when child-pid
1666        (setf (external-process-pid proc) child-pid)
1667        (add-external-process proc)
1668        (signal-semaphore (external-process-signal proc))
1669        (monitor-external-process proc))))
1670
1671  (defun join-strings (strings)
1672    (reduce (lambda (left right) (concatenate 'string left " " right)) strings))
1673
1674  (defun exec-with-io-redirection (new-in new-out new-err args proc &optional env)
1675    (declare (ignore env))              ; until we can do better.
1676    (with-filename-cstrs ((command (join-strings args)))
1677      (rletz ((proc-info #>PROCESS_INFORMATION)
1678              (si #>STARTUPINFO))
1679        (setf (pref si #>STARTUPINFO.cb) (record-length #>STARTUPINFO))
1680        (setf (pref si #>STARTUPINFO.dwFlags)
1681              (logior #$STARTF_USESTDHANDLES #$STARTF_USESHOWWINDOW))
1682        (setf (pref si #>STARTUPINFO.wShowWindow) #$SW_HIDE)
1683        (setf (pref si #>STARTUPINFO.hStdInput)
1684              (if new-in
1685                (%int-to-ptr new-in)
1686                (#_GetStdHandle #$STD_INPUT_HANDLE)))
1687        (setf (pref si #>STARTUPINFO.hStdOutput)
1688              (if new-out
1689                (%int-to-ptr new-out)
1690                (#_GetStdHandle #$STD_OUTPUT_HANDLE)))
1691        (setf (pref si #>STARTUPINFO.hStdError)
1692              (if new-err
1693                (%int-to-ptr new-err)
1694                (#_GetStdHandle #$STD_ERROR_HANDLE)))
1695        (if (zerop (#_CreateProcessW (%null-ptr)
1696                                     command
1697                                     (%null-ptr)
1698                                     (%null-ptr)
1699                                     1
1700                                     #$CREATE_NEW_CONSOLE
1701                                     (%null-ptr)
1702                                     (%null-ptr)
1703                                     si
1704                                     proc-info))
1705          (setf (external-process-%status proc) :error
1706                (external-process-%exit-code proc) (#_GetLastError))
1707          (#_CloseHandle (pref proc-info #>PROCESS_INFORMATION.hThread)))
1708        (pref proc-info #>PROCESS_INFORMATION.hProcess))))
1709
1710  (defun fd-uninheritable (fd &key direction)
1711    (let ((new-fd (fd-dup fd :direction direction)))
1712      (fd-close fd)
1713      new-fd))
1714
1715 
1716  (defun data-available-on-pipe-p (hpipe)
1717    (rlet ((navail #>DWORD 0))
1718      (unless (eql 0 (#_PeekNamedPipe (if (typep hpipe 'macptr)
1719                                        hpipe
1720                                        (%int-to-ptr hpipe))
1721                                      (%null-ptr)
1722                                      0
1723                                      (%null-ptr)
1724                                      navail
1725                                      (%null-ptr)))
1726        (not (eql 0 (pref navail #>DWORD))))))
1727   
1728
1729  ;;; There doesn't seem to be any way to wait on input from an
1730  ;;; anonymous pipe in Windows (that would, after all, make too
1731  ;;; much sense.)  We -can- check for pending unread data on
1732  ;;; pipes, and can expect to eventually get EOF on a pipe.
1733  ;;; So, this tries to loop until the process handle is signaled and
1734  ;;; all data has been read.
1735 (defun monitor-external-process (p)
1736    (let* ((in-fds (external-process-watched-fds p))
1737           (out-streams (external-process-watched-streams p))
1738           (token (external-process-token p))
1739           (terminated)
1740           (changed)
1741           (pairs (pairlis in-fds out-streams))
1742           )
1743      (loop
1744        (when changed
1745          (setq pairs (delete nil pairs :key #'car)
1746                changed nil))
1747        (when (and terminated (null pairs))
1748          (without-interrupts
1749           (rlet ((code #>DWORD))
1750             (loop
1751               (#_GetExitCodeProcess (external-process-pid p) code)
1752               (unless (eql (pref code #>DWORD) #$STILL_ACTIVE)
1753                 (return))
1754               (#_SleepEx 10 #$TRUE))
1755             (setf (external-process-%exit-code p) (pref code #>DWORD)))
1756           (#_CloseHandle (external-process-pid p))
1757           (setf (external-process-pid p) nil)
1758           (setf (external-process-%status p) :exited)
1759           (let ((status-hook (external-process-status-hook p)))
1760             (when status-hook
1761               (funcall status-hook p)))
1762           (remove-external-process p)
1763           (signal-semaphore (external-process-completed p))
1764           (return)))
1765        (dolist (p pairs)
1766          (let* ((in-fd (car p))
1767                 (out-stream (cdr p)))
1768            (when (or terminated (data-available-on-pipe-p in-fd))
1769              (%stack-block ((buf 1024))
1770                (let* ((n (fd-read in-fd buf 1024)))
1771                    (declare (fixnum n))
1772                    (if (<= n 0)
1773                      (progn
1774                        (without-interrupts
1775                         (decf (car token))
1776                         (fd-close in-fd)
1777                         (setf (car p) nil changed t)))
1778
1779                      (let* ((string (make-string 1024)))
1780                        (declare (dynamic-extent string))
1781                        (%str-from-ptr buf n string)
1782                        (write-sequence string out-stream :end n))))))))
1783        (unless terminated
1784          (setq terminated (eql (#_WaitForSingleObjectEx
1785                                 (external-process-pid p)
1786                                 1000
1787                                 #$true)
1788                                #$WAIT_OBJECT_0))))))
1789 
1790
1791  )                                     ; #+windows-target (progn
1792
1793;;; EOF on a TTY is transient, but I'm less sure of other cases.
1794(defun eof-transient-p (fd)
1795  (case (%unix-fd-kind fd)
1796    (:tty t)
1797    #+windows-target (:character-special t)
1798    (t nil)))
1799
1800
1801(defstruct (shared-resource (:constructor make-shared-resource (name)))
1802  (name)
1803  (lock (make-lock))
1804  (primary-owner *current-process*)
1805  (primary-owner-notify (make-semaphore))
1806  (current-owner nil)
1807  (requestors (make-dll-header)))
1808
1809(defstruct (shared-resource-request
1810             (:constructor make-shared-resource-request (process))
1811             (:include dll-node))
1812  process
1813  (signal (make-semaphore)))
1814             
1815
1816;; Returns NIL if already owned by calling thread, T otherwise
1817(defun %acquire-shared-resource (resource  &optional verbose)
1818  (let* ((current *current-process*))
1819    (with-lock-grabbed ((shared-resource-lock resource))
1820      (let* ((secondary (shared-resource-current-owner resource)))
1821        (if (or (eq current secondary)
1822                (and (null secondary)
1823                     (eq current (shared-resource-primary-owner resource))))
1824          (return-from %acquire-shared-resource nil))))
1825    (let* ((request (make-shared-resource-request *current-process*)))
1826      (when verbose
1827        (format t "~%~%;;;~%;;; ~a requires access to ~a~%;;; Type (:y ~D) to yield control to this thread.~%;;;~%"
1828                *current-process* (shared-resource-name resource)
1829                (process-serial-number *current-process*)))
1830      (with-lock-grabbed ((shared-resource-lock resource))
1831        (append-dll-node request (shared-resource-requestors resource)))
1832      (wait-on-semaphore (shared-resource-request-signal request))
1833      (assert (eq current (shared-resource-current-owner resource)))
1834      (when verbose
1835        (format t "~%~%;;;~%;;; ~a is now owned by ~a~%;;;~%~%"
1836                (shared-resource-name resource) current))
1837      t)))
1838
1839;;; If we're the primary owner and there is no secondary owner, do nothing.
1840;;; If we're the secondary owner, cease being the secondary owner.
1841(defun %release-shared-resource (r)
1842  (let* ((not-any-owner ()))
1843    (with-lock-grabbed ((shared-resource-lock r))
1844      (let* ((current *current-process*)
1845             (primary (shared-resource-primary-owner r))
1846             (secondary (shared-resource-current-owner r)))
1847        (unless (setq not-any-owner
1848                      (not (or (eq current secondary)
1849                               (and (null secondary)
1850                                    (eq current primary)))))
1851          (when (eq current secondary)
1852            (setf (shared-resource-current-owner r) nil)
1853            (signal-semaphore (shared-resource-primary-owner-notify r))))))
1854    (when not-any-owner
1855      (signal-program-error "Process ~a does not own ~a" *current-process*
1856                            (shared-resource-name r)))))
1857
1858;;; The current thread should be the primary owner; there should be
1859;;; no secondary owner.  Wakeup the specified (or first) requesting
1860;;; process, then block on our semaphore
1861(defun %yield-shared-resource (r &optional to)
1862  (let* ((request nil))
1863    (with-lock-grabbed ((shared-resource-lock r))
1864      (let* ((current *current-process*)
1865             (primary (shared-resource-primary-owner r)))
1866        (when (and (eq current primary)
1867                   (null (shared-resource-current-owner r)))
1868          (setq request
1869                (let* ((header (shared-resource-requestors r)))
1870                  (if to 
1871                    (do-dll-nodes (node header)
1872                      (when (eq to (shared-resource-request-process node))
1873                        (return node)))
1874                    (let* ((first (dll-header-first header)))
1875                      (unless (eq first header)
1876                        first)))))
1877          (when request
1878            (remove-dll-node request)
1879            (setf (shared-resource-current-owner r)
1880                  (shared-resource-request-process request))
1881            (signal-semaphore (shared-resource-request-signal request))))))
1882    (when request
1883      (wait-on-semaphore (shared-resource-primary-owner-notify r))
1884      (format t "~%;;;~%;;;control of ~a restored to ~a~%;;;~&"
1885              (shared-resource-name r)
1886              *current-process*))))
1887
1888
1889     
1890
1891(defun %shared-resource-requestor-p (r proc)
1892  (with-lock-grabbed ((shared-resource-lock r))
1893    (do-dll-nodes (node (shared-resource-requestors r))
1894      (when (eq proc (shared-resource-request-process node))
1895        (return t)))))
1896
1897(defparameter *resident-editor-hook* nil
1898  "If non-NIL, should be a function that takes an optional argument
1899   (like ED) and invokes a \"resident\" editor.")
1900
1901(defun ed (&optional arg)
1902  (if *resident-editor-hook*
1903    (funcall *resident-editor-hook* arg)
1904    (error "This implementation doesn't provide a resident editor.")))
1905
1906(defun running-under-emacs-p ()
1907  (not (null (getenv "EMACS"))))
1908
1909(defloadvar *cpu-count* nil)
1910
1911(defun cpu-count ()
1912  (or *cpu-count*
1913      (setq *cpu-count*
1914            #+darwin-target
1915            (rlet ((info :host_basic_info)
1916                   (count :mach_msg_type_number_t #$HOST_BASIC_INFO_COUNT))
1917              (if (eql #$KERN_SUCCESS (#_host_info (#_mach_host_self)
1918                                                   #$HOST_BASIC_INFO
1919                                                   info
1920                                                   count))
1921                (pref info :host_basic_info.max_cpus)
1922                1))
1923            #+(or linux-target solaris-target)
1924            (or
1925             (let* ((n (#_sysconf #$_SC_NPROCESSORS_ONLN)))
1926               (declare (fixnum n))
1927               (if (> n 0) n))
1928             #+linux-target
1929             (ignore-errors
1930               (with-open-file (p "/proc/cpuinfo")
1931                 (let* ((ncpu 0)
1932                        (match "processor")
1933                        (matchlen (length match)))
1934                   (do* ((line (read-line p nil nil) (read-line p nil nil)))
1935                        ((null line) ncpu)
1936                     (let* ((line-length (length line)))
1937                       (when (and
1938                              (> line-length matchlen)
1939                              (string= match line
1940                                       :end2 matchlen)
1941                              (whitespacep (schar line matchlen)))
1942                         (incf ncpu)))))))
1943             1)
1944            #+freebsd-target
1945            (rlet ((ret :uint))
1946              (%stack-block ((mib (* (record-length :uint) 2)))
1947              (setf (paref mib (:array :uint) 0)
1948                    #$CTL_HW
1949                    (paref mib (:array :uint) 1)
1950                    #$HW_NCPU)
1951              (rlet ((oldsize :uint (record-length :uint)))
1952                (if (eql 0 (#_sysctl mib 2 ret oldsize (%null-ptr) 0))
1953                  (pref ret :uint)
1954                  1))))
1955            #+windows-target
1956            (rlet ((procmask #>DWORD_PTR)
1957                   (sysmask #>DWORD_PTR))
1958              (if (eql 0 (#_GetProcessAffinityMask (#_GetCurrentProcess) procmask sysmask))
1959                1
1960                (logcount (pref sysmask #>DWORD_PTR)))))))
1961
1962(def-load-pointers spin-count ()
1963  (if (eql 1 (cpu-count))
1964    (%defglobal '*spin-lock-tries* 1)
1965    (%defglobal '*spin-lock-tries* 1024))
1966  (%defglobal '*spin-lock-timeouts* 0))
1967
1968(defun yield ()
1969  #+windows-target
1970  (#_Sleep 0)
1971  #-windows-target 
1972  (#_sched_yield))
1973
1974(defloadvar *host-page-size*
1975    #-windows-target (#_getpagesize)
1976    #+windows-target
1977    (rlet ((info #>SYSTEM_INFO))
1978      (#_GetSystemInfo info)
1979      (pref info #>SYSTEM_INFO.dwPageSize))
1980    )
1981
1982;;(assert (= (logcount *host-page-size*) 1))
1983
1984(defun get-universal-time ()
1985  "Return a single integer for the current time of
1986   day in universal time format."
1987  (rlet ((tv :timeval))
1988    (gettimeofday tv)
1989    (+ (pref tv :timeval.tv_sec) unix-to-universal-time)))
1990
1991#-windows-target
1992(progn
1993(defun map-file-to-ivector (pathname element-type)
1994  (let* ((upgraded-type (upgraded-array-element-type element-type))
1995         (upgraded-ctype (specifier-type upgraded-type)))
1996    (unless (and (typep upgraded-ctype 'numeric-ctype)
1997                 (eq 'integer (numeric-ctype-class upgraded-ctype)))
1998      (error "Invalid element-type: ~s" element-type))
1999    (let* ((bits-per-element (integer-length (- (numeric-ctype-high upgraded-ctype)
2000                                                (numeric-ctype-low upgraded-ctype))))
2001           (fd (fd-open (native-translated-namestring pathname) #$O_RDONLY)))
2002      (if (< fd 0)
2003        (signal-file-error fd pathname)
2004        (let* ((len (fd-size fd)))
2005          (if (< len 0)
2006            (signal-file-error fd pathname)
2007            (let* ((nbytes (+ *host-page-size*
2008                              (logandc2 (+ len
2009                                           (1- *host-page-size*))
2010                                        (1- *host-page-size*))))
2011
2012                   (ndata-elements
2013                    (ash len
2014                         (ecase bits-per-element
2015                           (1 3)
2016                           (8 0)
2017                           (16 -1)
2018                           (32 -2)
2019                           (64 -3))))
2020                   (nalignment-elements
2021                    (ash target::nbits-in-word
2022                         (ecase bits-per-element
2023                           (1 0)
2024                           (8 -3)
2025                           (16 -4)
2026                           (32 -5)
2027                           (64 -6)))))
2028              (if (>= (+ ndata-elements nalignment-elements)
2029                      array-total-size-limit)
2030                (progn
2031                  (fd-close fd)
2032                  (error "Can't make a vector with ~s elements in this implementation." (+ ndata-elements nalignment-elements)))
2033                (let* ((addr (#_mmap (%null-ptr)
2034                                     nbytes
2035                                     #$PROT_NONE
2036                                     (logior #$MAP_ANON #$MAP_PRIVATE)
2037                                     -1
2038                                     0)))             
2039                  (if (eql addr (%int-to-ptr (1- (ash 1 target::nbits-in-word)))) ; #$MAP_FAILED
2040                    (let* ((errno (%get-errno)))
2041                      (fd-close fd)
2042                      (error "Can't map ~d bytes: ~a" nbytes (%strerror errno)))
2043              ;;; Remap the first page so that we can put a vector header
2044              ;;; there; use the first word on the first page to remember
2045              ;;; the file descriptor.
2046                    (progn
2047                      (#_mmap addr
2048                              *host-page-size*
2049                              (logior #$PROT_READ #$PROT_WRITE)
2050                              (logior #$MAP_ANON #$MAP_PRIVATE #$MAP_FIXED)
2051                              -1
2052                              0)
2053                      (setf (pref addr :int) fd)
2054                      (let* ((header-addr (%inc-ptr addr (- *host-page-size*
2055                                                            (* 2 target::node-size)))))
2056                        (setf (pref header-addr :unsigned-long)
2057                              (logior (element-type-subtype upgraded-type)
2058                                      (ash (+ ndata-elements nalignment-elements) target::num-subtag-bits)))
2059                        (when (> len 0)
2060                          (let* ((target-addr (%inc-ptr header-addr (* 2 target::node-size))))
2061                            (unless (eql target-addr
2062                                         (#_mmap target-addr
2063                                                 len
2064                                                 #$PROT_READ
2065                                                 (logior #$MAP_PRIVATE #$MAP_FIXED)
2066                                                 fd
2067                                                 0))
2068                              (let* ((errno (%get-errno)))
2069                                (fd-close fd)
2070                                (#_munmap addr nbytes)
2071                                (error "Mapping failed: ~a" (%strerror errno))))))
2072                        (with-macptrs ((v (%inc-ptr header-addr target::fulltag-misc)))
2073                          (let* ((vector (rlet ((p :address v)) (%get-object p 0))))
2074                            ;; Tell some parts of OpenMCL - notably the
2075                            ;; printer - that this thing off in foreign
2076                            ;; memory is a real lisp object and not
2077                            ;; "bogus".
2078                            (with-lock-grabbed (*heap-ivector-lock*)
2079                              (push vector *heap-ivectors*))
2080                            (make-array ndata-elements
2081                                        :element-type upgraded-type
2082                                        :displaced-to vector
2083                                        :adjustable t
2084                                        :displaced-index-offset nalignment-elements)))))))))))))))
2085
2086(defun map-file-to-octet-vector (pathname)
2087  (map-file-to-ivector pathname '(unsigned-byte 8)))
2088
2089(defun mapped-vector-data-address-and-size (displaced-vector)
2090  (let* ((v (array-displacement displaced-vector))
2091         (element-type (array-element-type displaced-vector)))
2092    (if (or (eq v displaced-vector)
2093            (not (with-lock-grabbed (*heap-ivector-lock*)
2094                   (member v *heap-ivectors*))))
2095      (error "~s doesn't seem to have been allocated via ~s and not yet unmapped" displaced-vector 'map-file-to-ivector))
2096    (let* ((pv (rlet ((x :address)) (%set-object x 0 v) (pref x :address)))
2097           (ctype (specifier-type element-type))
2098           (arch (backend-target-arch *target-backend*)))
2099      (values (%inc-ptr pv (- (* 2 target::node-size) target::fulltag-misc))
2100              (- (funcall (arch::target-array-data-size-function arch)
2101                          (ctype-subtype ctype)
2102                          (length v))
2103                 target::node-size)))))
2104
2105 
2106;;; Argument should be something returned by MAP-FILE-TO-IVECTOR;
2107;;; this should be called at most once for any such object.
2108(defun unmap-ivector (displaced-vector)
2109  (multiple-value-bind (data-address size-in-octets)
2110      (mapped-vector-data-address-and-size displaced-vector)
2111  (let* ((v (array-displacement displaced-vector))
2112         (base-address (%inc-ptr data-address (- *host-page-size*)))
2113         (fd (pref base-address :int)))
2114      (let* ((element-type (array-element-type displaced-vector)))
2115        (adjust-array displaced-vector 0
2116                      :element-type element-type
2117                      :displaced-to (make-array 0 :element-type element-type)
2118                      :displaced-index-offset 0))
2119      (with-lock-grabbed (*heap-ivector-lock*)
2120        (setq *heap-ivectors* (delete v *heap-ivectors*)))
2121      (#_munmap base-address (+ size-in-octets *host-page-size*))     
2122      (fd-close fd)
2123      t)))
2124
2125(defun unmap-octet-vector (v)
2126  (unmap-ivector v))
2127
2128(defun lock-mapped-vector (v)
2129  (multiple-value-bind (address nbytes)
2130      (mapped-vector-data-address-and-size v)
2131    (eql 0 (#_mlock address nbytes))))
2132
2133(defun unlock-mapped-vector (v)
2134  (multiple-value-bind (address nbytes)
2135      (mapped-vector-data-address-and-size v)
2136    (eql 0 (#_munlock address nbytes))))
2137
2138(defun bitmap-for-mapped-range (address nbytes)
2139  (let* ((npages (ceiling nbytes *host-page-size*)))
2140    (%stack-block ((vec npages))
2141      (when (eql 0 (#_mincore address nbytes vec))
2142        (let* ((bits (make-array npages :element-type 'bit)))
2143          (dotimes (i npages bits)
2144            (setf (sbit bits i)
2145                  (logand 1 (%get-unsigned-byte vec i)))))))))
2146
2147(defun percentage-of-resident-pages (address nbytes)
2148  (let* ((npages (ceiling nbytes *host-page-size*)))
2149    (%stack-block ((vec npages))
2150      (when (eql 0 (#_mincore address nbytes vec))
2151        (let* ((nresident 0))
2152          (dotimes (i npages (* 100.0 (/ nresident npages)))
2153            (when (logbitp 0 (%get-unsigned-byte vec i))
2154              (incf nresident))))))))
2155
2156(defun mapped-vector-resident-pages (v)
2157  (multiple-value-bind (address nbytes)
2158      (mapped-vector-data-address-and-size v)
2159    (bitmap-for-mapped-range address nbytes)))
2160
2161(defun mapped-vector-resident-pages-percentage (v)
2162  (multiple-value-bind (address nbytes)
2163      (mapped-vector-data-address-and-size v)
2164    (percentage-of-resident-pages address nbytes)))
2165)
2166
2167#+windows-target
2168(defun cygpath (winpath)
2169  "Try to use the Cygwin \"cygpath\" program to map a Windows-style
2170   pathname to a POSIX-stype Cygwin pathname."
2171  (let* ((posix-path winpath))
2172    (with-output-to-string (s)
2173      (multiple-value-bind (status exit-code)
2174          (external-process-status
2175           (run-program "cygpath" (list "-u" winpath) :output s))
2176        (when (and (eq status :exited)
2177                   (eql exit-code 0))
2178          (with-input-from-string (output (get-output-stream-string s))
2179            (setq posix-path (read-line output nil nil))))))
2180    posix-path))
2181
2182#-windows-target (defun cygpath (path) path)
2183     
2184
2185
2186
2187#+x86-target
2188(progn
2189(defloadvar *last-rdtsc-time* 0)
2190
2191(defstatic *rdtsc-estimated-increment* 1 "Should be positive ...")
2192
2193(defun rdtsc-monotonic ()
2194  "Return monotonically increasing values, partly compensating for
2195   OSes that don't keep the TSCs of all processorsin synch."
2196  (loop
2197    (let* ((old *last-rdtsc-time*)
2198           (new (rdtsc)))
2199      (when (< new old)
2200        ;; We're running on a CPU whose TSC is behind the one
2201        ;; on the last CPU we were scheduled on.
2202        (setq new (+ old *rdtsc-estimated-increment*)))
2203      (when (%store-node-conditional target::symbol.vcell *last-rdtsc-time* old new)
2204        (return new)))))
2205
2206(defun estimate-rdtsc-skew (&optional (niter 1000000))
2207  (do* ((i 0 (1+ i))
2208        (last (rdtsc) next)
2209        (next (rdtsc) (rdtsc))
2210        (skew 1))
2211       ((>= i niter) (setq *rdtsc-estimated-increment* skew))
2212    (declare (fixnum last next skew))
2213    (when (> last next)
2214      (let* ((s (- last next)))
2215        (declare (fixnum s))
2216        (when (> s skew) (setq skew s))))))
2217)
2218
2219
Note: See TracBrowser for help on using the repository browser.