source: trunk/source/level-1/linux-files.lisp @ 11448

Last change on this file since 11448 was 11448, checked in by gb, 11 years ago

Get RUN-PROGRAM to handle multiple (:output, :error) pipes on Windows, too.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 84.5 KB
Line 
1;;;-*- Mode: Lisp; Package: CCL -*-
2;;;
3;;;   Copyright (C) 1994-2001 Digitool, Inc
4;;;   This file is part of OpenMCL. 
5;;;
6;;;   OpenMCL is licensed under the terms of the Lisp Lesser GNU Public
7;;;   License , known as the LLGPL and distributed with OpenMCL as the
8;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
9;;;   which is distributed with OpenMCL as the file "LGPL".  Where these
10;;;   conflict, the preamble takes precedence. 
11;;;
12;;;   OpenMCL is referenced in the preamble as the "LIBRARY."
13;;;
14;;;   The LLGPL is also available online at
15;;;   http://opensource.franz.com/preamble.html
16
17(in-package "CCL")
18
19(defconstant unix-to-universal-time 2208988800)
20
21#+windows-target
22(progn
23
24
25           
26
27(defun nbackslash-to-forward-slash (namestring)
28  (dotimes (i (length namestring) namestring)
29    (when (eql (schar namestring i) #\\)
30      (setf (schar namestring i) #\/))))
31
32(defconstant univeral-time-start-in-windows-seconds 9435484800)
33
34(defun windows-filetime-to-universal-time (ft)
35  (let* ((100-ns (dpb (pref ft #>FILETIME.dwHighDateTime) (byte 32 32)
36                      (pref ft #>FILETIME.dwLowDateTime)))
37         (seconds-since-windows-epoch (floor 100-ns 10000000)))
38    (- seconds-since-windows-epoch univeral-time-start-in-windows-seconds)))
39)
40
41(defun get-foreign-namestring (pointer)
42  ;; On Darwin, foreign namestrings are encoded in UTF-8 and
43  ;; are canonically decomposed (NFD).  Use PRECOMPOSE-SIMPLE-STRING
44  ;; to ensure that the string is "precomposed" (NFC), like the
45  ;; rest of the world and most sane people would expect.
46  #+darwin-target
47  (precompose-simple-string (%get-utf-8-cstring pointer))
48  #+windows-target (nbackslash-to-forward-slash
49                     (%get-native-utf-16-cstring pointer))
50  ;; On some other platforms, the namestring is assumed to
51  ;; be encoded according to the current locale's character
52  ;; encoding (though FreeBSD seems to be moving towards
53  ;; precomposed UTF-8.).
54  #-(or darwin-target windows-target)
55  (let* ((encoding-name (pathname-encoding-name)))
56    (if encoding-name
57      (get-encoded-cstring encoding-name pointer)
58      (%get-cstring pointer))))
59
60(defun nanoseconds (n)
61  (unless (and (typep n 'fixnum)
62               (>= (the fixnum n) 0))
63    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
64  (multiple-value-bind (q r)
65      (floor n)
66    (if (zerop r)
67      (setq r 0)
68      (setq r (floor (* r 1000000000))))
69    (values q r)))
70
71(defun milliseconds (n)
72  (unless (and (typep n 'fixnum)
73               (>= (the fixnum n) 0))
74    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
75  (multiple-value-bind (q r)
76      (floor n)
77    (if (zerop r)
78      (setq r 0)
79      (setq r (floor (* r 1000))))
80    (values q r)))
81
82(defun microseconds (n)
83  (unless (and (typep n 'fixnum)
84               (>= (the fixnum n) 0))
85    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
86  (multiple-value-bind (q r)
87      (floor n)
88    (if (zerop r)
89      (setq r 0)
90      (setq r (floor (* r 1000000))))
91    (values q r)))
92
93(defun semaphore-value (s)
94  (if (istruct-typep s 'semaphore)
95    (semaphore.value s)
96    (semaphore-value (require-type s 'semaphore))))
97
98(defun %wait-on-semaphore-ptr (s seconds milliseconds &optional flag)
99  (if flag
100    (if (istruct-typep flag 'semaphore-notification)
101      (setf (semaphore-notification.status flag) nil)
102      (report-bad-arg flag 'semaphore-notification)))
103  (without-interrupts
104   (let* ((status (ff-call
105                   (%kernel-import target::kernel-import-wait-on-semaphore)
106                   :address s
107                   :unsigned seconds
108                   :unsigned milliseconds
109                   :signed))
110          (result (zerop status)))     
111     (declare (fixnum status))
112     (when flag (setf (semaphore-notification.status flag) result))
113     (values result status))))
114
115(defun %process-wait-on-semaphore-ptr (s seconds milliseconds &optional
116                                         (whostate "semaphore wait") flag)
117  (or (%wait-on-semaphore-ptr s 0 0 flag)
118      (with-process-whostate  (whostate)
119        (loop
120          (when (%wait-on-semaphore-ptr s seconds milliseconds flag)
121            (return))))))
122
123 
124(defun wait-on-semaphore (s &optional flag (whostate "semaphore wait"))
125  "Wait until the given semaphore has a positive count which can be
126atomically decremented."
127  (%process-wait-on-semaphore-ptr (semaphore-value s) #xffffff 0 whostate flag)
128  t)
129
130
131(defun %timed-wait-on-semaphore-ptr (semptr duration notification)
132  (or (%wait-on-semaphore-ptr semptr 0 0 notification)
133      (with-process-whostate ("Semaphore timed wait")
134        (multiple-value-bind (secs millis) (milliseconds duration)
135          (let* ((now (get-internal-real-time))
136                 (stop (+ now
137                          (* secs 1000)
138                          millis)))
139            (loop
140              (multiple-value-bind (success err)
141                  (progn
142                    (%wait-on-semaphore-ptr semptr secs millis notification))
143                (when success
144                  (return t))
145                (when (or (not (eql err #$EINTR))
146                          (>= (setq now (get-internal-real-time)) stop))
147                  (return nil))
148                (unless (zerop duration)
149                  (let* ((diff (- stop now)))
150                    (multiple-value-bind (remaining-seconds remaining-millis)
151                        (floor diff 1000)
152                      (setq secs remaining-seconds
153                            millis remaining-millis)))))))))))
154
155(defun timed-wait-on-semaphore (s duration &optional notification)
156  "Wait until the given semaphore has a postive count which can be
157atomically decremented, or until a timeout expires."
158  (%timed-wait-on-semaphore-ptr (semaphore-value s) duration notification))
159
160
161(defun %signal-semaphore-ptr (p)
162  (ff-call
163   (%kernel-import target::kernel-import-signal-semaphore)
164   :address p
165   :signed-fullword))
166
167(defun signal-semaphore (s)
168  "Atomically increment the count of a given semaphore."
169  (%signal-semaphore-ptr (semaphore-value s)))
170
171(defun %os-getcwd (buf noctets)
172  ;; Return N < 0, if error
173  ;;        N < noctets: success, string is of length N (octets).
174  ;;        N >= noctets: buffer needs to be larger.
175  (let* ((p #+windows-target
176           (#__wgetcwd buf (ash noctets -1))
177           #-windows-target
178           (#_getcwd buf noctets)))
179    (declare (dynamic-extent p))
180    (if (%null-ptr-p p)
181      (let* ((err (%get-errno)))
182        (if (eql err (- #$ERANGE))
183          (+ noctets noctets)
184          err))
185      #+windows-target
186      (do* ((i 0 (+ i 2)))
187           ((= i noctets) (+ noctets noctets))
188        (when (eql (%get-unsigned-word buf i) 0)
189          (return i)))
190      #-windows-target
191      (dotimes (i noctets (+ noctets noctets))
192        (when (eql 0 (%get-byte buf i))
193          (return i))))))
194   
195   
196(defun current-directory-name ()
197  "Look up the current working directory of the OpenMCL process; unless
198it has been changed, this is the directory OpenMCL was started in."
199  (flet ((try-getting-dirname (bufsize)
200           (%stack-block ((buf bufsize))
201             (let* ((len (%os-getcwd buf bufsize)))
202               (cond ((< len 0) (%errno-disp len))
203                     ((< len bufsize)
204                      (setf (%get-unsigned-byte buf len) 0)
205                      (values (get-foreign-namestring buf) len))
206                     (t (values nil len)))))))
207    (do* ((string nil)
208          (len #+windows-target 128 #-windows-target 64)
209          (bufsize len len))
210         ((multiple-value-setq (string len) (try-getting-dirname bufsize))
211          string))))
212
213
214(defun current-directory ()
215  (mac-default-directory))
216
217(defun (setf current-directory) (path)
218  (cwd path)
219  path)
220
221(defun cd (path)
222  (cwd path))
223
224
225
226
227(defun %chdir (dirname)
228  (with-filename-cstrs ((dirname dirname))
229    (int-errno-call (#+windows-target #__wchdir #-windows-target #_chdir dirname))))
230
231(defun %mkdir (name mode)
232  #+windows-target (declare (ignore mode))
233  (let* ((name name)
234         (len (length name)))
235    (when (and (> len 0) (eql (char name (1- len)) #\/))
236      (setq name (subseq name 0 (1- len))))
237    (with-filename-cstrs ((name name))
238      (int-errno-call (#+windows-target #__wmkdir #-windows-target #_mkdir  name #-windows-target mode)))))
239
240(defun %rmdir (name)
241  (let* ((last (1- (length name))))
242    (with-filename-cstrs ((name name))
243      (when (and (>= last 0)
244                 (eql (%get-byte name last) (char-code #\/)))
245        (setf (%get-byte name last) 0))
246      (int-errno-call (#+windows-target #__wrmdir #-windows-target #_rmdir  name)))))
247
248
249(defun getenv (key)
250  "Look up the value of the environment variable named by name, in the
251OS environment."
252  (with-cstrs ((key (string key)))
253    (let* ((env-ptr (%null-ptr)))
254      (declare (dynamic-extent env-ptr))
255      (%setf-macptr env-ptr (#_getenv key))
256      (unless (%null-ptr-p env-ptr)
257        (%get-cstring env-ptr))))
258  )
259
260(defun setenv (key value &optional (overwrite t))
261  "Set the value of the environment variable named by name, in the OS
262environment. If there is no such environment variable, create it."
263  #+windows-target (declare (ignore overwrite))
264  #-windows-target
265  (with-cstrs ((ckey key)
266               (cvalue value))
267    (#_setenv ckey cvalue (if overwrite 1 0)))
268  #+windows-target
269  (with-cstrs ((pair (format nil "~a=~a" key value)))
270    (#__putenv pair))
271  )
272
273#-windows-target                        ; Windows "impersonation" crap ?
274(defun setuid (uid)
275  "Attempt to change the current user ID (both real and effective);
276fails unless the OpenMCL process has super-user privileges or the ID
277given is that of the current user."
278  (int-errno-call (#_setuid uid)))
279
280#-windows-target
281(defun setgid (uid)
282  "Attempt to change the current group ID (both real and effective);
283fails unless the OpenMCL process has super-user privileges or the ID
284given is that of a group to which the current user belongs."
285  (int-errno-call (#_setgid uid)))
286 
287
288;;; On Linux, "stat" & friends are implemented in terms of deeper,
289;;; darker things that need to know what version of the stat buffer
290;;; they're talking about.
291
292#-windows-target
293(defun %stat-values (result stat)
294  (if (eql 0 (the fixnum result)) 
295      (values
296       t
297       (pref stat :stat.st_mode)
298       (pref stat :stat.st_size)
299       #+(or linux-target solaris-target)
300       (pref stat :stat.st_mtim.tv_sec)
301       #-(or linux-target solaris-target)
302       (pref stat :stat.st_mtimespec.tv_sec)
303       (pref stat :stat.st_ino)
304       (pref stat :stat.st_uid)
305       (pref stat :stat.st_blksize)
306       #+(or linux-target solaris-target)
307       (round (pref stat :stat.st_mtim.tv_nsec) 1000)
308       #-(or linux-target solaris-target)
309       (round (pref stat :stat.st_mtimespec.tv_nsec) 1000)
310       (pref stat :stat.st_gid))
311      (values nil nil nil nil nil nil nil)))
312
313#+win64-target
314(defun %stat-values (result stat)
315  (if (eql 0 (the fixnum result)) 
316      (values
317       t
318       (pref stat :_stat64.st_mode)
319       (pref stat :_stat64.st_size)
320       (pref stat :_stat64.st_mtime)
321       (pref stat :_stat64.st_ino)
322       (pref stat :_stat64.st_uid)
323       #$BUFSIZ
324       (pref stat :_stat64.st_mtime)     ; ???
325       (pref stat :_stat64.st_gid))
326      (values nil nil nil nil nil nil nil nil nil)))
327
328#+win32-target
329(defun %stat-values (result stat)
330  (if (eql 0 (the fixnum result)) 
331      (values
332       t
333       (pref stat :__stat64.st_mode)
334       (pref stat :__stat64.st_size)
335       (pref stat :__stat64.st_mtime)
336       (pref stat :__stat64.st_ino)
337       (pref stat :__stat64.st_uid)
338       #$BUFSIZ
339       (pref stat :__stat64.st_mtime)     ; ???
340       (pref stat :__stat64.st_gid))
341      (values nil nil nil nil nil nil nil nil nil)))
342
343#+windows-target
344(defun windows-strip-trailing-slash (namestring)
345  (do* ((len (length namestring) (length namestring)))
346       ((<= len 3) namestring)
347    (let* ((p (1- len))
348           (ch (char namestring p)))
349      (unless (or (eql ch #\\)
350                  (eql ch #\/))
351        (return namestring))
352      (setq namestring (subseq namestring 0 p)))))
353
354
355(defun %%stat (name stat)
356  (with-filename-cstrs ((cname #+windows-target (windows-strip-trailing-slash name) #-windows-target name))
357    (%stat-values
358     #+linux-target
359     (#_ __xstat #$_STAT_VER_LINUX cname stat)
360     #-linux-target
361     (int-errno-ffcall (%kernel-import target::kernel-import-lisp-stat)
362                       :address cname
363                       :address stat
364                       :int)
365     stat)))
366
367(defun %%fstat (fd stat)
368  (%stat-values
369   #+linux-target
370   (#_ __fxstat #$_STAT_VER_LINUX fd stat)
371   #-linux-target
372   (int-errno-ffcall (%kernel-import target::kernel-import-lisp-fstat)
373                     :int fd
374                     :address stat
375                     :int)
376   stat))
377
378#-windows-target
379(defun %%lstat (name stat)
380  (with-filename-cstrs ((cname name))
381    (%stat-values
382     #+linux-target
383     (#_ __lxstat #$_STAT_VER_LINUX cname stat)
384     #-linux-target
385     (#_lstat cname stat)
386     stat)))
387
388
389;;; Returns: (values t mode size mtime inode uid blksize) on success,
390;;;          (values nil nil nil nil nil nil nil) otherwise
391;;; NAME should be a "native namestring", e.g,, have all lisp pathname
392;;; escaping removed.
393#-windows-target
394(defun %stat (name &optional link-p)
395  (rlet ((stat :stat))
396    (if link-p
397      (%%lstat name stat)
398      (%%stat name stat))))
399
400#+windows-target
401(defun %stat (name &optional link-p)
402  (declare (ignore link-p))
403  (rlet ((stat  #+win64-target #>_stat64 #+win32-target #>__stat64))
404    (%%stat name stat)))
405
406(defun %fstat (fd)
407  (rlet ((stat #+win64-target #>_stat64 #+win32-target #>__stat64 #-windows-target :stat))
408    (%%fstat fd stat)))
409
410
411(defun %file-kind (mode &optional fd)
412  (declare (ignorable fd))
413  (when mode
414    (let* ((kind (logand mode #$S_IFMT)))
415      (cond ((eql kind #$S_IFDIR) :directory)
416            ((eql kind #$S_IFREG) :file)
417            #-windows-target
418            ((eql kind #$S_IFLNK) :link)
419            ((eql kind #$S_IFIFO) 
420             #-windows-target :pipe
421             ;; Windows doesn't seem to be able to distinguish between
422             ;; sockets and pipes.  Since this function is currently
423             ;; (mostly) used for printing streams and since we've
424             ;; already done something fairly expensive (stat, fstat)
425             ;; to get here.  try to distinguish between pipes and
426             ;; sockets by calling #_getsockopt.  If that succeeds,
427             ;; we've got a socket; otherwise, we're probably got a pipe.
428             #+windows-target (rlet ((ptype :int)
429                                     (plen :int 4))
430                                (if (and fd (eql 0 (#_getsockopt fd #$SOL_SOCKET #$SO_TYPE  ptype plen)))
431                                    :socket
432                                    :pipe)))
433            #-windows-target
434            ((eql kind #$S_IFSOCK) :socket)
435            ((eql kind #$S_IFCHR) :character-special)
436            (t :special)))))
437
438(defun %unix-file-kind (native-namestring &optional check-for-link)
439  (%file-kind (nth-value 1 (%stat native-namestring check-for-link))))
440
441(defun %unix-fd-kind (fd)
442  (if (isatty fd)
443    :tty
444    (%file-kind (nth-value 1 (%fstat fd)) fd)))
445
446#-windows-target
447(defun %uts-string (result idx buf)
448  (if (>= result 0)
449    (%get-cstring (%inc-ptr buf (* #+linux-target #$_UTSNAME_LENGTH
450                                   #+darwin-target #$_SYS_NAMELEN
451                                   #+(or freebsd-target solaris-target) #$SYS_NMLN
452                                   idx)))
453    "unknown"))
454
455#-windows-target
456(defun copy-file-attributes (source-path dest-path)
457  "Copy the mode, owner, group and modification time of source-path to dest-path.
458   Returns T if succeeded, NIL if some of the attributes couldn't be copied due to
459   permission problems.  Any other failures cause an error to be signalled"
460  (multiple-value-bind (win mode ignore mtime-sec ignore uid ignore mtime-usec gid)
461                       (%stat (native-translated-namestring source-path) t)
462    (declare (ignore ignore))
463    (unless win
464      (error "Cannot get attributes of ~s" source-path))
465    (with-filename-cstrs ((cnamestr (native-translated-namestring dest-path)))
466      (macrolet ((errchk (form)
467                   `(let ((err ,form))
468                      (unless (eql err 0)
469                        (setq win nil)
470                        (when (eql err -1)
471                          (setq err (- (%get-errno))))
472                        (unless (eql err #$EPERM) (%errno-disp err dest-path))))))
473        (errchk (#_chmod cnamestr mode))
474        (errchk (%stack-block ((times (record-length (:array (:struct :timeval) 2))))
475                  (setf (pref times :timeval.tv_sec) mtime-sec)
476                  (setf (pref times :timeval.tv_usec) mtime-usec)
477                  (%incf-ptr times (record-length :timeval))
478                  (setf (pref times :timeval.tv_sec) mtime-sec)
479                  (setf (pref times :timeval.tv_usec) mtime-usec)
480                  (%incf-ptr times (- (record-length :timeval)))
481                  (#_utimes cnamestr times)))
482        (errchk (#_chown cnamestr uid gid))))
483    win))
484
485#+windows-target
486(defun copy-file-attributes (source-path dest-path)
487  "could at least copy the file times"
488  (declare (ignore source-path dest-path)))
489
490
491#+linux-target
492(defun %uname (idx)
493  (%stack-block ((buf (* #$_UTSNAME_LENGTH 6))) 
494    (%uts-string (#_uname buf) idx buf)))
495
496#+darwin-target
497(defun %uname (idx)
498  (%stack-block ((buf (* #$_SYS_NAMELEN 5)))
499    (%uts-string (#_uname buf) idx buf)))
500
501#+freebsd-target
502(defun %uname (idx)
503  (%stack-block ((buf (* #$SYS_NMLN 5)))
504    (%uts-string (#___xuname #$SYS_NMLN buf) idx buf)))
505
506#+solaris-target
507(defun %uname (idx)
508  (%stack-block ((buf (* #$SYS_NMLN 5)))
509    (%uts-string (#_uname buf) idx buf)))
510
511#-windows-target
512(defun fd-dup (fd)
513  (int-errno-call (#_dup fd)))
514
515#+windows-target
516(defun fd-dup (fd &key direction inheritable)
517  (declare (ignore direction))
518  (rlet ((handle #>HANDLE))
519    (#_DuplicateHandle (#_GetCurrentProcess)
520                       fd
521                       (#_GetCurrentProcess) 
522                       handle
523                       0
524                       (if inheritable #$TRUE #$FALSE)
525                       #$DUPLICATE_SAME_ACCESS)))
526
527
528(defun fd-fsync (fd)
529  #+windows-target (#_FlushFileBuffers (%int-to-ptr fd))
530  #-windows-target
531  (int-errno-call (#_fsync fd)))
532
533#-windows-target
534(progn
535(defun fd-get-flags (fd)
536  (int-errno-call (#_fcntl fd #$F_GETFL)))
537
538(defun fd-set-flags (fd new)
539  (int-errno-call (#_fcntl fd #$F_SETFL :int new)))
540
541(defun fd-set-flag (fd mask)
542  (let* ((old (fd-get-flags fd)))
543    (if (< old 0)
544      old
545      (fd-set-flags fd (logior old mask)))))
546
547(defun fd-clear-flag (fd mask)
548  (let* ((old (fd-get-flags fd)))
549    (if (< old 0) 
550      old
551      (fd-set-flags fd (logandc2 old mask)))))
552)
553
554;;; Assume that any quoting's been removed already.
555(defun tilde-expand (namestring)
556  (let* ((len (length namestring)))
557    (if (or (zerop len)
558            (not (eql (schar namestring 0) #\~)))
559      namestring
560      (if (or (= len 1)
561              (eql (schar namestring 1) #\/))
562        (concatenate 'string (get-user-home-dir (getuid)) (if (= len 1) "/" (subseq namestring 1)))
563        #+windows-target namestring
564        #-windows-target
565        (let* ((slash-pos (position #\/ namestring))
566               (user-name (subseq namestring 1 slash-pos))
567               (uid (or (get-uid-from-name user-name)
568                        (error "Unknown user ~s in namestring ~s" user-name namestring))))
569          (concatenate 'string (get-user-home-dir uid) (if slash-pos (subseq namestring slash-pos) "/")))))))
570
571
572#+windows-target
573(defun %windows-realpath (namestring)
574  (with-filename-cstrs ((path namestring))
575    (do* ((bufsize 256))
576         ()
577      (%stack-block ((buf bufsize))
578        (let* ((nchars (#_GetFullPathNameW path (ash bufsize -1) buf (%null-ptr))))
579          (if (eql 0 nchars)
580            (return nil)
581            (let* ((max (+ nchars nchars 2)))
582              (if (> max bufsize)
583                (setq bufsize max)
584                (let* ((real (get-foreign-namestring buf)))
585                  (return (and (%stat real) real)))))))))))
586
587   
588;;; This doesn't seem to exist on VxWorks.  It's a POSIX
589;;; function AFAIK, so the source should be somewhere ...
590
591(defun %realpath (namestring)
592  ;; It's not at all right to just return the namestring here.
593  (when (zerop (length namestring))
594    (setq namestring (current-directory-name)))
595  #+windows-target (%windows-realpath namestring)
596  #-windows-target
597  (%stack-block ((resultbuf #$PATH_MAX))
598    (with-filename-cstrs ((name namestring #|(tilde-expand namestring)|#))
599      (let* ((result (#_realpath name resultbuf)))
600        (declare (dynamic-extent result))
601        (unless (%null-ptr-p result)
602          (get-foreign-namestring result))))))
603
604;;; Return fully resolved pathname & file kind, or (values nil nil)
605
606(defun %probe-file-x (namestring)
607  (let* ((realpath (%realpath namestring))
608         (kind (if realpath (%unix-file-kind realpath))))
609    (if kind
610      (values realpath kind)
611      (values nil nil))))
612
613;;; The mingw headers define timeval.tv_sec and timeval.tv_usec to be
614;;; signed 32-bit quantities.
615(macrolet ((timeval-ref (ptr accessor)
616             #+windows-target `(logand #xfffffffff (pref ,ptr ,accessor))
617             #-windows-target `(pref ,ptr ,accessor))
618           (set-timeval-ref (ptr accessor new)
619           `(setf (pref ,ptr ,accessor)
620             #+windows-target (u32->s32 ,new)
621             #-windows-target ,new)))
622 
623(defun timeval->milliseconds (tv)
624    (+ (* 1000 (timeval-ref tv :timeval.tv_sec)) (round (timeval-ref tv :timeval.tv_usec) 1000)))
625
626(defun timeval->microseconds (tv)
627    (+ (* 1000000 (timeval-ref tv :timeval.tv_sec)) (timeval-ref tv :timeval.tv_usec)))
628
629(defun %add-timevals (result a b)
630  (let* ((seconds (+ (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
631         (micros (+ (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
632    (if (>= micros 1000000)
633      (setq seconds (1+ seconds) micros (- micros 1000000)))
634    (set-timeval-ref result :timeval.tv_sec seconds)
635    (set-timeval-ref result :timeval.tv_usec micros)
636    result))
637
638(defun %sub-timevals (result a b)
639  (let* ((seconds (- (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
640         (micros (- (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
641    (if (< micros 0)
642      (setq seconds (1- seconds) micros (+ micros 1000000)))
643    (set-timeval-ref result :timeval.tv_sec  seconds)
644    (set-timeval-ref result :timeval.tv_usec micros)
645    result))
646
647;;; Return T iff the time denoted by the timeval a is not later than the
648;;; time denoted by the timeval b.
649(defun %timeval<= (a b)
650  (let* ((asec (timeval-ref a :timeval.tv_sec))
651         (bsec (timeval-ref b :timeval.tv_sec)))
652    (or (< asec bsec)
653        (and (= asec bsec)
654             (< (timeval-ref a :timeval.tv_usec)
655                (timeval-ref b :timeval.tv_usec))))))
656
657); windows signed nonsense.
658
659#-windows-target
660(defun %%rusage (usage &optional (who #$RUSAGE_SELF))
661  (int-errno-call (#_getrusage who usage)))
662
663
664
665
666(defun %file-write-date (namestring)
667  (let* ((date (nth-value 3 (%stat namestring))))
668    (if date
669      (+ date unix-to-universal-time))))
670
671#-windows-target
672(defun %file-author (namestring)
673  (let* ((uid (nth-value 5 (%stat namestring))))
674    (if uid
675      (with-macptrs ((pw (#_getpwuid uid)))
676        (unless (%null-ptr-p pw)
677          (without-interrupts
678           (%get-cstring (pref pw :passwd.pw_name))))))))
679
680#+windows-target
681(defun %file-author (namestring)
682  (declare (ignore namestring))
683  nil)
684
685#-windows-target
686(defun %utimes (namestring)
687  (with-filename-cstrs ((cnamestring namestring))
688    (let* ((err (#_utimes cnamestring (%null-ptr))))
689      (declare (fixnum err))
690      (or (eql err 0)
691          (%errno-disp err namestring)))))
692
693#+windows-target
694(defun %utimes (namestring)
695  (with-filename-cstrs ((cnamestring namestring))
696    (let* ((handle (#_CreateFileW
697                    cnamestring
698                    #$FILE_WRITE_ATTRIBUTES
699                    (logior #$FILE_SHARE_READ #$FILE_SHARE_WRITE)
700                    (%null-ptr)
701                    #$OPEN_EXISTING
702                    #$FILE_ATTRIBUTE_NORMAL
703                    (%null-ptr))))
704      (if (eql handle *windows-invalid-handle*)
705        (%windows-error-disp (#_GetLastError))
706        (rlet ((st #>SYSTEMTIME)
707               (ft #>FILETIME))
708          (#_GetSystemTime st)
709          (#_SystemTimeToFileTime st ft)
710          (let* ((result (#_SetFileTime handle (%null-ptr) (%null-ptr) ft))
711                 (err (unless (eql 0 result) (#_GetLastError))))
712            (#_CloseHandle handle)
713            (if err
714              (%windows-error-disp err)
715              t)))))))
716
717
718             
719
720#-windows-target
721(defun get-uid-from-name (name)
722  (with-cstrs ((name name))
723    (let* ((pwent (#_getpwnam name)))
724      (unless (%null-ptr-p pwent)
725        (pref pwent :passwd.pw_uid)))))
726
727
728(defun isatty (fd)
729  #+windows-target (declare (ignore fd))
730  #+windows-target nil
731  #-windows-target
732  (= 1 (#_isatty fd)))
733
734(defun %open-dir (namestring)
735  (with-filename-cstrs ((name namestring))
736    (let* ((DIR (ff-call (%kernel-import target::kernel-import-lisp-opendir)
737                         :address name
738                         :address)))
739      (unless (%null-ptr-p DIR)
740        DIR))))
741
742(defun close-dir (dir)
743  (ff-call (%kernel-import target::kernel-import-lisp-closedir)
744           :address dir
745           :int))
746
747(defun %read-dir (dir)
748  (let* ((res (ff-call (%kernel-import target::kernel-import-lisp-readdir)
749                       :address dir
750                       :address)))
751    (unless (%null-ptr-p res)
752      (get-foreign-namestring (pref res
753                                    #+windows-target :_wdirent.d_name
754                                    #-windows-target :dirent.d_name)))))
755
756
757#-windows-target
758(defun tcgetpgrp (fd)
759  (#_tcgetpgrp fd))
760
761(defun getpid ()
762  "Return the ID of the OpenMCL OS process."
763  #-windows-target
764  (int-errno-call (#_getpid))
765  #+windows-target (#_GetCurrentProcessId))
766
767
768(defun getuid ()
769  "Return the (real) user ID of the current user."
770  #+windows-target 0
771  #-windows-target (int-errno-call (#_getuid)))
772
773(defun get-user-home-dir (userid)
774  "Look up and return the defined home directory of the user identified
775by uid. This value comes from the OS user database, not from the $HOME
776environment variable. Returns NIL if there is no user with the ID uid."
777  #+windows-target
778  (declare (ignore userid))
779  #+windows-target
780  (dolist (k '(#||"HOME"||# "USERPROFILE")) 
781    (with-native-utf-16-cstrs ((key k))
782      (let* ((p (#__wgetenv key)))
783        (unless (%null-ptr-p p)
784          (return (get-foreign-namestring p))))))
785  #-windows-target
786  (rlet ((pwd :passwd)
787         (result :address pwd))
788    (do* ((buflen 512 (* 2 buflen)))
789         ()
790      (%stack-block ((buf buflen))
791        (let* ((err
792                #-solaris-target
793                 (#_getpwuid_r userid pwd buf buflen result)
794                 #+solaris-target
795                 (external-call "__posix_getpwuid_r"
796                                :uid_t userid
797                                :address pwd
798                                :address buf
799                                :int buflen
800                                :address result
801                                :int)))
802          (if (eql 0 err)
803            (return (let* ((rp (%get-ptr result)))
804                      (unless (%null-ptr-p rp)
805                        (get-foreign-namestring (pref rp :passwd.pw_dir)))))
806            (unless (eql err #$ERANGE)
807              (return nil))))))))
808
809(defun %delete-file (name)
810  (with-cstrs ((n name))
811    (int-errno-call (#+windows-target #__unlink #-windows-target #_unlink n))))
812
813(defun os-command (string)
814  "Invoke the Posix function system(), which invokes the user's default
815system shell (such as sh or tcsh) as a new process, and has that shell
816execute command-line.
817
818If the shell was able to find the command specified in command-line, then
819exit-code is the exit code of that command. If not, it is the exit code
820of the shell itself."
821  (with-cstrs ((s string))
822    (#_system s)))
823
824(defun %strerror (errno)
825  (declare (fixnum errno))
826  (if (< errno 0)
827    (setq errno (- errno)))
828  (with-macptrs (p)
829    (%setf-macptr p (#_strerror errno))
830    (if (%null-ptr-p p)
831      (format nil "OS Error %d" errno)
832      (%get-cstring p))))
833
834#+windows-target
835(defun %windows-error-string (error-number) 
836  (rlet ((pbuffer :address (%null-ptr)))
837    (if (eql 0
838             (#_FormatMessageW (logior #$FORMAT_MESSAGE_ALLOCATE_BUFFER
839                                       #$FORMAT_MESSAGE_FROM_SYSTEM
840                                       #$FORMAT_MESSAGE_IGNORE_INSERTS
841                                       #$FORMAT_MESSAGE_MAX_WIDTH_MASK)
842                               (%null-ptr)
843                               (abs error-number)
844                               0                 ; default langid, more-or-less
845                               pbuffer
846                               0
847                               (%null-ptr)))
848      (format nil "Windows error ~d" (abs error-number))
849      (let* ((p (%get-ptr pbuffer))
850             (q (%get-native-utf-16-cstring p)))
851        (#_LocalFree p)
852        q))))
853       
854                     
855
856;;; Kind of has something to do with files, and doesn't work in level-0.
857#+(or linux-target freebsd-target solaris-target)
858(defun close-shared-library (lib &key (completely t))
859  "If completely is T, set the reference count of library to 0. Otherwise,
860decrements it by 1. In either case, if the reference count becomes 0,
861close-shared-library frees all memory resources consumed library and causes
862any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
863  (let* ((lib (if (typep lib 'string)
864                (or (shared-library-with-name lib)
865                    (error "Shared library ~s not found." lib))
866                (require-type lib 'shlib)))
867         (handle (shlib.handle lib)))
868      (when handle
869        (let* ((found nil)
870               (base (shlib.base lib)))
871          (do* ()
872               ((progn           
873                  (#_dlclose handle)
874                  (or (not (setq found (shlib-containing-address base)))
875                      (not completely)))))
876          (when (not found)
877            (setf (shlib.pathname lib) nil
878              (shlib.base lib) nil
879              (shlib.handle lib) nil
880              (shlib.map lib) nil)
881            (unload-foreign-variables lib)
882            (unload-library-entrypoints lib))))))
883
884#+darwin-target
885;; completely specifies whether to remove it totally from our list
886(defun close-shared-library (lib &key (completely nil))
887  "If completely is T, set the reference count of library to 0. Otherwise,
888decrements it by 1. In either case, if the reference count becomes 0,
889close-shared-library frees all memory resources consumed library and causes
890any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
891  (let* ((lib (if (typep lib 'string)
892                  (or (shared-library-with-name lib)
893                      (error "Shared library ~s not found." lib))
894                (require-type lib 'shlib))))
895    ;; no possible danger closing libsystem since dylibs can't be closed
896    (cond
897     ((or (not (shlib.map lib)) (not (shlib.base lib)))
898      (error "Shared library ~s uninitialized." (shlib.soname lib)))
899     ((and (not (%null-ptr-p (shlib.map lib)))
900           (%null-ptr-p (shlib.base lib)))
901      (warn "Dynamic libraries cannot be closed on Darwin."))
902     ((and (%null-ptr-p (shlib.map lib))
903           (not (%null-ptr-p (shlib.base lib))))
904      ;; we have a bundle type library not sure what to do with the
905      ;; completely flag when we open the same bundle more than once,
906      ;; Darwin gives back a new module address, so we have multiple
907      ;; entries on *shared-libraries* the best we can do is unlink
908      ;; the module asked for (or our best guess based on name) and
909      ;; invalidate any entries which refer to this container
910      (if (= 0 (#_NSUnLinkModule (shlib.base lib) #$NSUNLINKMODULE_OPTION_NONE))
911          (error "Unable to close shared library, NSUnlinkModule failed.")
912        (progn
913          (setf (shlib.map lib) nil
914                (shlib.base lib) nil)
915          (unload-library-entrypoints lib)
916          (when completely
917            (setq *shared-libraries* (delete lib *shared-libraries*)))))))))
918
919
920
921;;; Foreign (unix) processes.
922
923(defun call-with-string-vector (function strings)
924  (let ((bufsize (reduce #'+ strings
925                         :key #'(lambda (s) (1+ (length (string s))))))
926        (argvsize (ash (1+ (length strings)) target::word-shift))
927        (bufpos 0)
928        (argvpos 0))
929    (%stack-block ((buf bufsize) (argv argvsize))
930      (flet ((init (s)
931             (multiple-value-bind (sstr start end) (get-sstring s)
932               (declare (fixnum start end))
933               (let ((len (- end start)))
934                 (declare (fixnum len))
935                 (do* ((i 0 (1+ i))
936                       (start start (1+ start))
937                       (bufpos bufpos (1+ bufpos)))
938                      ((= i len))
939                   (setf (%get-unsigned-byte buf bufpos)
940                         (logand #xff (%scharcode sstr start))))
941                 (setf (%get-byte buf (%i+ bufpos len)) 0)
942                 (setf (%get-ptr argv argvpos) (%inc-ptr buf bufpos))
943                 (setq bufpos (%i+ bufpos len 1))
944                 (setq argvpos (%i+ argvpos target::node-size))))))
945        (declare (dynamic-extent #'init))
946        (map nil #'init strings))
947      (setf (%get-ptr argv argvpos) (%null-ptr))
948      (funcall function argv))))
949
950(defmacro with-string-vector ((var &rest strings) &body body)
951  `(call-with-string-vector #'(lambda (,var) ,@body) ,@strings))
952
953(defloadvar *max-os-open-files* #-windows-target (#_getdtablesize) #+windows-target 32)
954
955(defun pipe ()
956  ;;  (rlet ((filedes (:array :int 2)))
957  (%stack-block ((filedes 8))
958    (let* ((status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
959                            :address filedes :int))
960           (errno (if (eql status 0) 0 (%get-errno))))
961      (unless (zerop status)
962        (when (or (eql errno (- #$EMFILE))
963                  (eql errno (- #$ENFILE)))
964          (gc)
965          (drain-termination-queue)
966          (setq status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
967                            :address filedes :int)
968                errno (if (zerop status) 0 (%get-errno)))))
969      (if (zerop status)
970        (values (paref filedes (:array :int)  0) (paref filedes (:array :int)  1))
971        (%errno-disp errno)))))
972
973#-windows-target
974(progn
975  (defun %execvp (argv)
976    (#_execvp (%get-ptr argv) argv)
977    (#_exit #$EX_OSERR))
978
979  (defun exec-with-io-redirection (new-in new-out new-err argv)
980    (#_setpgid 0 0)
981    (if new-in (#_dup2 new-in 0))
982    (if new-out (#_dup2 new-out 1))
983    (if new-err (#_dup2 new-err 2))
984    (do* ((fd 3 (1+ fd)))
985         ((= fd *max-os-open-files*) (%execvp argv))
986      (declare (fixnum fd))
987      (#_close fd)))
988
989
990
991
992
993  (defstruct external-process
994    pid
995    %status
996    %exit-code
997    pty
998    input
999    output
1000    error
1001    status-hook
1002    plist
1003    token                               
1004    core
1005    args
1006    (signal (make-semaphore))
1007    (completed (make-semaphore))
1008    watched-fds
1009    watched-streams
1010    )
1011
1012  (defmethod print-object ((p external-process) stream)
1013    (print-unreadable-object (p stream :type t :identity t)
1014      (let* ((status (external-process-%status p)))
1015        (let* ((*print-length* 3))
1016          (format stream "~a" (external-process-args p)))
1017        (format stream "[~d] (~a" (external-process-pid p) status)
1018        (unless (eq status :running)
1019          (format stream " : ~d" (external-process-%exit-code p)))
1020        (format stream ")"))))
1021
1022  (defun get-descriptor-for (object proc close-in-parent close-on-error
1023                                    &rest keys
1024                                    &key direction (element-type 'character)
1025                                    (sharing :private)
1026                                    &allow-other-keys)
1027    (etypecase object
1028      ((eql t)
1029       (values nil nil close-in-parent close-on-error))
1030      (null
1031       (let* ((null-device #+windows-target "nul" #-windows-target "/dev/null")
1032              (fd (fd-open null-device (case direction
1033                                         (:input #$O_RDONLY)
1034                                         (:output #$O_WRONLY)
1035                                         (t #$O_RDWR)))))
1036         (if (< fd 0)
1037           (signal-file-error fd null-device))
1038         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1039      ((eql :stream)
1040       (multiple-value-bind (read-pipe write-pipe) (pipe)
1041         (case direction
1042           (:input
1043            (values read-pipe
1044                    (make-fd-stream write-pipe
1045                                    :direction :output
1046                                    :element-type element-type
1047                                    :interactive nil
1048                                    :sharing sharing
1049                                    :basic t
1050                                    :auto-close t)
1051                    (cons read-pipe close-in-parent)
1052                    (cons write-pipe close-on-error)))
1053           (:output
1054            (values write-pipe
1055                    (make-fd-stream read-pipe
1056                                    :direction :input
1057                                    :element-type element-type
1058                                    :interactive nil
1059                                    :basic t
1060                                    :sharing sharing
1061                                    :auto-close t)
1062                    (cons write-pipe close-in-parent)
1063                    (cons read-pipe close-on-error)))
1064           (t
1065            (fd-close read-pipe)
1066            (fd-close write-pipe)
1067            (report-bad-arg direction '(member :input :output))))))
1068      ((or pathname string)
1069       (with-open-stream (file (apply #'open object keys))
1070         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)))))
1071           (values fd
1072                   nil
1073                   (cons fd close-in-parent)
1074                   (cons fd close-on-error)))))
1075      (fd-stream
1076       (let ((fd (fd-dup (ioblock-device (stream-ioblock object t)))))
1077         (values fd
1078                 nil
1079                 (cons fd close-in-parent)
1080                 (cons fd close-on-error))))
1081      (stream
1082       (ecase direction
1083         (:input
1084          (with-cstrs ((template "/tmp/lisp-tempXXXXXX"))
1085            (let* ((fd (#_mkstemp template)))
1086              (if (< fd 0)
1087                (%errno-disp fd))
1088              (#_unlink template)
1089              (loop
1090                (multiple-value-bind (line no-newline)
1091                    (read-line object nil nil)
1092                  (unless line
1093                    (return))
1094                  (let* ((len (length line)))
1095                    (%stack-block ((buf (1+ len)))
1096                      (%cstr-pointer line buf)
1097                      (fd-write fd buf len)
1098                      (if no-newline
1099                        (return))
1100                      (setf (%get-byte buf) (char-code #\newline))
1101                      (fd-write fd buf 1)))))
1102              (fd-lseek fd 0 #$SEEK_SET)
1103              (values fd nil (cons fd close-in-parent) (cons fd close-on-error)))))
1104         (:output
1105          (multiple-value-bind (read-pipe write-pipe) (pipe)
1106            (push read-pipe (external-process-watched-fds proc))
1107            (push object (external-process-watched-streams proc))
1108            (incf (car (external-process-token proc)))
1109            (values write-pipe
1110                    nil
1111                    (cons write-pipe close-in-parent)
1112                    (cons read-pipe close-on-error))))))))
1113
1114  (let* ((external-processes ())
1115         (external-processes-lock (make-lock)))
1116    (defun add-external-process (p)
1117      (with-lock-grabbed (external-processes-lock)
1118        (push p external-processes)))
1119    (defun remove-external-process (p)
1120      (with-lock-grabbed (external-processes-lock)
1121        (setq external-processes (delete p external-processes))))
1122    ;; Likewise
1123    (defun external-processes ()
1124      (with-lock-grabbed (external-processes-lock)
1125        (copy-list external-processes)))
1126    )
1127
1128
1129  (defmacro wtermsig (status)
1130    `(ldb (byte 7 0) ,status))
1131
1132  (defmacro wexitstatus (status)
1133    `(ldb (byte 8 8) (the fixnum ,status)))
1134
1135  (defmacro wstopsig (status)
1136    `(wexitstatus ,status))
1137
1138  (defmacro wifexited (status)
1139    `(eql (wtermsig ,status) 0))
1140
1141  (defmacro wifstopped (status)
1142    `(eql #x7f (ldb (byte 7 0) (the fixnum ,status))))
1143
1144  (defun monitor-external-process (p)
1145    (let* ((in-fds (external-process-watched-fds p))
1146           (out-streams (external-process-watched-streams p))
1147           (token (external-process-token p))
1148           (terminated)
1149           (changed)
1150           (maxfd 0)
1151           (pairs (pairlis in-fds out-streams)))
1152      (%stack-block ((in-fd-set *fd-set-size*))
1153        (rlet ((tv #>timeval))
1154          (loop
1155            (when changed
1156              (setq pairs (pairlis in-fds out-streams)
1157                    changed nil))
1158            (when (and terminated (null pairs))
1159              (signal-semaphore (external-process-completed p))
1160              (return))
1161            (when pairs
1162              (fd-zero in-fd-set)
1163              (setq maxfd 0)
1164              (dolist (p pairs)
1165                (let* ((fd (car p)))
1166                  (when (> fd maxfd)
1167                    (setq maxfd fd))
1168                  (fd-set fd in-fd-set)))
1169              (setf (pref tv #>timeval.tv_sec) 1
1170                    (pref tv #>timeval.tv_usec) 0)
1171              (when (> (#_select (1+ maxfd) in-fd-set (%null-ptr) (%null-ptr) tv)
1172                       0)
1173                (dolist (p pairs)
1174                  (let* ((in-fd (car p))
1175                         (out-stream (cdr p)))
1176                    (when (fd-is-set in-fd in-fd-set)
1177                      (%stack-block ((buf 1024))
1178                        (let* ((n (fd-read in-fd buf 1024)))
1179                          (declare (fixnum n))
1180                          (if (<= n 0)
1181                            (progn
1182                              (without-interrupts
1183                               (decf (car token))
1184                               (fd-close in-fd)
1185                               (setq in-fds (delete in-fd in-fds)
1186                                     out-streams (delete out-stream out-streams)
1187                                     changed t)))
1188                            (let* ((string (make-string 1024)))
1189                              (declare (dynamic-extent string))
1190                              (%str-from-ptr buf n string)
1191                              (write-sequence string out-stream :end n))))))))))
1192            (let* ((statusflags (check-pid (external-process-pid p)
1193                                           (logior
1194                                            (if in-fds #$WNOHANG 0)
1195                                            #$WUNTRACED)))
1196                   (oldstatus (external-process-%status p)))
1197              (cond ((null statusflags)
1198                     (remove-external-process p)
1199                     (setq terminated t))
1200                    ((eq statusflags t)) ; Running.
1201                    (t
1202                     (multiple-value-bind (status code core)
1203                         (cond ((wifstopped statusflags)
1204                                (values :stopped (wstopsig statusflags)))
1205                               ((wifexited statusflags)
1206                                (values :exited (wexitstatus statusflags)))
1207                               (t
1208                                (let* ((signal (wtermsig statusflags)))
1209                                  (declare (fixnum signal))
1210                                  (values
1211                                   (if (or (= signal #$SIGSTOP)
1212                                           (= signal #$SIGTSTP)
1213                                           (= signal #$SIGTTIN)
1214                                           (= signal #$SIGTTOU))
1215                                     :stopped
1216                                     :signaled)
1217                                   signal
1218                                   (logtest #-solaris-target #$WCOREFLAG
1219                                            #+solaris-target #$WCOREFLG
1220                                            statusflags)))))
1221                       (setf (external-process-%status p) status
1222                             (external-process-%exit-code p) code
1223                             (external-process-core p) core)
1224                       (let* ((status-hook (external-process-status-hook p)))
1225                         (when (and status-hook (not (eq oldstatus status)))
1226                           (funcall status-hook p)))
1227                       (when (or (eq status :exited)
1228                                 (eq status :signaled))
1229                         (remove-external-process p)
1230                         (setq terminated t)))))))))))
1231     
1232  (defun run-external-process (proc in-fd out-fd error-fd argv &optional env)
1233    (let* ((signaled nil))
1234      (unwind-protect
1235           (let* ((child-pid (#-solaris-target #_fork #+solaris-target #_forkall)))
1236             (declare (fixnum child-pid))
1237             (cond ((zerop child-pid)
1238                    ;; Running in the child; do an exec
1239                    (setq signaled t)
1240                    (dolist (pair env)
1241                      (setenv (string (car pair)) (cdr pair)))
1242                    (without-interrupts
1243                     (exec-with-io-redirection
1244                      in-fd out-fd error-fd argv)))
1245                   ((> child-pid 0)
1246                    ;; Running in the parent: success
1247                    (setf (external-process-pid proc) child-pid)
1248                    (add-external-process proc)
1249                    (signal-semaphore (external-process-signal proc))
1250                    (setq signaled t)
1251                    (monitor-external-process proc))
1252                   (t
1253                    ;; Fork failed
1254                    (setf (external-process-%status proc) :error
1255                          (external-process-%exit-code proc) (%get-errno))
1256                    (signal-semaphore (external-process-signal proc))
1257                    (setq signaled t))))
1258        (unless signaled
1259          (setf (external-process-%status proc) :error
1260                (external-process-%exit-code proc) -1)
1261          (signal-semaphore (external-process-signal proc))))))
1262
1263  (defparameter *silently-ignore-catastrophic-failure-in-run-program*
1264    #+ccl-0711 t #-ccl-0711 nil
1265    "If NIL, signal an error if run-program is unable to start the program.
1266If non-NIL, treat failure to start the same as failure from the program
1267itself, by setting the status and exit-code fields.")
1268
1269  (defun run-program (program args &key
1270                              (wait t) pty
1271                              input if-input-does-not-exist
1272                              output (if-output-exists :error)
1273                              (error :output) (if-error-exists :error)
1274                              status-hook (element-type 'character)
1275                              env
1276                              (sharing :private)
1277                              (silently-ignore-catastrophic-failures
1278                               *silently-ignore-catastrophic-failure-in-run-program*))
1279    "Invoke an external program as an OS subprocess of lisp."
1280    (declare (ignore pty))
1281    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1282      (error "Program args must all be simple strings : ~s" args))
1283    (dolist (pair env)
1284      (destructuring-bind (var . val) pair
1285        (check-type var (or string symbol character))
1286        (check-type val string)))
1287    (push (native-untranslated-namestring program) args)
1288    (let* ((token (list 0))
1289           (in-fd nil)
1290           (in-stream nil)
1291           (out-fd nil)
1292           (out-stream nil)
1293           (error-fd nil)
1294           (error-stream nil)
1295           (close-in-parent nil)
1296           (close-on-error nil)
1297           (proc
1298            (make-external-process
1299             :pid nil
1300             :args args
1301             :%status :running
1302             :input nil
1303             :output nil
1304             :error nil
1305             :token token
1306             :status-hook status-hook)))
1307      (unwind-protect
1308           (progn
1309             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1310               (get-descriptor-for input proc  nil nil :direction :input
1311                                   :if-does-not-exist if-input-does-not-exist
1312                                   :element-type element-type
1313                                   :sharing sharing))
1314             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1315               (get-descriptor-for output proc close-in-parent close-on-error
1316                                   :direction :output
1317                                   :if-exists if-output-exists
1318                                   :element-type element-type
1319                                   :sharing sharing))
1320             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1321               (if (eq error :output)
1322                 (values out-fd out-stream close-in-parent close-on-error)
1323                 (get-descriptor-for error proc close-in-parent close-on-error
1324                                     :direction :output
1325                                     :if-exists if-error-exists
1326                                     :sharing sharing
1327                                     :element-type element-type)))
1328             (setf (external-process-input proc) in-stream
1329                   (external-process-output proc) out-stream
1330                   (external-process-error proc) error-stream)
1331             (call-with-string-vector
1332              #'(lambda (argv)
1333                  (process-run-function
1334                   (list :name
1335                         (format nil "Monitor thread for external process ~a" args)
1336                         :stack-size (ash 128 10)
1337                         :vstack-size (ash 128 10)
1338                         :tstack-size (ash 128 10))
1339                   #'run-external-process proc in-fd out-fd error-fd argv env)
1340                  (wait-on-semaphore (external-process-signal proc)))
1341              args))
1342        (dolist (fd close-in-parent) (fd-close fd))
1343        (unless (external-process-pid proc)
1344          (dolist (fd close-on-error) (fd-close fd)))
1345        (when (and wait (external-process-pid proc))
1346          (with-interrupts-enabled
1347              (wait-on-semaphore (external-process-completed proc)))))
1348      (unless (external-process-pid proc)
1349        ;; something is wrong
1350        (if (eq (external-process-%status proc) :error)
1351          ;; Fork failed
1352          (unless silently-ignore-catastrophic-failures
1353            (cerror "Pretend the program ran and failed" 'external-process-creation-failure :proc proc))
1354          ;; Currently can't happen.
1355          (error "Bug: fork failed but status field not set?")))
1356      proc))
1357
1358
1359
1360  (defmacro wifsignaled (status)
1361    (let* ((statname (gensym)))
1362      `(let* ((,statname ,status))
1363        (and (not (wifstopped ,statname)) (not (wifexited ,statname))))))
1364
1365
1366  (defun check-pid (pid &optional (flags (logior  #$WNOHANG #$WUNTRACED)))
1367    (declare (fixnum pid))
1368    (rlet ((status :signed))
1369      (let* ((retval (ff-call-ignoring-eintr (#_waitpid pid status flags))))
1370        (declare (fixnum retval))
1371        (if (= retval pid)
1372          (pref status :signed)
1373          (zerop retval)))))
1374
1375
1376
1377
1378
1379  (defun external-process-wait (proc &optional check-stopped)
1380    (process-wait "external-process-wait"
1381                  #'(lambda ()
1382                      (case (external-process-%status proc)
1383                        (:running)
1384                        (:stopped
1385                         (when check-stopped
1386                           t))
1387                        (t
1388                         (when (zerop (car (external-process-token proc)))
1389                           t))))))
1390
1391  (defun external-process-status (proc)
1392    "Return information about whether an OS subprocess is running; or, if
1393not, why not; and what its result code was if it completed."
1394    (require-type proc 'external-process)
1395    (values (external-process-%status proc)
1396            (external-process-%exit-code proc)))
1397
1398  (defun external-process-input-stream (proc)
1399    "Return the lisp stream which is used to write input to a given OS
1400subprocess, if it has one."
1401    (require-type proc 'external-process)
1402    (external-process-input proc))
1403
1404  (defun external-process-output-stream (proc)
1405    "Return the lisp stream which is used to read output from a given OS
1406subprocess, if there is one."
1407    (require-type proc 'external-process)
1408    (external-process-output proc))
1409
1410  (defun external-process-error-stream (proc)
1411    "Return the stream which is used to read error output from a given OS
1412subprocess, if it has one."
1413    (require-type proc 'external-process)
1414    (external-process-error proc))
1415
1416  (defun external-process-id (proc)
1417    "Return the process id of an OS subprocess, a positive integer which
1418identifies it."
1419    (require-type proc 'external-process)
1420    (external-process-pid proc))
1421 
1422  (defun signal-external-process (proc signal)
1423    "Send the specified signal to the specified external process.  (Typically,
1424it would only be useful to call this function if the EXTERNAL-PROCESS was
1425created with :WAIT NIL.) Return T if successful; NIL if the process wasn't
1426created successfully, and signal an error otherwise."
1427    (require-type proc 'external-process)
1428    (let* ((pid (external-process-pid proc)))
1429      (when pid
1430        (let ((error (int-errno-call (#_kill pid signal))))
1431          (or (eql error 0)
1432              (%errno-disp error))))))
1433
1434  )                                     ; #-windows-target (progn
1435
1436#+windows-target
1437(progn
1438  (defun temp-file-name (prefix)
1439    "Returns a unique name for a temporary file, residing in system temp
1440space, and prefixed with PREFIX."
1441    (rlet ((buffer (:array :wchar_t #.#$MAX_PATH)))
1442      (#_GetTempPathW #$MAX_PATH buffer)
1443      (with-filename-cstrs ((c-prefix prefix)) 
1444        (#_GetTempFileNameW buffer c-prefix 0 buffer)
1445        (%get-native-utf-16-cstring buffer))))
1446 
1447  (defun get-descriptor-for (object proc close-in-parent close-on-error
1448                                    &rest keys
1449                                    &key
1450                                    direction (element-type 'character)
1451                                    (sharing :private)
1452                                    &allow-other-keys)
1453    (etypecase object
1454      ((eql t)
1455       (values nil nil close-in-parent close-on-error))
1456      (null
1457       (let* ((null-device "nul")
1458              (fd (fd-open null-device (case direction
1459                                         (:input #$O_RDONLY)
1460                                         (:output #$O_WRONLY)
1461                                         (t #$O_RDWR)))))
1462         (if (< fd 0)
1463           (signal-file-error fd null-device))
1464         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1465      ((eql :stream)
1466       (multiple-value-bind (read-pipe write-pipe) (pipe)
1467         (case direction
1468           (:input
1469            (values read-pipe
1470                    (make-fd-stream (fd-uninheritable write-pipe :direction :output)
1471                                    :direction :output
1472                                    :element-type element-type
1473                                    :interactive nil
1474                                    :basic t
1475                                    :sharing sharing
1476                                    :auto-close t)
1477                    (cons read-pipe close-in-parent)
1478                    (cons write-pipe close-on-error)))
1479           (:output
1480            (values write-pipe
1481                    (make-fd-stream (fd-uninheritable read-pipe :direction :input)
1482                                    :direction :input
1483                                    :element-type element-type
1484                                    :interactive nil
1485                                    :basic t
1486                                    :sharing sharing
1487                                    :auto-close t)
1488                    (cons write-pipe close-in-parent)
1489                    (cons read-pipe close-on-error)))
1490           (t
1491            (fd-close read-pipe)
1492            (fd-close write-pipe)
1493            (report-bad-arg direction '(member :input :output))))))
1494      ((or pathname string)
1495       (with-open-stream (file (apply #'open object keys))
1496         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)) :direction direction :inheritable t)))
1497           (values fd
1498                   nil
1499                   (cons fd close-in-parent)
1500                   (cons fd close-on-error)))))
1501      (fd-stream
1502       (let ((fd (fd-dup (ioblock-device (stream-ioblock object t)))))
1503         (values fd
1504                 nil
1505                 (cons fd close-in-parent)
1506                 (cons fd close-on-error))))
1507      (stream
1508       (ecase direction
1509         (:input
1510          (let* ((tempname (temp-file-name "lisp-temp"))
1511                 (fd (fd-open tempname #$O_RDWR)))
1512            (if (< fd 0)
1513              (%errno-disp fd))
1514            (loop
1515              (multiple-value-bind (line no-newline)
1516                  (read-line object nil nil)
1517                (unless line
1518                  (return))
1519                (let* ((len (length line)))
1520                  (%stack-block ((buf (1+ len)))
1521                    (%cstr-pointer line buf)
1522                    (fd-write fd buf len)
1523                    (if no-newline
1524                      (return))
1525                    (setf (%get-byte buf) (char-code #\newline))
1526                    (fd-write fd buf 1)))))
1527            (fd-lseek fd 0 #$SEEK_SET)
1528            (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1529         (:output
1530          (multiple-value-bind (read-pipe write-pipe) (pipe)
1531            (push read-pipe (external-process-watched-fds proc))
1532            (push object (external-process-watched-streams proc))
1533            (incf (car (external-process-token proc)))
1534            (values write-pipe
1535                    nil
1536                    (cons write-pipe close-in-parent)
1537                    (cons read-pipe close-on-error))))))))
1538
1539  (defstruct external-process
1540    pid
1541    %status
1542    %exit-code
1543    pty
1544    input
1545    output
1546    error
1547    status-hook
1548    plist
1549    token
1550    core
1551    args
1552    (signal (make-semaphore))
1553    (completed (make-semaphore))
1554    watched-fds
1555    watched-streams
1556    )
1557
1558  (defun external-process-status (proc)
1559    "Return information about whether an OS subprocess is running; or, if
1560not, why not; and what its result code was if it completed."
1561    (require-type proc 'external-process)
1562    (values (external-process-%status proc)
1563            (external-process-%exit-code proc)))
1564
1565
1566  (defmethod print-object ((p external-process) stream)
1567    (print-unreadable-object (p stream :type t :identity t)
1568      (let* ((status (external-process-%status p)))
1569        (let* ((*print-length* 3))
1570          (format stream "~a" (external-process-args p)))
1571        (format stream "[~d] (~a" (external-process-pid p) status)
1572        (unless (eq status :running)
1573          (format stream " : ~d" (external-process-%exit-code p)))
1574        (format stream ")"))))
1575
1576  (defun run-program (program args &key
1577                              (wait t) pty
1578                              input if-input-does-not-exist
1579                              output (if-output-exists :error)
1580                              (error :output) (if-error-exists :error)
1581                              status-hook (element-type 'character)
1582                              (sharing :private)
1583                              env)
1584    "Invoke an external program as an OS subprocess of lisp."
1585    (declare (ignore pty))
1586    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1587      (error "Program args must all be simple strings : ~s" args))
1588    (push program args)
1589    (let* ((token (list 0))
1590           (in-fd nil)
1591           (in-stream nil)
1592           (out-fd nil)
1593           (out-stream nil)
1594           (error-fd nil)
1595           (error-stream nil)
1596           (close-in-parent nil)
1597           (close-on-error nil)
1598           (proc
1599            (make-external-process
1600             :pid nil
1601             :args args
1602             :%status :running
1603             :input nil
1604             :output nil
1605             :error nil
1606             :token token
1607             :status-hook status-hook)))
1608      (unwind-protect
1609           (progn
1610             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1611               (get-descriptor-for input proc  nil nil :direction :input
1612                                   :if-does-not-exist if-input-does-not-exist
1613                                   :sharing sharing
1614                                   :element-type element-type))
1615             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1616               (get-descriptor-for output proc close-in-parent close-on-error
1617                                   :direction :output
1618                                   :if-exists if-output-exists
1619                                   :sharing sharing
1620                                   :element-type element-type))
1621             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1622               (if (eq error :output)
1623                 (values out-fd out-stream close-in-parent close-on-error)
1624                 (get-descriptor-for error proc close-in-parent close-on-error
1625                                     :direction :output
1626                                     :if-exists if-error-exists
1627                                     :sharing sharing
1628                                     :element-type element-type)))
1629             (setf (external-process-input proc) in-stream
1630                   (external-process-output proc) out-stream
1631                   (external-process-error proc) error-stream)
1632             (process-run-function
1633              (format nil "Monitor thread for external process ~a" args)
1634                   
1635              #'run-external-process proc in-fd out-fd error-fd env)
1636             (wait-on-semaphore (external-process-signal proc))
1637             )
1638        (dolist (fd close-in-parent) (fd-close fd))
1639        (if (external-process-pid proc)
1640          (when (and wait (external-process-pid proc))
1641            (with-interrupts-enabled
1642                (wait-on-semaphore (external-process-completed proc))))
1643          (progn
1644            (dolist (fd close-on-error) (fd-close fd))
1645            (error "Process execution failed"))))
1646      proc))
1647
1648  (let* ((external-processes ())
1649         (external-processes-lock (make-lock)))
1650    (defun add-external-process (p)
1651      (with-lock-grabbed (external-processes-lock)
1652        (push p external-processes)))
1653    (defun remove-external-process (p)
1654      (with-lock-grabbed (external-processes-lock)
1655        (setq external-processes (delete p external-processes))))
1656    ;; Likewise
1657    (defun external-processes ()
1658      (with-lock-grabbed (external-processes-lock)
1659        (copy-list external-processes)))
1660    )
1661
1662
1663
1664
1665  (defun run-external-process (proc in-fd out-fd error-fd &optional env)
1666    (let* ((args (external-process-args proc))
1667           (child-pid (exec-with-io-redirection in-fd out-fd error-fd args proc env)))
1668      (when child-pid
1669        (setf (external-process-pid proc) child-pid)
1670        (add-external-process proc)
1671        (signal-semaphore (external-process-signal proc))
1672        (monitor-external-process proc))))
1673
1674  (defun join-strings (strings)
1675    (reduce (lambda (left right) (concatenate 'string left " " right)) strings))
1676
1677  (defun exec-with-io-redirection (new-in new-out new-err args proc &optional env)
1678    (declare (ignore env))              ; until we can do better.
1679    (with-filename-cstrs ((command (join-strings args)))
1680      (rletz ((proc-info #>PROCESS_INFORMATION)
1681              (si #>STARTUPINFO))
1682        (setf (pref si #>STARTUPINFO.cb) (record-length #>STARTUPINFO))
1683        (setf (pref si #>STARTUPINFO.dwFlags)
1684              (logior #$STARTF_USESTDHANDLES #$STARTF_USESHOWWINDOW))
1685        (setf (pref si #>STARTUPINFO.wShowWindow) #$SW_HIDE)
1686        (setf (pref si #>STARTUPINFO.hStdInput)
1687              (if new-in
1688                (%int-to-ptr new-in)
1689                (#_GetStdHandle #$STD_INPUT_HANDLE)))
1690        (setf (pref si #>STARTUPINFO.hStdOutput)
1691              (if new-out
1692                (%int-to-ptr new-out)
1693                (#_GetStdHandle #$STD_OUTPUT_HANDLE)))
1694        (setf (pref si #>STARTUPINFO.hStdError)
1695              (if new-err
1696                (%int-to-ptr new-err)
1697                (#_GetStdHandle #$STD_ERROR_HANDLE)))
1698        (if (zerop (#_CreateProcessW (%null-ptr)
1699                                     command
1700                                     (%null-ptr)
1701                                     (%null-ptr)
1702                                     1
1703                                     #$CREATE_NEW_CONSOLE
1704                                     (%null-ptr)
1705                                     (%null-ptr)
1706                                     si
1707                                     proc-info))
1708          (setf (external-process-%status proc) :error
1709                (external-process-%exit-code proc) (#_GetLastError))
1710          (#_CloseHandle (pref proc-info #>PROCESS_INFORMATION.hThread)))
1711        (pref proc-info #>PROCESS_INFORMATION.hProcess))))
1712
1713  (defun fd-uninheritable (fd &key direction)
1714    (let ((new-fd (fd-dup fd :direction direction)))
1715      (fd-close fd)
1716      new-fd))
1717
1718 
1719  (defun data-available-on-pipe-p (hpipe)
1720    (rlet ((navail #>DWORD 0))
1721      (unless (eql 0 (#_PeekNamedPipe (if (typep hpipe 'macptr)
1722                                        hpipe
1723                                        (%int-to-ptr hpipe))
1724                                      (%null-ptr)
1725                                      0
1726                                      (%null-ptr)
1727                                      navail
1728                                      (%null-ptr)))
1729        (not (eql 0 (pref navail #>DWORD))))))
1730   
1731
1732  ;;; There doesn't seem to be any way to wait on input from an
1733  ;;; anonymous pipe in Windows (that would, after all, make too
1734  ;;; much sense.)  We -can- check for pending unread data on
1735  ;;; pipes, and can expect to eventually get EOF on a pipe.
1736  ;;; So, this tries to loop until the process handle is signaled and
1737  ;;; all data has been read.
1738  (defun monitor-external-process (p)
1739    (let* ((in-fds (external-process-watched-fds p))
1740           (out-streams (external-process-watched-streams p))
1741           (token (external-process-token p))
1742           (terminated)
1743           (changed)
1744           (pairs (pairlis in-fds out-streams))
1745           )
1746      (loop
1747        (when changed
1748          (setq pairs (pairlis in-fds out-streams)
1749                changed nil))
1750        (when (and terminated (null pairs))
1751          (without-interrupts
1752           (rlet ((code #>DWORD))
1753             (loop
1754               (#_GetExitCodeProcess (external-process-pid p) code)
1755               (unless (eql (pref code #>DWORD) #$STILL_ACTIVE)
1756                 (return))
1757               (#_SleepEx 10 #$TRUE))
1758             (setf (external-process-%exit-code p) (pref code #>DWORD)))
1759           (#_CloseHandle (external-process-pid p))
1760           (setf (external-process-pid p) nil)
1761           (setf (external-process-%status p) :exited)
1762           (let ((status-hook (external-process-status-hook p)))
1763             (when status-hook
1764               (funcall status-hook p)))
1765           (remove-external-process p)
1766           (signal-semaphore (external-process-completed p))
1767           (return)))
1768        (dolist (p pairs)
1769          (let* ((in-fd (car p))
1770                 (out-stream (cdr p)))
1771            (when (or terminated (data-available-on-pipe-p in-fd))
1772              (%stack-block ((buf 1024))
1773                (let* ((n (fd-read in-fd buf 1024)))
1774                    (declare (fixnum n))
1775                    (if (<= n 0)
1776                      (progn
1777                        (without-interrupts
1778                         (decf (car token))
1779                         (fd-close in-fd)
1780                         (setq in-fds (delete in-fd in-fds)
1781                               out-streams (delete out-stream out-streams)
1782                               changed t)))
1783
1784                      (let* ((string (make-string 1024)))
1785                        (declare (dynamic-extent string))
1786                        (%str-from-ptr buf n string)
1787                        (write-sequence string out-stream :end n))))))))
1788        (unless terminated
1789          (setq terminated (eql (#_WaitForSingleObjectEx
1790                                 (external-process-pid p)
1791                                 1000
1792                                 #$true)
1793                                #$WAIT_OBJECT_0))))))
1794 
1795
1796  )                                     ; #+windows-target (progn
1797
1798;;; EOF on a TTY is transient, but I'm less sure of other cases.
1799(defun eof-transient-p (fd)
1800  (case (%unix-fd-kind fd)
1801    (:tty t)
1802    #+windows-target (:character-special t)
1803    (t nil)))
1804
1805
1806(defstruct (shared-resource (:constructor make-shared-resource (name)))
1807  (name)
1808  (lock (make-lock))
1809  (primary-owner *current-process*)
1810  (primary-owner-notify (make-semaphore))
1811  (current-owner nil)
1812  (requestors (make-dll-header)))
1813
1814(defstruct (shared-resource-request
1815             (:constructor make-shared-resource-request (process))
1816             (:include dll-node))
1817  process
1818  (signal (make-semaphore)))
1819             
1820
1821;; Returns NIL if already owned by calling thread, T otherwise
1822(defun %acquire-shared-resource (resource  &optional verbose)
1823  (let* ((current *current-process*))
1824    (with-lock-grabbed ((shared-resource-lock resource))
1825      (let* ((secondary (shared-resource-current-owner resource)))
1826        (if (or (eq current secondary)
1827                (and (null secondary)
1828                     (eq current (shared-resource-primary-owner resource))))
1829          (return-from %acquire-shared-resource nil))))
1830    (let* ((request (make-shared-resource-request *current-process*)))
1831      (when verbose
1832        (format t "~%~%;;;~%;;; ~a requires access to ~a~%;;; Type (:y ~D) to yield control to this thread.~%;;;~%"
1833                *current-process* (shared-resource-name resource)
1834                (process-serial-number *current-process*)))
1835      (with-lock-grabbed ((shared-resource-lock resource))
1836        (append-dll-node request (shared-resource-requestors resource)))
1837      (wait-on-semaphore (shared-resource-request-signal request))
1838      (assert (eq current (shared-resource-current-owner resource)))
1839      (when verbose
1840        (format t "~%~%;;;~%;;; ~a is now owned by ~a~%;;;~%~%"
1841                (shared-resource-name resource) current))
1842      t)))
1843
1844;;; If we're the primary owner and there is no secondary owner, do nothing.
1845;;; If we're the secondary owner, cease being the secondary owner.
1846(defun %release-shared-resource (r)
1847  (let* ((not-any-owner ()))
1848    (with-lock-grabbed ((shared-resource-lock r))
1849      (let* ((current *current-process*)
1850             (primary (shared-resource-primary-owner r))
1851             (secondary (shared-resource-current-owner r)))
1852        (unless (setq not-any-owner
1853                      (not (or (eq current secondary)
1854                               (and (null secondary)
1855                                    (eq current primary)))))
1856          (when (eq current secondary)
1857            (setf (shared-resource-current-owner r) nil)
1858            (signal-semaphore (shared-resource-primary-owner-notify r))))))
1859    (when not-any-owner
1860      (signal-program-error "Process ~a does not own ~a" *current-process*
1861                            (shared-resource-name r)))))
1862
1863;;; The current thread should be the primary owner; there should be
1864;;; no secondary owner.  Wakeup the specified (or first) requesting
1865;;; process, then block on our semaphore
1866(defun %yield-shared-resource (r &optional to)
1867  (let* ((request nil))
1868    (with-lock-grabbed ((shared-resource-lock r))
1869      (let* ((current *current-process*)
1870             (primary (shared-resource-primary-owner r)))
1871        (when (and (eq current primary)
1872                   (null (shared-resource-current-owner r)))
1873          (setq request
1874                (let* ((header (shared-resource-requestors r)))
1875                  (if to 
1876                    (do-dll-nodes (node header)
1877                      (when (eq to (shared-resource-request-process node))
1878                        (return node)))
1879                    (let* ((first (dll-header-first header)))
1880                      (unless (eq first header)
1881                        first)))))
1882          (when request
1883            (remove-dll-node request)
1884            (setf (shared-resource-current-owner r)
1885                  (shared-resource-request-process request))
1886            (signal-semaphore (shared-resource-request-signal request))))))
1887    (when request
1888      (wait-on-semaphore (shared-resource-primary-owner-notify r))
1889      (format t "~%;;;~%;;;control of ~a restored to ~a~%;;;~&"
1890              (shared-resource-name r)
1891              *current-process*))))
1892
1893
1894     
1895
1896(defun %shared-resource-requestor-p (r proc)
1897  (with-lock-grabbed ((shared-resource-lock r))
1898    (do-dll-nodes (node (shared-resource-requestors r))
1899      (when (eq proc (shared-resource-request-process node))
1900        (return t)))))
1901
1902(defparameter *resident-editor-hook* nil
1903  "If non-NIL, should be a function that takes an optional argument
1904   (like ED) and invokes a \"resident\" editor.")
1905
1906(defun ed (&optional arg)
1907  (if *resident-editor-hook*
1908    (funcall *resident-editor-hook* arg)
1909    (error "This implementation doesn't provide a resident editor.")))
1910
1911(defun running-under-emacs-p ()
1912  (not (null (getenv "EMACS"))))
1913
1914(defloadvar *cpu-count* nil)
1915
1916(defun cpu-count ()
1917  (or *cpu-count*
1918      (setq *cpu-count*
1919            #+darwin-target
1920            (rlet ((info :host_basic_info)
1921                   (count :mach_msg_type_number_t #$HOST_BASIC_INFO_COUNT))
1922              (if (eql #$KERN_SUCCESS (#_host_info (#_mach_host_self)
1923                                                   #$HOST_BASIC_INFO
1924                                                   info
1925                                                   count))
1926                (pref info :host_basic_info.max_cpus)
1927                1))
1928            #+(or linux-target solaris-target)
1929            (or
1930             (let* ((n (#_sysconf #$_SC_NPROCESSORS_ONLN)))
1931               (declare (fixnum n))
1932               (if (> n 0) n))
1933             #+linux-target
1934             (ignore-errors
1935               (with-open-file (p "/proc/cpuinfo")
1936                 (let* ((ncpu 0)
1937                        (match "processor")
1938                        (matchlen (length match)))
1939                   (do* ((line (read-line p nil nil) (read-line p nil nil)))
1940                        ((null line) ncpu)
1941                     (let* ((line-length (length line)))
1942                       (when (and
1943                              (> line-length matchlen)
1944                              (string= match line
1945                                       :end2 matchlen)
1946                              (whitespacep (schar line matchlen)))
1947                         (incf ncpu)))))))
1948             1)
1949            #+freebsd-target
1950            (rlet ((ret :uint))
1951              (%stack-block ((mib (* (record-length :uint) 2)))
1952              (setf (paref mib (:array :uint) 0)
1953                    #$CTL_HW
1954                    (paref mib (:array :uint) 1)
1955                    #$HW_NCPU)
1956              (rlet ((oldsize :uint (record-length :uint)))
1957                (if (eql 0 (#_sysctl mib 2 ret oldsize (%null-ptr) 0))
1958                  (pref ret :uint)
1959                  1))))
1960            #+windows-target
1961            (rlet ((procmask #>DWORD_PTR)
1962                   (sysmask #>DWORD_PTR))
1963              (if (eql 0 (#_GetProcessAffinityMask (#_GetCurrentProcess) procmask sysmask))
1964                1
1965                (logcount (pref sysmask #>DWORD_PTR)))))))
1966
1967(def-load-pointers spin-count ()
1968  (if (eql 1 (cpu-count))
1969    (%defglobal '*spin-lock-tries* 1)
1970    (%defglobal '*spin-lock-tries* 1024))
1971  (%defglobal '*spin-lock-timeouts* 0))
1972
1973(defun yield ()
1974  #+windows-target
1975  (#_Sleep 0)
1976  #-windows-target 
1977  (#_sched_yield))
1978
1979(defloadvar *host-page-size*
1980    #-windows-target (#_getpagesize)
1981    #+windows-target
1982    (rlet ((info #>SYSTEM_INFO))
1983      (#_GetSystemInfo info)
1984      (pref info #>SYSTEM_INFO.dwPageSize))
1985    )
1986
1987;;(assert (= (logcount *host-page-size*) 1))
1988
1989(defun get-universal-time ()
1990  "Return a single integer for the current time of
1991   day in universal time format."
1992  (rlet ((tv :timeval))
1993    (gettimeofday tv)
1994    (+ (pref tv :timeval.tv_sec) unix-to-universal-time)))
1995
1996#-windows-target
1997(progn
1998(defun map-file-to-ivector (pathname element-type)
1999  (let* ((upgraded-type (upgraded-array-element-type element-type))
2000         (upgraded-ctype (specifier-type upgraded-type)))
2001    (unless (and (typep upgraded-ctype 'numeric-ctype)
2002                 (eq 'integer (numeric-ctype-class upgraded-ctype)))
2003      (error "Invalid element-type: ~s" element-type))
2004    (let* ((bits-per-element (integer-length (- (numeric-ctype-high upgraded-ctype)
2005                                                (numeric-ctype-low upgraded-ctype))))
2006           (fd (fd-open (native-translated-namestring pathname) #$O_RDONLY)))
2007      (if (< fd 0)
2008        (signal-file-error fd pathname)
2009        (let* ((len (fd-size fd)))
2010          (if (< len 0)
2011            (signal-file-error fd pathname)
2012            (let* ((nbytes (+ *host-page-size*
2013                              (logandc2 (+ len
2014                                           (1- *host-page-size*))
2015                                        (1- *host-page-size*))))
2016
2017                   (ndata-elements
2018                    (ash len
2019                         (ecase bits-per-element
2020                           (1 3)
2021                           (8 0)
2022                           (16 -1)
2023                           (32 -2)
2024                           (64 -3))))
2025                   (nalignment-elements
2026                    (ash target::nbits-in-word
2027                         (ecase bits-per-element
2028                           (1 0)
2029                           (8 -3)
2030                           (16 -4)
2031                           (32 -5)
2032                           (64 -6)))))
2033              (if (>= (+ ndata-elements nalignment-elements)
2034                      array-total-size-limit)
2035                (progn
2036                  (fd-close fd)
2037                  (error "Can't make a vector with ~s elements in this implementation." (+ ndata-elements nalignment-elements)))
2038                (let* ((addr (#_mmap (%null-ptr)
2039                                     nbytes
2040                                     #$PROT_NONE
2041                                     (logior #$MAP_ANON #$MAP_PRIVATE)
2042                                     -1
2043                                     0)))             
2044                  (if (eql addr (%int-to-ptr (1- (ash 1 target::nbits-in-word)))) ; #$MAP_FAILED
2045                    (let* ((errno (%get-errno)))
2046                      (fd-close fd)
2047                      (error "Can't map ~d bytes: ~a" nbytes (%strerror errno)))
2048              ;;; Remap the first page so that we can put a vector header
2049              ;;; there; use the first word on the first page to remember
2050              ;;; the file descriptor.
2051                    (progn
2052                      (#_mmap addr
2053                              *host-page-size*
2054                              (logior #$PROT_READ #$PROT_WRITE)
2055                              (logior #$MAP_ANON #$MAP_PRIVATE #$MAP_FIXED)
2056                              -1
2057                              0)
2058                      (setf (pref addr :int) fd)
2059                      (let* ((header-addr (%inc-ptr addr (- *host-page-size*
2060                                                            (* 2 target::node-size)))))
2061                        (setf (pref header-addr :unsigned-long)
2062                              (logior (element-type-subtype upgraded-type)
2063                                      (ash (+ ndata-elements nalignment-elements) target::num-subtag-bits)))
2064                        (when (> len 0)
2065                          (let* ((target-addr (%inc-ptr header-addr (* 2 target::node-size))))
2066                            (unless (eql target-addr
2067                                         (#_mmap target-addr
2068                                                 len
2069                                                 #$PROT_READ
2070                                                 (logior #$MAP_PRIVATE #$MAP_FIXED)
2071                                                 fd
2072                                                 0))
2073                              (let* ((errno (%get-errno)))
2074                                (fd-close fd)
2075                                (#_munmap addr nbytes)
2076                                (error "Mapping failed: ~a" (%strerror errno))))))
2077                        (with-macptrs ((v (%inc-ptr header-addr target::fulltag-misc)))
2078                          (let* ((vector (rlet ((p :address v)) (%get-object p 0))))
2079                            ;; Tell some parts of OpenMCL - notably the
2080                            ;; printer - that this thing off in foreign
2081                            ;; memory is a real lisp object and not
2082                            ;; "bogus".
2083                            (with-lock-grabbed (*heap-ivector-lock*)
2084                              (push vector *heap-ivectors*))
2085                            (make-array ndata-elements
2086                                        :element-type upgraded-type
2087                                        :displaced-to vector
2088                                        :adjustable t
2089                                        :displaced-index-offset nalignment-elements)))))))))))))))
2090
2091(defun map-file-to-octet-vector (pathname)
2092  (map-file-to-ivector pathname '(unsigned-byte 8)))
2093
2094(defun mapped-vector-data-address-and-size (displaced-vector)
2095  (let* ((v (array-displacement displaced-vector))
2096         (element-type (array-element-type displaced-vector)))
2097    (if (or (eq v displaced-vector)
2098            (not (with-lock-grabbed (*heap-ivector-lock*)
2099                   (member v *heap-ivectors*))))
2100      (error "~s doesn't seem to have been allocated via ~s and not yet unmapped" displaced-vector 'map-file-to-ivector))
2101    (let* ((pv (rlet ((x :address)) (%set-object x 0 v) (pref x :address)))
2102           (ctype (specifier-type element-type))
2103           (arch (backend-target-arch *target-backend*)))
2104      (values (%inc-ptr pv (- (* 2 target::node-size) target::fulltag-misc))
2105              (- (funcall (arch::target-array-data-size-function arch)
2106                          (ctype-subtype ctype)
2107                          (length v))
2108                 target::node-size)))))
2109
2110 
2111;;; Argument should be something returned by MAP-FILE-TO-IVECTOR;
2112;;; this should be called at most once for any such object.
2113(defun unmap-ivector (displaced-vector)
2114  (multiple-value-bind (data-address size-in-octets)
2115      (mapped-vector-data-address-and-size displaced-vector)
2116  (let* ((v (array-displacement displaced-vector))
2117         (base-address (%inc-ptr data-address (- *host-page-size*)))
2118         (fd (pref base-address :int)))
2119      (let* ((element-type (array-element-type displaced-vector)))
2120        (adjust-array displaced-vector 0
2121                      :element-type element-type
2122                      :displaced-to (make-array 0 :element-type element-type)
2123                      :displaced-index-offset 0))
2124      (with-lock-grabbed (*heap-ivector-lock*)
2125        (setq *heap-ivectors* (delete v *heap-ivectors*)))
2126      (#_munmap base-address (+ size-in-octets *host-page-size*))     
2127      (fd-close fd)
2128      t)))
2129
2130(defun unmap-octet-vector (v)
2131  (unmap-ivector v))
2132
2133(defun lock-mapped-vector (v)
2134  (multiple-value-bind (address nbytes)
2135      (mapped-vector-data-address-and-size v)
2136    (eql 0 (#_mlock address nbytes))))
2137
2138(defun unlock-mapped-vector (v)
2139  (multiple-value-bind (address nbytes)
2140      (mapped-vector-data-address-and-size v)
2141    (eql 0 (#_munlock address nbytes))))
2142
2143(defun bitmap-for-mapped-range (address nbytes)
2144  (let* ((npages (ceiling nbytes *host-page-size*)))
2145    (%stack-block ((vec npages))
2146      (when (eql 0 (#_mincore address nbytes vec))
2147        (let* ((bits (make-array npages :element-type 'bit)))
2148          (dotimes (i npages bits)
2149            (setf (sbit bits i)
2150                  (logand 1 (%get-unsigned-byte vec i)))))))))
2151
2152(defun percentage-of-resident-pages (address nbytes)
2153  (let* ((npages (ceiling nbytes *host-page-size*)))
2154    (%stack-block ((vec npages))
2155      (when (eql 0 (#_mincore address nbytes vec))
2156        (let* ((nresident 0))
2157          (dotimes (i npages (* 100.0 (/ nresident npages)))
2158            (when (logbitp 0 (%get-unsigned-byte vec i))
2159              (incf nresident))))))))
2160
2161(defun mapped-vector-resident-pages (v)
2162  (multiple-value-bind (address nbytes)
2163      (mapped-vector-data-address-and-size v)
2164    (bitmap-for-mapped-range address nbytes)))
2165
2166(defun mapped-vector-resident-pages-percentage (v)
2167  (multiple-value-bind (address nbytes)
2168      (mapped-vector-data-address-and-size v)
2169    (percentage-of-resident-pages address nbytes)))
2170)
2171
2172#+windows-target
2173(defun cygpath (winpath)
2174  "Try to use the Cygwin \"cygpath\" program to map a Windows-style
2175   pathname to a POSIX-stype Cygwin pathname."
2176  (let* ((posix-path winpath))
2177    (with-output-to-string (s)
2178      (multiple-value-bind (status exit-code)
2179          (external-process-status
2180           (run-program "cygpath" (list "-u" winpath) :output s))
2181        (when (and (eq status :exited)
2182                   (eql exit-code 0))
2183          (with-input-from-string (output (get-output-stream-string s))
2184            (setq posix-path (read-line output nil nil))))))
2185    posix-path))
2186
2187#-windows-target (defun cygpath (path) path)
2188     
2189
2190
2191
2192#+x86-target
2193(progn
2194(defloadvar *last-rdtsc-time* 0)
2195
2196(defstatic *rdtsc-estimated-increment* 1 "Should be positive ...")
2197
2198(defun rdtsc-monotonic ()
2199  "Return monotonically increasing values, partly compensating for
2200   OSes that don't keep the TSCs of all processorsin synch."
2201  (loop
2202    (let* ((old *last-rdtsc-time*)
2203           (new (rdtsc)))
2204      (when (< new old)
2205        ;; We're running on a CPU whose TSC is behind the one
2206        ;; on the last CPU we were scheduled on.
2207        (setq new (+ old *rdtsc-estimated-increment*)))
2208      (when (%store-node-conditional target::symbol.vcell *last-rdtsc-time* old new)
2209        (return new)))))
2210
2211(defun estimate-rdtsc-skew (&optional (niter 1000000))
2212  (do* ((i 0 (1+ i))
2213        (last (rdtsc) next)
2214        (next (rdtsc) (rdtsc))
2215        (skew 1))
2216       ((>= i niter) (setq *rdtsc-estimated-increment* skew))
2217    (declare (fixnum last next skew))
2218    (when (> last next)
2219      (let* ((s (- last next)))
2220        (declare (fixnum s))
2221        (when (> s skew) (setq skew s))))))
2222)
2223
2224
Note: See TracBrowser for help on using the repository browser.