source: trunk/source/level-1/linux-files.lisp @ 11953

Last change on this file since 11953 was 11953, checked in by rme, 11 years ago

GET-USER-HOME-DIR: if the user home directory obtained from the password
database isn't really a directory, return NIL.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 84.7 KB
Line 
1;;;-*- Mode: Lisp; Package: CCL -*-
2;;;
3;;;   Copyright (C) 1994-2001 Digitool, Inc
4;;;   This file is part of OpenMCL. 
5;;;
6;;;   OpenMCL is licensed under the terms of the Lisp Lesser GNU Public
7;;;   License , known as the LLGPL and distributed with OpenMCL as the
8;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
9;;;   which is distributed with OpenMCL as the file "LGPL".  Where these
10;;;   conflict, the preamble takes precedence. 
11;;;
12;;;   OpenMCL is referenced in the preamble as the "LIBRARY."
13;;;
14;;;   The LLGPL is also available online at
15;;;   http://opensource.franz.com/preamble.html
16
17(in-package "CCL")
18
19(defconstant unix-to-universal-time 2208988800)
20
21#+windows-target
22(progn
23
24
25           
26
27(defun nbackslash-to-forward-slash (namestring)
28  (dotimes (i (length namestring) namestring)
29    (when (eql (schar namestring i) #\\)
30      (setf (schar namestring i) #\/))))
31
32(defconstant univeral-time-start-in-windows-seconds 9435484800)
33
34(defun windows-filetime-to-universal-time (ft)
35  (let* ((100-ns (dpb (pref ft #>FILETIME.dwHighDateTime) (byte 32 32)
36                      (pref ft #>FILETIME.dwLowDateTime)))
37         (seconds-since-windows-epoch (floor 100-ns 10000000)))
38    (- seconds-since-windows-epoch univeral-time-start-in-windows-seconds)))
39)
40
41(defun get-foreign-namestring (pointer)
42  ;; On Darwin, foreign namestrings are encoded in UTF-8 and
43  ;; are canonically decomposed (NFD).  Use PRECOMPOSE-SIMPLE-STRING
44  ;; to ensure that the string is "precomposed" (NFC), like the
45  ;; rest of the world and most sane people would expect.
46  #+darwin-target
47  (precompose-simple-string (%get-utf-8-cstring pointer))
48  #+windows-target (nbackslash-to-forward-slash
49                     (%get-native-utf-16-cstring pointer))
50  ;; On some other platforms, the namestring is assumed to
51  ;; be encoded according to the current locale's character
52  ;; encoding (though FreeBSD seems to be moving towards
53  ;; precomposed UTF-8.).
54  #-(or darwin-target windows-target)
55  (let* ((encoding-name (pathname-encoding-name)))
56    (if encoding-name
57      (get-encoded-cstring encoding-name pointer)
58      (%get-cstring pointer))))
59
60(defun nanoseconds (n)
61  (unless (and (typep n 'fixnum)
62               (>= (the fixnum n) 0))
63    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
64  (multiple-value-bind (q r)
65      (floor n)
66    (if (zerop r)
67      (setq r 0)
68      (setq r (floor (* r 1000000000))))
69    (values q r)))
70
71(defun milliseconds (n)
72  (unless (and (typep n 'fixnum)
73               (>= (the fixnum n) 0))
74    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
75  (multiple-value-bind (q r)
76      (floor n)
77    (if (zerop r)
78      (setq r 0)
79      (setq r (floor (* r 1000))))
80    (values q r)))
81
82(defun microseconds (n)
83  (unless (and (typep n 'fixnum)
84               (>= (the fixnum n) 0))
85    (check-type n (real 0 #.(1- (ash 1 (1- target::nbits-in-word))))))
86  (multiple-value-bind (q r)
87      (floor n)
88    (if (zerop r)
89      (setq r 0)
90      (setq r (floor (* r 1000000))))
91    (values q r)))
92
93(defun semaphore-value (s)
94  (if (istruct-typep s 'semaphore)
95    (semaphore.value s)
96    (semaphore-value (require-type s 'semaphore))))
97
98(defun %wait-on-semaphore-ptr (s seconds milliseconds &optional flag)
99  (if flag
100    (if (istruct-typep flag 'semaphore-notification)
101      (setf (semaphore-notification.status flag) nil)
102      (report-bad-arg flag 'semaphore-notification)))
103  (without-interrupts
104   (let* ((status (ff-call
105                   (%kernel-import target::kernel-import-wait-on-semaphore)
106                   :address s
107                   :unsigned seconds
108                   :unsigned milliseconds
109                   :signed))
110          (result (zerop status)))     
111     (declare (fixnum status))
112     (when flag (setf (semaphore-notification.status flag) result))
113     (values result status))))
114
115(defun %process-wait-on-semaphore-ptr (s seconds milliseconds &optional
116                                         (whostate "semaphore wait") flag)
117  (or (%wait-on-semaphore-ptr s 0 0 flag)
118      (with-process-whostate  (whostate)
119        (loop
120          (when (%wait-on-semaphore-ptr s seconds milliseconds flag)
121            (return))))))
122
123 
124(defun wait-on-semaphore (s &optional flag (whostate "semaphore wait"))
125  "Wait until the given semaphore has a positive count which can be
126atomically decremented."
127  (%process-wait-on-semaphore-ptr (semaphore-value s) #xffffff 0 whostate flag)
128  t)
129
130
131(defun %timed-wait-on-semaphore-ptr (semptr duration notification)
132  (or (%wait-on-semaphore-ptr semptr 0 0 notification)
133      (with-process-whostate ("Semaphore timed wait")
134        (multiple-value-bind (secs millis) (milliseconds duration)
135          (let* ((now (get-internal-real-time))
136                 (stop (+ now
137                          (* secs 1000)
138                          millis)))
139            (loop
140              (multiple-value-bind (success err)
141                  (progn
142                    (%wait-on-semaphore-ptr semptr secs millis notification))
143                (when success
144                  (return t))
145                (when (or (not (eql err #$EINTR))
146                          (>= (setq now (get-internal-real-time)) stop))
147                  (return nil))
148                (unless (zerop duration)
149                  (let* ((diff (- stop now)))
150                    (multiple-value-bind (remaining-seconds remaining-millis)
151                        (floor diff 1000)
152                      (setq secs remaining-seconds
153                            millis remaining-millis)))))))))))
154
155(defun timed-wait-on-semaphore (s duration &optional notification)
156  "Wait until the given semaphore has a postive count which can be
157atomically decremented, or until a timeout expires."
158  (%timed-wait-on-semaphore-ptr (semaphore-value s) duration notification))
159
160
161(defun %signal-semaphore-ptr (p)
162  (ff-call
163   (%kernel-import target::kernel-import-signal-semaphore)
164   :address p
165   :signed-fullword))
166
167(defun signal-semaphore (s)
168  "Atomically increment the count of a given semaphore."
169  (%signal-semaphore-ptr (semaphore-value s)))
170
171(defun %os-getcwd (buf noctets)
172  ;; Return N < 0, if error
173  ;;        N < noctets: success, string is of length N (octets).
174  ;;        N >= noctets: buffer needs to be larger.
175  (let* ((p #+windows-target
176           (#__wgetcwd buf (ash noctets -1))
177           #-windows-target
178           (#_getcwd buf noctets)))
179    (declare (dynamic-extent p))
180    (if (%null-ptr-p p)
181      (let* ((err (%get-errno)))
182        (if (eql err (- #$ERANGE))
183          (+ noctets noctets)
184          err))
185      #+windows-target
186      (do* ((i 0 (+ i 2)))
187           ((= i noctets) (+ noctets noctets))
188        (when (eql (%get-unsigned-word buf i) 0)
189          (return i)))
190      #-windows-target
191      (dotimes (i noctets (+ noctets noctets))
192        (when (eql 0 (%get-byte buf i))
193          (return i))))))
194   
195   
196(defun current-directory-name ()
197  "Look up the current working directory of the OpenMCL process; unless
198it has been changed, this is the directory OpenMCL was started in."
199  (flet ((try-getting-dirname (bufsize)
200           (%stack-block ((buf bufsize))
201             (let* ((len (%os-getcwd buf bufsize)))
202               (cond ((< len 0) (%errno-disp len))
203                     ((< len bufsize)
204                      (setf (%get-unsigned-byte buf len) 0)
205                      (values (get-foreign-namestring buf) len))
206                     (t (values nil len)))))))
207    (do* ((string nil)
208          (len #+windows-target 128 #-windows-target 64)
209          (bufsize len len))
210         ((multiple-value-setq (string len) (try-getting-dirname bufsize))
211          string))))
212
213
214(defun current-directory ()
215  (mac-default-directory))
216
217(defun (setf current-directory) (path)
218  (cwd path)
219  path)
220
221(defun cd (path)
222  (cwd path))
223
224
225
226
227(defun %chdir (dirname)
228  (with-filename-cstrs ((dirname dirname))
229    (int-errno-call (#+windows-target #__wchdir #-windows-target #_chdir dirname))))
230
231(defun %mkdir (name mode)
232  #+windows-target (declare (ignore mode))
233  (let* ((name name)
234         (len (length name)))
235    (when (and (> len 0) (eql (char name (1- len)) #\/))
236      (setq name (subseq name 0 (1- len))))
237    (with-filename-cstrs ((name name))
238      (int-errno-call (#+windows-target #__wmkdir #-windows-target #_mkdir  name #-windows-target mode)))))
239
240(defun %rmdir (name)
241  (let* ((last (1- (length name))))
242    (with-filename-cstrs ((name name))
243      (when (and (>= last 0)
244                 (eql (%get-byte name last) (char-code #\/)))
245        (setf (%get-byte name last) 0))
246      (int-errno-call (#+windows-target #__wrmdir #-windows-target #_rmdir  name)))))
247
248
249(defun getenv (key)
250  "Look up the value of the environment variable named by name, in the
251OS environment."
252  (with-cstrs ((key (string key)))
253    (let* ((env-ptr (%null-ptr)))
254      (declare (dynamic-extent env-ptr))
255      (%setf-macptr env-ptr (#_getenv key))
256      (unless (%null-ptr-p env-ptr)
257        (%get-cstring env-ptr))))
258  )
259
260(defun setenv (key value &optional (overwrite t))
261  "Set the value of the environment variable named by name, in the OS
262environment. If there is no such environment variable, create it."
263  #+windows-target (declare (ignore overwrite))
264  #-windows-target
265  (with-cstrs ((ckey key)
266               (cvalue value))
267    (#_setenv ckey cvalue (if overwrite 1 0)))
268  #+windows-target
269  (with-cstrs ((pair (format nil "~a=~a" key value)))
270    (#__putenv pair))
271  )
272
273#-windows-target                        ; Windows "impersonation" crap ?
274(defun setuid (uid)
275  "Attempt to change the current user ID (both real and effective);
276fails unless the OpenMCL process has super-user privileges or the ID
277given is that of the current user."
278  (int-errno-call (#_setuid uid)))
279
280#-windows-target
281(defun setgid (uid)
282  "Attempt to change the current group ID (both real and effective);
283fails unless the OpenMCL process has super-user privileges or the ID
284given is that of a group to which the current user belongs."
285  (int-errno-call (#_setgid uid)))
286 
287
288;;; On Linux, "stat" & friends are implemented in terms of deeper,
289;;; darker things that need to know what version of the stat buffer
290;;; they're talking about.
291
292#-windows-target
293(defun %stat-values (result stat)
294  (if (eql 0 (the fixnum result)) 
295      (values
296       t
297       (pref stat :stat.st_mode)
298       (pref stat :stat.st_size)
299       #+(or linux-target solaris-target)
300       (pref stat :stat.st_mtim.tv_sec)
301       #-(or linux-target solaris-target)
302       (pref stat :stat.st_mtimespec.tv_sec)
303       (pref stat :stat.st_ino)
304       (pref stat :stat.st_uid)
305       (pref stat :stat.st_blksize)
306       #+(or linux-target solaris-target)
307       (round (pref stat :stat.st_mtim.tv_nsec) 1000)
308       #-(or linux-target solaris-target)
309       (round (pref stat :stat.st_mtimespec.tv_nsec) 1000)
310       (pref stat :stat.st_gid))
311      (values nil nil nil nil nil nil nil)))
312
313#+win64-target
314(defun %stat-values (result stat)
315  (if (eql 0 (the fixnum result)) 
316      (values
317       t
318       (pref stat :_stat64.st_mode)
319       (pref stat :_stat64.st_size)
320       (pref stat :_stat64.st_mtime)
321       (pref stat :_stat64.st_ino)
322       (pref stat :_stat64.st_uid)
323       #$BUFSIZ
324       (pref stat :_stat64.st_mtime)     ; ???
325       (pref stat :_stat64.st_gid))
326      (values nil nil nil nil nil nil nil nil nil)))
327
328#+win32-target
329(defun %stat-values (result stat)
330  (if (eql 0 (the fixnum result)) 
331      (values
332       t
333       (pref stat :__stat64.st_mode)
334       (pref stat :__stat64.st_size)
335       (pref stat :__stat64.st_mtime)
336       (pref stat :__stat64.st_ino)
337       (pref stat :__stat64.st_uid)
338       #$BUFSIZ
339       (pref stat :__stat64.st_mtime)     ; ???
340       (pref stat :__stat64.st_gid))
341      (values nil nil nil nil nil nil nil nil nil)))
342
343#+windows-target
344(defun windows-strip-trailing-slash (namestring)
345  (do* ((len (length namestring) (length namestring)))
346       ((<= len 3) namestring)
347    (let* ((p (1- len))
348           (ch (char namestring p)))
349      (unless (or (eql ch #\\)
350                  (eql ch #\/))
351        (return namestring))
352      (setq namestring (subseq namestring 0 p)))))
353
354
355(defun %%stat (name stat)
356  (with-filename-cstrs ((cname #+windows-target (windows-strip-trailing-slash name) #-windows-target name))
357    (%stat-values
358     #+linux-target
359     (#_ __xstat #$_STAT_VER_LINUX cname stat)
360     #-linux-target
361     (int-errno-ffcall (%kernel-import target::kernel-import-lisp-stat)
362                       :address cname
363                       :address stat
364                       :int)
365     stat)))
366
367(defun %%fstat (fd stat)
368  (%stat-values
369   #+linux-target
370   (#_ __fxstat #$_STAT_VER_LINUX fd stat)
371   #-linux-target
372   (int-errno-ffcall (%kernel-import target::kernel-import-lisp-fstat)
373                     :int fd
374                     :address stat
375                     :int)
376   stat))
377
378#-windows-target
379(defun %%lstat (name stat)
380  (with-filename-cstrs ((cname name))
381    (%stat-values
382     #+linux-target
383     (#_ __lxstat #$_STAT_VER_LINUX cname stat)
384     #-linux-target
385     (#_lstat cname stat)
386     stat)))
387
388
389;;; Returns: (values t mode size mtime inode uid blksize) on success,
390;;;          (values nil nil nil nil nil nil nil) otherwise
391;;; NAME should be a "native namestring", e.g,, have all lisp pathname
392;;; escaping removed.
393#-windows-target
394(defun %stat (name &optional link-p)
395  (rlet ((stat :stat))
396    (if link-p
397      (%%lstat name stat)
398      (%%stat name stat))))
399
400#+windows-target
401(defun %stat (name &optional link-p)
402  (declare (ignore link-p))
403  (rlet ((stat  #+win64-target #>_stat64 #+win32-target #>__stat64))
404    (%%stat name stat)))
405
406(defun %fstat (fd)
407  (rlet ((stat #+win64-target #>_stat64 #+win32-target #>__stat64 #-windows-target :stat))
408    (%%fstat fd stat)))
409
410
411(defun %file-kind (mode &optional fd)
412  (declare (ignorable fd))
413  (when mode
414    (let* ((kind (logand mode #$S_IFMT)))
415      (cond ((eql kind #$S_IFDIR) :directory)
416            ((eql kind #$S_IFREG) :file)
417            #-windows-target
418            ((eql kind #$S_IFLNK) :link)
419            ((eql kind #$S_IFIFO) 
420             #-windows-target :pipe
421             ;; Windows doesn't seem to be able to distinguish between
422             ;; sockets and pipes.  Since this function is currently
423             ;; (mostly) used for printing streams and since we've
424             ;; already done something fairly expensive (stat, fstat)
425             ;; to get here.  try to distinguish between pipes and
426             ;; sockets by calling #_getsockopt.  If that succeeds,
427             ;; we've got a socket; otherwise, we're probably got a pipe.
428             #+windows-target (rlet ((ptype :int)
429                                     (plen :int 4))
430                                (if (and fd (eql 0 (#_getsockopt fd #$SOL_SOCKET #$SO_TYPE  ptype plen)))
431                                    :socket
432                                    :pipe)))
433            #-windows-target
434            ((eql kind #$S_IFSOCK) :socket)
435            ((eql kind #$S_IFCHR) :character-special)
436            (t :special)))))
437
438(defun %unix-file-kind (native-namestring &optional check-for-link)
439  (%file-kind (nth-value 1 (%stat native-namestring check-for-link))))
440
441(defun %unix-fd-kind (fd)
442  (if (isatty fd)
443    :tty
444    (%file-kind (nth-value 1 (%fstat fd)) fd)))
445
446#-windows-target
447(defun %uts-string (result idx buf)
448  (if (>= result 0)
449    (%get-cstring (%inc-ptr buf (* #+linux-target #$_UTSNAME_LENGTH
450                                   #+darwin-target #$_SYS_NAMELEN
451                                   #+(or freebsd-target solaris-target) #$SYS_NMLN
452                                   idx)))
453    "unknown"))
454
455#-windows-target
456(defun copy-file-attributes (source-path dest-path)
457  "Copy the mode, owner, group and modification time of source-path to dest-path.
458   Returns T if succeeded, NIL if some of the attributes couldn't be copied due to
459   permission problems.  Any other failures cause an error to be signalled"
460  (multiple-value-bind (win mode ignore mtime-sec ignore uid ignore mtime-usec gid)
461                       (%stat (native-translated-namestring source-path) t)
462    (declare (ignore ignore))
463    (unless win
464      (error "Cannot get attributes of ~s" source-path))
465    (with-filename-cstrs ((cnamestr (native-translated-namestring dest-path)))
466      (macrolet ((errchk (form)
467                   `(let ((err ,form))
468                      (unless (eql err 0)
469                        (setq win nil)
470                        (when (eql err -1)
471                          (setq err (- (%get-errno))))
472                        (unless (eql err #$EPERM) (%errno-disp err dest-path))))))
473        (errchk (#_chmod cnamestr mode))
474        (errchk (%stack-block ((times (record-length (:array (:struct :timeval) 2))))
475                  (setf (pref times :timeval.tv_sec) mtime-sec)
476                  (setf (pref times :timeval.tv_usec) mtime-usec)
477                  (%incf-ptr times (record-length :timeval))
478                  (setf (pref times :timeval.tv_sec) mtime-sec)
479                  (setf (pref times :timeval.tv_usec) mtime-usec)
480                  (%incf-ptr times (- (record-length :timeval)))
481                  (#_utimes cnamestr times)))
482        (errchk (#_chown cnamestr uid gid))))
483    win))
484
485#+windows-target
486(defun copy-file-attributes (source-path dest-path)
487  "could at least copy the file times"
488  (declare (ignore source-path dest-path)))
489
490
491#+linux-target
492(defun %uname (idx)
493  (%stack-block ((buf (* #$_UTSNAME_LENGTH 6))) 
494    (%uts-string (#_uname buf) idx buf)))
495
496#+darwin-target
497(defun %uname (idx)
498  (%stack-block ((buf (* #$_SYS_NAMELEN 5)))
499    (%uts-string (#_uname buf) idx buf)))
500
501#+freebsd-target
502(defun %uname (idx)
503  (%stack-block ((buf (* #$SYS_NMLN 5)))
504    (%uts-string (#___xuname #$SYS_NMLN buf) idx buf)))
505
506#+solaris-target
507(defun %uname (idx)
508  (%stack-block ((buf (* #$SYS_NMLN 5)))
509    (%uts-string (#_uname buf) idx buf)))
510
511#-windows-target
512(defun fd-dup (fd)
513  (int-errno-call (#_dup fd)))
514
515#+windows-target
516(defun fd-dup (fd &key direction inheritable)
517  (declare (ignore direction))
518  (rlet ((handle #>HANDLE))
519    (if (eql 0 (#_DuplicateHandle (#_GetCurrentProcess)
520                                  (%int-to-ptr fd)
521                                  (#_GetCurrentProcess) 
522                                  handle
523                                  0
524                                  (if inheritable #$TRUE #$FALSE)
525                                  #$DUPLICATE_SAME_ACCESS))
526      (%windows-error-disp (#_GetLastError))
527      (pref handle #>DWORD))))
528
529
530(defun fd-fsync (fd)
531  #+windows-target (#_FlushFileBuffers (%int-to-ptr fd))
532  #-windows-target
533  (int-errno-call (#_fsync fd)))
534
535#-windows-target
536(progn
537(defun fd-get-flags (fd)
538  (int-errno-call (#_fcntl fd #$F_GETFL)))
539
540(defun fd-set-flags (fd new)
541  (int-errno-call (#_fcntl fd #$F_SETFL :int new)))
542
543(defun fd-set-flag (fd mask)
544  (let* ((old (fd-get-flags fd)))
545    (if (< old 0)
546      old
547      (fd-set-flags fd (logior old mask)))))
548
549(defun fd-clear-flag (fd mask)
550  (let* ((old (fd-get-flags fd)))
551    (if (< old 0) 
552      old
553      (fd-set-flags fd (logandc2 old mask)))))
554)
555
556;;; Assume that any quoting's been removed already.
557(defun tilde-expand (namestring)
558  (let* ((len (length namestring)))
559    (if (or (zerop len)
560            (not (eql (schar namestring 0) #\~)))
561      namestring
562      (if (or (= len 1)
563              (eql (schar namestring 1) #\/))
564        (concatenate 'string (get-user-home-dir (getuid)) (if (= len 1) "/" (subseq namestring 1)))
565        #+windows-target namestring
566        #-windows-target
567        (let* ((slash-pos (position #\/ namestring))
568               (user-name (subseq namestring 1 slash-pos))
569               (uid (or (get-uid-from-name user-name)
570                        (error "Unknown user ~s in namestring ~s" user-name namestring))))
571          (concatenate 'string (get-user-home-dir uid) (if slash-pos (subseq namestring slash-pos) "/")))))))
572
573
574#+windows-target
575(defun %windows-realpath (namestring)
576  (with-filename-cstrs ((path namestring))
577    (do* ((bufsize 256))
578         ()
579      (%stack-block ((buf bufsize))
580        (let* ((nchars (#_GetFullPathNameW path (ash bufsize -1) buf (%null-ptr))))
581          (if (eql 0 nchars)
582            (return nil)
583            (let* ((max (+ nchars nchars 2)))
584              (if (> max bufsize)
585                (setq bufsize max)
586                (let* ((real (get-foreign-namestring buf)))
587                  (return (and (%stat real) real)))))))))))
588
589   
590;;; This doesn't seem to exist on VxWorks.  It's a POSIX
591;;; function AFAIK, so the source should be somewhere ...
592
593(defun %realpath (namestring)
594  ;; It's not at all right to just return the namestring here.
595  (when (zerop (length namestring))
596    (setq namestring (current-directory-name)))
597  #+windows-target (%windows-realpath namestring)
598  #-windows-target
599  (%stack-block ((resultbuf #$PATH_MAX))
600    (with-filename-cstrs ((name namestring #|(tilde-expand namestring)|#))
601      (let* ((result (#_realpath name resultbuf)))
602        (declare (dynamic-extent result))
603        (unless (%null-ptr-p result)
604          (get-foreign-namestring result))))))
605
606;;; Return fully resolved pathname & file kind, or (values nil nil)
607
608(defun %probe-file-x (namestring)
609  (let* ((realpath (%realpath namestring))
610         (kind (if realpath (%unix-file-kind realpath))))
611    (if kind
612      (values realpath kind)
613      (values nil nil))))
614
615;;; The mingw headers define timeval.tv_sec and timeval.tv_usec to be
616;;; signed 32-bit quantities.
617(macrolet ((timeval-ref (ptr accessor)
618             #+windows-target `(logand #xfffffffff (pref ,ptr ,accessor))
619             #-windows-target `(pref ,ptr ,accessor))
620           (set-timeval-ref (ptr accessor new)
621           `(setf (pref ,ptr ,accessor)
622             #+windows-target (u32->s32 ,new)
623             #-windows-target ,new)))
624 
625(defun timeval->milliseconds (tv)
626    (+ (* 1000 (timeval-ref tv :timeval.tv_sec)) (round (timeval-ref tv :timeval.tv_usec) 1000)))
627
628(defun timeval->microseconds (tv)
629    (+ (* 1000000 (timeval-ref tv :timeval.tv_sec)) (timeval-ref tv :timeval.tv_usec)))
630
631(defun %add-timevals (result a b)
632  (let* ((seconds (+ (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
633         (micros (+ (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
634    (if (>= micros 1000000)
635      (setq seconds (1+ seconds) micros (- micros 1000000)))
636    (set-timeval-ref result :timeval.tv_sec seconds)
637    (set-timeval-ref result :timeval.tv_usec micros)
638    result))
639
640(defun %sub-timevals (result a b)
641  (let* ((seconds (- (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
642         (micros (- (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
643    (if (< micros 0)
644      (setq seconds (1- seconds) micros (+ micros 1000000)))
645    (set-timeval-ref result :timeval.tv_sec  seconds)
646    (set-timeval-ref result :timeval.tv_usec micros)
647    result))
648
649;;; Return T iff the time denoted by the timeval a is not later than the
650;;; time denoted by the timeval b.
651(defun %timeval<= (a b)
652  (let* ((asec (timeval-ref a :timeval.tv_sec))
653         (bsec (timeval-ref b :timeval.tv_sec)))
654    (or (< asec bsec)
655        (and (= asec bsec)
656             (< (timeval-ref a :timeval.tv_usec)
657                (timeval-ref b :timeval.tv_usec))))))
658
659); windows signed nonsense.
660
661#-windows-target
662(defun %%rusage (usage &optional (who #$RUSAGE_SELF))
663  (int-errno-call (#_getrusage who usage)))
664
665
666
667
668(defun %file-write-date (namestring)
669  (let* ((date (nth-value 3 (%stat namestring))))
670    (if date
671      (+ date unix-to-universal-time))))
672
673#-windows-target
674(defun %file-author (namestring)
675  (let* ((uid (nth-value 5 (%stat namestring))))
676    (if uid
677      (with-macptrs ((pw (#_getpwuid uid)))
678        (unless (%null-ptr-p pw)
679          (without-interrupts
680           (%get-cstring (pref pw :passwd.pw_name))))))))
681
682#+windows-target
683(defun %file-author (namestring)
684  (declare (ignore namestring))
685  nil)
686
687#-windows-target
688(defun %utimes (namestring)
689  (with-filename-cstrs ((cnamestring namestring))
690    (let* ((err (#_utimes cnamestring (%null-ptr))))
691      (declare (fixnum err))
692      (or (eql err 0)
693          (%errno-disp err namestring)))))
694
695#+windows-target
696(defun %utimes (namestring)
697  (with-filename-cstrs ((cnamestring namestring))
698    (let* ((handle (#_CreateFileW
699                    cnamestring
700                    #$FILE_WRITE_ATTRIBUTES
701                    (logior #$FILE_SHARE_READ #$FILE_SHARE_WRITE)
702                    (%null-ptr)
703                    #$OPEN_EXISTING
704                    #$FILE_ATTRIBUTE_NORMAL
705                    (%null-ptr))))
706      (if (eql handle *windows-invalid-handle*)
707        (%windows-error-disp (#_GetLastError))
708        (rlet ((st #>SYSTEMTIME)
709               (ft #>FILETIME))
710          (#_GetSystemTime st)
711          (#_SystemTimeToFileTime st ft)
712          (let* ((result (#_SetFileTime handle (%null-ptr) (%null-ptr) ft))
713                 (err (unless (eql 0 result) (#_GetLastError))))
714            (#_CloseHandle handle)
715            (if err
716              (%windows-error-disp err)
717              t)))))))
718
719
720             
721
722#-windows-target
723(defun get-uid-from-name (name)
724  (with-cstrs ((name name))
725    (let* ((pwent (#_getpwnam name)))
726      (unless (%null-ptr-p pwent)
727        (pref pwent :passwd.pw_uid)))))
728
729
730(defun isatty (fd)
731  #+windows-target (declare (ignore fd))
732  #+windows-target nil
733  #-windows-target
734  (= 1 (#_isatty fd)))
735
736(defun %open-dir (namestring)
737  (with-filename-cstrs ((name namestring))
738    (let* ((DIR (ff-call (%kernel-import target::kernel-import-lisp-opendir)
739                         :address name
740                         :address)))
741      (unless (%null-ptr-p DIR)
742        DIR))))
743
744(defun close-dir (dir)
745  (ff-call (%kernel-import target::kernel-import-lisp-closedir)
746           :address dir
747           :int))
748
749(defun %read-dir (dir)
750  (let* ((res (ff-call (%kernel-import target::kernel-import-lisp-readdir)
751                       :address dir
752                       :address)))
753    (unless (%null-ptr-p res)
754      (get-foreign-namestring (pref res
755                                    #+windows-target :_wdirent.d_name
756                                    #-windows-target :dirent.d_name)))))
757
758
759#-windows-target
760(defun tcgetpgrp (fd)
761  (#_tcgetpgrp fd))
762
763(defun getpid ()
764  "Return the ID of the OpenMCL OS process."
765  #-windows-target
766  (int-errno-call (#_getpid))
767  #+windows-target (#_GetCurrentProcessId))
768
769
770(defun getuid ()
771  "Return the (real) user ID of the current user."
772  #+windows-target 0
773  #-windows-target (int-errno-call (#_getuid)))
774
775(defun get-user-home-dir (userid)
776  "Look up and return the defined home directory of the user identified
777by uid. This value comes from the OS user database, not from the $HOME
778environment variable. Returns NIL if there is no user with the ID uid."
779  #+windows-target
780  (declare (ignore userid))
781  #+windows-target
782  (dolist (k '(#||"HOME"||# "USERPROFILE")) 
783    (with-native-utf-16-cstrs ((key k))
784      (let* ((p (#__wgetenv key)))
785        (unless (%null-ptr-p p)
786          (return (get-foreign-namestring p))))))
787  #-windows-target
788  (rlet ((pwd :passwd)
789         (result :address pwd))
790    (do* ((buflen 512 (* 2 buflen)))
791         ()
792      (%stack-block ((buf buflen))
793        (let* ((err
794                #-solaris-target
795                 (#_getpwuid_r userid pwd buf buflen result)
796                 #+solaris-target
797                 (external-call "__posix_getpwuid_r"
798                                :uid_t userid
799                                :address pwd
800                                :address buf
801                                :int buflen
802                                :address result
803                                :int)))
804          (if (eql 0 err)
805            (let* ((rp (%get-ptr result))
806                   (dir (and (not (%null-ptr-p rp))
807                             (get-foreign-namestring (pref rp :passwd.pw_dir)))))
808              (return (if (and dir (eq (%unix-file-kind dir) :directory))
809                        dir)))
810            (unless (eql err #$ERANGE)
811              (return nil))))))))
812
813(defun %delete-file (name)
814  (with-cstrs ((n name))
815    (int-errno-call (#+windows-target #__unlink #-windows-target #_unlink n))))
816
817(defun os-command (string)
818  "Invoke the Posix function system(), which invokes the user's default
819system shell (such as sh or tcsh) as a new process, and has that shell
820execute command-line.
821
822If the shell was able to find the command specified in command-line, then
823exit-code is the exit code of that command. If not, it is the exit code
824of the shell itself."
825  (with-cstrs ((s string))
826    (#_system s)))
827
828(defun %strerror (errno)
829  (declare (fixnum errno))
830  (if (< errno 0)
831    (setq errno (- errno)))
832  (with-macptrs (p)
833    (%setf-macptr p (#_strerror errno))
834    (if (%null-ptr-p p)
835      (format nil "OS Error %d" errno)
836      (%get-cstring p))))
837
838#+windows-target
839(defun %windows-error-string (error-number) 
840  (rlet ((pbuffer :address (%null-ptr)))
841    (if (eql 0
842             (#_FormatMessageW (logior #$FORMAT_MESSAGE_ALLOCATE_BUFFER
843                                       #$FORMAT_MESSAGE_FROM_SYSTEM
844                                       #$FORMAT_MESSAGE_IGNORE_INSERTS
845                                       #$FORMAT_MESSAGE_MAX_WIDTH_MASK)
846                               (%null-ptr)
847                               (abs error-number)
848                               0                 ; default langid, more-or-less
849                               pbuffer
850                               0
851                               (%null-ptr)))
852      (format nil "Windows error ~d" (abs error-number))
853      (let* ((p (%get-ptr pbuffer))
854             (q (%get-native-utf-16-cstring p)))
855        (#_LocalFree p)
856        q))))
857       
858                     
859
860;;; Kind of has something to do with files, and doesn't work in level-0.
861#+(or linux-target freebsd-target solaris-target)
862(defun close-shared-library (lib &key (completely t))
863  "If completely is T, set the reference count of library to 0. Otherwise,
864decrements it by 1. In either case, if the reference count becomes 0,
865close-shared-library frees all memory resources consumed library and causes
866any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
867  (let* ((lib (if (typep lib 'string)
868                (or (shared-library-with-name lib)
869                    (error "Shared library ~s not found." lib))
870                (require-type lib 'shlib)))
871         (handle (shlib.handle lib)))
872      (when handle
873        (let* ((found nil)
874               (base (shlib.base lib)))
875          (do* ()
876               ((progn           
877                  (#_dlclose handle)
878                  (or (not (setq found (shlib-containing-address base)))
879                      (not completely)))))
880          (when (not found)
881            (setf (shlib.pathname lib) nil
882              (shlib.base lib) nil
883              (shlib.handle lib) nil
884              (shlib.map lib) nil)
885            (unload-foreign-variables lib)
886            (unload-library-entrypoints lib))))))
887
888#+darwin-target
889;; completely specifies whether to remove it totally from our list
890(defun close-shared-library (lib &key (completely nil))
891  "If completely is T, set the reference count of library to 0. Otherwise,
892decrements it by 1. In either case, if the reference count becomes 0,
893close-shared-library frees all memory resources consumed library and causes
894any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
895  (let* ((lib (if (typep lib 'string)
896                  (or (shared-library-with-name lib)
897                      (error "Shared library ~s not found." lib))
898                (require-type lib 'shlib))))
899    ;; no possible danger closing libsystem since dylibs can't be closed
900    (cond
901     ((or (not (shlib.map lib)) (not (shlib.base lib)))
902      (error "Shared library ~s uninitialized." (shlib.soname lib)))
903     ((and (not (%null-ptr-p (shlib.map lib)))
904           (%null-ptr-p (shlib.base lib)))
905      (warn "Dynamic libraries cannot be closed on Darwin."))
906     ((and (%null-ptr-p (shlib.map lib))
907           (not (%null-ptr-p (shlib.base lib))))
908      ;; we have a bundle type library not sure what to do with the
909      ;; completely flag when we open the same bundle more than once,
910      ;; Darwin gives back a new module address, so we have multiple
911      ;; entries on *shared-libraries* the best we can do is unlink
912      ;; the module asked for (or our best guess based on name) and
913      ;; invalidate any entries which refer to this container
914      (if (= 0 (#_NSUnLinkModule (shlib.base lib) #$NSUNLINKMODULE_OPTION_NONE))
915          (error "Unable to close shared library, NSUnlinkModule failed.")
916        (progn
917          (setf (shlib.map lib) nil
918                (shlib.base lib) nil)
919          (unload-library-entrypoints lib)
920          (when completely
921            (setq *shared-libraries* (delete lib *shared-libraries*)))))))))
922
923
924
925;;; Foreign (unix) processes.
926
927(defun call-with-string-vector (function strings)
928  (let ((bufsize (reduce #'+ strings
929                         :key #'(lambda (s) (1+ (length (string s))))))
930        (argvsize (ash (1+ (length strings)) target::word-shift))
931        (bufpos 0)
932        (argvpos 0))
933    (%stack-block ((buf bufsize) (argv argvsize))
934      (flet ((init (s)
935             (multiple-value-bind (sstr start end) (get-sstring s)
936               (declare (fixnum start end))
937               (let ((len (- end start)))
938                 (declare (fixnum len))
939                 (do* ((i 0 (1+ i))
940                       (start start (1+ start))
941                       (bufpos bufpos (1+ bufpos)))
942                      ((= i len))
943                   (setf (%get-unsigned-byte buf bufpos)
944                         (logand #xff (%scharcode sstr start))))
945                 (setf (%get-byte buf (%i+ bufpos len)) 0)
946                 (setf (%get-ptr argv argvpos) (%inc-ptr buf bufpos))
947                 (setq bufpos (%i+ bufpos len 1))
948                 (setq argvpos (%i+ argvpos target::node-size))))))
949        (declare (dynamic-extent #'init))
950        (map nil #'init strings))
951      (setf (%get-ptr argv argvpos) (%null-ptr))
952      (funcall function argv))))
953
954(defmacro with-string-vector ((var &rest strings) &body body)
955  `(call-with-string-vector #'(lambda (,var) ,@body) ,@strings))
956
957(defloadvar *max-os-open-files* #-windows-target (#_getdtablesize) #+windows-target 32)
958
959(defun pipe ()
960  ;;  (rlet ((filedes (:array :int 2)))
961  (%stack-block ((filedes 8))
962    (let* ((status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
963                            :address filedes :int))
964           (errno (if (eql status 0) 0 (%get-errno))))
965      (unless (zerop status)
966        (when (or (eql errno (- #$EMFILE))
967                  (eql errno (- #$ENFILE)))
968          (gc)
969          (drain-termination-queue)
970          (setq status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
971                            :address filedes :int)
972                errno (if (zerop status) 0 (%get-errno)))))
973      (if (zerop status)
974        (values (paref filedes (:array :int)  0) (paref filedes (:array :int)  1))
975        (%errno-disp errno)))))
976
977#-windows-target
978(progn
979  (defun %execvp (argv)
980    (#_execvp (%get-ptr argv) argv)
981    (#_exit #$EX_OSERR))
982
983  (defun exec-with-io-redirection (new-in new-out new-err argv)
984    (#_setpgid 0 0)
985    (if new-in (#_dup2 new-in 0))
986    (if new-out (#_dup2 new-out 1))
987    (if new-err (#_dup2 new-err 2))
988    (do* ((fd 3 (1+ fd)))
989         ((= fd *max-os-open-files*) (%execvp argv))
990      (declare (fixnum fd))
991      (#_close fd)))
992
993
994
995
996
997  (defstruct external-process
998    pid
999    %status
1000    %exit-code
1001    pty
1002    input
1003    output
1004    error
1005    status-hook
1006    plist
1007    token                               
1008    core
1009    args
1010    (signal (make-semaphore))
1011    (completed (make-semaphore))
1012    watched-fds
1013    watched-streams
1014    )
1015
1016  (defmethod print-object ((p external-process) stream)
1017    (print-unreadable-object (p stream :type t :identity t)
1018      (let* ((status (external-process-%status p)))
1019        (let* ((*print-length* 3))
1020          (format stream "~a" (external-process-args p)))
1021        (format stream "[~d] (~a" (external-process-pid p) status)
1022        (unless (eq status :running)
1023          (format stream " : ~d" (external-process-%exit-code p)))
1024        (format stream ")"))))
1025
1026  (defun get-descriptor-for (object proc close-in-parent close-on-error
1027                                    &rest keys
1028                                    &key direction (element-type 'character)
1029                                    (sharing :private)
1030                                    &allow-other-keys)
1031    (etypecase object
1032      ((eql t)
1033       (values nil nil close-in-parent close-on-error))
1034      (null
1035       (let* ((null-device #+windows-target "nul" #-windows-target "/dev/null")
1036              (fd (fd-open null-device (case direction
1037                                         (:input #$O_RDONLY)
1038                                         (:output #$O_WRONLY)
1039                                         (t #$O_RDWR)))))
1040         (if (< fd 0)
1041           (signal-file-error fd null-device))
1042         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1043      ((eql :stream)
1044       (multiple-value-bind (read-pipe write-pipe) (pipe)
1045         (case direction
1046           (:input
1047            (values read-pipe
1048                    (make-fd-stream write-pipe
1049                                    :direction :output
1050                                    :element-type element-type
1051                                    :interactive nil
1052                                    :sharing sharing
1053                                    :basic t
1054                                    :auto-close t)
1055                    (cons read-pipe close-in-parent)
1056                    (cons write-pipe close-on-error)))
1057           (:output
1058            (values write-pipe
1059                    (make-fd-stream read-pipe
1060                                    :direction :input
1061                                    :element-type element-type
1062                                    :interactive nil
1063                                    :basic t
1064                                    :sharing sharing
1065                                    :auto-close t)
1066                    (cons write-pipe close-in-parent)
1067                    (cons read-pipe close-on-error)))
1068           (t
1069            (fd-close read-pipe)
1070            (fd-close write-pipe)
1071            (report-bad-arg direction '(member :input :output))))))
1072      ((or pathname string)
1073       (with-open-stream (file (apply #'open object keys))
1074         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)))))
1075           (values fd
1076                   nil
1077                   (cons fd close-in-parent)
1078                   (cons fd close-on-error)))))
1079      (fd-stream
1080       (let ((fd (fd-dup (ioblock-device (stream-ioblock object t)))))
1081         (values fd
1082                 nil
1083                 (cons fd close-in-parent)
1084                 (cons fd close-on-error))))
1085      (stream
1086       (ecase direction
1087         (:input
1088          (with-cstrs ((template "/tmp/lisp-tempXXXXXX"))
1089            (let* ((fd (#_mkstemp template)))
1090              (if (< fd 0)
1091                (%errno-disp fd))
1092              (#_unlink template)
1093              (loop
1094                (multiple-value-bind (line no-newline)
1095                    (read-line object nil nil)
1096                  (unless line
1097                    (return))
1098                  (let* ((len (length line)))
1099                    (%stack-block ((buf (1+ len)))
1100                      (%cstr-pointer line buf)
1101                      (fd-write fd buf len)
1102                      (if no-newline
1103                        (return))
1104                      (setf (%get-byte buf) (char-code #\newline))
1105                      (fd-write fd buf 1)))))
1106              (fd-lseek fd 0 #$SEEK_SET)
1107              (values fd nil (cons fd close-in-parent) (cons fd close-on-error)))))
1108         (:output
1109          (multiple-value-bind (read-pipe write-pipe) (pipe)
1110            (push read-pipe (external-process-watched-fds proc))
1111            (push object (external-process-watched-streams proc))
1112            (incf (car (external-process-token proc)))
1113            (values write-pipe
1114                    nil
1115                    (cons write-pipe close-in-parent)
1116                    (cons read-pipe close-on-error))))))))
1117
1118  (let* ((external-processes ())
1119         (external-processes-lock (make-lock)))
1120    (defun add-external-process (p)
1121      (with-lock-grabbed (external-processes-lock)
1122        (push p external-processes)))
1123    (defun remove-external-process (p)
1124      (with-lock-grabbed (external-processes-lock)
1125        (setq external-processes (delete p external-processes))))
1126    ;; Likewise
1127    (defun external-processes ()
1128      (with-lock-grabbed (external-processes-lock)
1129        (copy-list external-processes)))
1130    )
1131
1132
1133  (defmacro wtermsig (status)
1134    `(ldb (byte 7 0) ,status))
1135
1136  (defmacro wexitstatus (status)
1137    `(ldb (byte 8 8) (the fixnum ,status)))
1138
1139  (defmacro wstopsig (status)
1140    `(wexitstatus ,status))
1141
1142  (defmacro wifexited (status)
1143    `(eql (wtermsig ,status) 0))
1144
1145  (defmacro wifstopped (status)
1146    `(eql #x7f (ldb (byte 7 0) (the fixnum ,status))))
1147
1148  (defun monitor-external-process (p)
1149    (let* ((in-fds (external-process-watched-fds p))
1150           (out-streams (external-process-watched-streams p))
1151           (token (external-process-token p))
1152           (terminated)
1153           (changed)
1154           (maxfd 0)
1155           (pairs (pairlis in-fds out-streams)))
1156      (%stack-block ((in-fd-set *fd-set-size*))
1157        (rlet ((tv #>timeval))
1158          (loop
1159            (when changed
1160              (setq pairs (delete nil pairs :key #'car)
1161                    changed nil))
1162            (when (and terminated (null pairs))
1163              (signal-semaphore (external-process-completed p))
1164              (return))
1165            (when pairs
1166              (fd-zero in-fd-set)
1167              (setq maxfd 0)
1168              (dolist (p pairs)
1169                (let* ((fd (car p)))
1170                  (when (> fd maxfd)
1171                    (setq maxfd fd))
1172                  (fd-set fd in-fd-set)))
1173              (setf (pref tv #>timeval.tv_sec) 1
1174                    (pref tv #>timeval.tv_usec) 0)
1175              (when (> (#_select (1+ maxfd) in-fd-set (%null-ptr) (%null-ptr) tv)
1176                       0)
1177                (dolist (p pairs)
1178                  (let* ((in-fd (car p))
1179                         (out-stream (cdr p)))
1180                    (when (fd-is-set in-fd in-fd-set)
1181                      (%stack-block ((buf 1024))
1182                        (let* ((n (fd-read in-fd buf 1024)))
1183                          (declare (fixnum n))
1184                          (if (<= n 0)
1185                            (without-interrupts
1186                              (decf (car token))
1187                              (fd-close in-fd)
1188                              (setf (car p) nil changed t))
1189                            (let* ((string (make-string 1024)))
1190                              (declare (dynamic-extent string))
1191                              (%str-from-ptr buf n string)
1192                              (write-sequence string out-stream :end n))))))))))
1193            (let* ((statusflags (check-pid (external-process-pid p)
1194                                           (logior
1195                                            (if in-fds #$WNOHANG 0)
1196                                            #$WUNTRACED)))
1197                   (oldstatus (external-process-%status p)))
1198              (cond ((null statusflags)
1199                     (remove-external-process p)
1200                     (setq terminated t))
1201                    ((eq statusflags t)) ; Running.
1202                    (t
1203                     (multiple-value-bind (status code core)
1204                         (cond ((wifstopped statusflags)
1205                                (values :stopped (wstopsig statusflags)))
1206                               ((wifexited statusflags)
1207                                (values :exited (wexitstatus statusflags)))
1208                               (t
1209                                (let* ((signal (wtermsig statusflags)))
1210                                  (declare (fixnum signal))
1211                                  (values
1212                                   (if (or (= signal #$SIGSTOP)
1213                                           (= signal #$SIGTSTP)
1214                                           (= signal #$SIGTTIN)
1215                                           (= signal #$SIGTTOU))
1216                                     :stopped
1217                                     :signaled)
1218                                   signal
1219                                   (logtest #-solaris-target #$WCOREFLAG
1220                                            #+solaris-target #$WCOREFLG
1221                                            statusflags)))))
1222                       (setf (external-process-%status p) status
1223                             (external-process-%exit-code p) code
1224                             (external-process-core p) core)
1225                       (let* ((status-hook (external-process-status-hook p)))
1226                         (when (and status-hook (not (eq oldstatus status)))
1227                           (funcall status-hook p)))
1228                       (when (or (eq status :exited)
1229                                 (eq status :signaled))
1230                         (remove-external-process p)
1231                         (setq terminated t)))))))))))
1232     
1233  (defun run-external-process (proc in-fd out-fd error-fd argv &optional env)
1234    (let* ((signaled nil))
1235      (unwind-protect
1236           (let* ((child-pid (#-solaris-target #_fork #+solaris-target #_forkall)))
1237             (declare (fixnum child-pid))
1238             (cond ((zerop child-pid)
1239                    ;; Running in the child; do an exec
1240                    (setq signaled t)
1241                    (dolist (pair env)
1242                      (setenv (string (car pair)) (cdr pair)))
1243                    (without-interrupts
1244                     (exec-with-io-redirection
1245                      in-fd out-fd error-fd argv)))
1246                   ((> child-pid 0)
1247                    ;; Running in the parent: success
1248                    (setf (external-process-pid proc) child-pid)
1249                    (add-external-process proc)
1250                    (signal-semaphore (external-process-signal proc))
1251                    (setq signaled t)
1252                    (monitor-external-process proc))
1253                   (t
1254                    ;; Fork failed
1255                    (setf (external-process-%status proc) :error
1256                          (external-process-%exit-code proc) (%get-errno))
1257                    (signal-semaphore (external-process-signal proc))
1258                    (setq signaled t))))
1259        (unless signaled
1260          (setf (external-process-%status proc) :error
1261                (external-process-%exit-code proc) -1)
1262          (signal-semaphore (external-process-signal proc))))))
1263
1264  (defparameter *silently-ignore-catastrophic-failure-in-run-program*
1265    #+ccl-0711 t #-ccl-0711 nil
1266    "If NIL, signal an error if run-program is unable to start the program.
1267If non-NIL, treat failure to start the same as failure from the program
1268itself, by setting the status and exit-code fields.")
1269
1270  (defun run-program (program args &key
1271                              (wait t) pty
1272                              input if-input-does-not-exist
1273                              output (if-output-exists :error)
1274                              (error :output) (if-error-exists :error)
1275                              status-hook (element-type 'character)
1276                              env
1277                              (sharing :private)
1278                              (silently-ignore-catastrophic-failures
1279                               *silently-ignore-catastrophic-failure-in-run-program*))
1280    "Invoke an external program as an OS subprocess of lisp."
1281    (declare (ignore pty))
1282    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1283      (error "Program args must all be simple strings : ~s" args))
1284    (dolist (pair env)
1285      (destructuring-bind (var . val) pair
1286        (check-type var (or string symbol character))
1287        (check-type val string)))
1288    (push (native-untranslated-namestring program) args)
1289    (let* ((token (list 0))
1290           (in-fd nil)
1291           (in-stream nil)
1292           (out-fd nil)
1293           (out-stream nil)
1294           (error-fd nil)
1295           (error-stream nil)
1296           (close-in-parent nil)
1297           (close-on-error nil)
1298           (proc
1299            (make-external-process
1300             :pid nil
1301             :args args
1302             :%status :running
1303             :input nil
1304             :output nil
1305             :error nil
1306             :token token
1307             :status-hook status-hook)))
1308      (unwind-protect
1309           (progn
1310             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1311               (get-descriptor-for input proc  nil nil :direction :input
1312                                   :if-does-not-exist if-input-does-not-exist
1313                                   :element-type element-type
1314                                   :sharing sharing))
1315             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1316               (get-descriptor-for output proc close-in-parent close-on-error
1317                                   :direction :output
1318                                   :if-exists if-output-exists
1319                                   :element-type element-type
1320                                   :sharing sharing))
1321             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1322               (if (eq error :output)
1323                 (values out-fd out-stream close-in-parent close-on-error)
1324                 (get-descriptor-for error proc close-in-parent close-on-error
1325                                     :direction :output
1326                                     :if-exists if-error-exists
1327                                     :sharing sharing
1328                                     :element-type element-type)))
1329             (setf (external-process-input proc) in-stream
1330                   (external-process-output proc) out-stream
1331                   (external-process-error proc) error-stream)
1332             (call-with-string-vector
1333              #'(lambda (argv)
1334                  (process-run-function
1335                   (list :name
1336                         (format nil "Monitor thread for external process ~a" args)
1337                         :stack-size (ash 128 10)
1338                         :vstack-size (ash 128 10)
1339                         :tstack-size (ash 128 10))
1340                   #'run-external-process proc in-fd out-fd error-fd argv env)
1341                  (wait-on-semaphore (external-process-signal proc)))
1342              args))
1343        (dolist (fd close-in-parent) (fd-close fd))
1344        (unless (external-process-pid proc)
1345          (dolist (fd close-on-error) (fd-close fd)))
1346        (when (and wait (external-process-pid proc))
1347          (with-interrupts-enabled
1348              (wait-on-semaphore (external-process-completed proc)))))
1349      (unless (external-process-pid proc)
1350        ;; something is wrong
1351        (if (eq (external-process-%status proc) :error)
1352          ;; Fork failed
1353          (unless silently-ignore-catastrophic-failures
1354            (cerror "Pretend the program ran and failed" 'external-process-creation-failure :proc proc))
1355          ;; Currently can't happen.
1356          (error "Bug: fork failed but status field not set?")))
1357      proc))
1358
1359
1360
1361  (defmacro wifsignaled (status)
1362    (let* ((statname (gensym)))
1363      `(let* ((,statname ,status))
1364        (and (not (wifstopped ,statname)) (not (wifexited ,statname))))))
1365
1366
1367  (defun check-pid (pid &optional (flags (logior  #$WNOHANG #$WUNTRACED)))
1368    (declare (fixnum pid))
1369    (rlet ((status :signed))
1370      (let* ((retval (ff-call-ignoring-eintr (#_waitpid pid status flags))))
1371        (declare (fixnum retval))
1372        (if (= retval pid)
1373          (pref status :signed)
1374          (zerop retval)))))
1375
1376
1377
1378
1379
1380  (defun external-process-wait (proc &optional check-stopped)
1381    (process-wait "external-process-wait"
1382                  #'(lambda ()
1383                      (case (external-process-%status proc)
1384                        (:running)
1385                        (:stopped
1386                         (when check-stopped
1387                           t))
1388                        (t
1389                         (when (zerop (car (external-process-token proc)))
1390                           t))))))
1391
1392
1393
1394
1395
1396  (defun external-process-error-stream (proc)
1397    "Return the stream which is used to read error output from a given OS
1398subprocess, if it has one."
1399    (require-type proc 'external-process)
1400    (external-process-error proc))
1401
1402
1403 
1404  (defun signal-external-process (proc signal)
1405    "Send the specified signal to the specified external process.  (Typically,
1406it would only be useful to call this function if the EXTERNAL-PROCESS was
1407created with :WAIT NIL.) Return T if successful; NIL if the process wasn't
1408created successfully, and signal an error otherwise."
1409    (require-type proc 'external-process)
1410    (let* ((pid (external-process-pid proc)))
1411      (when pid
1412        (let ((error (int-errno-call (#_kill pid signal))))
1413          (or (eql error 0)
1414              (%errno-disp error))))))
1415
1416  )                                     ; #-windows-target (progn
1417
1418#+windows-target
1419(progn
1420  (defun temp-file-name (prefix)
1421    "Returns a unique name for a temporary file, residing in system temp
1422space, and prefixed with PREFIX."
1423    (rlet ((buffer (:array :wchar_t #.#$MAX_PATH)))
1424      (#_GetTempPathW #$MAX_PATH buffer)
1425      (with-filename-cstrs ((c-prefix prefix)) 
1426        (#_GetTempFileNameW buffer c-prefix 0 buffer)
1427        (%get-native-utf-16-cstring buffer))))
1428 
1429  (defun get-descriptor-for (object proc close-in-parent close-on-error
1430                                    &rest keys
1431                                    &key
1432                                    direction (element-type 'character)
1433                                    (sharing :private)
1434                                    &allow-other-keys)
1435    (etypecase object
1436      ((eql t)
1437       (values nil nil close-in-parent close-on-error))
1438      (null
1439       (let* ((null-device "nul")
1440              (fd (fd-open null-device (case direction
1441                                         (:input #$O_RDONLY)
1442                                         (:output #$O_WRONLY)
1443                                         (t #$O_RDWR)))))
1444         (if (< fd 0)
1445           (signal-file-error fd null-device))
1446         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1447      ((eql :stream)
1448       (multiple-value-bind (read-pipe write-pipe) (pipe)
1449         (case direction
1450           (:input
1451            (values read-pipe
1452                    (make-fd-stream (fd-uninheritable write-pipe :direction :output)
1453                                    :direction :output
1454                                    :element-type element-type
1455                                    :interactive nil
1456                                    :basic t
1457                                    :sharing sharing
1458                                    :auto-close t)
1459                    (cons read-pipe close-in-parent)
1460                    (cons write-pipe close-on-error)))
1461           (:output
1462            (values write-pipe
1463                    (make-fd-stream (fd-uninheritable read-pipe :direction :input)
1464                                    :direction :input
1465                                    :element-type element-type
1466                                    :interactive nil
1467                                    :basic t
1468                                    :sharing sharing
1469                                    :auto-close t)
1470                    (cons write-pipe close-in-parent)
1471                    (cons read-pipe close-on-error)))
1472           (t
1473            (fd-close read-pipe)
1474            (fd-close write-pipe)
1475            (report-bad-arg direction '(member :input :output))))))
1476      ((or pathname string)
1477       (with-open-stream (file (apply #'open object keys))
1478         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)) :direction direction :inheritable t)))
1479           (values fd
1480                   nil
1481                   (cons fd close-in-parent)
1482                   (cons fd close-on-error)))))
1483      (fd-stream
1484       (let ((fd (fd-dup (ioblock-device (stream-ioblock object t)))))
1485         (values fd
1486                 nil
1487                 (cons fd close-in-parent)
1488                 (cons fd close-on-error))))
1489      (stream
1490       (ecase direction
1491         (:input
1492          (let* ((tempname (temp-file-name "lisp-temp"))
1493                 (fd (fd-open tempname #$O_RDWR)))
1494            (if (< fd 0)
1495              (%errno-disp fd))
1496            (loop
1497              (multiple-value-bind (line no-newline)
1498                  (read-line object nil nil)
1499                (unless line
1500                  (return))
1501                (let* ((len (length line)))
1502                  (%stack-block ((buf (1+ len)))
1503                    (%cstr-pointer line buf)
1504                    (fd-write fd buf len)
1505                    (if no-newline
1506                      (return))
1507                    (setf (%get-byte buf) (char-code #\newline))
1508                    (fd-write fd buf 1)))))
1509            (fd-lseek fd 0 #$SEEK_SET)
1510            (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1511         (:output
1512          (multiple-value-bind (read-pipe write-pipe) (pipe)
1513            (push read-pipe (external-process-watched-fds proc))
1514            (push object (external-process-watched-streams proc))
1515            (incf (car (external-process-token proc)))
1516            (values write-pipe
1517                    nil
1518                    (cons write-pipe close-in-parent)
1519                    (cons read-pipe close-on-error))))))))
1520
1521  (defstruct external-process
1522    pid
1523    %status
1524    %exit-code
1525    pty
1526    input
1527    output
1528    error
1529    status-hook
1530    plist
1531    token
1532    core
1533    args
1534    (signal (make-semaphore))
1535    (completed (make-semaphore))
1536    watched-fds
1537    watched-streams
1538    )
1539
1540
1541
1542  (defmethod print-object ((p external-process) stream)
1543    (print-unreadable-object (p stream :type t :identity t)
1544      (let* ((status (external-process-%status p)))
1545        (let* ((*print-length* 3))
1546          (format stream "~a" (external-process-args p)))
1547        (format stream "[~d] (~a" (external-process-pid p) status)
1548        (unless (eq status :running)
1549          (format stream " : ~d" (external-process-%exit-code p)))
1550        (format stream ")"))))
1551
1552  (defun run-program (program args &key
1553                              (wait t) pty
1554                              input if-input-does-not-exist
1555                              output (if-output-exists :error)
1556                              (error :output) (if-error-exists :error)
1557                              status-hook (element-type 'character)
1558                              (sharing :private)
1559                              env)
1560    "Invoke an external program as an OS subprocess of lisp."
1561    (declare (ignore pty))
1562    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1563      (error "Program args must all be simple strings : ~s" args))
1564    (push program args)
1565    (let* ((token (list 0))
1566           (in-fd nil)
1567           (in-stream nil)
1568           (out-fd nil)
1569           (out-stream nil)
1570           (error-fd nil)
1571           (error-stream nil)
1572           (close-in-parent nil)
1573           (close-on-error nil)
1574           (proc
1575            (make-external-process
1576             :pid nil
1577             :args args
1578             :%status :running
1579             :input nil
1580             :output nil
1581             :error nil
1582             :token token
1583             :status-hook status-hook)))
1584      (unwind-protect
1585           (progn
1586             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1587               (get-descriptor-for input proc  nil nil :direction :input
1588                                   :if-does-not-exist if-input-does-not-exist
1589                                   :sharing sharing
1590                                   :element-type element-type))
1591             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1592               (get-descriptor-for output proc close-in-parent close-on-error
1593                                   :direction :output
1594                                   :if-exists if-output-exists
1595                                   :sharing sharing
1596                                   :element-type element-type))
1597             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1598               (if (eq error :output)
1599                 (values out-fd out-stream close-in-parent close-on-error)
1600                 (get-descriptor-for error proc close-in-parent close-on-error
1601                                     :direction :output
1602                                     :if-exists if-error-exists
1603                                     :sharing sharing
1604                                     :element-type element-type)))
1605             (setf (external-process-input proc) in-stream
1606                   (external-process-output proc) out-stream
1607                   (external-process-error proc) error-stream)
1608             (process-run-function
1609              (format nil "Monitor thread for external process ~a" args)
1610                   
1611              #'run-external-process proc in-fd out-fd error-fd env)
1612             (wait-on-semaphore (external-process-signal proc))
1613             )
1614        (dolist (fd close-in-parent) (fd-close fd))
1615        (if (external-process-pid proc)
1616          (when (and wait (external-process-pid proc))
1617            (with-interrupts-enabled
1618                (wait-on-semaphore (external-process-completed proc))))
1619          (progn
1620            (dolist (fd close-on-error) (fd-close fd)))))
1621      proc))
1622
1623  (let* ((external-processes ())
1624         (external-processes-lock (make-lock)))
1625    (defun add-external-process (p)
1626      (with-lock-grabbed (external-processes-lock)
1627        (push p external-processes)))
1628    (defun remove-external-process (p)
1629      (with-lock-grabbed (external-processes-lock)
1630        (setq external-processes (delete p external-processes))))
1631    ;; Likewise
1632    (defun external-processes ()
1633      (with-lock-grabbed (external-processes-lock)
1634        (copy-list external-processes)))
1635    )
1636
1637
1638
1639
1640  (defun run-external-process (proc in-fd out-fd error-fd &optional env)
1641    (let* ((args (external-process-args proc))
1642           (child-pid (exec-with-io-redirection in-fd out-fd error-fd args proc env)))
1643      (when child-pid
1644        (setf (external-process-pid proc) child-pid)
1645        (add-external-process proc)
1646        (signal-semaphore (external-process-signal proc))
1647        (monitor-external-process proc))))
1648
1649  (defun join-strings (strings)
1650    (reduce (lambda (left right) (concatenate 'string left " " right)) strings))
1651
1652  (defun exec-with-io-redirection (new-in new-out new-err args proc &optional env)
1653    (declare (ignore env))              ; until we can do better.
1654    (with-filename-cstrs ((command (join-strings args)))
1655      (rletz ((proc-info #>PROCESS_INFORMATION)
1656              (si #>STARTUPINFO))
1657        (setf (pref si #>STARTUPINFO.cb) (record-length #>STARTUPINFO))
1658        (setf (pref si #>STARTUPINFO.dwFlags)
1659              (logior #$STARTF_USESTDHANDLES #$STARTF_USESHOWWINDOW))
1660        (setf (pref si #>STARTUPINFO.wShowWindow) #$SW_HIDE)
1661        (setf (pref si #>STARTUPINFO.hStdInput)
1662              (if new-in
1663                (%int-to-ptr new-in)
1664                (#_GetStdHandle #$STD_INPUT_HANDLE)))
1665        (setf (pref si #>STARTUPINFO.hStdOutput)
1666              (if new-out
1667                (%int-to-ptr new-out)
1668                (#_GetStdHandle #$STD_OUTPUT_HANDLE)))
1669        (setf (pref si #>STARTUPINFO.hStdError)
1670              (if new-err
1671                (%int-to-ptr new-err)
1672                (#_GetStdHandle #$STD_ERROR_HANDLE)))
1673        (if (zerop (#_CreateProcessW (%null-ptr)
1674                                     command
1675                                     (%null-ptr)
1676                                     (%null-ptr)
1677                                     1
1678                                     #$CREATE_NEW_CONSOLE
1679                                     (%null-ptr)
1680                                     (%null-ptr)
1681                                     si
1682                                     proc-info))
1683          (progn
1684            (setf (external-process-%status proc) :error
1685                  (external-process-%exit-code proc) (#_GetLastError))
1686            (signal-semaphore (external-process-signal proc))
1687            (signal-semaphore (external-process-completed proc))
1688            nil)
1689          (progn
1690            (#_CloseHandle (pref proc-info #>PROCESS_INFORMATION.hThread))
1691            (pref proc-info #>PROCESS_INFORMATION.hProcess))))))
1692
1693  (defun fd-uninheritable (fd &key direction)
1694    (let ((new-fd (fd-dup fd :direction direction)))
1695      (fd-close fd)
1696      new-fd))
1697
1698 
1699  (defun data-available-on-pipe-p (hpipe)
1700    (rlet ((navail #>DWORD 0))
1701      (unless (eql 0 (#_PeekNamedPipe (if (typep hpipe 'macptr)
1702                                        hpipe
1703                                        (%int-to-ptr hpipe))
1704                                      (%null-ptr)
1705                                      0
1706                                      (%null-ptr)
1707                                      navail
1708                                      (%null-ptr)))
1709        (not (eql 0 (pref navail #>DWORD))))))
1710   
1711
1712  ;;; There doesn't seem to be any way to wait on input from an
1713  ;;; anonymous pipe in Windows (that would, after all, make too
1714  ;;; much sense.)  We -can- check for pending unread data on
1715  ;;; pipes, and can expect to eventually get EOF on a pipe.
1716  ;;; So, this tries to loop until the process handle is signaled and
1717  ;;; all data has been read.
1718  (defun monitor-external-process (p)
1719    (let* ((in-fds (external-process-watched-fds p))
1720           (out-streams (external-process-watched-streams p))
1721           (token (external-process-token p))
1722           (terminated)
1723           (changed)
1724           (pairs (pairlis in-fds out-streams))
1725           )
1726      (loop
1727        (when changed
1728          (setq pairs (delete nil pairs :key #'car)
1729                changed nil))
1730        (when (and terminated (null pairs))
1731          (without-interrupts
1732           (rlet ((code #>DWORD))
1733             (loop
1734               (#_GetExitCodeProcess (external-process-pid p) code)
1735               (unless (eql (pref code #>DWORD) #$STILL_ACTIVE)
1736                 (return))
1737               (#_SleepEx 10 #$TRUE))
1738             (setf (external-process-%exit-code p) (pref code #>DWORD)))
1739           (#_CloseHandle (external-process-pid p))
1740           (setf (external-process-pid p) nil)
1741           (setf (external-process-%status p) :exited)
1742           (let ((status-hook (external-process-status-hook p)))
1743             (when status-hook
1744               (funcall status-hook p)))
1745           (remove-external-process p)
1746           (signal-semaphore (external-process-completed p))
1747           (return)))
1748        (dolist (p pairs)
1749          (let* ((in-fd (car p))
1750                 (out-stream (cdr p)))
1751            (when (or terminated (data-available-on-pipe-p in-fd))
1752              (%stack-block ((buf 1024))
1753                (let* ((n (fd-read in-fd buf 1024)))
1754                  (declare (fixnum n))
1755                  (if (<= n 0)
1756                    (progn
1757                      (without-interrupts
1758                       (decf (car token))
1759                       (fd-close in-fd)
1760                       (setf (car p) nil changed t)))
1761
1762                    (let* ((string (make-string n))
1763                           (m 0))
1764                      (declare (dynamic-extent string)
1765                               (fixmum m))
1766                      ;; Not quite right: we really want to map
1767                      ;; CRLF to #\Newline, but stripping #\Return
1768                      ;; is usually the same thing and easier.
1769                      (dotimes (i n)
1770                        (let* ((code (%get-unsigned-byte buf i)))
1771                          (unless (eql code (char-code #\Return))
1772                            (setf (schar string m) (code-char code))
1773                            (incf m))))
1774                      (write-sequence string out-stream :end m)
1775                      (force-output out-stream))))))))
1776        (unless terminated
1777          (setq terminated (eql (#_WaitForSingleObjectEx
1778                                 (external-process-pid p)
1779                                 1000
1780                                 #$true)
1781                                #$WAIT_OBJECT_0))))))
1782 
1783
1784  (defun signal-external-process (proc signal)
1785    "Does nothing on Windows"
1786    (declare (ignore signal))
1787    (require-type proc 'external-process)
1788    nil) 
1789
1790
1791)
1792                                        ;#+windows-target (progn
1793
1794
1795(defun external-process-input-stream (proc)
1796  "Return the lisp stream which is used to write input to a given OS
1797subprocess, if it has one."
1798  (require-type proc 'external-process)
1799  (external-process-input proc))
1800
1801(defun external-process-output-stream (proc)
1802  "Return the lisp stream which is used to read output from a given OS
1803subprocess, if there is one."
1804  (require-type proc 'external-process)
1805  (external-process-output proc))
1806
1807
1808(defun external-process-id (proc)
1809  "Return the process id of an OS subprocess, a positive integer which
1810identifies it."
1811  (require-type proc 'external-process)
1812  (external-process-pid proc))
1813
1814(defun external-process-status (proc)
1815  "Return information about whether an OS subprocess is running; or, if
1816not, why not; and what its result code was if it completed."
1817  (require-type proc 'external-process)
1818  (values (external-process-%status proc)
1819          (external-process-%exit-code proc)))
1820
1821;;; EOF on a TTY is transient, but I'm less sure of other cases.
1822(defun eof-transient-p (fd)
1823  (case (%unix-fd-kind fd)
1824    (:tty t)
1825    #+windows-target (:character-special t)
1826    (t nil)))
1827
1828
1829(defstruct (shared-resource (:constructor make-shared-resource (name)))
1830  (name)
1831  (lock (make-lock))
1832  (primary-owner *current-process*)
1833  (primary-owner-notify (make-semaphore))
1834  (current-owner nil)
1835  (requestors (make-dll-header)))
1836
1837(defstruct (shared-resource-request
1838             (:constructor make-shared-resource-request (process))
1839             (:include dll-node))
1840  process
1841  (signal (make-semaphore)))
1842             
1843
1844;; Returns NIL if already owned by calling thread, T otherwise
1845(defun %acquire-shared-resource (resource  &optional verbose)
1846  (let* ((current *current-process*))
1847    (with-lock-grabbed ((shared-resource-lock resource))
1848      (let* ((secondary (shared-resource-current-owner resource)))
1849        (if (or (eq current secondary)
1850                (and (null secondary)
1851                     (eq current (shared-resource-primary-owner resource))))
1852          (return-from %acquire-shared-resource nil))))
1853    (let* ((request (make-shared-resource-request *current-process*)))
1854      (when verbose
1855        (format t "~%~%;;;~%;;; ~a requires access to ~a~%;;; Type (:y ~D) to yield control to this thread.~%;;;~%"
1856                *current-process* (shared-resource-name resource)
1857                (process-serial-number *current-process*)))
1858      (with-lock-grabbed ((shared-resource-lock resource))
1859        (append-dll-node request (shared-resource-requestors resource)))
1860      (wait-on-semaphore (shared-resource-request-signal request))
1861      (assert (eq current (shared-resource-current-owner resource)))
1862      (when verbose
1863        (format t "~%~%;;;~%;;; ~a is now owned by ~a~%;;;~%~%"
1864                (shared-resource-name resource) current))
1865      t)))
1866
1867;;; If we're the primary owner and there is no secondary owner, do nothing.
1868;;; If we're the secondary owner, cease being the secondary owner.
1869(defun %release-shared-resource (r)
1870  (let* ((not-any-owner ()))
1871    (with-lock-grabbed ((shared-resource-lock r))
1872      (let* ((current *current-process*)
1873             (primary (shared-resource-primary-owner r))
1874             (secondary (shared-resource-current-owner r)))
1875        (unless (setq not-any-owner
1876                      (not (or (eq current secondary)
1877                               (and (null secondary)
1878                                    (eq current primary)))))
1879          (when (eq current secondary)
1880            (setf (shared-resource-current-owner r) nil)
1881            (signal-semaphore (shared-resource-primary-owner-notify r))))))
1882    (when not-any-owner
1883      (signal-program-error "Process ~a does not own ~a" *current-process*
1884                            (shared-resource-name r)))))
1885
1886;;; The current thread should be the primary owner; there should be
1887;;; no secondary owner.  Wakeup the specified (or first) requesting
1888;;; process, then block on our semaphore
1889(defun %yield-shared-resource (r &optional to)
1890  (let* ((request nil))
1891    (with-lock-grabbed ((shared-resource-lock r))
1892      (let* ((current *current-process*)
1893             (primary (shared-resource-primary-owner r)))
1894        (when (and (eq current primary)
1895                   (null (shared-resource-current-owner r)))
1896          (setq request
1897                (let* ((header (shared-resource-requestors r)))
1898                  (if to 
1899                    (do-dll-nodes (node header)
1900                      (when (eq to (shared-resource-request-process node))
1901                        (return node)))
1902                    (let* ((first (dll-header-first header)))
1903                      (unless (eq first header)
1904                        first)))))
1905          (when request
1906            (remove-dll-node request)
1907            (setf (shared-resource-current-owner r)
1908                  (shared-resource-request-process request))
1909            (signal-semaphore (shared-resource-request-signal request))))))
1910    (when request
1911      (wait-on-semaphore (shared-resource-primary-owner-notify r))
1912      (format t "~%;;;~%;;;control of ~a restored to ~a~%;;;~&"
1913              (shared-resource-name r)
1914              *current-process*))))
1915
1916
1917     
1918
1919(defun %shared-resource-requestor-p (r proc)
1920  (with-lock-grabbed ((shared-resource-lock r))
1921    (do-dll-nodes (node (shared-resource-requestors r))
1922      (when (eq proc (shared-resource-request-process node))
1923        (return t)))))
1924
1925(defparameter *resident-editor-hook* nil
1926  "If non-NIL, should be a function that takes an optional argument
1927   (like ED) and invokes a \"resident\" editor.")
1928
1929(defun ed (&optional arg)
1930  (if *resident-editor-hook*
1931    (funcall *resident-editor-hook* arg)
1932    (error "This implementation doesn't provide a resident editor.")))
1933
1934(defun running-under-emacs-p ()
1935  (not (null (getenv "EMACS"))))
1936
1937(defloadvar *cpu-count* nil)
1938
1939(defun cpu-count ()
1940  (or *cpu-count*
1941      (setq *cpu-count*
1942            #+darwin-target
1943            (rlet ((info :host_basic_info)
1944                   (count :mach_msg_type_number_t #$HOST_BASIC_INFO_COUNT))
1945              (if (eql #$KERN_SUCCESS (#_host_info (#_mach_host_self)
1946                                                   #$HOST_BASIC_INFO
1947                                                   info
1948                                                   count))
1949                (pref info :host_basic_info.max_cpus)
1950                1))
1951            #+(or linux-target solaris-target)
1952            (or
1953             (let* ((n (#_sysconf #$_SC_NPROCESSORS_ONLN)))
1954               (declare (fixnum n))
1955               (if (> n 0) n))
1956             #+linux-target
1957             (ignore-errors
1958               (with-open-file (p "/proc/cpuinfo")
1959                 (let* ((ncpu 0)
1960                        (match "processor")
1961                        (matchlen (length match)))
1962                   (do* ((line (read-line p nil nil) (read-line p nil nil)))
1963                        ((null line) ncpu)
1964                     (let* ((line-length (length line)))
1965                       (when (and
1966                              (> line-length matchlen)
1967                              (string= match line
1968                                       :end2 matchlen)
1969                              (whitespacep (schar line matchlen)))
1970                         (incf ncpu)))))))
1971             1)
1972            #+freebsd-target
1973            (rlet ((ret :uint))
1974              (%stack-block ((mib (* (record-length :uint) 2)))
1975              (setf (paref mib (:array :uint) 0)
1976                    #$CTL_HW
1977                    (paref mib (:array :uint) 1)
1978                    #$HW_NCPU)
1979              (rlet ((oldsize :uint (record-length :uint)))
1980                (if (eql 0 (#_sysctl mib 2 ret oldsize (%null-ptr) 0))
1981                  (pref ret :uint)
1982                  1))))
1983            #+windows-target
1984            (rlet ((procmask #>DWORD_PTR)
1985                   (sysmask #>DWORD_PTR))
1986              (if (eql 0 (#_GetProcessAffinityMask (#_GetCurrentProcess) procmask sysmask))
1987                1
1988                (logcount (pref sysmask #>DWORD_PTR)))))))
1989
1990(def-load-pointers spin-count ()
1991  (if (eql 1 (cpu-count))
1992    (%defglobal '*spin-lock-tries* 1)
1993    (%defglobal '*spin-lock-tries* 1024))
1994  (%defglobal '*spin-lock-timeouts* 0))
1995
1996(defun yield ()
1997  (process-allow-schedule))
1998
1999(defloadvar *host-page-size*
2000    #-windows-target (#_getpagesize)
2001    #+windows-target
2002    (rlet ((info #>SYSTEM_INFO))
2003      (#_GetSystemInfo info)
2004      (pref info #>SYSTEM_INFO.dwPageSize))
2005    )
2006
2007;;(assert (= (logcount *host-page-size*) 1))
2008
2009(defun get-universal-time ()
2010  "Return a single integer for the current time of
2011   day in universal time format."
2012  (rlet ((tv :timeval))
2013    (gettimeofday tv)
2014    (+ (pref tv :timeval.tv_sec) unix-to-universal-time)))
2015
2016#-windows-target
2017(progn
2018(defun map-file-to-ivector (pathname element-type)
2019  (let* ((upgraded-type (upgraded-array-element-type element-type))
2020         (upgraded-ctype (specifier-type upgraded-type)))
2021    (unless (and (typep upgraded-ctype 'numeric-ctype)
2022                 (eq 'integer (numeric-ctype-class upgraded-ctype)))
2023      (error "Invalid element-type: ~s" element-type))
2024    (let* ((bits-per-element (integer-length (- (numeric-ctype-high upgraded-ctype)
2025                                                (numeric-ctype-low upgraded-ctype))))
2026           (fd (fd-open (native-translated-namestring pathname) #$O_RDONLY)))
2027      (if (< fd 0)
2028        (signal-file-error fd pathname)
2029        (let* ((len (fd-size fd)))
2030          (if (< len 0)
2031            (signal-file-error fd pathname)
2032            (let* ((nbytes (+ *host-page-size*
2033                              (logandc2 (+ len
2034                                           (1- *host-page-size*))
2035                                        (1- *host-page-size*))))
2036
2037                   (ndata-elements
2038                    (ash len
2039                         (ecase bits-per-element
2040                           (1 3)
2041                           (8 0)
2042                           (16 -1)
2043                           (32 -2)
2044                           (64 -3))))
2045                   (nalignment-elements
2046                    (ash target::nbits-in-word
2047                         (ecase bits-per-element
2048                           (1 0)
2049                           (8 -3)
2050                           (16 -4)
2051                           (32 -5)
2052                           (64 -6)))))
2053              (if (>= (+ ndata-elements nalignment-elements)
2054                      array-total-size-limit)
2055                (progn
2056                  (fd-close fd)
2057                  (error "Can't make a vector with ~s elements in this implementation." (+ ndata-elements nalignment-elements)))
2058                (let* ((addr (#_mmap (%null-ptr)
2059                                     nbytes
2060                                     #$PROT_NONE
2061                                     (logior #$MAP_ANON #$MAP_PRIVATE)
2062                                     -1
2063                                     0)))             
2064                  (if (eql addr (%int-to-ptr (1- (ash 1 target::nbits-in-word)))) ; #$MAP_FAILED
2065                    (let* ((errno (%get-errno)))
2066                      (fd-close fd)
2067                      (error "Can't map ~d bytes: ~a" nbytes (%strerror errno)))
2068              ;;; Remap the first page so that we can put a vector header
2069              ;;; there; use the first word on the first page to remember
2070              ;;; the file descriptor.
2071                    (progn
2072                      (#_mmap addr
2073                              *host-page-size*
2074                              (logior #$PROT_READ #$PROT_WRITE)
2075                              (logior #$MAP_ANON #$MAP_PRIVATE #$MAP_FIXED)
2076                              -1
2077                              0)
2078                      (setf (pref addr :int) fd)
2079                      (let* ((header-addr (%inc-ptr addr (- *host-page-size*
2080                                                            (* 2 target::node-size)))))
2081                        (setf (pref header-addr :unsigned-long)
2082                              (logior (element-type-subtype upgraded-type)
2083                                      (ash (+ ndata-elements nalignment-elements) target::num-subtag-bits)))
2084                        (when (> len 0)
2085                          (let* ((target-addr (%inc-ptr header-addr (* 2 target::node-size))))
2086                            (unless (eql target-addr
2087                                         (#_mmap target-addr
2088                                                 len
2089                                                 #$PROT_READ
2090                                                 (logior #$MAP_PRIVATE #$MAP_FIXED)
2091                                                 fd
2092                                                 0))
2093                              (let* ((errno (%get-errno)))
2094                                (fd-close fd)
2095                                (#_munmap addr nbytes)
2096                                (error "Mapping failed: ~a" (%strerror errno))))))
2097                        (with-macptrs ((v (%inc-ptr header-addr target::fulltag-misc)))
2098                          (let* ((vector (rlet ((p :address v)) (%get-object p 0))))
2099                            ;; Tell some parts of OpenMCL - notably the
2100                            ;; printer - that this thing off in foreign
2101                            ;; memory is a real lisp object and not
2102                            ;; "bogus".
2103                            (with-lock-grabbed (*heap-ivector-lock*)
2104                              (push vector *heap-ivectors*))
2105                            (make-array ndata-elements
2106                                        :element-type upgraded-type
2107                                        :displaced-to vector
2108                                        :adjustable t
2109                                        :displaced-index-offset nalignment-elements)))))))))))))))
2110
2111(defun map-file-to-octet-vector (pathname)
2112  (map-file-to-ivector pathname '(unsigned-byte 8)))
2113
2114(defun mapped-vector-data-address-and-size (displaced-vector)
2115  (let* ((v (array-displacement displaced-vector))
2116         (element-type (array-element-type displaced-vector)))
2117    (if (or (eq v displaced-vector)
2118            (not (with-lock-grabbed (*heap-ivector-lock*)
2119                   (member v *heap-ivectors*))))
2120      (error "~s doesn't seem to have been allocated via ~s and not yet unmapped" displaced-vector 'map-file-to-ivector))
2121    (let* ((pv (rlet ((x :address)) (%set-object x 0 v) (pref x :address)))
2122           (ctype (specifier-type element-type))
2123           (arch (backend-target-arch *target-backend*)))
2124      (values (%inc-ptr pv (- (* 2 target::node-size) target::fulltag-misc))
2125              (- (funcall (arch::target-array-data-size-function arch)
2126                          (ctype-subtype ctype)
2127                          (length v))
2128                 target::node-size)))))
2129
2130 
2131;;; Argument should be something returned by MAP-FILE-TO-IVECTOR;
2132;;; this should be called at most once for any such object.
2133(defun unmap-ivector (displaced-vector)
2134  (multiple-value-bind (data-address size-in-octets)
2135      (mapped-vector-data-address-and-size displaced-vector)
2136  (let* ((v (array-displacement displaced-vector))
2137         (base-address (%inc-ptr data-address (- *host-page-size*)))
2138         (fd (pref base-address :int)))
2139      (let* ((element-type (array-element-type displaced-vector)))
2140        (adjust-array displaced-vector 0
2141                      :element-type element-type
2142                      :displaced-to (make-array 0 :element-type element-type)
2143                      :displaced-index-offset 0))
2144      (with-lock-grabbed (*heap-ivector-lock*)
2145        (setq *heap-ivectors* (delete v *heap-ivectors*)))
2146      (#_munmap base-address (+ size-in-octets *host-page-size*))     
2147      (fd-close fd)
2148      t)))
2149
2150(defun unmap-octet-vector (v)
2151  (unmap-ivector v))
2152
2153(defun lock-mapped-vector (v)
2154  (multiple-value-bind (address nbytes)
2155      (mapped-vector-data-address-and-size v)
2156    (eql 0 (#_mlock address nbytes))))
2157
2158(defun unlock-mapped-vector (v)
2159  (multiple-value-bind (address nbytes)
2160      (mapped-vector-data-address-and-size v)
2161    (eql 0 (#_munlock address nbytes))))
2162
2163(defun bitmap-for-mapped-range (address nbytes)
2164  (let* ((npages (ceiling nbytes *host-page-size*)))
2165    (%stack-block ((vec npages))
2166      (when (eql 0 (#_mincore address nbytes vec))
2167        (let* ((bits (make-array npages :element-type 'bit)))
2168          (dotimes (i npages bits)
2169            (setf (sbit bits i)
2170                  (logand 1 (%get-unsigned-byte vec i)))))))))
2171
2172(defun percentage-of-resident-pages (address nbytes)
2173  (let* ((npages (ceiling nbytes *host-page-size*)))
2174    (%stack-block ((vec npages))
2175      (when (eql 0 (#_mincore address nbytes vec))
2176        (let* ((nresident 0))
2177          (dotimes (i npages (* 100.0 (/ nresident npages)))
2178            (when (logbitp 0 (%get-unsigned-byte vec i))
2179              (incf nresident))))))))
2180
2181(defun mapped-vector-resident-pages (v)
2182  (multiple-value-bind (address nbytes)
2183      (mapped-vector-data-address-and-size v)
2184    (bitmap-for-mapped-range address nbytes)))
2185
2186(defun mapped-vector-resident-pages-percentage (v)
2187  (multiple-value-bind (address nbytes)
2188      (mapped-vector-data-address-and-size v)
2189    (percentage-of-resident-pages address nbytes)))
2190)
2191
2192#+windows-target
2193(defun cygpath (winpath)
2194  "Try to use the Cygwin \"cygpath\" program to map a Windows-style
2195   pathname to a POSIX-stype Cygwin pathname."
2196  (let* ((posix-path winpath))
2197    (with-output-to-string (s)
2198      (multiple-value-bind (status exit-code)
2199          (external-process-status
2200           (run-program "cygpath" (list "-u" winpath) :output s))
2201        (when (and (eq status :exited)
2202                   (eql exit-code 0))
2203          (with-input-from-string (output (get-output-stream-string s))
2204            (setq posix-path (read-line output nil nil))))))
2205    posix-path))
2206
2207#-windows-target (defun cygpath (path) path)
2208     
2209
2210
2211
2212#+x86-target
2213(progn
2214(defloadvar *last-rdtsc-time* 0)
2215
2216(defstatic *rdtsc-estimated-increment* 1 "Should be positive ...")
2217
2218(defun rdtsc-monotonic ()
2219  "Return monotonically increasing values, partly compensating for
2220   OSes that don't keep the TSCs of all processorsin synch."
2221  (loop
2222    (let* ((old *last-rdtsc-time*)
2223           (new (rdtsc)))
2224      (when (< new old)
2225        ;; We're running on a CPU whose TSC is behind the one
2226        ;; on the last CPU we were scheduled on.
2227        (setq new (+ old *rdtsc-estimated-increment*)))
2228      (when (%store-node-conditional target::symbol.vcell *last-rdtsc-time* old new)
2229        (return new)))))
2230
2231(defun estimate-rdtsc-skew (&optional (niter 1000000))
2232  (do* ((i 0 (1+ i))
2233        (last (rdtsc) next)
2234        (next (rdtsc) (rdtsc))
2235        (skew 1))
2236       ((>= i niter) (setq *rdtsc-estimated-increment* skew))
2237    (declare (fixnum last next skew))
2238    (when (> last next)
2239      (let* ((s (- last next)))
2240        (declare (fixnum s))
2241        (when (> s skew) (setq skew s))))))
2242)
2243
2244
Note: See TracBrowser for help on using the repository browser.