source: trunk/source/level-1/linux-files.lisp @ 14582

Last change on this file since 14582 was 14582, checked in by gb, 9 years ago

Don't use MAKE-RECORD this early in the cold load.

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 97.1 KB
Line 
1;;;-*- Mode: Lisp; Package: CCL -*-
2;;;
3;;;   Copyright (C) 2009 Clozure Associates
4;;;   Copyright (C) 1994-2001 Digitool, Inc
5;;;   This file is part of Clozure CL. 
6;;;
7;;;   Clozure CL is licensed under the terms of the Lisp Lesser GNU Public
8;;;   License , known as the LLGPL and distributed with Clozure CL as the
9;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
10;;;   which is distributed with Clozure CL as the file "LGPL".  Where these
11;;;   conflict, the preamble takes precedence. 
12;;;
13;;;   Clozure CL is referenced in the preamble as the "LIBRARY."
14;;;
15;;;   The LLGPL is also available online at
16;;;   http://opensource.franz.com/preamble.html
17
18(in-package "CCL")
19
20(defconstant unix-to-universal-time 2208988800)
21
22#+windows-target
23(progn
24
25
26           
27
28
29
30(defconstant univeral-time-start-in-windows-seconds 9435484800)
31
32(defun windows-filetime-to-universal-time (ft)
33  (let* ((100-ns (dpb (pref ft #>FILETIME.dwHighDateTime) (byte 32 32)
34                      (pref ft #>FILETIME.dwLowDateTime)))
35         (seconds-since-windows-epoch (floor 100-ns 10000000)))
36    (- seconds-since-windows-epoch univeral-time-start-in-windows-seconds)))
37)
38
39(defun get-foreign-namestring (pointer)
40  ;; On Darwin, foreign namestrings are encoded in UTF-8 and
41  ;; are canonically decomposed (NFD).  Use PRECOMPOSE-SIMPLE-STRING
42  ;; to ensure that the string is "precomposed" (NFC), like the
43  ;; rest of the world and most sane people would expect.
44  #+darwin-target
45  (precompose-simple-string (%get-utf-8-cstring pointer))
46  #+windows-target (nbackslash-to-forward-slash
47                     (%get-native-utf-16-cstring pointer))
48  ;; On some other platforms, the namestring is assumed to
49  ;; be encoded according to the current locale's character
50  ;; encoding (though FreeBSD seems to be moving towards
51  ;; precomposed UTF-8.).
52  #-(or darwin-target windows-target)
53  (let* ((encoding-name (pathname-encoding-name)))
54    (if encoding-name
55      (get-encoded-cstring encoding-name pointer)
56      (%get-cstring pointer))))
57
58(defun nanoseconds (seconds)
59  (when (and (typep seconds 'fixnum)
60             (>= (the fixnum seconds) 0))
61    (return-from nanoseconds (values seconds 0)))
62  (check-type seconds (real 0 #.(1- (ash 1 (1- target::nbits-in-word)))))
63  (multiple-value-bind (q r)
64      (floor seconds)
65    (if (zerop r)
66      (setq r 0)
67      (setq r (floor (* r 1000000000))))
68    (values q r)))
69
70(defun milliseconds (seconds)
71  (when (and (typep seconds 'fixnum)
72             (>= (the fixnum seconds) 0))
73    (return-from milliseconds (values seconds 0)))
74  (check-type seconds (real 0 #.(1- (ash 1 (1- target::nbits-in-word)))))
75  (multiple-value-bind (q r)
76      (floor seconds)
77    (if (zerop r)
78      (setq r 0)
79      (setq r (floor (* r 1000))))
80    (values q r)))
81
82(defun microseconds (seconds)
83  (when (and (typep seconds 'fixnum)
84             (>= (the fixnum seconds) 0))
85    (return-from microseconds (values seconds 0)))
86  (check-type seconds (real 0 #.(1- (ash 1 (1- target::nbits-in-word)))))
87  (multiple-value-bind (q r)
88      (floor seconds)
89    (if (zerop r)
90      (setq r 0)
91      (setq r (floor (* r 1000000))))
92    (values q r)))
93
94(defun semaphore-value (s)
95  (if (istruct-typep s 'semaphore)
96    (semaphore.value s)
97    (semaphore-value (require-type s 'semaphore))))
98
99(defun %wait-on-semaphore-ptr (s seconds milliseconds &optional flag)
100  (if flag
101    (if (istruct-typep flag 'semaphore-notification)
102      (setf (semaphore-notification.status flag) nil)
103      (report-bad-arg flag 'semaphore-notification)))
104  (without-interrupts
105   (let* ((status (ff-call
106                   (%kernel-import target::kernel-import-wait-on-semaphore)
107                   :address s
108                   :unsigned seconds
109                   :unsigned milliseconds
110                   :signed))
111          (result (zerop status)))     
112     (declare (fixnum status))
113     (when flag (setf (semaphore-notification.status flag) result))
114     (values result status))))
115
116(defun %process-wait-on-semaphore-ptr (s seconds milliseconds &optional
117                                         (whostate "semaphore wait") flag)
118  (or (%wait-on-semaphore-ptr s 0 0 flag)
119      (with-process-whostate  (whostate)
120        (loop
121          (when (%wait-on-semaphore-ptr s seconds milliseconds flag)
122            (return))))))
123
124 
125(defun wait-on-semaphore (s &optional flag (whostate "semaphore wait"))
126  "Wait until the given semaphore has a positive count which can be
127atomically decremented."
128  (%process-wait-on-semaphore-ptr (semaphore-value s) #xffffff 0 whostate flag)
129  t)
130
131
132(defun %timed-wait-on-semaphore-ptr (semptr duration notification)
133  (or (%wait-on-semaphore-ptr semptr 0 0 notification)
134      (with-process-whostate ("Semaphore timed wait")
135        (let* ((now (get-internal-real-time))
136               (stop (+ now (floor (* duration internal-time-units-per-second)))))
137          (multiple-value-bind (secs millis) (milliseconds duration)
138            (loop
139              (multiple-value-bind (success err)
140                  (progn
141                    (%wait-on-semaphore-ptr semptr secs millis notification))
142                (when success
143                  (return t))
144                (when (or (not (eql err #$EINTR))
145                          (>= (setq now (get-internal-real-time)) stop))
146                  (return nil))
147                (unless (zerop duration)
148                  (let* ((diff (- stop now)))
149                    (multiple-value-bind (remaining-seconds remaining-itus)
150                        (floor diff internal-time-units-per-second)
151                      (setq secs remaining-seconds
152                            millis (floor remaining-itus (/ internal-time-units-per-second 1000)))))))))))))
153
154(defun timed-wait-on-semaphore (s duration &optional notification)
155  "Wait until the given semaphore has a postive count which can be
156atomically decremented, or until a timeout expires."
157  (%timed-wait-on-semaphore-ptr (semaphore-value s) duration notification))
158
159
160(defun %signal-semaphore-ptr (p)
161  (ff-call
162   (%kernel-import target::kernel-import-signal-semaphore)
163   :address p
164   :signed-fullword))
165
166(defun signal-semaphore (s)
167  "Atomically increment the count of a given semaphore."
168  (%signal-semaphore-ptr (semaphore-value s)))
169
170(defun %timed-wait-for-signal (signo seconds millis)
171  (let* ((status (ff-call
172                  (%kernel-import target::kernel-import-wait-for-signal)
173                  :int signo
174                  :unsigned seconds
175                  :unsigned millis
176                  :int)))
177    (values (eql status 0) status)))
178
179(defun wait-for-signal (s duration)
180  (if duration
181    (check-type duration (real 0 #x7fffffff))
182    (setq duration #x7fffffff))
183  (or (multiple-value-bind (result err)
184          (%timed-wait-for-signal s 0 0)
185        (or result
186            (if (or (eql err #$EINTR) ; probably not possible
187                    (eql err #-windows-target #$ETIMEDOUT #+windows-target #$WAIT_TIMEOUT))
188              nil
189              (error "Error waiting for signal ~d: ~a." s (%strerror err)))))
190      (with-process-whostate ("signal wait")
191        (let* ((now (get-internal-real-time))
192               (stop (+ now (floor (* duration internal-time-units-per-second)))))
193          (multiple-value-bind (secs millis) (milliseconds duration)
194            (loop
195              (multiple-value-bind (success err)
196                  (progn
197                    (%timed-wait-for-signal s secs millis))
198                (when success
199                  (return t))
200                (if (or (eql err #-windows-target #$ETIMEDOUT #+windows-target #$WAIT_TIMEOUT)
201                        (>= (setq now (get-internal-real-time)) stop))
202                  (return nil)
203                  (unless (eql err #$EINTR)
204                    (error "Error waiting for signal ~d: ~a." s (%strerror err))))
205                (unless (zerop duration)
206                  (let* ((diff (- stop now)))
207                    (multiple-value-bind (remaining-seconds remaining-itus)
208                        (floor diff internal-time-units-per-second)
209                      (setq secs remaining-seconds
210                            millis (floor remaining-itus (/ internal-time-units-per-second 1000)))))))))))))
211 
212(defun %os-getcwd (buf noctets)
213  ;; Return N < 0, if error
214  ;;        N < noctets: success, string is of length N (octets).
215  ;;        N >= noctets: buffer needs to be larger.
216  (let* ((p #+windows-target
217           (#__wgetcwd buf (ash noctets -1))
218           #-windows-target
219           (#_getcwd buf noctets)))
220    (declare (dynamic-extent p))
221    (if (%null-ptr-p p)
222      (let* ((err (%get-errno)))
223        (if (eql err (- #$ERANGE))
224          (+ noctets noctets)
225          err))
226      #+windows-target
227      (do* ((i 0 (+ i 2)))
228           ((= i noctets) (+ noctets noctets))
229        (when (eql (%get-unsigned-word buf i) 0)
230          (return i)))
231      #-windows-target
232      (dotimes (i noctets (+ noctets noctets))
233        (when (eql 0 (%get-byte buf i))
234          (return i))))))
235
236(defun temp-pathname ()
237  "Return a suitable pathname for a temporary file.  A different name is returned
238each time this is called in a session.  No file by that name existed when last
239checked, though no guarantee is given that one hasn't been created since."
240  (native-to-pathname
241     #-windows-target (get-foreign-namestring (#_tmpnam (%null-ptr)))
242     #+windows-target (rlet ((buffer (:array :wchar_t #.#$MAX_PATH)))
243                        (#_GetTempPathW #$MAX_PATH buffer)
244                        (with-filename-cstrs ((c-prefix "ccl")) 
245                            (#_GetTempFileNameW buffer c-prefix 0 buffer)
246                              (#_DeleteFileW buffer)
247                                (%get-native-utf-16-cstring buffer)))))
248
249(defun current-directory-name ()
250  "Look up the current working directory of the Clozure CL process; unless
251it has been changed, this is the directory Clozure CL was started in."
252  (flet ((try-getting-dirname (bufsize)
253           (%stack-block ((buf bufsize))
254             (let* ((len (%os-getcwd buf bufsize)))
255               (cond ((< len 0) (%errno-disp len))
256                     ((< len bufsize)
257                      (setf (%get-unsigned-byte buf len) 0)
258                      (values (get-foreign-namestring buf) len))
259                     (t (values nil len)))))))
260    (do* ((string nil)
261          (len #+windows-target 128 #-windows-target 64)
262          (bufsize len len))
263         ((multiple-value-setq (string len) (try-getting-dirname bufsize))
264          string))))
265
266
267(defun current-directory ()
268  (mac-default-directory))
269
270(defun (setf current-directory) (path)
271  (cwd path)
272  path)
273
274(defun cd (path)
275  (cwd path))
276
277
278
279
280(defun %chdir (dirname)
281  (with-filename-cstrs ((dirname dirname))
282    (int-errno-call (#+windows-target #__wchdir #-windows-target #_chdir dirname))))
283
284(defun %mkdir (name mode)
285  #+windows-target (declare (ignore mode))
286  (let* ((name name)
287         (len (length name)))
288    (when (and (> len 0) (eql (char name (1- len)) #\/))
289      (setq name (subseq name 0 (1- len))))
290    (with-filename-cstrs ((name name))
291      (int-errno-call (#+windows-target #__wmkdir #-windows-target #_mkdir  name #-windows-target mode)))))
292
293(defun %rmdir (name)
294  (let* ((last (1- (length name))))
295    (when (and (>= last 0)
296               (eql (char name last) #\/))
297      (setq name (subseq name 0 last)))
298    (with-filename-cstrs ((name name))
299      (int-errno-call (#+windows-target #__wrmdir #-windows-target #_rmdir  name)))))
300
301
302(defun getenv (key)
303  "Look up the value of the environment variable named by name, in the
304OS environment."
305  (with-cstrs ((key (string key)))
306    (let* ((env-ptr (%null-ptr)))
307      (declare (dynamic-extent env-ptr))
308      (%setf-macptr env-ptr (#_getenv key))
309      (unless (%null-ptr-p env-ptr)
310        (%get-cstring env-ptr))))
311  )
312
313(defun setenv (key value &optional (overwrite t))
314  "Set the value of the environment variable named by name, in the OS
315environment. If there is no such environment variable, create it."
316  #+windows-target (declare (ignore overwrite))
317  #-windows-target
318  (with-cstrs ((ckey key)
319               (cvalue value))
320    (#_setenv ckey cvalue (if overwrite 1 0)))
321  #+windows-target
322  (with-cstrs ((pair (format nil "~a=~a" key value)))
323    (#__putenv pair))
324  )
325
326#-windows-target                        ; Windows "impersonation" crap ?
327(defun setuid (uid)
328  "Attempt to change the current user ID (both real and effective);
329fails unless the Clozure CL process has super-user privileges or the ID
330given is that of the current user."
331  (int-errno-call (#_setuid uid)))
332
333#-windows-target
334(defun setgid (uid)
335  "Attempt to change the current group ID (both real and effective);
336fails unless the Clozure CL process has super-user privileges or the ID
337given is that of a group to which the current user belongs."
338  (int-errno-call (#_setgid uid)))
339 
340
341;;; On Linux, "stat" & friends are implemented in terms of deeper,
342;;; darker things that need to know what version of the stat buffer
343;;; they're talking about.
344
345#-windows-target
346(defun %stat-values (result stat)
347  (if (eql 0 (the fixnum result)) 
348      (values
349       t
350       (pref stat :stat.st_mode)
351       (pref stat :stat.st_size)
352       #+android-target (pref stat :stat.st_mtime)
353       #+(or (and linux-target (not android-target)) solaris-target)
354       (pref stat :stat.st_mtim.tv_sec)
355       #-(or linux-target solaris-target)
356       (pref stat :stat.st_mtimespec.tv_sec)
357       (pref stat :stat.st_ino)
358       (pref stat :stat.st_uid)
359       (pref stat :stat.st_blksize)
360       #+(or linux-target solaris-target)
361       (round (pref stat #-android-target :stat.st_mtim.tv_nsec
362                         #+android-target :stat.st_mtime_nsec) 1000)
363       #-(or linux-target solaris-target)
364       (round (pref stat :stat.st_mtimespec.tv_nsec) 1000)
365       (pref stat :stat.st_gid))
366      (values nil nil nil nil nil nil nil)))
367
368#+win64-target
369(defun %stat-values (result stat)
370  (if (eql 0 (the fixnum result)) 
371      (values
372       t
373       (pref stat :_stat64.st_mode)
374       (pref stat :_stat64.st_size)
375       (pref stat :_stat64.st_mtime)
376       (pref stat :_stat64.st_ino)
377       (pref stat :_stat64.st_uid)
378       #$BUFSIZ
379       (pref stat :_stat64.st_mtime)     ; ???
380       (pref stat :_stat64.st_gid))
381      (values nil nil nil nil nil nil nil nil nil)))
382
383#+win32-target
384(defun %stat-values (result stat)
385  (if (eql 0 (the fixnum result)) 
386      (values
387       t
388       (pref stat :__stat64.st_mode)
389       (pref stat :__stat64.st_size)
390       (pref stat :__stat64.st_mtime)
391       (pref stat :__stat64.st_ino)
392       (pref stat :__stat64.st_uid)
393       #$BUFSIZ
394       (pref stat :__stat64.st_mtime)     ; ???
395       (pref stat :__stat64.st_gid))
396      (values nil nil nil nil nil nil nil nil nil)))
397
398#+windows-target
399(defun windows-strip-trailing-slash (namestring)
400  (do* ((len (length namestring) (length namestring)))
401       ((<= len 3) namestring)
402    (let* ((p (1- len))
403           (ch (char namestring p)))
404      (unless (or (eql ch #\\)
405                  (eql ch #\/))
406        (return namestring))
407      (setq namestring (subseq namestring 0 p)))))
408
409
410(defun %%stat (name stat)
411  (with-filename-cstrs ((cname #+windows-target (windows-strip-trailing-slash name) #-windows-target name))
412    (%stat-values
413     #+(and linux-target (not android-target))
414     (#_ __xstat #$_STAT_VER_LINUX cname stat)
415     #-(and linux-target (not android-target))
416     (int-errno-ffcall (%kernel-import target::kernel-import-lisp-stat)
417                       :address cname
418                       :address stat
419                       :int)
420     stat)))
421
422(defun %%fstat (fd stat)
423  (%stat-values
424   #+(and linux-target (not android-target))
425   (#_ __fxstat #$_STAT_VER_LINUX fd stat)
426   #-(and linux-target (not android-target))
427   (int-errno-ffcall (%kernel-import target::kernel-import-lisp-fstat)
428                     :int fd
429                     :address stat
430                     :int)
431   stat))
432
433#-windows-target
434(defun %%lstat (name stat)
435  (with-filename-cstrs ((cname name))
436    (%stat-values
437     #+(and linux-target (not android-target))
438     (#_ __lxstat #$_STAT_VER_LINUX cname stat)
439     #-(and linux-target (not android-target))
440     (#_lstat cname stat)
441     stat)))
442
443
444;;; Returns: (values t mode size mtime inode uid blksize) on success,
445;;;          (values nil nil nil nil nil nil nil) otherwise
446;;; NAME should be a "native namestring", e.g,, have all lisp pathname
447;;; escaping removed.
448#-windows-target
449(defun %stat (name &optional link-p)
450  (rlet ((stat :stat))
451    (if link-p
452      (%%lstat name stat)
453      (%%stat name stat))))
454
455#+windows-target
456(defun %stat (name &optional link-p)
457  (declare (ignore link-p))
458  (rlet ((stat  #+win64-target #>_stat64 #+win32-target #>__stat64))
459    (%%stat name stat)))
460
461(defun %fstat (fd)
462  (rlet ((stat #+win64-target #>_stat64 #+win32-target #>__stat64 #-windows-target :stat))
463    (%%fstat fd stat)))
464
465
466(defun %file-kind (mode &optional fd)
467  (declare (ignorable fd))
468  (when mode
469    (let* ((kind (logand mode #$S_IFMT)))
470      (cond ((eql kind #$S_IFDIR) :directory)
471            ((eql kind #$S_IFREG) :file)
472            #-windows-target
473            ((eql kind #$S_IFLNK) :link)
474            ((eql kind #$S_IFIFO) 
475             #-windows-target :pipe
476             ;; Windows doesn't seem to be able to distinguish between
477             ;; sockets and pipes.  Since this function is currently
478             ;; (mostly) used for printing streams and since we've
479             ;; already done something fairly expensive (stat, fstat)
480             ;; to get here.  try to distinguish between pipes and
481             ;; sockets by calling #_getsockopt.  If that succeeds,
482             ;; we've got a socket; otherwise, we're probably got a pipe.
483             #+windows-target (rlet ((ptype :int)
484                                     (plen :int 4))
485                                (if (and fd (eql 0 (#_getsockopt fd #$SOL_SOCKET #$SO_TYPE  ptype plen)))
486                                    :socket
487                                    :pipe)))
488            #-windows-target
489            ((eql kind #$S_IFSOCK) :socket)
490            ((eql kind #$S_IFCHR) :character-special)
491            (t :special)))))
492
493(defun %unix-file-kind (native-namestring &optional check-for-link)
494  (%file-kind (nth-value 1 (%stat native-namestring check-for-link))))
495
496(defun %unix-fd-kind (fd)
497  (if (isatty fd)
498    :tty
499    (%file-kind (nth-value 1 (%fstat fd)) fd)))
500
501#-windows-target
502(defun %uts-string (result idx buf)
503  (if (>= result 0)
504    (%get-cstring (%inc-ptr buf (* #+(and linux-target (not android-target)) #$_UTSNAME_LENGTH
505                                   #+android-target (1+ #$__NEW_UTS_LEN)
506                                   #+darwin-target #$_SYS_NAMELEN
507                                   #+(or freebsd-target solaris-target) #$SYS_NMLN
508                                   idx)))
509    "unknown"))
510
511#-windows-target
512(defun copy-file-attributes (source-path dest-path)
513  "Copy the mode, owner, group and modification time of source-path to dest-path.
514   Returns T if succeeded, NIL if some of the attributes couldn't be copied due to
515   permission problems.  Any other failures cause an error to be signalled"
516  (multiple-value-bind (win mode ignore mtime-sec ignore uid ignore mtime-usec gid)
517                       (%stat (native-translated-namestring source-path) t)
518    (declare (ignore ignore))
519    (unless win
520      (error "Cannot get attributes of ~s" source-path))
521    (with-filename-cstrs ((cnamestr (native-translated-namestring dest-path)))
522      (macrolet ((errchk (form)
523                   `(let ((err ,form))
524                      (unless (eql err 0)
525                        (setq win nil)
526                        (when (eql err -1)
527                          (setq err (- (%get-errno))))
528                        (unless (eql err #$EPERM) (%errno-disp err dest-path))))))
529        (errchk (#_chmod cnamestr mode))
530        (errchk (%stack-block ((times (record-length (:array (:struct :timeval) 2))))
531                  (setf (pref times :timeval.tv_sec) mtime-sec)
532                  (setf (pref times :timeval.tv_usec) mtime-usec)
533                  (%incf-ptr times (record-length :timeval))
534                  (setf (pref times :timeval.tv_sec) mtime-sec)
535                  (setf (pref times :timeval.tv_usec) mtime-usec)
536                  (%incf-ptr times (- (record-length :timeval)))
537                  (#_utimes cnamestr times)))
538        (errchk (#_chown cnamestr uid gid))))
539    win))
540
541#+windows-target
542(defun copy-file-attributes (source-path dest-path)
543  "could at least copy the file times"
544  (declare (ignore source-path dest-path)))
545
546
547#+(and linux-target (not android-target))
548(defun %uname (idx)
549  (%stack-block ((buf (* #$_UTSNAME_LENGTH 6))) 
550    (%uts-string (#_uname buf) idx buf)))
551
552#+android-target
553(defun %uname (idx)
554  (%stack-block ((buf (* (1+ #$__NEW_UTS_LEN) 6))) 
555    (%uts-string (#_uname buf) idx buf)))
556
557#+darwin-target
558(defun %uname (idx)
559  (%stack-block ((buf (* #$_SYS_NAMELEN 5)))
560    (%uts-string (#_uname buf) idx buf)))
561
562#+freebsd-target
563(defun %uname (idx)
564  (%stack-block ((buf (* #$SYS_NMLN 5)))
565    (%uts-string (#___xuname #$SYS_NMLN buf) idx buf)))
566
567#+solaris-target
568(defun %uname (idx)
569  (%stack-block ((buf (* #$SYS_NMLN 5)))
570    (%uts-string (#_uname buf) idx buf)))
571
572#-windows-target
573(defun fd-dup (fd)
574  (int-errno-call (#_dup fd)))
575
576#+windows-target
577(defun fd-dup (fd &key direction inheritable)
578  (declare (ignore direction))
579  (rlet ((handle #>HANDLE))
580    (if (eql 0 (#_DuplicateHandle (#_GetCurrentProcess)
581                                  (%int-to-ptr fd)
582                                  (#_GetCurrentProcess) 
583                                  handle
584                                  0
585                                  (if inheritable #$TRUE #$FALSE)
586                                  #$DUPLICATE_SAME_ACCESS))
587      (%windows-error-disp (#_GetLastError))
588      (pref handle #>DWORD))))
589
590
591(defun fd-fsync (fd)
592  #+windows-target (#_FlushFileBuffers (%int-to-ptr fd))
593  #-windows-target
594  (int-errno-call (#_fsync fd)))
595
596#-windows-target
597(progn
598(defun fd-get-flags (fd)
599  (int-errno-call (#_fcntl fd #$F_GETFL)))
600
601(defun fd-set-flags (fd new)
602  (int-errno-call (#_fcntl fd #$F_SETFL :int new)))
603
604(defun fd-set-flag (fd mask)
605  (let* ((old (fd-get-flags fd)))
606    (if (< old 0)
607      old
608      (fd-set-flags fd (logior old mask)))))
609
610(defun fd-clear-flag (fd mask)
611  (let* ((old (fd-get-flags fd)))
612    (if (< old 0) 
613      old
614      (fd-set-flags fd (logandc2 old mask)))))
615)
616
617;;; Assume that any quoting's been removed already.
618(defun tilde-expand (namestring)
619  (let* ((len (length namestring)))
620    (if (or (zerop len)
621            (not (eql (schar namestring 0) #\~)))
622      namestring
623      (if (or (= len 1)
624              (eql (schar namestring 1) #\/))
625        (concatenate 'string (get-user-home-dir (getuid)) (if (= len 1) "/" (subseq namestring 1)))
626        #+windows-target namestring
627        #-windows-target
628        (let* ((slash-pos (position #\/ namestring))
629               (user-name (subseq namestring 1 slash-pos))
630               (uid (or (get-uid-from-name user-name)
631                        (error "Unknown user ~s in namestring ~s" user-name namestring))))
632          (concatenate 'string (get-user-home-dir uid) (if slash-pos (subseq namestring slash-pos) "/")))))))
633
634
635#+windows-target
636(defun %windows-realpath (namestring)
637  (with-filename-cstrs ((path namestring))
638    (do* ((bufsize 256))
639         ()
640      (%stack-block ((buf bufsize))
641        (let* ((nchars (#_GetFullPathNameW path (ash bufsize -1) buf (%null-ptr))))
642          (if (eql 0 nchars)
643            (return nil)
644            (let* ((max (+ nchars nchars 2)))
645              (if (> max bufsize)
646                (setq bufsize max)
647                (let* ((real (get-foreign-namestring buf)))
648                  (return (and (%stat real) real)))))))))))
649
650   
651;;; This doesn't seem to exist on VxWorks.  It's a POSIX
652;;; function AFAIK, so the source should be somewhere ...
653
654(defun %realpath (namestring)
655  ;; It's not at all right to just return the namestring here.
656  (when (zerop (length namestring))
657    (setq namestring (current-directory-name)))
658  #+windows-target (%windows-realpath namestring)
659  #-windows-target
660  (%stack-block ((resultbuf #$PATH_MAX))
661    (with-filename-cstrs ((name namestring #|(tilde-expand namestring)|#))
662      (let* ((result (#_realpath name resultbuf)))
663        (declare (dynamic-extent result))
664        (unless (%null-ptr-p result)
665          (get-foreign-namestring result))))))
666
667;;; Return fully resolved pathname & file kind, or (values nil nil)
668
669(defun %probe-file-x (namestring)
670  (let* ((realpath (%realpath namestring))
671         (kind (if realpath (%unix-file-kind realpath))))
672    (if kind
673      (values realpath kind)
674      (values nil nil))))
675
676;;; The mingw headers define timeval.tv_sec and timeval.tv_usec to be
677;;; signed 32-bit quantities.
678(macrolet ((timeval-ref (ptr accessor)
679             #+windows-target `(logand #xfffffffff (pref ,ptr ,accessor))
680             #-windows-target `(pref ,ptr ,accessor))
681           (set-timeval-ref (ptr accessor new)
682           `(setf (pref ,ptr ,accessor)
683             #+windows-target (u32->s32 ,new)
684             #-windows-target ,new)))
685 
686(defun timeval->milliseconds (tv)
687    (+ (* 1000 (timeval-ref tv :timeval.tv_sec)) (round (timeval-ref tv :timeval.tv_usec) 1000)))
688
689(defun timeval->microseconds (tv)
690    (+ (* 1000000 (timeval-ref tv :timeval.tv_sec)) (timeval-ref tv :timeval.tv_usec)))
691
692(defun %add-timevals (result a b)
693  (let* ((seconds (+ (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
694         (micros (+ (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
695    (if (>= micros 1000000)
696      (setq seconds (1+ seconds) micros (- micros 1000000)))
697    (set-timeval-ref result :timeval.tv_sec seconds)
698    (set-timeval-ref result :timeval.tv_usec micros)
699    result))
700
701(defun %sub-timevals (result a b)
702  (let* ((seconds (- (timeval-ref a :timeval.tv_sec) (timeval-ref b :timeval.tv_sec)))
703         (micros (- (timeval-ref a :timeval.tv_usec) (timeval-ref b :timeval.tv_usec))))
704    (if (< micros 0)
705      (setq seconds (1- seconds) micros (+ micros 1000000)))
706    (set-timeval-ref result :timeval.tv_sec  seconds)
707    (set-timeval-ref result :timeval.tv_usec micros)
708    result))
709
710;;; Return T iff the time denoted by the timeval a is not later than the
711;;; time denoted by the timeval b.
712(defun %timeval<= (a b)
713  (let* ((asec (timeval-ref a :timeval.tv_sec))
714         (bsec (timeval-ref b :timeval.tv_sec)))
715    (or (< asec bsec)
716        (and (= asec bsec)
717             (< (timeval-ref a :timeval.tv_usec)
718                (timeval-ref b :timeval.tv_usec))))))
719
720); windows signed nonsense.
721
722#-windows-target
723(defun %%rusage (usage &optional (who #$RUSAGE_SELF))
724  (int-errno-call (#_getrusage who usage)))
725
726
727
728
729(defun %file-write-date (namestring)
730  (let* ((date (nth-value 3 (%stat namestring))))
731    (if date
732      (+ date unix-to-universal-time))))
733
734#-windows-target
735(defun %file-author (namestring)
736  (let* ((uid (nth-value 5 (%stat namestring))))
737    (if uid
738      (with-macptrs ((pw (#_getpwuid uid)))
739        (unless (%null-ptr-p pw)
740          (without-interrupts
741           (%get-cstring (pref pw :passwd.pw_name))))))))
742
743#+windows-target
744(defun %file-author (namestring)
745  (declare (ignore namestring))
746  nil)
747
748#-windows-target
749(defun %utimes (namestring)
750  (with-filename-cstrs ((cnamestring namestring))
751    (let* ((err (#_utimes cnamestring (%null-ptr))))
752      (declare (fixnum err))
753      (or (eql err 0)
754          (%errno-disp err namestring)))))
755
756#+windows-target
757(defun %utimes (namestring)
758  (with-filename-cstrs ((cnamestring namestring))
759    (let* ((handle (#_CreateFileW
760                    cnamestring
761                    #$FILE_WRITE_ATTRIBUTES
762                    (logior #$FILE_SHARE_READ #$FILE_SHARE_WRITE)
763                    (%null-ptr)
764                    #$OPEN_EXISTING
765                    #$FILE_FLAG_BACKUP_SEMANTICS
766                    (%null-ptr))))
767      (if (eql handle *windows-invalid-handle*)
768        (%windows-error-disp (#_GetLastError))
769        (rlet ((st #>SYSTEMTIME)
770               (ft #>FILETIME))
771          (#_GetSystemTime st)
772          (#_SystemTimeToFileTime st ft)
773          (let* ((result (#_SetFileTime handle (%null-ptr) (%null-ptr) ft))
774                 (err (when (eql 0 result) (#_GetLastError))))
775            (#_CloseHandle handle)
776            (if err
777              (%windows-error-disp err)
778              t)))))))
779
780
781             
782
783#-windows-target
784(defun get-uid-from-name (name)
785  (with-cstrs ((name name))
786    (let* ((pwent (#_getpwnam name)))
787      (unless (%null-ptr-p pwent)
788        (pref pwent :passwd.pw_uid)))))
789
790
791(defun isatty (fd)
792  #+windows-target (declare (ignore fd))
793  #+windows-target nil
794  #-windows-target
795  (= 1 (#_isatty fd)))
796
797#-win64-target
798(progn
799(defun %open-dir (namestring)
800  (with-filename-cstrs ((name namestring))
801    (let* ((DIR (ff-call (%kernel-import target::kernel-import-lisp-opendir)
802                         :address name
803                         :address)))
804      (unless (%null-ptr-p DIR)
805        DIR))))
806
807(defun close-dir (dir)
808  (ff-call (%kernel-import target::kernel-import-lisp-closedir)
809           :address dir
810           :int))
811
812(defun %read-dir (dir)
813  (let* ((res (ff-call (%kernel-import target::kernel-import-lisp-readdir)
814                       :address dir
815                       :address)))
816    (unless (%null-ptr-p res)
817      (get-foreign-namestring (pref res
818                                    #+windows-target :_wdirent.d_name
819                                    #-windows-target :dirent.d_name)))))
820)
821
822#+win64-target
823(progn
824  (eval-when (:compile-toplevel :execute)
825    (def-foreign-type nil
826        (:struct :win64-dir
827                 (:data #>WIN32_FIND_DATAW)
828                 (:handle :address)
829                 (:state :int))))
830
831(defun %open-dir (namestring)
832  ;;; Namestring should end in /*.  Honest.
833  (let* ((len (length namestring))
834         (lastchar (if (> len 0) (schar namestring (1- len))))
835         (penultimatechar (if (> len 1) (schar namestring (- len 2)))))
836    (unless (and (eql lastchar #\*)
837                 (or (eql penultimatechar #\\)
838                     (eql penultimatechar #\/)))
839      (if (or (eql lastchar #\\)
840              (eql lastchar #\/))
841        (setq namestring (concatenate 'string namestring "*"))
842        (setq namestring (concatenate 'string namestring "/*")))))
843  (let* ((dir (malloc (record-length :win64-dir))))
844    (with-filename-cstrs ((name namestring))
845      (let* ((handle (#_FindFirstFileW name dir)))
846        (cond ((eql handle #$INVALID_HANDLE_VALUE)
847               (free dir)
848               nil)
849              (t
850               (setf (pref dir :win64-dir.state) 0
851                     (pref dir :win64-dir.handle) handle)
852               dir))))))
853         
854(defun %read-dir (dir)
855  (when (eql 0 (pref dir :win64-dir.state))
856    (prog1
857        (get-foreign-namestring (pref dir  #>WIN32_FIND_DATAW.cFileName))
858      (if (eql 0 (#_FindNextFileW (pref dir :win64-dir.handle) dir))
859        (setf (pref dir :win64-dir.state) -1)))))
860
861(defun close-dir (dir) 
862  (#_FindClose (pref dir :win64-dir.handle))
863  (free dir)
864  nil)
865)
866                       
867 
868
869                         
870
871
872#-windows-target
873(defun tcgetpgrp (fd)
874  (#_tcgetpgrp fd))
875
876(defun getpid ()
877  "Return the ID of the Clozure CL OS process."
878  #-windows-target
879  (int-errno-call (#_getpid))
880  #+windows-target (#_GetCurrentProcessId))
881
882
883(defun getuid ()
884  "Return the (real) user ID of the current user."
885  #+windows-target 0
886  #-windows-target (int-errno-call (#_getuid)))
887
888(defun get-user-home-dir (userid)
889  "Look up and return the defined home directory of the user identified
890by uid. This value comes from the OS user database, not from the $HOME
891environment variable. Returns NIL if there is no user with the ID uid."
892  #+(or windows-target android-target)
893  (declare (ignore userid))
894  #+windows-target
895  (dolist (k '(#||"HOME"||# "USERPROFILE")) 
896    (with-native-utf-16-cstrs ((key k))
897      (let* ((p (#__wgetenv key)))
898        (unless (%null-ptr-p p)
899          (return (get-foreign-namestring p))))))
900  #-windows-target
901  #+android-target "/data/local" ; for now
902  #-android-target
903  (rlet ((pwd :passwd)
904         (result :address pwd))
905    (do* ((buflen 512 (* 2 buflen)))
906         ()
907      (%stack-block ((buf buflen))
908        (let* ((err
909                #-solaris-target
910                 (#_getpwuid_r userid pwd buf buflen result)
911                 #+solaris-target
912                 (external-call "__posix_getpwuid_r"
913                                :uid_t userid
914                                :address pwd
915                                :address buf
916                                :int buflen
917                                :address result
918                                :int)))
919          (if (eql 0 err)
920            (let* ((rp (%get-ptr result))
921                   (dir (and (not (%null-ptr-p rp))
922                             (get-foreign-namestring (pref rp :passwd.pw_dir)))))
923              (return (if (and dir (eq (%unix-file-kind dir) :directory))
924                        dir)))
925            (unless (eql err #$ERANGE)
926              (return nil))))))))
927
928(defun %delete-file (name)
929  (with-filename-cstrs ((n name))
930    (int-errno-call (#+windows-target #__wunlink #-windows-target #_unlink n))))
931
932(defun os-command (string)
933  "Invoke the Posix function system(), which invokes the user's default
934system shell (such as sh or tcsh) as a new process, and has that shell
935execute command-line.
936
937If the shell was able to find the command specified in command-line, then
938exit-code is the exit code of that command. If not, it is the exit code
939of the shell itself."
940  (with-cstrs ((s string))
941    (#_system s)))
942
943(defun %strerror (errno)
944  (declare (fixnum errno))
945  (if (< errno 0)
946    (setq errno (- errno)))
947  (with-macptrs (p)
948    (%setf-macptr p (#_strerror errno))
949    (if (%null-ptr-p p)
950      (format nil "OS Error ~d" errno)
951      (%get-cstring p))))
952
953#+windows-target
954(progn
955(defun get-last-windows-error ()
956  (#_GetLastError))
957
958(defun %windows-error-string (error-number)
959  (rlet ((pbuffer :address (%null-ptr)))
960    (if (eql 0
961             (#_FormatMessageW (logior #$FORMAT_MESSAGE_ALLOCATE_BUFFER
962                                       #$FORMAT_MESSAGE_FROM_SYSTEM
963                                       #$FORMAT_MESSAGE_IGNORE_INSERTS
964                                       #$FORMAT_MESSAGE_MAX_WIDTH_MASK)
965                               (%null-ptr)
966                               (abs error-number)
967                               0                 ; default langid, more-or-less
968                               pbuffer
969                               0
970                               (%null-ptr)))
971      (format nil "Windows error ~d" (abs error-number))
972      (let* ((p (%get-ptr pbuffer))
973             (q (%get-native-utf-16-cstring p)))
974        (#_LocalFree p)
975        q))))
976)
977       
978                     
979
980;;; Kind of has something to do with files, and doesn't work in level-0.
981#+(or linux-target freebsd-target solaris-target)
982(defun close-shared-library (lib &key (completely t))
983  "If completely is T, set the reference count of library to 0. Otherwise,
984decrements it by 1. In either case, if the reference count becomes 0,
985close-shared-library frees all memory resources consumed library and causes
986any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
987  (let* ((lib (if (typep lib 'string)
988                (or (shared-library-with-name lib)
989                    (error "Shared library ~s not found." lib))
990                (require-type lib 'shlib)))
991         (handle (shlib.handle lib)))
992      (when handle
993        (let* ((found nil)
994               (base (shlib.base lib)))
995          (do* ()
996               ((progn           
997                  (#_dlclose handle)
998                  (or (not (setq found (shlib-containing-address base)))
999                      (not completely)))))
1000          (when (not found)
1001            (setf (shlib.pathname lib) nil
1002              (shlib.base lib) nil
1003              (shlib.handle lib) nil
1004              (shlib.map lib) nil)
1005            (unload-foreign-variables lib)
1006            (unload-library-entrypoints lib))))))
1007
1008#+darwin-target
1009;; completely specifies whether to remove it totally from our list
1010(defun close-shared-library (lib &key (completely nil))
1011  "If completely is T, set the reference count of library to 0. Otherwise,
1012decrements it by 1. In either case, if the reference count becomes 0,
1013close-shared-library frees all memory resources consumed library and causes
1014any EXTERNAL-ENTRY-POINTs known to be defined by it to become unresolved."
1015  (let* ((lib (if (typep lib 'string)
1016                  (or (shared-library-with-name lib)
1017                      (error "Shared library ~s not found." lib))
1018                (require-type lib 'shlib))))
1019    ;; no possible danger closing libsystem since dylibs can't be closed
1020    (cond
1021     ((or (not (shlib.map lib)) (not (shlib.base lib)))
1022      (error "Shared library ~s uninitialized." (shlib.soname lib)))
1023     ((and (not (%null-ptr-p (shlib.map lib)))
1024           (%null-ptr-p (shlib.base lib)))
1025      (warn "Dynamic libraries cannot be closed on Darwin."))
1026     ((and (%null-ptr-p (shlib.map lib))
1027           (not (%null-ptr-p (shlib.base lib))))
1028      ;; we have a bundle type library not sure what to do with the
1029      ;; completely flag when we open the same bundle more than once,
1030      ;; Darwin gives back a new module address, so we have multiple
1031      ;; entries on *shared-libraries* the best we can do is unlink
1032      ;; the module asked for (or our best guess based on name) and
1033      ;; invalidate any entries which refer to this container
1034      (if (= 0 (#_NSUnLinkModule (shlib.base lib) #$NSUNLINKMODULE_OPTION_NONE))
1035          (error "Unable to close shared library, NSUnlinkModule failed.")
1036        (progn
1037          (setf (shlib.map lib) nil
1038                (shlib.base lib) nil)
1039          (unload-library-entrypoints lib)
1040          (when completely
1041            (setq *shared-libraries* (delete lib *shared-libraries*)))))))))
1042
1043
1044
1045;;; Foreign (unix) processes.
1046
1047(defun call-with-string-vector (function strings)
1048  (let ((bufsize (reduce #'+ strings
1049                         :key #'(lambda (s) (1+ (length (string s))))))
1050        (argvsize (ash (1+ (length strings)) target::word-shift))
1051        (bufpos 0)
1052        (argvpos 0))
1053    (%stack-block ((buf bufsize) (argv argvsize))
1054      (flet ((init (s)
1055             (multiple-value-bind (sstr start end) (get-sstring s)
1056               (declare (fixnum start end))
1057               (let ((len (- end start)))
1058                 (declare (fixnum len))
1059                 (do* ((i 0 (1+ i))
1060                       (start start (1+ start))
1061                       (bufpos bufpos (1+ bufpos)))
1062                      ((= i len))
1063                   (setf (%get-unsigned-byte buf bufpos)
1064                         (logand #xff (%scharcode sstr start))))
1065                 (setf (%get-byte buf (%i+ bufpos len)) 0)
1066                 (setf (%get-ptr argv argvpos) (%inc-ptr buf bufpos))
1067                 (setq bufpos (%i+ bufpos len 1))
1068                 (setq argvpos (%i+ argvpos target::node-size))))))
1069        (declare (dynamic-extent #'init))
1070        (map nil #'init strings))
1071      (setf (%get-ptr argv argvpos) (%null-ptr))
1072      (funcall function argv))))
1073
1074(defmacro with-string-vector ((var strings) &body body)
1075  `(call-with-string-vector #'(lambda (,var) ,@body) ,strings))
1076
1077(defloadvar *max-os-open-files* #-windows-target (#_getdtablesize) #+windows-target 32)
1078
1079(defun pipe ()
1080  ;;  (rlet ((filedes (:array :int 2)))
1081  (%stack-block ((filedes 8))
1082    (let* ((status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
1083                            :address filedes :int))
1084           (errno (if (eql status 0) 0 (%get-errno))))
1085      (unless (zerop status)
1086        (when (or (eql errno (- #$EMFILE))
1087                  (eql errno (- #$ENFILE)))
1088          (gc)
1089          (drain-termination-queue)
1090          (setq status (ff-call (%kernel-import target::kernel-import-lisp-pipe)
1091                            :address filedes :int)
1092                errno (if (zerop status) 0 (%get-errno)))))
1093      (if (zerop status)
1094        (values (paref filedes (:array :int)  0) (paref filedes (:array :int)  1))
1095        (%errno-disp errno)))))
1096
1097#-windows-target
1098(progn
1099  (defun %execvp (argv)
1100    (#_execvp (%get-ptr argv) argv)
1101    (#_exit #-android-target #$EX_OSERR #+android-target 71))
1102
1103  (defun exec-with-io-redirection (new-in new-out new-err argv)
1104    (#_setpgid 0 0)
1105    (if new-in (#_dup2 new-in 0))
1106    (if new-out (#_dup2 new-out 1))
1107    (if new-err (#_dup2 new-err 2))
1108    (do* ((fd 3 (1+ fd)))
1109         ((= fd *max-os-open-files*) (%execvp argv))
1110      (declare (fixnum fd))
1111      (#_close fd)))
1112
1113
1114
1115
1116
1117  (defstruct external-process
1118    pid
1119    %status
1120    %exit-code
1121    pty
1122    input
1123    output
1124    error
1125    status-hook
1126    plist
1127    token                               
1128    core
1129    args
1130    (signal (make-semaphore))
1131    (completed (make-semaphore))
1132    watched-fds
1133    watched-streams
1134    external-format
1135    )
1136
1137  (defmethod print-object ((p external-process) stream)
1138    (print-unreadable-object (p stream :type t :identity t)
1139      (let* ((status (external-process-%status p)))
1140        (let* ((*print-length* 3))
1141          (format stream "~a" (external-process-args p)))
1142        (format stream "[~d] (~a" (external-process-pid p) status)
1143        (unless (eq status :running)
1144          (format stream " : ~d" (external-process-%exit-code p)))
1145        (format stream ")"))))
1146
1147  (defun get-descriptor-for (object proc close-in-parent close-on-error
1148                                    &rest keys
1149                                    &key direction (element-type 'character)
1150                                    (sharing :private)
1151                                    external-format
1152                                    &allow-other-keys)
1153    (etypecase object
1154      ((eql t)
1155       (values nil nil close-in-parent close-on-error))
1156      (null
1157       (let* ((null-device #+windows-target "nul" #-windows-target "/dev/null")
1158              (fd (fd-open null-device (case direction
1159                                         (:input #$O_RDONLY)
1160                                         (:output #$O_WRONLY)
1161                                         (t #$O_RDWR)))))
1162         (if (< fd 0)
1163           (signal-file-error fd null-device))
1164         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1165      ((eql :stream)
1166       (multiple-value-bind (read-pipe write-pipe) (pipe)
1167         (case direction
1168           (:input
1169            (values read-pipe
1170                    (make-fd-stream write-pipe
1171                                    :direction :output
1172                                    :element-type element-type
1173                                    :interactive nil
1174                                    :sharing sharing
1175                                    :basic t
1176                                    :encoding (external-format-character-encoding external-format)
1177                                    :line-termination (external-format-line-termination external-format)
1178                                    :auto-close t)
1179                    (cons read-pipe close-in-parent)
1180                    (cons write-pipe close-on-error)))
1181           (:output
1182            (values write-pipe
1183                    (make-fd-stream read-pipe
1184                                    :direction :input
1185                                    :element-type element-type
1186                                    :interactive t
1187                                    :basic t
1188                                    :sharing sharing
1189                                    :encoding (external-format-character-encoding external-format)
1190                                    :line-termination (external-format-line-termination external-format)
1191                                    :auto-close t)
1192                    (cons write-pipe close-in-parent)
1193                    (cons read-pipe close-on-error)))
1194           (t
1195            (fd-close read-pipe)
1196            (fd-close write-pipe)
1197            (report-bad-arg direction '(member :input :output))))))
1198      ((or pathname string)
1199       (with-open-stream (file (apply #'open object keys))
1200         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)))))
1201           (values fd
1202                   nil
1203                   (cons fd close-in-parent)
1204                   (cons fd close-on-error)))))
1205      #||
1206      ;; What's an FD-STREAM ?
1207      (fd-stream
1208       (let ((fd (fd-dup (ioblock-device (stream-ioblock object t)))))
1209         (values fd
1210                 nil
1211                 (cons fd close-in-parent)
1212                 (cons fd close-on-error))))
1213      ||#
1214      (stream
1215       (ecase direction
1216         (:input
1217          (with-cstrs ((template #-android-target "/tmp/lisp-tempXXXXXX"
1218                                 #+android-target "/data/local/tmp/lisp-tempXXXXXX"))
1219            (let* ((fd (#_mkstemp template)))
1220              (if (< fd 0)
1221                (%errno-disp fd))
1222              (#_unlink template)
1223              (let* ((out (make-fd-stream (fd-dup fd)
1224                                          :direction :output
1225                                          :encoding (external-format-character-encoding external-format)
1226                                          :line-termination (external-format-line-termination external-format))))
1227                (loop
1228                  (multiple-value-bind (line no-newline)
1229                      (read-line object nil nil)
1230                    (unless line
1231                      (return))
1232                    (if no-newline
1233                      (write-string line out)
1234                      (write-line line out))))
1235                (close out))
1236              (fd-lseek fd 0 #$SEEK_SET)
1237              (values fd nil (cons fd close-in-parent) (cons fd close-on-error)))))
1238         (:output
1239          (multiple-value-bind (read-pipe write-pipe) (pipe)
1240            (push read-pipe (external-process-watched-fds proc))
1241            (push object (external-process-watched-streams proc))
1242            (incf (car (external-process-token proc)))
1243            (values write-pipe
1244                    nil
1245                    (cons write-pipe close-in-parent)
1246                    (cons read-pipe close-on-error))))))))
1247
1248  (let* ((external-processes ())
1249         (external-processes-lock (make-lock)))
1250    (defun add-external-process (p)
1251      (with-lock-grabbed (external-processes-lock)
1252        (push p external-processes)))
1253    (defun remove-external-process (p)
1254      (with-lock-grabbed (external-processes-lock)
1255        (setq external-processes (delete p external-processes))))
1256    ;; Likewise
1257    (defun external-processes ()
1258      (with-lock-grabbed (external-processes-lock)
1259        (copy-list external-processes)))
1260    )
1261
1262
1263  (defmacro wtermsig (status)
1264    `(ldb (byte 7 0) ,status))
1265
1266  (defmacro wexitstatus (status)
1267    `(ldb (byte 8 8) (the fixnum ,status)))
1268
1269  (defmacro wstopsig (status)
1270    `(wexitstatus ,status))
1271
1272  (defmacro wifexited (status)
1273    `(eql (wtermsig ,status) 0))
1274
1275  (defmacro wifstopped (status)
1276    `(eql #x7f (ldb (byte 7 0) (the fixnum ,status))))
1277
1278  (defun monitor-external-process (p)
1279    (let* ((in-fds (external-process-watched-fds p))
1280           (out-streams (external-process-watched-streams p))
1281           (token (external-process-token p))
1282           (terminated)
1283           (changed)
1284           (maxfd 0)
1285           (external-format (external-process-external-format p))
1286           (encoding (external-format-character-encoding external-format))
1287           (line-termination (external-format-line-termination external-format))
1288           (pairs (pairlis
1289                   (mapcar (lambda (fd)
1290                             (cons fd
1291                                   (make-fd-stream fd
1292                                                   :direction :input
1293                                                   :sharing :private
1294                                                   :encoding encoding
1295                                                   :interactive t
1296                                                   :line-termination line-termination)))
1297                                     in-fds) out-streams)))
1298      (%stack-block ((in-fd-set *fd-set-size*))
1299        (rlet ((tv #>timeval))
1300          (loop
1301            (when changed
1302              (setq pairs (delete nil pairs :key #'car)
1303                    changed nil))
1304            (when (and terminated (null pairs))
1305              (signal-semaphore (external-process-completed p))
1306              (return))
1307            (when pairs
1308              (fd-zero in-fd-set)
1309              (setq maxfd 0)
1310              (dolist (p pairs)
1311                (let* ((fd (caar p)))
1312                  (when (> fd maxfd)
1313                    (setq maxfd fd))
1314                  (fd-set fd in-fd-set)))
1315              (setf (pref tv #>timeval.tv_sec) 1
1316                    (pref tv #>timeval.tv_usec) 0)
1317              (when (> (#_select (1+ maxfd) in-fd-set (%null-ptr) (%null-ptr) tv)
1318                       0)
1319                (dolist (p pairs)
1320                  (let* ((in-fd (caar p))
1321                         (in-stream (cdar p))
1322                         (out-stream (cdr p)))
1323                    (when (fd-is-set in-fd in-fd-set)
1324                      (let* ((buf (make-string 1024))
1325                             (n (ignore-errors (read-sequence buf in-stream))))
1326                        (declare (dynamic-extent buf))
1327                        (if (or (null n) (eql n 0))
1328                          (without-interrupts
1329                           (decf (car token))
1330                           (close in-stream)
1331                           (setf (car p) nil changed t))
1332                          (write-sequence buf out-stream :end n))))))))
1333            (let* ((statusflags (check-pid (external-process-pid p)
1334                                           (logior
1335                                            (if in-fds #$WNOHANG 0)
1336                                            #$WUNTRACED)))
1337                   (oldstatus (external-process-%status p)))
1338              (cond ((null statusflags)
1339                     (remove-external-process p)
1340                     (setq terminated t))
1341                    ((eq statusflags t)) ; Running.
1342                    (t
1343                     (multiple-value-bind (status code core)
1344                         (cond ((wifstopped statusflags)
1345                                (values :stopped (wstopsig statusflags)))
1346                               ((wifexited statusflags)
1347                                (values :exited (wexitstatus statusflags)))
1348                               (t
1349                                (let* ((signal (wtermsig statusflags)))
1350                                  (declare (fixnum signal))
1351                                  (values
1352                                   (if (or (= signal #$SIGSTOP)
1353                                           (= signal #$SIGTSTP)
1354                                           (= signal #$SIGTTIN)
1355                                           (= signal #$SIGTTOU))
1356                                     :stopped
1357                                     :signaled)
1358                                   signal
1359                                   (logtest #-(or solaris-target android-target)
1360                                            #$WCOREFLAG
1361                                            #+solaris-target #$WCOREFLG
1362                                            #+android-target #x80
1363                                            statusflags)))))
1364                       (setf (external-process-%status p) status
1365                             (external-process-%exit-code p) code
1366                             (external-process-core p) core)
1367                       (let* ((status-hook (external-process-status-hook p)))
1368                         (when (and status-hook (not (eq oldstatus status)))
1369                           (funcall status-hook p)))
1370                       (when (or (eq status :exited)
1371                                 (eq status :signaled))
1372                         (remove-external-process p)
1373                         (setq terminated t)))))))))))
1374     
1375  (defun run-external-process (proc in-fd out-fd error-fd argv &optional env)
1376    (let* ((signaled nil))
1377      (unwind-protect
1378           (let* ((child-pid (#-solaris-target #_fork #+solaris-target #_forkall)))
1379             (declare (fixnum child-pid))
1380             (cond ((zerop child-pid)
1381                    ;; Running in the child; do an exec
1382                    (setq signaled t)
1383                    (dolist (pair env)
1384                      (setenv (string (car pair)) (cdr pair)))
1385                    (without-interrupts
1386                     (exec-with-io-redirection
1387                      in-fd out-fd error-fd argv)))
1388                   ((> child-pid 0)
1389                    ;; Running in the parent: success
1390                    (setf (external-process-pid proc) child-pid)
1391                    (add-external-process proc)
1392                    (signal-semaphore (external-process-signal proc))
1393                    (setq signaled t)
1394                    (monitor-external-process proc))
1395                   (t
1396                    ;; Fork failed
1397                    (setf (external-process-%status proc) :error
1398                          (external-process-%exit-code proc) (%get-errno))
1399                    (signal-semaphore (external-process-signal proc))
1400                    (setq signaled t))))
1401        (unless signaled
1402          (setf (external-process-%status proc) :error
1403                (external-process-%exit-code proc) -1)
1404          (signal-semaphore (external-process-signal proc))))))
1405
1406  (defparameter *silently-ignore-catastrophic-failure-in-run-program* nil
1407    "If NIL, signal an error if run-program is unable to start the program.
1408If non-NIL, treat failure to start the same as failure from the program
1409itself, by setting the status and exit-code fields.")
1410
1411  (defun run-program (program args &key
1412                              (wait t) pty
1413                              input if-input-does-not-exist
1414                              output (if-output-exists :error)
1415                              (error :output) (if-error-exists :error)
1416                              status-hook (element-type 'character)
1417                              env
1418                              (sharing :private)
1419                              (external-format `(:character-encoding ,*terminal-character-encoding-name*))
1420                              (silently-ignore-catastrophic-failures
1421                               *silently-ignore-catastrophic-failure-in-run-program*))
1422    "Invoke an external program as an OS subprocess of lisp."
1423    (declare (ignore pty))
1424    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1425      (error "Program args must all be simple strings : ~s" args))
1426    (dolist (pair env)
1427      (destructuring-bind (var . val) pair
1428        (check-type var (or string symbol character))
1429        (check-type val string)))
1430    (push (native-untranslated-namestring program) args)
1431    (let* ((token (list 0))
1432           (in-fd nil)
1433           (in-stream nil)
1434           (out-fd nil)
1435           (out-stream nil)
1436           (error-fd nil)
1437           (error-stream nil)
1438           (close-in-parent nil)
1439           (close-on-error nil)
1440           (proc
1441            (make-external-process
1442             :pid nil
1443             :args args
1444             :%status :running
1445             :input nil
1446             :output nil
1447             :error nil
1448             :token token
1449             :status-hook status-hook
1450             :external-format (setq external-format (normalize-external-format t external-format)))))
1451      (unwind-protect
1452           (progn
1453             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1454               (get-descriptor-for input proc  nil nil :direction :input
1455                                   :if-does-not-exist if-input-does-not-exist
1456                                   :element-type element-type
1457                                   :sharing sharing
1458                                   :external-format external-format))
1459             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1460               (get-descriptor-for output proc close-in-parent close-on-error
1461                                   :direction :output
1462                                   :if-exists if-output-exists
1463                                   :element-type element-type
1464                                   :sharing sharing
1465                                   :external-format external-format))
1466             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1467               (if (eq error :output)
1468                 (values out-fd out-stream close-in-parent close-on-error)
1469                 (get-descriptor-for error proc close-in-parent close-on-error
1470                                     :direction :output
1471                                     :if-exists if-error-exists
1472                                     :sharing sharing
1473                                     :element-type element-type
1474                                     :external-format external-format)))
1475             (setf (external-process-input proc) in-stream
1476                   (external-process-output proc) out-stream
1477                   (external-process-error proc) error-stream)
1478             (call-with-string-vector
1479              #'(lambda (argv)
1480                  (process-run-function
1481                   (list :name
1482                         (format nil "Monitor thread for external process ~a" args)
1483                         :stack-size (ash 128 10)
1484                         :vstack-size (ash 128 10)
1485                         :tstack-size (ash 128 10))
1486                   #'run-external-process proc in-fd out-fd error-fd argv env)
1487                  (wait-on-semaphore (external-process-signal proc)))
1488              args))
1489        (dolist (fd close-in-parent) (fd-close fd))
1490        (unless (external-process-pid proc)
1491          (dolist (fd close-on-error) (fd-close fd)))
1492        (when (and wait (external-process-pid proc))
1493          (with-interrupts-enabled
1494              (wait-on-semaphore (external-process-completed proc)))))
1495      (unless (external-process-pid proc)
1496        ;; something is wrong
1497        (if (eq (external-process-%status proc) :error)
1498          ;; Fork failed
1499          (unless silently-ignore-catastrophic-failures
1500            (cerror "Pretend the program ran and failed" 'external-process-creation-failure :proc proc))
1501          ;; Currently can't happen.
1502          (error "Bug: fork failed but status field not set?")))
1503      proc))
1504
1505
1506
1507  (defmacro wifsignaled (status)
1508    (let* ((statname (gensym)))
1509      `(let* ((,statname ,status))
1510        (and (not (wifstopped ,statname)) (not (wifexited ,statname))))))
1511
1512
1513  (defun check-pid (pid &optional (flags (logior  #$WNOHANG #$WUNTRACED)))
1514    (declare (fixnum pid))
1515    (rlet ((status :signed))
1516      (let* ((retval (ff-call-ignoring-eintr (#_waitpid pid status flags))))
1517        (declare (fixnum retval))
1518        (if (= retval pid)
1519          (pref status :signed)
1520          (zerop retval)))))
1521
1522
1523
1524
1525
1526  (defun external-process-wait (proc &optional check-stopped)
1527    (process-wait "external-process-wait"
1528                  #'(lambda ()
1529                      (case (external-process-%status proc)
1530                        (:running)
1531                        (:stopped
1532                         (when check-stopped
1533                           t))
1534                        (t
1535                         (when (zerop (car (external-process-token proc)))
1536                           t))))))
1537
1538
1539
1540
1541
1542  (defun external-process-error-stream (proc)
1543    "Return the stream which is used to read error output from a given OS
1544subprocess, if it has one."
1545    (require-type proc 'external-process)
1546    (external-process-error proc))
1547
1548
1549 
1550  (defun signal-external-process (proc signal)
1551    "Send the specified signal to the specified external process.  (Typically,
1552it would only be useful to call this function if the EXTERNAL-PROCESS was
1553created with :WAIT NIL.) Return T if successful; NIL if the process wasn't
1554created successfully, and signal an error otherwise."
1555    (require-type proc 'external-process)
1556    (let* ((pid (external-process-pid proc)))
1557      (when pid
1558        (let ((error (int-errno-call (#_kill pid signal))))
1559          (or (eql error 0)
1560              (%errno-disp error))))))
1561
1562  )                                     ; #-windows-target (progn
1563
1564#+windows-target
1565(progn
1566  (defun temp-file-name (prefix)
1567    "Returns a unique name for a temporary file, residing in system temp
1568space, and prefixed with PREFIX."
1569    (rlet ((buffer (:array :wchar_t #.#$MAX_PATH)))
1570      (#_GetTempPathW #$MAX_PATH buffer)
1571      (with-filename-cstrs ((c-prefix prefix)) 
1572        (#_GetTempFileNameW buffer c-prefix 0 buffer)
1573        (%get-native-utf-16-cstring buffer))))
1574 
1575  (defun get-descriptor-for (object proc close-in-parent close-on-error
1576                                    &rest keys
1577                                    &key
1578                                    direction (element-type 'character)
1579                                    (sharing :private)
1580                                    external-format
1581                                    &allow-other-keys)
1582    (etypecase object
1583      ((eql t)
1584       (values nil nil close-in-parent close-on-error))
1585      (null
1586       (let* ((null-device "nul")
1587              (fd (fd-open null-device (case direction
1588                                         (:input #$O_RDONLY)
1589                                         (:output #$O_WRONLY)
1590                                         (t #$O_RDWR)))))
1591         (if (< fd 0)
1592           (signal-file-error fd null-device))
1593         (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1594      ((eql :stream)
1595       (multiple-value-bind (read-pipe write-pipe) (pipe)
1596         (case direction
1597           (:input
1598            (values read-pipe
1599                    (make-fd-stream (fd-uninheritable write-pipe :direction :output)
1600                                    :direction :output
1601                                    :element-type element-type
1602                                    :interactive nil
1603                                    :basic t
1604                                    :sharing sharing
1605                                    :encoding (external-format-character-encoding external-format)
1606                                    :line-termination (external-format-line-termination external-format)
1607                                    :auto-close t)
1608                    (cons read-pipe close-in-parent)
1609                    (cons write-pipe close-on-error)))
1610           (:output
1611            (values write-pipe
1612                    (make-fd-stream (fd-uninheritable read-pipe :direction :input)
1613                                    :direction :input
1614                                    :element-type element-type
1615                                    :interactive t
1616                                    :basic t
1617                                    :sharing sharing
1618                                    :encoding (external-format-character-encoding external-format)
1619                                    :line-termination (external-format-line-termination external-format)
1620                                    :auto-close t)
1621                    (cons write-pipe close-in-parent)
1622                    (cons read-pipe close-on-error)))
1623           (t
1624            (fd-close read-pipe)
1625            (fd-close write-pipe)
1626            (report-bad-arg direction '(member :input :output))))))
1627      ((or pathname string)
1628       (with-open-stream (file (apply #'open object keys))
1629         (let* ((fd (fd-dup (ioblock-device (stream-ioblock file t)) :direction direction :inheritable t)))
1630           (values fd
1631                   nil
1632                   (cons fd close-in-parent)
1633                   (cons fd close-on-error)))))
1634      (stream
1635       (ecase direction
1636         (:input
1637          (let* ((tempname (temp-file-name "lisp-temp"))
1638                 (fd (fd-open tempname #$O_RDWR)))
1639            (if (< fd 0)
1640              (%errno-disp fd))
1641            (let* ((out (make-fd-stream (fd-dup fd)
1642                                        :direction :output
1643                                        :encoding (external-format-character-encoding external-format)
1644                                        :line-termination (external-format-line-termination external-format))))           
1645              (loop
1646                (multiple-value-bind (line no-newline)
1647                    (read-line object nil nil)
1648                  (unless line
1649                    (return))
1650                  (if no-newline
1651                    (write-string line out)
1652                    (write-line line out))
1653                  ))
1654              (close out))
1655            (fd-lseek fd 0 #$SEEK_SET)
1656            (values fd nil (cons fd close-in-parent) (cons fd close-on-error))))
1657         (:output
1658          (multiple-value-bind (read-pipe write-pipe) (pipe)
1659            (push read-pipe (external-process-watched-fds proc))
1660            (push object (external-process-watched-streams proc))
1661            (incf (car (external-process-token proc)))
1662            (values write-pipe
1663                    nil
1664                    (cons write-pipe close-in-parent)
1665                    (cons read-pipe close-on-error))))))))
1666
1667  (defstruct external-process
1668    pid
1669    %status
1670    %exit-code
1671    pty
1672    input
1673    output
1674    error
1675    status-hook
1676    plist
1677    token
1678    core
1679    args
1680    (signal (make-semaphore))
1681    (completed (make-semaphore))
1682    watched-fds
1683    watched-streams
1684    external-format
1685    )
1686
1687
1688
1689  (defmethod print-object ((p external-process) stream)
1690    (print-unreadable-object (p stream :type t :identity t)
1691      (let* ((status (external-process-%status p)))
1692        (let* ((*print-length* 3))
1693          (format stream "~a" (external-process-args p)))
1694        (format stream "[~d] (~a" (external-process-pid p) status)
1695        (unless (eq status :running)
1696          (format stream " : ~d" (external-process-%exit-code p)))
1697        (format stream ")"))))
1698
1699  (defun run-program (program args &key
1700                              (wait t) pty
1701                              input if-input-does-not-exist
1702                              output (if-output-exists :error)
1703                              (error :output) (if-error-exists :error)
1704                              status-hook (element-type 'character)
1705                              (sharing :private)
1706                              (external-format `(:character-encoding ,*terminal-character-encoding-name* :line-termination :crlf))
1707                              env)
1708    "Invoke an external program as an OS subprocess of lisp."
1709    (declare (ignore pty))
1710    (unless (every #'(lambda (a) (typep a 'simple-string)) args)
1711      (error "Program args must all be simple strings : ~s" args))
1712    (push program args)
1713    (let* ((token (list 0))
1714           (in-fd nil)
1715           (in-stream nil)
1716           (out-fd nil)
1717           (out-stream nil)
1718           (error-fd nil)
1719           (error-stream nil)
1720           (close-in-parent nil)
1721           (close-on-error nil)
1722           (proc
1723            (make-external-process
1724             :pid nil
1725             :args args
1726             :%status :running
1727             :input nil
1728             :output nil
1729             :error nil
1730             :token token
1731             :external-format (setq external-format (normalize-external-format t external-format))
1732             :status-hook status-hook)))
1733      (unwind-protect
1734           (progn
1735             (multiple-value-setq (in-fd in-stream close-in-parent close-on-error)
1736               (get-descriptor-for input proc  nil nil :direction :input
1737                                   :if-does-not-exist if-input-does-not-exist
1738                                   :sharing sharing
1739                                   :element-type element-type
1740                                   :external-format external-format))
1741             (multiple-value-setq (out-fd out-stream close-in-parent close-on-error)
1742               (get-descriptor-for output proc close-in-parent close-on-error
1743                                   :direction :output
1744                                   :if-exists if-output-exists
1745                                   :sharing sharing
1746                                   :element-type element-type
1747                                   :external-format external-format))
1748             (multiple-value-setq (error-fd error-stream close-in-parent close-on-error)
1749               (if (eq error :output)
1750                 (values out-fd out-stream close-in-parent close-on-error)
1751                 (get-descriptor-for error proc close-in-parent close-on-error
1752                                     :direction :output
1753                                     :if-exists if-error-exists
1754                                     :sharing sharing
1755                                     :element-type element-type
1756                                     :external-format external-format)))
1757             (setf (external-process-input proc) in-stream
1758                   (external-process-output proc) out-stream
1759                   (external-process-error proc) error-stream)
1760             (process-run-function
1761              (format nil "Monitor thread for external process ~a" args)
1762                   
1763              #'run-external-process proc in-fd out-fd error-fd env)
1764             (wait-on-semaphore (external-process-signal proc))
1765             )
1766        (dolist (fd close-in-parent) (fd-close fd))
1767        (if (external-process-pid proc)
1768          (when (and wait (external-process-pid proc))
1769            (with-interrupts-enabled
1770                (wait-on-semaphore (external-process-completed proc))))
1771          (progn
1772            (dolist (fd close-on-error) (fd-close fd)))))
1773      proc))
1774
1775  (let* ((external-processes ())
1776         (external-processes-lock (make-lock)))
1777    (defun add-external-process (p)
1778      (with-lock-grabbed (external-processes-lock)
1779        (push p external-processes)))
1780    (defun remove-external-process (p)
1781      (with-lock-grabbed (external-processes-lock)
1782        (setq external-processes (delete p external-processes))))
1783    ;; Likewise
1784    (defun external-processes ()
1785      (with-lock-grabbed (external-processes-lock)
1786        (copy-list external-processes)))
1787    )
1788
1789
1790
1791
1792  (defun run-external-process (proc in-fd out-fd error-fd &optional env)
1793    (let* ((args (external-process-args proc))
1794           (child-pid (exec-with-io-redirection in-fd out-fd error-fd args proc env)))
1795      (when child-pid
1796        (setf (external-process-pid proc) child-pid)
1797        (add-external-process proc)
1798        (signal-semaphore (external-process-signal proc))
1799        (monitor-external-process proc))))
1800
1801  (defun join-strings (strings)
1802    (reduce (lambda (left right) (concatenate 'string left " " right)) strings))
1803
1804  (defun create-windows-process (new-in new-out new-err cmdstring env)
1805    (declare (ignore env))              ; until we can do better.
1806    (with-filename-cstrs ((command cmdstring))
1807      (rletz ((proc-info #>PROCESS_INFORMATION)
1808              (si #>STARTUPINFO))
1809        (setf (pref si #>STARTUPINFO.cb) (record-length #>STARTUPINFO))
1810        (setf (pref si #>STARTUPINFO.dwFlags)
1811              (logior #$STARTF_USESTDHANDLES #$STARTF_USESHOWWINDOW))
1812        (setf (pref si #>STARTUPINFO.wShowWindow) #$SW_HIDE)
1813        (setf (pref si #>STARTUPINFO.hStdInput)
1814              (if new-in
1815                (%int-to-ptr new-in)
1816                (#_GetStdHandle #$STD_INPUT_HANDLE)))
1817        (setf (pref si #>STARTUPINFO.hStdOutput)
1818              (if new-out
1819                (%int-to-ptr new-out)
1820                (#_GetStdHandle #$STD_OUTPUT_HANDLE)))
1821        (setf (pref si #>STARTUPINFO.hStdError)
1822              (if new-err
1823                (%int-to-ptr new-err)
1824                (#_GetStdHandle #$STD_ERROR_HANDLE)))
1825        (if (zerop (#_CreateProcessW (%null-ptr)
1826                                     command
1827                                     (%null-ptr)
1828                                     (%null-ptr)
1829                                     1
1830                                     #$CREATE_NEW_CONSOLE
1831                                     (%null-ptr)
1832                                     (%null-ptr)
1833                                     si
1834                                     proc-info))
1835          (values nil (#_GetLastError))
1836          (progn
1837            (#_CloseHandle (pref proc-info #>PROCESS_INFORMATION.hThread))
1838            (values t (pref proc-info #>PROCESS_INFORMATION.hProcess)))))))
1839
1840  (defun exec-with-io-redirection (new-in new-out new-err args proc &optional env)
1841    (multiple-value-bind (win handle-to-process-or-error)
1842        (create-windows-process new-in new-out new-err (join-strings args) env)
1843      (if win
1844        handle-to-process-or-error
1845        (progn
1846          (setf (external-process-%status proc) :error
1847                (external-process-%exit-code proc) handle-to-process-or-error)
1848          (signal-semaphore (external-process-signal proc))
1849          (signal-semaphore (external-process-completed proc))
1850          nil))))
1851
1852  (defun fd-uninheritable (fd &key direction)
1853    (let ((new-fd (fd-dup fd :direction direction)))
1854      (fd-close fd)
1855      new-fd))
1856
1857 
1858  (defun data-available-on-pipe-p (hpipe)
1859    (rlet ((navail #>DWORD 0))
1860      (unless (eql 0 (#_PeekNamedPipe (if (typep hpipe 'macptr)
1861                                        hpipe
1862                                        (%int-to-ptr hpipe))
1863                                      (%null-ptr)
1864                                      0
1865                                      (%null-ptr)
1866                                      navail
1867                                      (%null-ptr)))
1868        (not (eql 0 (pref navail #>DWORD))))))
1869   
1870
1871  ;;; There doesn't seem to be any way to wait on input from an
1872  ;;; anonymous pipe in Windows (that would, after all, make too
1873  ;;; much sense.)  We -can- check for pending unread data on
1874  ;;; pipes, and can expect to eventually get EOF on a pipe.
1875  ;;; So, this tries to loop until the process handle is signaled and
1876  ;;; all data has been read.
1877  (defun monitor-external-process (p)
1878    (let* ((in-fds (external-process-watched-fds p))
1879           (out-streams (external-process-watched-streams p))
1880           (token (external-process-token p))
1881           (terminated)
1882           (changed)
1883           (external-format (external-process-external-format p))
1884           (encoding (external-format-character-encoding external-format))
1885           (line-termination (external-format-line-termination external-format))
1886           (pairs (pairlis (mapcar (lambda (fd)
1887                                     (cons fd
1888                                           (make-fd-stream fd
1889                                                           :direction :input
1890                                                           :sharing :private
1891                                                           :encoding encoding
1892                                                           :interactive t
1893                                                           :line-termination line-termination)))
1894                                   in-fds)
1895                           out-streams))
1896           )
1897      (loop
1898        (when changed
1899          (setq pairs (delete nil pairs :key #'car)
1900                changed nil))
1901        (when (and terminated (null pairs))
1902          (without-interrupts
1903           (rlet ((code #>DWORD))
1904             (loop
1905               (#_GetExitCodeProcess (external-process-pid p) code)
1906               (unless (eql (pref code #>DWORD) #$STILL_ACTIVE)
1907                 (return))
1908               (#_SleepEx 10 #$TRUE))
1909             (setf (external-process-%exit-code p) (pref code #>DWORD)))
1910           (#_CloseHandle (external-process-pid p))
1911           (setf (external-process-pid p) nil)
1912           (setf (external-process-%status p) :exited)
1913           (let ((status-hook (external-process-status-hook p)))
1914             (when status-hook
1915               (funcall status-hook p)))
1916           (remove-external-process p)
1917           (signal-semaphore (external-process-completed p))
1918           (return)))
1919        (dolist (p pairs)
1920          (let* ((in-fd (caar p))
1921                 (in-stream (cdar p))
1922                 (out-stream (cdr p)))
1923            (when (or terminated (data-available-on-pipe-p in-fd))
1924              (let* ((buf (make-string 1024)))
1925                (declare (dynamic-extent buf))
1926                (let* ((n (ignore-errors (read-sequence buf in-stream))))
1927                  (if (or (null n) (eql n 0))
1928                    (progn
1929                      (without-interrupts
1930                       (decf (car token))
1931                       (fd-close in-fd)
1932                       (setf (car p) nil changed t)))
1933                    (progn
1934                      (write-sequence buf out-stream :end n)
1935                      (force-output out-stream))))))))
1936        (unless terminated
1937          (setq terminated (eql (#_WaitForSingleObjectEx
1938                                 (external-process-pid p)
1939                                 1000
1940                                 #$true)
1941                                #$WAIT_OBJECT_0))))))
1942 
1943
1944  (defun signal-external-process (proc signal)
1945    "Does nothing on Windows"
1946    (declare (ignore signal))
1947    (require-type proc 'external-process)
1948    nil) 
1949
1950
1951  )
1952                                        ;#+windows-target (progn
1953
1954
1955(defun external-process-input-stream (proc)
1956  "Return the lisp stream which is used to write input to a given OS
1957subprocess, if it has one."
1958  (require-type proc 'external-process)
1959  (external-process-input proc))
1960
1961(defun external-process-output-stream (proc)
1962  "Return the lisp stream which is used to read output from a given OS
1963subprocess, if there is one."
1964  (require-type proc 'external-process)
1965  (external-process-output proc))
1966
1967
1968(defun external-process-id (proc)
1969  "Return the process id of an OS subprocess, a positive integer which
1970identifies it."
1971  (require-type proc 'external-process)
1972  (external-process-pid proc))
1973
1974(defun external-process-status (proc)
1975  "Return information about whether an OS subprocess is running; or, if
1976not, why not; and what its result code was if it completed."
1977  (require-type proc 'external-process)
1978  (values (external-process-%status proc)
1979          (external-process-%exit-code proc)))
1980
1981;;; EOF on a TTY is transient, but I'm less sure of other cases.
1982(defun eof-transient-p (fd)
1983  (case (%unix-fd-kind fd)
1984    (:tty t)
1985    #+windows-target (:character-special t)
1986    (t nil)))
1987
1988
1989(defstruct (shared-resource (:constructor make-shared-resource (name)))
1990  (name)
1991  (lock (make-lock))
1992  (primary-owner *current-process*)
1993  (primary-owner-notify (make-semaphore))
1994  (current-owner nil)
1995  (requestors (make-dll-header)))
1996
1997(defstruct (shared-resource-request
1998             (:constructor make-shared-resource-request (process))
1999             (:include dll-node))
2000  process
2001  (signal (make-semaphore)))
2002             
2003
2004;; Returns NIL if already owned by calling thread, T otherwise
2005(defun %acquire-shared-resource (resource  &optional verbose)
2006  (let* ((current *current-process*))
2007    (with-lock-grabbed ((shared-resource-lock resource))
2008      (let* ((secondary (shared-resource-current-owner resource)))
2009        (if (or (eq current secondary)
2010                (and (null secondary)
2011                     (eq current (shared-resource-primary-owner resource))))
2012          (return-from %acquire-shared-resource nil))))
2013    (let* ((request (make-shared-resource-request *current-process*)))
2014      (when verbose
2015        (format t "~%~%;;;~%;;; ~a requires access to ~a~%;;; Type (:y ~D) to yield control to this thread.~%;;;~%"
2016                *current-process* (shared-resource-name resource)
2017                (process-serial-number *current-process*))
2018        (force-output t))
2019      (with-lock-grabbed ((shared-resource-lock resource))
2020        (append-dll-node request (shared-resource-requestors resource)))
2021      (wait-on-semaphore (shared-resource-request-signal request))
2022      (assert (eq current (shared-resource-current-owner resource)))
2023      (when verbose
2024        (format t "~%~%;;;~%;;; ~a is now owned by ~a~%;;;~%~%"
2025                (shared-resource-name resource) current))
2026      t)))
2027
2028;;; If we're the primary owner and there is no secondary owner, do nothing.
2029;;; If we're the secondary owner, cease being the secondary owner.
2030(defun %release-shared-resource (r)
2031  (let* ((not-any-owner ()))
2032    (with-lock-grabbed ((shared-resource-lock r))
2033      (let* ((current *current-process*)
2034             (primary (shared-resource-primary-owner r))
2035             (secondary (shared-resource-current-owner r)))
2036        (unless (setq not-any-owner
2037                      (not (or (eq current secondary)
2038                               (and (null secondary)
2039                                    (eq current primary)))))
2040          (when (eq current secondary)
2041            (setf (shared-resource-current-owner r) nil)
2042            (signal-semaphore (shared-resource-primary-owner-notify r))))))
2043    (when not-any-owner
2044      (signal-program-error "Process ~a does not own ~a" *current-process*
2045                            (shared-resource-name r)))))
2046
2047;;; The current thread should be the primary owner; there should be
2048;;; no secondary owner.  Wakeup the specified (or first) requesting
2049;;; process, then block on our semaphore
2050(defun %yield-shared-resource (r &optional to)
2051  (let* ((request nil))
2052    (with-lock-grabbed ((shared-resource-lock r))
2053      (let* ((current *current-process*)
2054             (primary (shared-resource-primary-owner r)))
2055        (when (and (eq current primary)
2056                   (null (shared-resource-current-owner r)))
2057          (setq request
2058                (let* ((header (shared-resource-requestors r)))
2059                  (if to 
2060                    (do-dll-nodes (node header)
2061                      (when (eq to (shared-resource-request-process node))
2062                        (return node)))
2063                    (let* ((first (dll-header-first header)))
2064                      (unless (eq first header)
2065                        first)))))
2066          (when request
2067            (remove-dll-node request)
2068            (setf (shared-resource-current-owner r)
2069                  (shared-resource-request-process request))
2070            (signal-semaphore (shared-resource-request-signal request))))))
2071    (when request
2072      (wait-on-semaphore (shared-resource-primary-owner-notify r))
2073      (format t "~%;;;~%;;;control of ~a restored to ~a~%;;;~&"
2074              (shared-resource-name r)
2075              *current-process*))))
2076
2077
2078     
2079
2080(defun %shared-resource-requestor-p (r proc)
2081  (with-lock-grabbed ((shared-resource-lock r))
2082    (do-dll-nodes (node (shared-resource-requestors r))
2083      (when (eq proc (shared-resource-request-process node))
2084        (return t)))))
2085
2086(defparameter *resident-editor-hook* nil
2087  "If non-NIL, should be a function that takes an optional argument
2088   (like ED) and invokes a \"resident\" editor.")
2089
2090(defun ed (&optional arg)
2091  (if *resident-editor-hook*
2092    (funcall *resident-editor-hook* arg)
2093    (error "This implementation doesn't provide a resident editor.")))
2094
2095(defun running-under-emacs-p ()
2096  (not (null (getenv "EMACS"))))
2097
2098(defloadvar *cpu-count* nil)
2099
2100(defun cpu-count ()
2101  (or *cpu-count*
2102      (setq *cpu-count*
2103            #+darwin-target
2104            (rlet ((info :host_basic_info)
2105                   (count :mach_msg_type_number_t #$HOST_BASIC_INFO_COUNT))
2106              (if (eql #$KERN_SUCCESS (#_host_info (#_mach_host_self)
2107                                                   #$HOST_BASIC_INFO
2108                                                   info
2109                                                   count))
2110                (pref info :host_basic_info.max_cpus)
2111                1))
2112            #+(or linux-target solaris-target)
2113            (or
2114             (let* ((n (#_sysconf #$_SC_NPROCESSORS_CONF)))
2115               (declare (fixnum n))
2116               (if (> n 0) n))
2117             #+linux-target
2118             (ignore-errors
2119               (with-open-file (p "/proc/cpuinfo")
2120                 (let* ((ncpu 0)
2121                        (match "processor")
2122                        (matchlen (length match)))
2123                   (do* ((line (read-line p nil nil) (read-line p nil nil)))
2124                        ((null line) ncpu)
2125                     (let* ((line-length (length line)))
2126                       (when (and
2127                              (> line-length matchlen)
2128                              (string= match line
2129                                       :end2 matchlen)
2130                              (whitespacep (schar line matchlen)))
2131                         (incf ncpu)))))))
2132             1)
2133            #+freebsd-target
2134            (rlet ((ret :uint))
2135              (%stack-block ((mib (* (record-length :uint) 2)))
2136              (setf (paref mib (:array :uint) 0)
2137                    #$CTL_HW
2138                    (paref mib (:array :uint) 1)
2139                    #$HW_NCPU)
2140              (rlet ((oldsize :uint (record-length :uint)))
2141                (if (eql 0 (#_sysctl mib 2 ret oldsize (%null-ptr) 0))
2142                  (pref ret :uint)
2143                  1))))
2144            #+windows-target
2145            (rlet ((procmask #>DWORD_PTR)
2146                   (sysmask #>DWORD_PTR))
2147              (if (eql 0 (#_GetProcessAffinityMask (#_GetCurrentProcess) procmask sysmask))
2148                1
2149                (logcount (pref sysmask #>DWORD_PTR)))))))
2150
2151(def-load-pointers spin-count ()
2152  (if (eql 1 (cpu-count))
2153    (%defglobal '*spin-lock-tries* 1)
2154    (%defglobal '*spin-lock-tries* 1024))
2155  (%defglobal '*spin-lock-timeouts* 0))
2156
2157(defun yield ()
2158  (process-allow-schedule))
2159
2160(defloadvar *host-page-size*
2161    #-(or windows-target android-target)
2162    (#_getpagesize)
2163    #+windows-target
2164    (rlet ((info #>SYSTEM_INFO))
2165      (#_GetSystemInfo info)
2166      (pref info #>SYSTEM_INFO.dwPageSize))
2167    #+android-target
2168    (#_sysconf #$_SC_PAGE_SIZE)
2169    )
2170
2171;;(assert (= (logcount *host-page-size*) 1))
2172
2173(defun get-universal-time ()
2174  "Return a single integer for the current time of
2175   day in universal time format."
2176  (rlet ((tv :timeval))
2177    (gettimeofday tv)
2178    (+ (pref tv :timeval.tv_sec) unix-to-universal-time)))
2179
2180#+windows-target
2181(defloadvar *windows-allocation-granularity*
2182    (rlet ((info #>SYSTEM_INFO))
2183      (#_GetSystemInfo info)
2184      (pref info #>SYSTEM_INFO.dwAllocationGranularity)))
2185
2186#-windows-target
2187(defun %memory-map-fd (fd len bits-per-element)
2188  (let* ((nbytes (+ *host-page-size*
2189                    (logandc2 (+ len
2190                                 (1- *host-page-size*))
2191                              (1- *host-page-size*))))         
2192         (ndata-elements
2193          (ash len
2194               (ecase bits-per-element
2195                 (1 3)
2196                 (8 0)
2197                 (16 -1)
2198                 (32 -2)
2199                 (64 -3))))
2200         (nalignment-elements
2201          (ash target::nbits-in-word
2202               (ecase bits-per-element
2203                 (1 0)
2204                 (8 -3)
2205                 (16 -4)
2206                 (32 -5)
2207                 (64 -6)))))
2208    (if (>= (+ ndata-elements nalignment-elements)
2209            array-total-size-limit)
2210      (progn
2211        (fd-close fd)
2212        (error "Can't make a vector with ~s elements in this implementation." (+ ndata-elements nalignment-elements)))
2213      (let* ((addr (#_mmap (%null-ptr)
2214                           nbytes
2215                           #$PROT_NONE
2216                           (logior #$MAP_ANON #$MAP_PRIVATE)
2217                           -1
2218                           0)))             
2219        (if (eql addr (%int-to-ptr (1- (ash 1 target::nbits-in-word)))) ; #$MAP_FAILED
2220          (let* ((errno (%get-errno)))
2221            (fd-close fd)
2222            (error "Can't map ~d bytes: ~a" nbytes (%strerror errno)))
2223              ;;; Remap the first page so that we can put a vector header
2224              ;;; there; use the first word on the first page to remember
2225              ;;; the file descriptor.
2226          (progn
2227            (#_mmap addr
2228                    *host-page-size*
2229                    (logior #$PROT_READ #$PROT_WRITE)
2230                    (logior #$MAP_ANON #$MAP_PRIVATE #$MAP_FIXED)
2231                    -1
2232                    0)
2233            (setf (pref addr :int) fd)
2234            (let* ((header-addr (%inc-ptr addr (- *host-page-size*
2235                                                            (* 2 target::node-size)))))
2236             
2237              (when (> len 0)
2238                (let* ((target-addr (%inc-ptr header-addr (* 2 target::node-size))))
2239                  (unless (eql target-addr
2240                               (#_mmap target-addr
2241                                       len
2242                                       #$PROT_READ
2243                                       (logior #$MAP_PRIVATE #$MAP_FIXED)
2244                                       fd
2245                                       0))
2246                    (let* ((errno (%get-errno)))
2247                      (fd-close fd)
2248                      (#_munmap addr nbytes)
2249                      (error "Mapping failed: ~a" (%strerror errno))))))
2250              (values header-addr ndata-elements nalignment-elements))))))))
2251
2252#+windows-target
2253(defun %memory-map-fd (fd len bits-per-element)
2254  (let* ((nbytes (+ *windows-allocation-granularity*
2255                    (logandc2 (+ len
2256                                 (1- *windows-allocation-granularity*))
2257                              (1- *windows-allocation-granularity*))))         
2258         (ndata-elements
2259          (ash len
2260               (ecase bits-per-element
2261                 (1 3)
2262                 (8 0)
2263                 (16 -1)
2264                 (32 -2)
2265                 (64 -3))))
2266         (nalignment-elements
2267          (ash target::nbits-in-word
2268               (ecase bits-per-element
2269                 (1 0)
2270                 (8 -3)
2271                 (16 -4)
2272                 (32 -5)
2273                 (64 -6)))))
2274    (if (>= (+ ndata-elements nalignment-elements)
2275            array-total-size-limit)
2276      (progn
2277        (fd-close fd)
2278        (error "Can't make a vector with ~s elements in this implementation." (+ ndata-elements nalignment-elements)))
2279      (let* ((mapping (#_CreateFileMappingA (%int-to-ptr fd) (%null-ptr) #$PAGE_READONLY 0 0 (%null-ptr))))
2280        (if (%null-ptr-p mapping)
2281          (let* ((err (#_GetLastError)))
2282            (fd-close fd)
2283            (error "Couldn't create a file mapping - ~a." (%windows-error-string err)))
2284          (loop
2285            (let* ((base (#_VirtualAlloc (%null-ptr) nbytes #$MEM_RESERVE #$PAGE_NOACCESS)))
2286              (if (%null-ptr-p base)
2287                (let* ((err (#_GetLastError)))
2288                  (#_CloseHandle mapping)
2289                  (fd-close fd)
2290                  (error "Couldn't reserve ~d bytes of address space for mapped file - ~a"
2291                         nbytes (%windows-error-string err)))
2292                ;; Now we have to free the memory and hope that we can reallocate it ...
2293                (progn
2294                  (#_VirtualFree base 0 #$MEM_RELEASE)
2295                  (unless (%null-ptr-p (#_VirtualAlloc base *windows-allocation-granularity* #$MEM_RESERVE #$PAGE_NOACCESS))
2296                    (let* ((fptr (%inc-ptr base *windows-allocation-granularity*)))
2297                      (if (%null-ptr-p (#_MapViewOfFileEx mapping #$FILE_MAP_READ 0 0 0 fptr))
2298                        (#_VirtualFree base 0 #$MEM_RELEASE)
2299                        (let* ((prefix-page (%inc-ptr base (- *windows-allocation-granularity*
2300                                                              *host-page-size*))))
2301                          (#_VirtualAlloc prefix-page *host-page-size* #$MEM_COMMIT #$PAGE_READWRITE)
2302                          (setf (paref prefix-page (:* :address) 0) mapping
2303                                (paref prefix-page (:* :address) 1) (%int-to-ptr fd))
2304                          (return (values
2305                                   (%inc-ptr prefix-page (- *host-page-size*
2306                                                            (* 2 target::node-size)))
2307                                   ndata-elements
2308                                   nalignment-elements)))))))))))))))
2309                       
2310
2311
2312(defun map-file-to-ivector (pathname element-type)
2313  (let* ((upgraded-type (upgraded-array-element-type element-type))
2314         (upgraded-ctype (specifier-type upgraded-type)))
2315    (unless (and (typep upgraded-ctype 'numeric-ctype)
2316                 (eq 'integer (numeric-ctype-class upgraded-ctype)))
2317      (error "Invalid element-type: ~s" element-type))
2318    (let* ((bits-per-element (integer-length (- (numeric-ctype-high upgraded-ctype)
2319                                                (numeric-ctype-low upgraded-ctype))))
2320           (fd (fd-open (native-translated-namestring pathname) #$O_RDONLY)))
2321      (if (< fd 0)
2322        (signal-file-error fd pathname)
2323        (let* ((len (fd-size fd)))
2324          (if (< len 0)
2325            (signal-file-error fd pathname)
2326            (multiple-value-bind (header-address ndata-elements nalignment-elements)
2327                (%memory-map-fd fd len bits-per-element)
2328              (setf (%get-natural header-address 0)
2329                    (logior (element-type-subtype upgraded-type)
2330                            (ash (+ ndata-elements nalignment-elements) target::num-subtag-bits)))
2331              (with-macptrs ((v (%inc-ptr header-address target::fulltag-misc)))
2332                          (let* ((vector (rlet ((p :address v)) (%get-object p 0))))
2333                            ;; Tell some parts of Clozure CL - notably the
2334                            ;; printer - that this thing off in foreign
2335                            ;; memory is a real lisp object and not
2336                            ;; "bogus".
2337                            (with-lock-grabbed (*heap-ivector-lock*)
2338                              (push vector *heap-ivectors*))
2339                            (make-array ndata-elements
2340                                        :element-type upgraded-type
2341                                        :displaced-to vector
2342                                        :adjustable t
2343                                        :displaced-index-offset nalignment-elements))))))))))
2344
2345(defun map-file-to-octet-vector (pathname)
2346  (map-file-to-ivector pathname '(unsigned-byte 8)))
2347
2348(defun mapped-vector-data-address-and-size (displaced-vector)
2349  (let* ((v (array-displacement displaced-vector))
2350         (element-type (array-element-type displaced-vector)))
2351    (if (or (eq v displaced-vector)
2352            (not (with-lock-grabbed (*heap-ivector-lock*)
2353                   (member v *heap-ivectors*))))
2354      (error "~s doesn't seem to have been allocated via ~s and not yet unmapped" displaced-vector 'map-file-to-ivector))
2355    (let* ((pv (rlet ((x :address)) (%set-object x 0 v) (pref x :address)))
2356           (ctype (specifier-type element-type))
2357           (arch (backend-target-arch *target-backend*)))
2358      (values (%inc-ptr pv (- (* 2 target::node-size) target::fulltag-misc))
2359              (- (funcall (locally
2360                              ;; Don't really care about speed, but need to turn off typechecking for bootstrapping reasons
2361                              (declare (optimize (speed 3) (safety 0)))
2362                            (arch::target-array-data-size-function arch))
2363                          (ctype-subtype ctype)
2364                          (length v))
2365                 target::node-size)))))
2366
2367
2368#-windows-target
2369(defun %unmap-file (data-address size-in-octets)
2370  (let* ((base-address (%inc-ptr data-address (- *host-page-size*)))
2371         (fd (pref base-address :int)))
2372    (#_munmap base-address (+ *host-page-size* size-in-octets))
2373    (fd-close fd)))
2374
2375#+windows-target
2376(defun %unmap-file (data-address size-in-octets)
2377  (declare (ignore size-in-octets))
2378  (let* ((prefix-page (%inc-ptr data-address (- *host-page-size*)))
2379         (prefix-allocation (%inc-ptr data-address (- *windows-allocation-granularity*)))
2380         (mapping (paref prefix-page (:* :address) 0))
2381         (fd (%ptr-to-int (paref prefix-page (:* :address) 1))))
2382    (#_UnmapViewOfFile data-address)
2383    (#_CloseHandle mapping)
2384    (#_VirtualFree prefix-allocation 0 #$MEM_RELEASE)
2385    (fd-close fd)))
2386
2387   
2388
2389;;; Argument should be something returned by MAP-FILE-TO-IVECTOR;
2390;;; this should be called at most once for any such object.
2391(defun unmap-ivector (displaced-vector)
2392  (multiple-value-bind (data-address size-in-octets)
2393      (mapped-vector-data-address-and-size displaced-vector)
2394  (let* ((v (array-displacement displaced-vector)))
2395      (let* ((element-type (array-element-type displaced-vector)))
2396        (adjust-array displaced-vector 0
2397                      :element-type element-type
2398                      :displaced-to (make-array 0 :element-type element-type)
2399                      :displaced-index-offset 0))
2400      (with-lock-grabbed (*heap-ivector-lock*)
2401        (setq *heap-ivectors* (delete v *heap-ivectors*)))
2402      (%unmap-file data-address size-in-octets)
2403      t)))
2404
2405(defun unmap-octet-vector (v)
2406  (unmap-ivector v))
2407
2408#-windows-target
2409(progn
2410(defun lock-mapped-vector (v)
2411  (multiple-value-bind (address nbytes)
2412      (mapped-vector-data-address-and-size v)
2413    (eql 0 (#_mlock address nbytes))))
2414
2415(defun unlock-mapped-vector (v)
2416  (multiple-value-bind (address nbytes)
2417      (mapped-vector-data-address-and-size v)
2418    (eql 0 (#_munlock address nbytes))))
2419
2420(defun bitmap-for-mapped-range (address nbytes)
2421  (let* ((npages (ceiling nbytes *host-page-size*)))
2422    (%stack-block ((vec npages))
2423      (when (eql 0 (#_mincore address nbytes vec))
2424        (let* ((bits (make-array npages :element-type 'bit)))
2425          (dotimes (i npages bits)
2426            (setf (sbit bits i)
2427                  (logand 1 (%get-unsigned-byte vec i)))))))))
2428
2429(defun percentage-of-resident-pages (address nbytes)
2430  (let* ((npages (ceiling nbytes *host-page-size*)))
2431    (%stack-block ((vec npages))
2432      (when (eql 0 (#_mincore address nbytes vec))
2433        (let* ((nresident 0))
2434          (dotimes (i npages (* 100.0 (/ nresident npages)))
2435            (when (logbitp 0 (%get-unsigned-byte vec i))
2436              (incf nresident))))))))
2437
2438(defun mapped-vector-resident-pages (v)
2439  (multiple-value-bind (address nbytes)
2440      (mapped-vector-data-address-and-size v)
2441    (bitmap-for-mapped-range address nbytes)))
2442
2443(defun mapped-vector-resident-pages-percentage (v)
2444  (multiple-value-bind (address nbytes)
2445      (mapped-vector-data-address-and-size v)
2446    (percentage-of-resident-pages address nbytes)))
2447)
2448
2449
2450#+windows-target
2451(defun cygpath (winpath)
2452  "Try to use the Cygwin \"cygpath\" program to map a Windows-style
2453   pathname to a POSIX-stype Cygwin pathname."
2454  (let* ((posix-path winpath))
2455    (with-output-to-string (s)
2456      (multiple-value-bind (status exit-code)
2457          (external-process-status
2458           (run-program "cygpath" (list "-u" winpath) :output s))
2459        (when (and (eq status :exited)
2460                   (eql exit-code 0))
2461          (with-input-from-string (output (get-output-stream-string s))
2462            (setq posix-path (read-line output nil nil))))))
2463    posix-path))
2464
2465#-windows-target (defun cygpath (path) path)
2466     
2467
2468
2469
2470#+x86-target
2471(progn
2472(defloadvar *last-rdtsc-time* 0)
2473
2474(defstatic *rdtsc-estimated-increment* 1 "Should be positive ...")
2475
2476(defun rdtsc-monotonic ()
2477  "Return monotonically increasing values, partly compensating for
2478   OSes that don't keep the TSCs of all processorsin synch."
2479  (loop
2480    (let* ((old *last-rdtsc-time*)
2481           (new (rdtsc)))
2482      (when (< new old)
2483        ;; We're running on a CPU whose TSC is behind the one
2484        ;; on the last CPU we were scheduled on.
2485        (setq new (+ old *rdtsc-estimated-increment*)))
2486      (when (%store-node-conditional target::symbol.vcell *last-rdtsc-time* old new)
2487        (return new)))))
2488
2489(defun estimate-rdtsc-skew (&optional (niter 1000000))
2490  (do* ((i 0 (1+ i))
2491        (last (rdtsc) next)
2492        (next (rdtsc) (rdtsc))
2493        (skew 1))
2494       ((>= i niter) (setq *rdtsc-estimated-increment* skew))
2495    (declare (fixnum last next skew))
2496    (when (> last next)
2497      (let* ((s (- last next)))
2498        (declare (fixnum s))
2499        (when (> s skew) (setq skew s))))))
2500)
2501
2502
Note: See TracBrowser for help on using the repository browser.