source: trunk/source/library/leaks.lisp @ 12939

Last change on this file since 12939 was 12939, checked in by gz, 10 years ago

From Dominic Schulz: extend parse-mtrace-log to take into account frees and reallocs, add pretty-print-mtrace-summary

File size: 12.8 KB
Line 
1;;;-*-Mode: LISP; Package: ccl -*-
2;;;
3;;;   Copyright (C) 2008, Clozure Associates and contributors
4;;;   This file is part of OpenMCL. 
5;;;
6;;;   OpenMCL is licensed under the terms of the Lisp Lesser GNU Public
7;;;   License , known as the LLGPL and distributed with OpenMCL as the
8;;;   file "LICENSE".  The LLGPL consists of a preamble and the LGPL,
9;;;   which is distributed with OpenMCL as the file "LGPL".  Where these
10;;;   conflict, the preamble takes precedence. 
11;;;
12;;;   OpenMCL is referenced in the preamble as the "LIBRARY."
13;;;
14;;;   The LLGPL is also available online at
15;;;   http://opensource.franz.com/preamble.html
16
17; leaks.lisp
18; A few functions to help in finding memory leaks
19
20(in-package :ccl)
21
22;; Returns all objects that satisfy predicate of one of the types in
23;; ccl::*heap-utilization-vector-type-names*
24;; Note that these can contain stack-consed objects that are dead.
25;; Use pointer-in-some-dynamic-area-p to be sure to follow only real objects
26;; (ccl::heap-utilization) prints a useful list of object counts and sizes
27;; per type.
28(defun all-objects-of-type (type &optional predicate)
29  (let ((typecode (position type ccl::*heap-utilization-vector-type-names*))
30        (res nil))
31    (when typecode
32      (flet ((mapper (thing)
33               (when (and (eq typecode (ccl::typecode thing))
34                          (or (null predicate) (funcall predicate thing)))
35                 (push thing res))))
36        (declare (dynamic-extent #'mapper))
37        (ccl::%map-areas #'mapper))
38      res)))
39
40;; Counts objects that satisfy predicate of one of the types in
41;; ccl::*heap-utilization-vector-type-names*
42(defun count-objects-of-type (type &optional predicate)
43  (let ((typecode (position type ccl::*heap-utilization-vector-type-names*))
44        (res 0))
45    (when typecode
46      (flet ((mapper (thing)
47               (when (and (eq typecode (ccl::typecode thing))
48                          (or (null predicate) (funcall predicate thing)))
49                 (incf res))))
50        (declare (dynamic-extent #'mapper))
51        (ccl::%map-areas #'mapper))
52      res)))
53
54(defun count-conses ()
55  (let ((res 0))
56    (flet ((mapper (thing)
57             (when (consp thing) (incf res))))
58      (declare (dynamic-extent #'mapper))
59      (ccl::%map-areas #'mapper))
60    res))
61
62;; Like set-difference, but uses a hash table to go faster.
63(defun fast-set-difference (list1 list2 &optional (test #'eq))
64  (let ((hash (make-hash-table :test test))
65        (res nil))
66    (dolist (e1 list1) (setf (gethash e1 hash) t))
67    (dolist (e2 list2) (remhash e2 hash))
68    (maphash (lambda (k v)
69               (declare (ignore v))
70               (push k res))
71             hash)
72    res))
73
74;; Returns all references to object.
75;; Note that these can contain stack-consed objects that are dead.
76;; Use pointer-in-some-dynamic-area-p to be sure to follow only real objects
77(defun find-references (object)
78  (let ((res nil))
79    (ccl::%map-areas
80     (lambda (thing)
81       (cond ((and (not (eq thing object))
82                   (ccl::uvectorp thing)
83                   (not (ccl::ivectorp thing)))
84              (dotimes (i (ccl::uvsize thing))
85                (when (eq object (ccl::uvref thing i))
86                  (push thing res)
87                  (return))))
88             ((consp thing)
89              (when(or (eq object (car thing))
90                       (eq object (cdr thing)))
91                (push thing res))))))
92    res))
93
94;; Return true if P is heap-consed
95(defun pointer-in-some-dynamic-area-p (p)
96 (block found
97   (ccl::do-consing-areas (a)
98     (when (eql (%fixnum-ref a target::area.code) ccl::area-dynamic)
99       (when (ccl::%ptr-in-area-p p a)
100         (return-from found t))))))
101
102;; Find all transitive referencers to object-or-list. If as-object is
103;; true, just start with object-or-list. If as-object is false, then if
104;; object-or-list is a list, start with its elements, and ignore its
105;; cons cells.
106;; Returns a hash table with the references as keys.
107(defun transitive-referencers (object-or-list &optional as-object)
108  (let ((found (make-hash-table :test 'eq)))
109    (cond ((or (atom object-or-list) as-object)
110           (setf (gethash object-or-list found) t))
111          (t (loop for cons on object-or-list
112                   do
113                (setf (gethash cons found) t
114                      (gethash (car cons) found) t))))
115    (ccl:gc)
116    (format t "Searching") (finish-output)
117    (loop
118      (let ((added-one nil))
119        (format t " ~d" (hash-table-count found)) (finish-output)
120        (ccl::%map-areas
121         (lambda (thing)
122           (unless (or (not (pointer-in-some-dynamic-area-p thing))
123                       (gethash thing found))
124             (cond ((and (not (eq thing (ccl::nhash.vector found)))
125                         (ccl::uvectorp thing)
126                         (not (ccl::ivectorp thing))
127                         (not (packagep thing)))
128                    (dotimes (i (ccl::uvsize thing))
129                      (let ((object (ccl::uvref thing i)))
130                        (when (gethash object found)
131                          (setf (gethash thing found) t
132                                added-one t)
133                          (return)))))
134                   ((and (consp thing)
135                         (pointer-in-some-dynamic-area-p (car thing))
136                         (pointer-in-some-dynamic-area-p (cdr thing)))
137                    (when (or (gethash (car thing) found)
138                              (gethash (cdr thing) found))
139                      (setf (gethash thing found) t)))))))
140        (unless added-one
141          (return))))
142    (format t " done.~%") (finish-output)
143    ;; Eliminate any cons that is referenced by another cons.
144    ;; Also eliminate or replace objects that nobody will want to see.
145    (let ((cons-refs (make-hash-table :test 'eq))
146          (additions nil))
147      (loop for cons being the hash-keys of found
148            when (consp cons)
149              do
150           (when (consp (car cons))
151             (setf (gethash (car cons) cons-refs) t))
152           (when (consp (cdr cons))
153             (setf (gethash (cdr cons) cons-refs) t)))
154      (loop for key being the hash-keys of found
155            when (or (and (consp key) (gethash key cons-refs))
156                     (and (consp key) (eq (car key) 'ccl::%function-source-note))
157                     (typep key 'ccl::hash-table-vector)
158                     (when (and key
159                                (typep key
160                                  #+x8664-target 'ccl::symbol-vector
161                                  #-x8664-target 'symbol
162                                  ))
163                       (push (ccl::symvector->symptr key) additions)
164                       t)
165                     (when (typep key
166                                  #+x8664-target 'ccl::function-vector
167                                  #-x8664-target 'function
168                                  )
169                       (push (ccl::function-vector-to-function key) additions)
170                       t))
171              do
172              (remhash key found))
173      (dolist (addition additions)
174        (setf (gethash addition found) t))
175      (remhash object-or-list found)
176      (unless (or (atom object-or-list) as-object)
177        (loop for cons on object-or-list
178             do
179             (remhash cons found)
180             (remhash (car cons) found)))
181      found)))
182
183;; One convenient way to print the hash table returned by transitive-referencers
184(defun print-referencers (hash &key
185                          predicate
186                          (pause-period 20)
187                          (print-circle t)
188                          (print-length 20)
189                          (print-level 5))
190  (let ((cnt 0)
191        (*print-circle* print-circle)
192        (*print-length* print-length)
193        (*print-level* print-level))
194    (maphash (lambda (key value)
195               (declare (ignore value))
196               (when (or (null predicate) (funcall predicate key))
197                 (format t "~s~%" key)
198                 (when (> (incf cnt) pause-period)
199                   (format t "Continue (Y/N)? ")
200                   (unless (equalp (read-line) "Y")
201                     (return-from print-referencers))
202                   (setq cnt 0))))
203             hash)))
204
205;; Returns all the obsolete CLOS instances, those whose class has been
206;; changed since they were created. Each will be updated as soon as
207;; method dispatch is done on it."
208(defun obsolete-instances (list)
209  (let ((res nil))
210    (dolist (i list)
211      (when (eq 0 (ccl::%wrapper-hash-index (ccl::instance-class-wrapper i)))
212        (push i res)))
213    res))
214
215;; Linux-only malloc leak finding
216#+linux-target
217(progn
218
219;; (ccl::start-mtrace LOGFILE)
220;; Do some work.
221;; (ccl::stop-mtrace)
222;; (ccl::parse-mtrace-log LOGFILE)
223(defun start-mtrace (log-file)
224  (touch log-file)
225  (setf log-file (probe-file log-file))
226  (setenv "MALLOC_TRACE" (namestring log-file))
227  (gc)
228  (#_mtrace))
229
230(defun stop-mtrace ()
231  (gc)
232  (#_muntrace))
233
234(defun parse-mtrace-log (log-file)
235  (with-open-file (s log-file)
236    (let ((hash (make-hash-table :test 'equal))
237          (free-list '())
238          (eof (list :eof)))
239      (loop for line = (read-line s nil eof)
240            until (eq line eof)
241            when (and (> (length line) 2)
242                      (equal "@ " (subseq line 0 2)))
243              do
244           (setf line (subseq line 2))
245           (let ((plus-pos (or (search " + " line) (search " > " line)))
246                 (minus-pos (or (search " - " line) (search " < " line))))
247             (cond (plus-pos
248                    (let* ((where (subseq line 0 plus-pos))
249                           (addr-and-size (subseq line (+ plus-pos 3)))
250                           (space-pos (position #\space addr-and-size))
251                           (addr (subseq addr-and-size 0 space-pos))
252                           (size (subseq addr-and-size (1+ space-pos))))
253                      (setf (gethash addr hash) (list where size))))
254                   (minus-pos
255                    (let* ((where (subseq line 0 minus-pos))
256                           (addr (subseq line (+ minus-pos 3)))
257                           (found (nth-value 1 (gethash addr hash))))
258                      (if found
259                        (remhash addr hash)
260                        (push (list where addr) free-list)))))))
261      (let ((res nil))
262        (maphash (lambda (key value)
263                   (push (append value (list key)) res))
264                 hash)
265        (values res free-list)))))
266
267(defun pretty-print-mtrace-summary (file)
268  (let* ((malloc-sum 0))
269    (multiple-value-bind (mallocs frees) (parse-mtrace-log file)
270      (dolist (i mallocs)
271        (incf malloc-sum (parse-integer (second i) :radix 16 :start 2))
272        (format t "~&~A" i))
273      (format t "~&Freed but not malloced:~%~{~A~%~}" frees)
274      (format t "~&total-malloc-not-freed: ~~A ~A free not malloc: ~A"
275              (/ malloc-sum 1024.0)
276              (length mallocs)
277              (length frees)))))
278
279;; Return the total number of bytes allocated by malloc()
280(defun mallinfo ()
281  (ccl:rlet ((mallinfo :mallinfo))
282    (#_mallinfo mallinfo)
283    (ccl::rref mallinfo :mallinfo.uordblks)))
284
285#||
286http://www.gnu.org/s/libc/manual/html_node/Statistics-of-Malloc.html
287
288int arena
289    This is the total size of memory allocated with sbrk by malloc, in bytes.
290int ordblks
291    This is the number of chunks not in use. (The memory allocator internally gets chunks of memory from the operating system, and then carves them up to satisfy individual malloc requests; see Efficiency and Malloc.)
292int smblks
293    This field is unused.
294int hblks
295    This is the total number of chunks allocated with mmap.
296int hblkhd
297    This is the total size of memory allocated with mmap, in bytes.
298int usmblks
299    This field is unused.
300int fsmblks
301    This field is unused.
302int uordblks
303    This is the total size of memory occupied by chunks handed out by malloc.
304int fordblks
305    This is the total size of memory occupied by free (not in use) chunks.
306int keepcost
307    This is the size of the top-most releasable chunk that normally borders the end of the heap (i.e., the high end of the virtual address space's data segment).
308||#   
309
310(defun show-malloc-info ()
311  (rlet ((info :mallinfo))
312    (#_mallinfo info)                   ;struct return invisible arg.
313    (let* ((arena (pref info :mallinfo.arena))
314           (ordblks (pref info :mallinfo.ordblks))
315           (hblks (pref info :mallinfo.hblks))
316           (hblkhd (pref info :mallinfo.hblkhd))
317           (uordblks (pref info :mallinfo.uordblks))
318           (fordblks (pref info :mallinfo.fordblks))
319           (keepcost (pref info :mallinfo.keepcost)))
320      (format t "~& arena size: ~d/#x~x" arena arena)
321      (format t "~& number of unused chunks = ~d" ordblks)
322      (format t "~& number of mmap'ed chunks = ~d" hblks)
323      (format t "~& total size of mmap'ed chunks = ~d/#x~x" hblkhd hblkhd)
324      (format t "~& total size of malloc'ed chunks = ~d/#x~x" uordblks uordblks)
325      (format t "~& total size of free chunks = ~d/#x~x" fordblks fordblks)
326      (format t "~& size of releaseable chunk = ~d/#x~x" keepcost keepcost))))
327
328)  ;; end of linux-only code
Note: See TracBrowser for help on using the repository browser.