2974dab1316002fd4e56ad586b0274bedc10b88d
[barrelfish] / lib / barrelfish / vspace / memobj_anon.c
1 /**
2  * \file
3  * \brief memory object of anonymous type.
4  * The object maintains a list of frames.
5  *
6  * The object maintains a list of frames and a list of vregions.
7  * The lists are backed by slabs.
8  * The slabs may have to be grown,
9  * in which case the object will use #vspace_pinned_alloc.
10  *
11  * morecore uses this memory object so it cannot use malloc for its lists.
12  * Therefore, this uses slabs and grows them using the pinned memory.
13  */
14
15 /*
16  * Copyright (c) 2009, 2010, 2011, ETH Zurich.
17  * Copyright (c) 2014, HP Labs.
18  * All rights reserved.
19  *
20  * This file is distributed under the terms in the attached LICENSE file.
21  * If you do not find this file, copies can be found by writing to:
22  * ETH Zurich D-INFK, Universitaetstr. 6, CH-8092 Zurich. Attn: Systems Group.
23  */
24
25 #include <barrelfish/barrelfish.h>
26 #include "vspace_internal.h"
27
28 /**
29  * \brief Map the memory object into a region
30  *
31  * \param memobj   The memory object
32  * \param region  The region to add
33  */
34 static errval_t map_region(struct memobj *memobj, struct vregion *vregion)
35 {
36     errval_t err;
37     struct memobj_anon *anon = (struct memobj_anon*)memobj;
38
39     // Allocate space
40     struct vregion_list *data = slab_alloc(&anon->vregion_slab);
41     if (!data) { // Grow
42         void *buf;
43         err = vspace_pinned_alloc(&buf, VREGION_LIST);
44         if (err_is_fail(err)) {
45             return err_push(err, LIB_ERR_VSPACE_PINNED_ALLOC);
46         }
47         slab_grow(&anon->vregion_slab, buf,
48                   VSPACE_PINNED_UNIT * sizeof(struct vregion_list));
49         data = slab_alloc(&anon->vregion_slab);
50         if (!data) {
51             return LIB_ERR_SLAB_ALLOC_FAIL;
52         }
53     }
54     data->region = vregion;
55
56     // Insert into the list
57     struct vregion_list *walk = anon->vregion_list;
58     anon->vregion_list = data;
59     data->next = walk;
60
61     return SYS_ERR_OK;
62 }
63
64 /**
65  * \brief Unmap the memory object from a region
66  *
67  * \param memobj   The memory object
68  * \param region  The region to remove
69  */
70 static errval_t unmap_region(struct memobj *memobj, struct vregion *vregion)
71 {
72     struct memobj_anon *anon = (struct memobj_anon*)memobj;
73     errval_t err;
74
75     /* Unmap the affected area in the pmap */
76     struct vspace *vspace = vregion_get_vspace(vregion);
77     struct pmap *pmap     = vspace_get_pmap(vspace);
78     genvaddr_t vregion_base  = vregion_get_base_addr(vregion);
79     genvaddr_t vregion_off   = vregion_get_offset(vregion);
80     size_t vregion_size = vregion_get_size(vregion);
81     genvaddr_t vregion_end = vregion_off + vregion_size;
82
83     //printf("(%s:%d) unmap(0x%"PRIxGENVADDR", memobj->size = %zd) vregion size = %zd\n", __FILE__, __LINE__, vregion_base + vregion_off, memobj->size, vregion_size);
84
85     // unmap all affected frames
86     struct memobj_frame_list *fwalk = anon->frame_list;
87     struct memobj_frame_list *fprev = NULL;
88     //printf("vregion_off = 0x%"PRIxGENVADDR"\n", vregion_off);
89     //printf("vregion_end = 0x%"PRIxGENVADDR"\n", vregion_end);
90     err = LIB_ERR_VSPACE_VREGION_NOT_FOUND;
91     while (fwalk) {
92         //printf("fwalk->offset = %zd\n", fwalk->offset);
93         //printf("fwalk->next   = %p\n", fwalk->next);
94         if (fwalk->offset < vregion_off) {
95             fprev = fwalk;
96             fwalk = fwalk->next;
97             continue;
98         }
99         else if (fwalk->offset < vregion_end) {
100             err = pmap->f.unmap(pmap, vregion_base + vregion_off, fwalk->size, NULL);
101             if (err_is_fail(err)) {
102                 return err_push(err, LIB_ERR_PMAP_UNMAP);
103             }
104
105             /* Remove the vregion from the list */
106             struct vregion_list *prev = NULL;
107             for (struct vregion_list *elt = anon->vregion_list; elt != NULL;
108                  elt = elt->next) {
109                 if (elt->region == vregion) {
110                     if (prev == NULL) {
111                         assert(elt == anon->vregion_list);
112                         anon->vregion_list = elt->next;
113                     } else {
114                         assert(prev->next == elt);
115                         prev->next = elt->next;
116                     }
117                     slab_free(&anon->vregion_slab, elt);
118                     err = SYS_ERR_OK;
119                 }
120             }
121             vregion_off += fwalk->size;
122             fprev = fwalk;
123             fwalk = fwalk->next;
124         }
125     }
126
127     return err; // XXX: not quite the right error
128 }
129
130 /**
131  * \brief Set the protection on a range
132  *
133  * \param memobj  The memory object
134  * \param region  The vregion to modify the mappings on
135  * \param offset  Offset into the memory object
136  * \param range   The range of space to set the protection for
137  * \param flags   The protection flags
138  */
139 static errval_t protect(struct memobj *memobj, struct vregion *vregion,
140                         genvaddr_t offset, size_t range, vs_prot_flags_t flags)
141 {
142     struct memobj_anon *anon = (struct memobj_anon*)memobj;
143     errval_t err;
144
145     /* protect the affected area in the pmap */
146     struct vspace *vspace = vregion_get_vspace(vregion);
147     struct pmap *pmap     = vspace_get_pmap(vspace);
148     genvaddr_t vregion_base  = vregion_get_base_addr(vregion);
149     genvaddr_t vregion_off   = vregion_get_offset(vregion);
150     size_t vregion_size = vregion_get_size(vregion);
151     genvaddr_t vregion_end = vregion_off + vregion_size;
152
153     //printf("(%s:%d) protect(0x%"PRIxGENVADDR", memobj->size = %zd) vregion size = %zd offset=%zd range=%zd\n", __FILE__, __LINE__, vregion_base + vregion_off, memobj->size, vregion_size, offset, range);
154
155     if (offset + range > vregion_end) {
156         return LIB_ERR_MEMOBJ_WRONG_OFFSET;
157     }
158
159     offset += vregion_off;
160
161     // Special handling if the range cannot span frames
162     if (range <= BASE_PAGE_SIZE) {
163         err = pmap->f.modify_flags(pmap, vregion_base + offset, range, flags, NULL);
164         if (err_is_fail(err)) {
165             return err_push(err, LIB_ERR_PMAP_MODIFY_FLAGS);
166         }
167         return SYS_ERR_OK;
168     }
169
170     // protect all affected frames
171     struct memobj_frame_list *fwalk = anon->frame_list;
172     //printf("vregion_off = 0x%"PRIxGENVADDR"\n", vregion_off);
173     //printf("vregion_end = 0x%"PRIxGENVADDR"\n", vregion_end);
174     while (fwalk && range) {
175         //printf("fwalk->offset = %zd\n", fwalk->offset);
176         //printf("fwalk->next   = %p\n", fwalk->next);
177         if (offset >= fwalk->offset && offset < fwalk->offset + fwalk->size) {
178
179             size_t range_in_frame = fwalk->offset + fwalk->size - offset;
180             size_t size = range_in_frame < range ? range_in_frame : range;
181
182             size_t retsize;
183             err = pmap->f.modify_flags(pmap, vregion_base + offset, size, flags, &retsize);
184             if (err_is_fail(err)) {
185                 return err_push(err, LIB_ERR_PMAP_MODIFY_FLAGS);
186             }
187             range -= retsize;
188             offset += retsize;
189         }
190         fwalk = fwalk->next;
191     }
192     if (range > 0) {
193         return LIB_ERR_VSPACE_VREGION_NOT_FOUND;
194     }
195
196     return SYS_ERR_OK;
197 }
198
199 /**
200  * \brief Pin a range
201  *
202  * \param memobj  The memory object
203  * \param region  The vregion to modify the state on
204  * \param offset  Offset into the memory object
205  * \param range   The range of space to pin
206  */
207 static errval_t pin(struct memobj *memobj, struct vregion *vregion,
208                     genvaddr_t offset, size_t range)
209 {
210     USER_PANIC("NYI");
211 }
212
213 /**
214  * \brief Unpin a range
215  *
216  * \param memobj  The memory object
217  * \param region  The vregion to modify the state on
218  * \param offset  Offset into the memory object
219  * \param range   The range of space to unpin
220  */
221 static errval_t unpin(struct memobj *memobj, struct vregion *vregion,
222                       genvaddr_t offset, size_t range)
223 {
224     USER_PANIC("NYI");
225 }
226
227 /**
228  * \brief Set a frame for an offset into the memobj
229  *
230  * \param memobj  The memory object
231  * \param offset  Offset into the memory object
232  * \param frame   The frame cap for the offset
233  * \param size    The size of frame cap
234  *
235  * Pagefault relies on frames inserted in order
236  */
237 static errval_t fill_foff(struct memobj *memobj, genvaddr_t offset, struct capref frame,
238                      size_t size, genpaddr_t foffset)
239 {
240     errval_t err;
241     struct memobj_anon *anon = (struct memobj_anon*)memobj;
242
243     assert((offset & BASE_PAGE_MASK) == 0);
244
245     // AB: allow frame to overlap end of memobj; that might have been the most
246     // efficient allocation size (even if the end of the frame will be unusable)
247     if (offset >= memobj->size) {
248         return LIB_ERR_MEMOBJ_WRONG_OFFSET;
249     }
250
251     // Allocate
252     struct memobj_frame_list *new = slab_alloc(&anon->frame_slab);
253     if (!new) { // Grow
254         void *buf;
255         err = vspace_pinned_alloc(&buf, FRAME_LIST);
256         if (err_is_fail(err)) {
257             return err_push(err, LIB_ERR_VSPACE_PINNED_ALLOC);
258         }
259         slab_grow(&anon->frame_slab, buf,
260                   VSPACE_PINNED_UNIT * sizeof(struct memobj_frame_list));
261         new = slab_alloc(&anon->frame_slab);
262         if (!new) {
263             return LIB_ERR_SLAB_ALLOC_FAIL;
264         }
265     }
266     new->offset  = offset;
267     new->frame   = frame;
268     new->size    = size;
269     new->foffset = foffset;
270
271     struct frame_identity fi;
272     err = frame_identify(frame, &fi);
273     if (err_is_fail(err)) {
274         return err_push(err, LIB_ERR_FRAME_IDENTIFY);
275     }
276     assert(err_is_ok(err));
277     new->pa = fi.base;
278
279     // Insert in order
280     struct memobj_frame_list *walk = anon->frame_list;
281     struct memobj_frame_list *prev = NULL;
282     while(walk) {
283         if (new->offset < walk->offset) {
284             if ((prev != NULL && new->offset < prev->offset + prev->size)
285                 || new->offset + new->size > walk->offset) {
286                 slab_free(&anon->frame_slab, new);
287                 return LIB_ERR_MEMOBJ_DUPLICATE_FILL;
288             }
289             new->next  = walk;
290             if (prev != NULL) {
291                 prev->next = new;
292             } else {
293                 assert(walk == anon->frame_list);
294                 anon->frame_list = new;
295             }
296             return SYS_ERR_OK;
297         }
298         prev = walk;
299         walk = walk->next;
300     }
301     if (prev != NULL) {
302         if (new->offset < prev->offset + prev->size) {
303             slab_free(&anon->frame_slab, new);
304             return LIB_ERR_MEMOBJ_DUPLICATE_FILL;
305         }
306         prev->next = new;
307         new->next = NULL;
308     } else {
309         assert(anon->frame_list == NULL);
310         anon->frame_list = new;
311         new->next = NULL;
312     }
313     return SYS_ERR_OK;
314 }
315 static errval_t fill(struct memobj *memobj, genvaddr_t offset, struct capref frame,
316                      size_t size)
317 {
318     return fill_foff(memobj, offset, frame, size, 0);
319 }
320
321 /**
322  * \brief Unmap/remove one frame from the end of the memobj
323  *
324  * \param memobj     The memory object
325  * \param offset     The offset from which to remove a frame from
326  * \param ret_frame  Pointer to return the removed frame
327  *
328  * This will try to remove one frame at an offset greater than the one
329  * specified. Call this function again and again till it returns the
330  * LIB_ERR_MEMOBJ_UNFILL_TOO_HIGH_OFFSET error to get all frames.
331  */
332 static errval_t unfill(struct memobj *memobj, genvaddr_t offset,
333                        struct capref *ret_frame, genvaddr_t *ret_offset)
334 {
335     errval_t err;
336     struct memobj_anon *anon = (struct memobj_anon*)memobj;
337
338     // Walk the ordered list of frames to find one right frame
339     struct memobj_frame_list *fwalk = anon->frame_list;
340     struct memobj_frame_list *fprev = NULL;
341     while (fwalk) {
342         if (fwalk->offset < offset) {
343             fprev = fwalk;
344             fwalk = fwalk->next;
345             continue;
346         }
347         goto cont;
348     }
349
350     // The specified offset is too high.
351     return LIB_ERR_MEMOBJ_UNFILL_TOO_HIGH_OFFSET;
352
353  cont:
354
355     { // Unmap the frame from all vregions
356         struct vregion_list *vwalk = anon->vregion_list;
357         while (vwalk) {
358             struct vspace *vspace = vregion_get_vspace(vwalk->region);
359             struct pmap *pmap     = vspace_get_pmap(vspace);
360             genvaddr_t vregion_base  = vregion_get_base_addr(vwalk->region);
361             size_t retsize;
362
363             assert((vregion_base + fwalk->offset) % BASE_PAGE_SIZE == 0);
364             //printf("(%s:%d) unmap(0x%"PRIxGENVADDR", %zd)\n", __FILE__, __LINE__, vregion_base + fwalk->offset, fwalk->size);
365             err = pmap->f.unmap(pmap, vregion_base + fwalk->offset, fwalk->size,
366                                 &retsize);
367             if (err_is_fail(err)) {
368                 return err_push(err, LIB_ERR_PMAP_UNMAP);
369             }
370             assert(retsize == fwalk->size);
371             vwalk = vwalk->next;
372         }
373     }
374
375     // Return the frame
376     if (ret_offset) {
377         *ret_offset = fwalk->offset;
378     }
379     if (ret_frame) {
380         *ret_frame = fwalk->frame;
381     }
382     if (fprev) {
383         fprev->next = fwalk->next;
384     } else {
385         anon->frame_list = fwalk->next;
386     }
387     slab_free(&anon->frame_slab, fwalk);
388     return SYS_ERR_OK;
389 }
390
391 /**
392  * \brief Page fault handler
393  *
394  * \param memobj  The memory object
395  * \param region  The associated vregion
396  * \param offset  Offset into memory object of the page fault
397  * \param type    The fault type
398  *
399  * Locates the frame for the offset and maps it in.
400  * Relies on fill inserting frames in order.
401  */
402 static errval_t pagefault(struct memobj *memobj, struct vregion *vregion,
403                           genvaddr_t offset, vm_fault_type_t type)
404 {
405     errval_t err;
406     struct memobj_anon *anon = (struct memobj_anon*)memobj;
407
408     // Walk the ordered list for the frame and map it in
409     struct memobj_frame_list *walk = anon->frame_list;
410     while (walk) {
411         if (offset >= walk->offset && offset < walk->offset + walk->size) {
412             struct vspace *vspace = vregion_get_vspace(vregion);
413             struct pmap *pmap     = vspace_get_pmap(vspace);
414             genvaddr_t base          = vregion_get_base_addr(vregion);
415             genvaddr_t vregion_off   = vregion_get_offset(vregion);
416             vregion_flags_t flags = vregion_get_flags(vregion);
417             err = pmap->f.map(pmap, base + vregion_off + walk->offset,
418                               walk->frame, walk->foffset, walk->size, flags,
419                               NULL, NULL);
420             if (err_is_fail(err)) {
421                 return err_push(err, LIB_ERR_PMAP_MAP);
422             }
423             return SYS_ERR_OK;
424         }
425         walk = walk->next;
426     }
427
428     return LIB_ERR_MEMOBJ_WRONG_OFFSET;
429 }
430
431 /**
432  * \brief Free up some pages by placing them in the backing storage
433  *
434  * \param memobj      The memory object
435  * \param size        The amount of space to free up
436  * \param frames      An array of capref frames to return the freed pages
437  * \param num_frames  The number of frames returned
438  *
439  * This will affect all the vregions that are associated with the object
440  */
441 static errval_t pager_free(struct memobj *memobj, size_t size,
442                            struct capref *frames, size_t num_frames)
443 {
444     USER_PANIC("NYI");
445 }
446
447 /**
448  * \brief Initialize
449  *
450  * \param memobj  The memory object
451  * \param size    Size of the memory region
452  * \param flags   Memory object specific flags
453  *
454  * This object handles multiple frames.
455  * The frames are mapped in on demand.
456  */
457 errval_t memobj_create_anon(struct memobj_anon *anon, size_t size,
458                             memobj_flags_t flags)
459 {
460     struct memobj *memobj = &anon->m;
461
462     /* Generic portion */
463     memobj->f.map_region   = map_region;
464     memobj->f.unmap_region = unmap_region;
465     memobj->f.protect      = protect;
466     memobj->f.pin          = pin;
467     memobj->f.unpin        = unpin;
468     memobj->f.fill         = fill;
469     memobj->f.fill_foff    = fill_foff;
470     memobj->f.unfill       = unfill;
471     memobj->f.pagefault    = pagefault;
472     memobj->f.pager_free   = pager_free;
473
474     memobj->size  = size;
475     memobj->flags = flags;
476
477     memobj->type = ANONYMOUS;
478
479     /* anon specific portion */
480     slab_init(&anon->vregion_slab, sizeof(struct vregion_list), NULL);
481     slab_init(&anon->frame_slab, sizeof(struct memobj_frame_list), NULL);
482
483     anon->vregion_list = NULL;
484     anon->frame_list = NULL;
485     return SYS_ERR_OK;
486 }
487
488 /**
489  * \brief Destroy the object
490  *
491  */
492 errval_t memobj_destroy_anon(struct memobj *memobj)
493 {
494     struct memobj_anon *m = (struct memobj_anon *)memobj;
495
496     errval_t err = SYS_ERR_OK;
497
498     struct vregion_list *vwalk = m->vregion_list;
499     while (vwalk) {
500         err = vregion_destroy(vwalk->region);
501         if (err_is_fail(err)) {
502             return err;
503         }
504         struct vregion_list *old = vwalk;
505         vwalk = vwalk->next;
506         slab_free(&m->vregion_slab, old);
507     }
508
509     struct memobj_frame_list *fwalk = m->frame_list;
510     while (fwalk) {
511         err = cap_delete(fwalk->frame);
512         if (err_is_fail(err)) {
513             return err;
514         }
515         struct memobj_frame_list *old = fwalk;
516         fwalk = fwalk->next;
517         slab_free(&m->frame_slab, old);
518     }
519     return err;
520 }