include/asm-xen/asm-x86_64/pgalloc.h

   1 #ifndef _X86_64_PGALLOC_H
   2 #define _X86_64_PGALLOC_H
   3
   4 #include <asm/processor.h>
   5 #include <asm/fixmap.h>
   6 #include <asm/pda.h>
   7 #include <linux/threads.h>
   8 #include <linux/mm.h>
   9 #include <asm/io.h>             /* for phys_to_virt and page_to_pseudophys */
  10
  11 void make_page_readonly(void *va);
  12 void make_page_writable(void *va);
  13 void make_pages_readonly(void *va, unsigned int nr);
  14 void make_pages_writable(void *va, unsigned int nr);
  15
  16 #define __user_pgd(pgd) ((pgd) + PTRS_PER_PGD)
  17
  18 static inline void pmd_populate_kernel(struct mm_struct *mm, pmd_t *pmd, pte_t *pte)
  19 {
  20         set_pmd(pmd, __pmd(_PAGE_TABLE | __pa(pte)));
  21 }
  22
  23 static inline void pmd_populate(struct mm_struct *mm, pmd_t *pmd, struct page *pte)
  24 {
  25         set_pmd(pmd, __pmd(_PAGE_TABLE | (page_to_pfn(pte) << PAGE_SHIFT)));
  26 }
  27
  28 static inline void pud_populate(struct mm_struct *mm, pud_t *pud, pmd_t *pmd)
  29 {
  30         set_pud(pud, __pud(_PAGE_TABLE | __pa(pmd)));
  31 }
  32
  33 /*
  34  * We need to use the batch mode here, but pgd_pupulate() won't be
  35  * be called frequently.
  36  */
  37 static inline void pgd_populate(struct mm_struct *mm, pgd_t *pgd, pud_t *pud)
  38 {
  39         set_pgd(pgd, __pgd(_PAGE_TABLE | __pa(pud)));
  40         set_pgd(__user_pgd(pgd), __pgd(_PAGE_TABLE | __pa(pud)));
  41 }
  42
  43 extern __inline__ pmd_t *get_pmd(void)
  44 {
  45         pmd_t *pmd = (pmd_t *)get_zeroed_page(GFP_KERNEL);
  46         if (!pmd)
  47                 return NULL;
  48         make_page_readonly(pmd);
  49         xen_pmd_pin(__pa(pmd));
  50         return pmd;
  51 }
  52
  53 extern __inline__ void pmd_free(pmd_t *pmd)
  54 {
  55         BUG_ON((unsigned long)pmd & (PAGE_SIZE-1));
  56         xen_pmd_unpin(__pa(pmd));
  57         make_page_writable(pmd);
  58         free_page((unsigned long)pmd);
  59 }
  60
  61 static inline pmd_t *pmd_alloc_one(struct mm_struct *mm, unsigned long addr)
  62 {
  63         pmd_t *pmd = (pmd_t *) get_zeroed_page(GFP_KERNEL|__GFP_REPEAT);
  64         if (!pmd)
  65                 return NULL;
  66         make_page_readonly(pmd);
  67         xen_pmd_pin(__pa(pmd));
  68         return pmd;
  69 }
  70
  71 static inline pud_t *pud_alloc_one(struct mm_struct *mm, unsigned long addr)
  72 {
  73         pud_t *pud = (pud_t *) get_zeroed_page(GFP_KERNEL|__GFP_REPEAT);
  74         if (!pud)
  75                 return NULL;
  76         make_page_readonly(pud);
  77         xen_pud_pin(__pa(pud));
  78         return pud;
  79 }
  80
  81 static inline void pud_free(pud_t *pud)
  82 {
  83         BUG_ON((unsigned long)pud & (PAGE_SIZE-1));
  84         xen_pud_unpin(__pa(pud));
  85         make_page_writable(pud);
  86         free_page((unsigned long)pud);
  87 }
  88
  89 static inline pgd_t *pgd_alloc(struct mm_struct *mm)
  90 {
  91         /*
  92          * We allocate two contiguous pages for kernel and user.
  93          */
  94         unsigned boundary;
  95         pgd_t *pgd = (pgd_t *)__get_free_pages(GFP_KERNEL|__GFP_REPEAT, 1);
  96
  97         if (!pgd)
  98                 return NULL;
  99         /*
 100          * Copy kernel pointers in from init.
 101          * Could keep a freelist or slab cache of those because the kernel
 102          * part never changes.
 103          */
 104         boundary = pgd_index(__PAGE_OFFSET);
 105         memset(pgd, 0, boundary * sizeof(pgd_t));
 106         memcpy(pgd + boundary,
 107                init_level4_pgt + boundary,
 108                (PTRS_PER_PGD - boundary) * sizeof(pgd_t));
 109
 110         memset(__user_pgd(pgd), 0, PAGE_SIZE); /* clean up user pgd */
 111         make_pages_readonly(pgd, 2);
 112
 113         xen_pgd_pin(__pa(pgd)); /* kernel */
 114         xen_pgd_pin(__pa(__user_pgd(pgd))); /* user */
 115         /*
 116          * Set level3_user_pgt for vsyscall area
 117          */
 118         set_pgd(__user_pgd(pgd) + pgd_index(VSYSCALL_START),
 119                 mk_kernel_pgd(__pa_symbol(level3_user_pgt)));
 120         return pgd;
 121 }
 122
 123 static inline void pgd_free(pgd_t *pgd)
 124 {
 125         BUG_ON((unsigned long)pgd & (PAGE_SIZE-1));
 126         xen_pgd_unpin(__pa(pgd));
 127         xen_pgd_unpin(__pa(__user_pgd(pgd)));
 128         make_pages_writable(pgd, 2);
 129         free_pages((unsigned long)pgd, 1);
 130 }
 131
 132 static inline pte_t *pte_alloc_one_kernel(struct mm_struct *mm, unsigned long address)
 133 {
 134         pte_t *pte = (pte_t *)get_zeroed_page(GFP_KERNEL|__GFP_REPEAT);
 135         if (!pte)
 136                 return NULL;
 137         make_page_readonly(pte);
 138         xen_pte_pin(__pa(pte));
 139         return pte;
 140 }
 141
 142 static inline struct page *pte_alloc_one(struct mm_struct *mm, unsigned long address)
 143 {
 144         pte_t *pte = (void *)get_zeroed_page(GFP_KERNEL|__GFP_REPEAT);
 145         if (!pte)
 146                 return NULL;
 147         make_page_readonly(pte);
 148         xen_pte_pin(__pa(pte));
 149         return virt_to_page((unsigned long)pte);
 150 }
 151
 152 /* Should really implement gc for free page table pages. This could be
 153    done with a reference count in struct page. */
 154
 155 extern __inline__ void pte_free_kernel(pte_t *pte)
 156 {
 157         BUG_ON((unsigned long)pte & (PAGE_SIZE-1));
 158         xen_pte_unpin(__pa(pte));
 159         make_page_writable(pte);
 160         free_page((unsigned long)pte);
 161 }
 162
 163 extern void pte_free(struct page *pte);
 164
 165 //#define __pte_free_tlb(tlb,pte) tlb_remove_page((tlb),(pte))
 166
 167 #define __pte_free_tlb(tlb,x)   pte_free((x))
 168 #define __pmd_free_tlb(tlb,x)   pmd_free((x))
 169 #define __pud_free_tlb(tlb,x)   pud_free((x))
 170
 171 #endif /* _X86_64_PGALLOC_H */