include/asm-sh64/pgalloc.h

   1 #ifndef __ASM_SH64_PGALLOC_H
   2 #define __ASM_SH64_PGALLOC_H
   3
   4 /*
   5  * This file is subject to the terms and conditions of the GNU General Public
   6  * License.  See the file "COPYING" in the main directory of this archive
   7  * for more details.
   8  *
   9  * include/asm-sh64/pgalloc.h
  10  *
  11  * Copyright (C) 2000, 2001  Paolo Alberelli
  12  * Copyright (C) 2003, 2004  Paul Mundt
  13  * Copyright (C) 2003, 2004  Richard Curnow
  14  *
  15  */
  16
  17 #include <asm/processor.h>
  18 #include <linux/threads.h>
  19 #include <linux/mm.h>
  20
  21 #define pgd_quicklist (current_cpu_data.pgd_quick)
  22 #define pmd_quicklist (current_cpu_data.pmd_quick)
  23 #define pte_quicklist (current_cpu_data.pte_quick)
  24 #define pgtable_cache_size (current_cpu_data.pgtable_cache_sz)
  25
  26 static inline void pgd_init(unsigned long page)
  27 {
  28         unsigned long *pgd = (unsigned long *)page;
  29         extern pte_t empty_bad_pte_table[PTRS_PER_PTE];
  30         int i;
  31
  32         for (i = 0; i < USER_PTRS_PER_PGD; i++)
  33                 pgd[i] = (unsigned long)empty_bad_pte_table;
  34 }
  35
  36 /*
  37  * Allocate and free page tables. The xxx_kernel() versions are
  38  * used to allocate a kernel page table - this turns on ASN bits
  39  * if any.
  40  */
  41
  42 extern __inline__ pgd_t *get_pgd_slow(void)
  43 {
  44         unsigned int pgd_size = (USER_PTRS_PER_PGD * sizeof(pgd_t));
  45         pgd_t *ret = (pgd_t *)kmalloc(pgd_size, GFP_KERNEL);
  46         return ret;
  47 }
  48
  49 extern __inline__ pgd_t *get_pgd_fast(void)
  50 {
  51         unsigned long *ret;
  52
  53         if ((ret = pgd_quicklist) != NULL) {
  54                 pgd_quicklist = (unsigned long *)(*ret);
  55                 ret[0] = 0;
  56                 pgtable_cache_size--;
  57         } else
  58                 ret = (unsigned long *)get_pgd_slow();
  59
  60         if (ret) {
  61                 memset(ret, 0, USER_PTRS_PER_PGD * sizeof(pgd_t));
  62         }
  63         return (pgd_t *)ret;
  64 }
  65
  66 extern __inline__ void free_pgd_fast(pgd_t *pgd)
  67 {
  68         *(unsigned long *)pgd = (unsigned long) pgd_quicklist;
  69         pgd_quicklist = (unsigned long *) pgd;
  70         pgtable_cache_size++;
  71 }
  72
  73 extern __inline__ void free_pgd_slow(pgd_t *pgd)
  74 {
  75         kfree((void *)pgd);
  76 }
  77
  78 extern pte_t *get_pte_slow(pmd_t *pmd, unsigned long address_preadjusted);
  79 extern pte_t *get_pte_kernel_slow(pmd_t *pmd, unsigned long address_preadjusted);
  80
  81 extern __inline__ pte_t *get_pte_fast(void)
  82 {
  83         unsigned long *ret;
  84
  85         if((ret = (unsigned long *)pte_quicklist) != NULL) {
  86                 pte_quicklist = (unsigned long *)(*ret);
  87                 ret[0] = ret[1];
  88                 pgtable_cache_size--;
  89         }
  90         return (pte_t *)ret;
  91 }
  92
  93 extern __inline__ void free_pte_fast(pte_t *pte)
  94 {
  95         *(unsigned long *)pte = (unsigned long) pte_quicklist;
  96         pte_quicklist = (unsigned long *) pte;
  97         pgtable_cache_size++;
  98 }
  99
 100 static inline void pte_free_kernel(pte_t *pte)
 101 {
 102         free_page((unsigned long)pte);
 103 }
 104
 105 static inline void pte_free(struct page *pte)
 106 {
 107         __free_page(pte);
 108 }
 109
 110 static inline pte_t *pte_alloc_one_kernel(struct mm_struct *mm,
 111                                            unsigned long address)
 112 {
 113         pte_t *pte;
 114
 115         pte = (pte_t *)__get_free_page(GFP_KERNEL | __GFP_REPEAT);
 116         if (pte)
 117                 clear_page(pte);
 118
 119         return pte;
 120 }
 121
 122 static inline struct page *pte_alloc_one(struct mm_struct *mm, unsigned long address)
 123 {
 124         struct page *pte;
 125
 126         pte = alloc_pages(GFP_KERNEL|__GFP_REPEAT, 0);
 127         if (pte)
 128                 clear_page(page_address(pte));
 129
 130         return pte;
 131 }
 132
 133 #define __pte_free_tlb(tlb,pte) tlb_remove_page((tlb),(pte))
 134
 135 /*
 136  * allocating and freeing a pmd is trivial: the 1-entry pmd is
 137  * inside the pgd, so has no extra memory associated with it.
 138  */
 139
 140 #if defined(CONFIG_SH64_PGTABLE_2_LEVEL)
 141
 142 #define pmd_alloc_one(mm, addr)         ({ BUG(); ((pmd_t *)2); })
 143 #define pmd_free(x)                     do { } while (0)
 144 #define pgd_populate(mm, pmd, pte)      BUG()
 145 #define __pte_free_tlb(tlb,pte)         tlb_remove_page((tlb),(pte))
 146 #define __pmd_free_tlb(tlb,pmd)         do { } while (0)
 147
 148 #elif defined(CONFIG_SH64_PGTABLE_3_LEVEL)
 149
 150 static __inline__ pmd_t *pmd_alloc_one(struct mm_struct *mm, unsigned long address)
 151 {
 152         pmd_t *pmd;
 153         pmd = (pmd_t *) __get_free_page(GFP_KERNEL|__GFP_REPEAT);
 154         if (pmd)
 155                 clear_page(pmd);
 156         return pmd;
 157 }
 158
 159 static __inline__ void pmd_free(pmd_t *pmd)
 160 {
 161         free_page((unsigned long) pmd);
 162 }
 163
 164 #define pgd_populate(mm, pgd, pmd) pgd_set(pgd, pmd)
 165 #define __pmd_free_tlb(tlb,pmd)         pmd_free(pmd)
 166
 167 #else
 168 #error "No defined page table size"
 169 #endif
 170
 171 #define check_pgt_cache()               do { } while (0)
 172 #define pgd_free(pgd)           free_pgd_slow(pgd)
 173 #define pgd_alloc(mm)           get_pgd_fast()
 174
 175 extern int do_check_pgt_cache(int, int);
 176
 177 extern inline void set_pgdir(unsigned long address, pgd_t entry)
 178 {
 179         struct task_struct * p;
 180         pgd_t *pgd;
 181
 182         read_lock(&tasklist_lock);
 183         for_each_process(p) {
 184                 if (!p->mm)
 185                         continue;
 186                 *pgd_offset(p->mm,address) = entry;
 187         }
 188         read_unlock(&tasklist_lock);
 189         for (pgd = (pgd_t *)pgd_quicklist; pgd; pgd = (pgd_t *)*(unsigned long *)pgd)
 190                 pgd[address >> PGDIR_SHIFT] = entry;
 191 }
 192
 193 #define pmd_populate_kernel(mm, pmd, pte) \
 194         set_pmd(pmd, __pmd(_PAGE_TABLE + (unsigned long) (pte)))
 195
 196 static inline void pmd_populate(struct mm_struct *mm, pmd_t *pmd,
 197                                 struct page *pte)
 198 {
 199         set_pmd(pmd, __pmd(_PAGE_TABLE + (unsigned long) page_address (pte)));
 200 }
 201
 202 #endif /* __ASM_SH64_PGALLOC_H */