include/asm-ppc64/page.h

   1 #ifndef _PPC64_PAGE_H
   2 #define _PPC64_PAGE_H
   3
   4 /*
   5  * Copyright (C) 2001 PPC64 Team, IBM Corp
   6  *
   7  * This program is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License
   9  * as published by the Free Software Foundation; either version
  10  * 2 of the License, or (at your option) any later version.
  11  */
  12
  13 #include <linux/config.h>
  14
  15 #ifdef __ASSEMBLY__
  16   #define ASM_CONST(x) x
  17 #else
  18   #define __ASM_CONST(x) x##UL
  19   #define ASM_CONST(x) __ASM_CONST(x)
  20 #endif
  21
  22 /* PAGE_SHIFT determines the page size */
  23 #define PAGE_SHIFT      12
  24 #define PAGE_SIZE       (ASM_CONST(1) << PAGE_SHIFT)
  25 #define PAGE_MASK       (~(PAGE_SIZE-1))
  26 #define PAGE_OFFSET_MASK (PAGE_SIZE-1)
  27
  28 #define SID_SHIFT       28
  29 #define SID_MASK        0xfffffffffUL
  30 #define GET_ESID(x)     (((x) >> SID_SHIFT) & SID_MASK)
  31
  32 #ifdef CONFIG_HUGETLB_PAGE
  33
  34 #define HPAGE_SHIFT     24
  35 #define HPAGE_SIZE      ((1UL) << HPAGE_SHIFT)
  36 #define HPAGE_MASK      (~(HPAGE_SIZE - 1))
  37 #define HUGETLB_PAGE_ORDER      (HPAGE_SHIFT - PAGE_SHIFT)
  38
  39 /* For 64-bit processes the hugepage range is 1T-1.5T */
  40 #define TASK_HPAGE_BASE         (0x0000010000000000UL)
  41 #define TASK_HPAGE_END  (0x0000018000000000UL)
  42
  43 #define LOW_ESID_MASK(addr, len)        (((1U << (GET_ESID(addr+len-1)+1)) \
  44                                         - (1U << GET_ESID(addr))) & 0xffff)
  45
  46 #define ARCH_HAS_HUGEPAGE_ONLY_RANGE
  47 #define ARCH_HAS_PREPARE_HUGEPAGE_RANGE
  48
  49 #define touches_hugepage_low_range(addr, len) \
  50         (LOW_ESID_MASK((addr), (len)) & current->mm->context.htlb_segs)
  51 #define touches_hugepage_high_range(addr, len) \
  52         (((addr) > (TASK_HPAGE_BASE-(len))) && ((addr) < TASK_HPAGE_END))
  53
  54 #define __within_hugepage_low_range(addr, len, segmask) \
  55         ((LOW_ESID_MASK((addr), (len)) | (segmask)) == (segmask))
  56 #define within_hugepage_low_range(addr, len) \
  57         __within_hugepage_low_range((addr), (len), \
  58                                     current->mm->context.htlb_segs)
  59 #define within_hugepage_high_range(addr, len) (((addr) >= TASK_HPAGE_BASE) \
  60           && ((addr)+(len) <= TASK_HPAGE_END) && ((addr)+(len) >= (addr)))
  61
  62 #define is_hugepage_only_range(addr, len) \
  63         (touches_hugepage_high_range((addr), (len)) || \
  64           touches_hugepage_low_range((addr), (len)))
  65 #define hugetlb_free_pgtables free_pgtables
  66 #define HAVE_ARCH_HUGETLB_UNMAPPED_AREA
  67
  68 #define in_hugepage_area(context, addr) \
  69         ((cur_cpu_spec->cpu_features & CPU_FTR_16M_PAGE) && \
  70          ( (((addr) >= TASK_HPAGE_BASE) && ((addr) < TASK_HPAGE_END)) || \
  71            ( ((addr) < 0x100000000L) && \
  72              ((1 << GET_ESID(addr)) & (context).htlb_segs) ) ) )
  73
  74 #else /* !CONFIG_HUGETLB_PAGE */
  75
  76 #define in_hugepage_area(mm, addr)      0
  77
  78 #endif /* !CONFIG_HUGETLB_PAGE */
  79
  80 /* align addr on a size boundary - adjust address up/down if needed */
  81 #define _ALIGN_UP(addr,size)    (((addr)+((size)-1))&(~((size)-1)))
  82 #define _ALIGN_DOWN(addr,size)  ((addr)&(~((size)-1)))
  83
  84 /* align addr on a size boundary - adjust address up if needed */
  85 #define _ALIGN(addr,size)     _ALIGN_UP(addr,size)
  86
  87 /* to align the pointer to the (next) double word boundary */
  88 #define DOUBLEWORD_ALIGN(addr)  _ALIGN(addr,sizeof(unsigned long))
  89
  90 /* to align the pointer to the (next) page boundary */
  91 #define PAGE_ALIGN(addr)        _ALIGN(addr, PAGE_SIZE)
  92
  93 #ifdef __KERNEL__
  94 #ifndef __ASSEMBLY__
  95 #include <asm/naca.h>
  96
  97 #undef STRICT_MM_TYPECHECKS
  98
  99 #define REGION_SIZE   4UL
 100 #define REGION_SHIFT  60UL
 101 #define REGION_MASK   (((1UL<<REGION_SIZE)-1UL)<<REGION_SHIFT)
 102 #define REGION_STRIDE (1UL << REGION_SHIFT)
 103
 104 static __inline__ void clear_page(void *addr)
 105 {
 106         unsigned long lines, line_size;
 107
 108         line_size = systemcfg->dCacheL1LineSize;
 109         lines = naca->dCacheL1LinesPerPage;
 110
 111         __asm__ __volatile__(
 112         "mtctr          %1      # clear_page\n\
 113 1:      dcbz    0,%0\n\
 114         add     %0,%0,%3\n\
 115         bdnz+   1b"
 116         : "=r" (addr)
 117         : "r" (lines), "0" (addr), "r" (line_size)
 118         : "ctr", "memory");
 119 }
 120
 121 extern void copy_page(void *to, void *from);
 122 struct page;
 123 extern void clear_user_page(void *page, unsigned long vaddr, struct page *pg);
 124 extern void copy_user_page(void *to, void *from, unsigned long vaddr, struct page *p);
 125
 126 #ifdef STRICT_MM_TYPECHECKS
 127 /*
 128  * These are used to make use of C type-checking.
 129  * Entries in the pte table are 64b, while entries in the pgd & pmd are 32b.
 130  */
 131 typedef struct { unsigned long pte; } pte_t;
 132 typedef struct { unsigned int  pmd; } pmd_t;
 133 typedef struct { unsigned int  pgd; } pgd_t;
 134 typedef struct { unsigned long pgprot; } pgprot_t;
 135
 136 #define pte_val(x)      ((x).pte)
 137 #define pmd_val(x)      ((x).pmd)
 138 #define pgd_val(x)      ((x).pgd)
 139 #define pgprot_val(x)   ((x).pgprot)
 140
 141 #define __pte(x)        ((pte_t) { (x) } )
 142 #define __pmd(x)        ((pmd_t) { (x) } )
 143 #define __pgd(x)        ((pgd_t) { (x) } )
 144 #define __pgprot(x)     ((pgprot_t) { (x) } )
 145
 146 #else
 147 /*
 148  * .. while these make it easier on the compiler
 149  */
 150 typedef unsigned long pte_t;
 151 typedef unsigned int  pmd_t;
 152 typedef unsigned int  pgd_t;
 153 typedef unsigned long pgprot_t;
 154
 155 #define pte_val(x)      (x)
 156 #define pmd_val(x)      (x)
 157 #define pgd_val(x)      (x)
 158 #define pgprot_val(x)   (x)
 159
 160 #define __pte(x)        (x)
 161 #define __pmd(x)        (x)
 162 #define __pgd(x)        (x)
 163 #define __pgprot(x)     (x)
 164
 165 #endif
 166
 167 /* Pure 2^n version of get_order */
 168 static inline int get_order(unsigned long size)
 169 {
 170         int order;
 171
 172         size = (size-1) >> (PAGE_SHIFT-1);
 173         order = -1;
 174         do {
 175                 size >>= 1;
 176                 order++;
 177         } while (size);
 178         return order;
 179 }
 180
 181 #define __pa(x) ((unsigned long)(x)-PAGE_OFFSET)
 182
 183 /* Not 100% correct, for use by /dev/mem only */
 184 extern int page_is_ram(unsigned long physaddr);
 185
 186 #endif /* __ASSEMBLY__ */
 187
 188 #ifdef MODULE
 189 #define __page_aligned __attribute__((__aligned__(PAGE_SIZE)))
 190 #else
 191 #define __page_aligned \
 192         __attribute__((__aligned__(PAGE_SIZE), \
 193                 __section__(".data.page_aligned")))
 194 #endif
 195
 196
 197 /* This must match the -Ttext linker address            */
 198 /* Note: tophys & tovirt make assumptions about how     */
 199 /*       KERNELBASE is defined for performance reasons. */
 200 /*       When KERNELBASE moves, those macros may have   */
 201 /*             to change!                               */
 202 #define PAGE_OFFSET     ASM_CONST(0xC000000000000000)
 203 #define KERNELBASE      PAGE_OFFSET
 204 #define VMALLOCBASE     0xD000000000000000UL
 205 #define IOREGIONBASE    0xE000000000000000UL
 206 #define EEHREGIONBASE   0xA000000000000000UL
 207
 208 #define IO_REGION_ID       (IOREGIONBASE>>REGION_SHIFT)
 209 #define EEH_REGION_ID      (EEHREGIONBASE>>REGION_SHIFT)
 210 #define VMALLOC_REGION_ID  (VMALLOCBASE>>REGION_SHIFT)
 211 #define KERNEL_REGION_ID   (KERNELBASE>>REGION_SHIFT)
 212 #define USER_REGION_ID     (0UL)
 213 #define REGION_ID(X)       (((unsigned long)(X))>>REGION_SHIFT)
 214
 215 /*
 216  * Define valid/invalid EA bits (for all ranges)
 217  */
 218 #define VALID_EA_BITS   (0x000001ffffffffffUL)
 219 #define INVALID_EA_BITS (~(REGION_MASK|VALID_EA_BITS))
 220
 221 #define IS_VALID_REGION_ID(x) \
 222         (((x) == USER_REGION_ID) || ((x) >= KERNEL_REGION_ID))
 223 #define IS_VALID_EA(x) \
 224         ((!((x) & INVALID_EA_BITS)) && IS_VALID_REGION_ID(REGION_ID(x)))
 225
 226 #define __bpn_to_ba(x) ((((unsigned long)(x))<<PAGE_SHIFT) + KERNELBASE)
 227 #define __ba_to_bpn(x) ((((unsigned long)(x)) & ~REGION_MASK) >> PAGE_SHIFT)
 228
 229 #define __va(x) ((void *)((unsigned long)(x) + KERNELBASE))
 230
 231 #ifdef CONFIG_DISCONTIGMEM
 232 #define page_to_pfn(page)       discontigmem_page_to_pfn(page)
 233 #define pfn_to_page(pfn)        discontigmem_pfn_to_page(pfn)
 234 #define pfn_valid(pfn)          discontigmem_pfn_valid(pfn)
 235 #else
 236 #define pfn_to_page(pfn)        (mem_map + (pfn))
 237 #define page_to_pfn(page)       ((unsigned long)((page) - mem_map))
 238 #define pfn_valid(pfn)          ((pfn) < max_mapnr)
 239 #endif
 240
 241 #define virt_to_page(kaddr)     pfn_to_page(__pa(kaddr) >> PAGE_SHIFT)
 242
 243 #define virt_addr_valid(kaddr)  pfn_valid(__pa(kaddr) >> PAGE_SHIFT)
 244
 245 #define VM_DATA_DEFAULT_FLAGS   (VM_READ | VM_WRITE | VM_EXEC | \
 246                                  VM_MAYREAD | VM_MAYWRITE | VM_MAYEXEC)
 247
 248 #endif /* __KERNEL__ */
 249 #endif /* _PPC64_PAGE_H */