include/asm-sparc64/tlb.h

   1 #ifndef _SPARC64_TLB_H
   2 #define _SPARC64_TLB_H
   3
   4 #include <linux/config.h>
   5 #include <linux/swap.h>
   6 #include <linux/vs_memory.h>
   7 #include <asm/pgalloc.h>
   8 #include <asm/tlbflush.h>
   9 #include <asm/mmu_context.h>
  10
  11 #define TLB_BATCH_NR    192
  12
  13 /*
  14  * For UP we don't need to worry about TLB flush
  15  * and page free order so much..
  16  */
  17 #ifdef CONFIG_SMP
  18   #define FREE_PTE_NR   506
  19   #define tlb_fast_mode(bp) ((bp)->pages_nr == ~0U)
  20 #else
  21   #define FREE_PTE_NR   1
  22   #define tlb_fast_mode(bp) 1
  23 #endif
  24
  25 struct mmu_gather {
  26         struct mm_struct *mm;
  27         unsigned int pages_nr;
  28         unsigned int need_flush;
  29         unsigned int tlb_frozen;
  30         unsigned int tlb_nr;
  31         unsigned long freed;
  32         unsigned long vaddrs[TLB_BATCH_NR];
  33         struct page *pages[FREE_PTE_NR];
  34 };
  35
  36 DECLARE_PER_CPU(struct mmu_gather, mmu_gathers);
  37
  38 #ifdef CONFIG_SMP
  39 extern void smp_flush_tlb_pending(struct mm_struct *,
  40                                   unsigned long, unsigned long *);
  41 #endif
  42
  43 extern void __flush_tlb_pending(unsigned long, unsigned long, unsigned long *);
  44 extern void flush_tlb_pending(void);
  45
  46 static inline struct mmu_gather *tlb_gather_mmu(struct mm_struct *mm, unsigned int full_mm_flush)
  47 {
  48         struct mmu_gather *mp = &__get_cpu_var(mmu_gathers);
  49
  50         BUG_ON(mp->tlb_nr);
  51
  52         mp->mm = mm;
  53         mp->pages_nr = num_online_cpus() > 1 ? 0U : ~0U;
  54         mp->tlb_frozen = full_mm_flush;
  55         mp->freed = 0;
  56
  57         return mp;
  58 }
  59
  60
  61 static inline void tlb_flush_mmu(struct mmu_gather *mp)
  62 {
  63         if (mp->need_flush) {
  64                 mp->need_flush = 0;
  65                 if (!tlb_fast_mode(mp)) {
  66                         free_pages_and_swap_cache(mp->pages, mp->pages_nr);
  67                         mp->pages_nr = 0;
  68                 }
  69         }
  70
  71 }
  72
  73 #ifdef CONFIG_SMP
  74 extern void smp_flush_tlb_mm(struct mm_struct *mm);
  75 #define do_flush_tlb_mm(mm) smp_flush_tlb_mm(mm)
  76 #else
  77 #define do_flush_tlb_mm(mm) __flush_tlb_mm(CTX_HWBITS(mm->context), SECONDARY_CONTEXT)
  78 #endif
  79
  80 static inline void tlb_finish_mmu(struct mmu_gather *mp, unsigned long start, unsigned long end)
  81 {
  82         unsigned long freed = mp->freed;
  83         struct mm_struct *mm = mp->mm;
  84         unsigned long rss = get_mm_counter(mm, rss);
  85
  86         if (rss < freed)
  87                 freed = rss;
  88         add_mm_counter(mm, rss, -freed);
  89
  90         tlb_flush_mmu(mp);
  91
  92         if (mp->tlb_frozen) {
  93                 if (CTX_VALID(mm->context))
  94                         do_flush_tlb_mm(mm);
  95                 mp->tlb_frozen = 0;
  96         } else
  97                 flush_tlb_pending();
  98
  99         /* keep the page table cache within bounds */
 100         check_pgt_cache();
 101 }
 102
 103 static inline unsigned int tlb_is_full_mm(struct mmu_gather *mp)
 104 {
 105         return mp->tlb_frozen;
 106 }
 107
 108 static inline void tlb_remove_page(struct mmu_gather *mp, struct page *page)
 109 {
 110         mp->need_flush = 1;
 111         if (tlb_fast_mode(mp)) {
 112                 free_page_and_swap_cache(page);
 113                 return;
 114         }
 115         mp->pages[mp->pages_nr++] = page;
 116         if (mp->pages_nr >= FREE_PTE_NR)
 117                 tlb_flush_mmu(mp);
 118 }
 119
 120 #define tlb_remove_tlb_entry(mp,ptep,addr) do { } while (0)
 121 #define pte_free_tlb(mp,ptepage) pte_free(ptepage)
 122 #define pmd_free_tlb(mp,pmdp) pmd_free(pmdp)
 123 #define pud_free_tlb(tlb,pudp) __pud_free_tlb(tlb,pudp)
 124
 125 #define tlb_migrate_finish(mm)  do { } while (0)
 126 #define tlb_start_vma(tlb, vma) do { } while (0)
 127 #define tlb_end_vma(tlb, vma)   do { } while (0)
 128
 129 #endif /* _SPARC64_TLB_H */