arch/i386/kernel/time.c

   1 /*
   2  *  linux/arch/i386/kernel/time.c
   3  *
   4  *  Copyright (C) 1991, 1992, 1995  Linus Torvalds
   5  *
   6  * This file contains the PC-specific time handling details:
   7  * reading the RTC at bootup, etc..
   8  * 1994-07-02    Alan Modra
   9  *      fixed set_rtc_mmss, fixed time.year for >= 2000, new mktime
  10  * 1995-03-26    Markus Kuhn
  11  *      fixed 500 ms bug at call to set_rtc_mmss, fixed DS12887
  12  *      precision CMOS clock update
  13  * 1996-05-03    Ingo Molnar
  14  *      fixed time warps in do_[slow|fast]_gettimeoffset()
  15  * 1997-09-10   Updated NTP code according to technical memorandum Jan '96
  16  *              "A Kernel Model for Precision Timekeeping" by Dave Mills
  17  * 1998-09-05    (Various)
  18  *      More robust do_fast_gettimeoffset() algorithm implemented
  19  *      (works with APM, Cyrix 6x86MX and Centaur C6),
  20  *      monotonic gettimeofday() with fast_get_timeoffset(),
  21  *      drift-proof precision TSC calibration on boot
  22  *      (C. Scott Ananian <cananian@alumni.princeton.edu>, Andrew D.
  23  *      Balsa <andrebalsa@altern.org>, Philip Gladstone <philip@raptor.com>;
  24  *      ported from 2.0.35 Jumbo-9 by Michael Krause <m.krause@tu-harburg.de>).
  25  * 1998-12-16    Andrea Arcangeli
  26  *      Fixed Jumbo-9 code in 2.1.131: do_gettimeofday was missing 1 jiffy
  27  *      because was not accounting lost_ticks.
  28  * 1998-12-24 Copyright (C) 1998  Andrea Arcangeli
  29  *      Fixed a xtime SMP race (we need the xtime_lock rw spinlock to
  30  *      serialize accesses to xtime/lost_ticks).
  31  */
  32
  33 #include <linux/errno.h>
  34 #include <linux/sched.h>
  35 #include <linux/kernel.h>
  36 #include <linux/param.h>
  37 #include <linux/string.h>
  38 #include <linux/mm.h>
  39 #include <linux/interrupt.h>
  40 #include <linux/time.h>
  41 #include <linux/delay.h>
  42 #include <linux/init.h>
  43 #include <linux/smp.h>
  44 #include <linux/module.h>
  45 #include <linux/sysdev.h>
  46 #include <linux/bcd.h>
  47 #include <linux/efi.h>
  48 #include <linux/mca.h>
  49
  50 #include <asm/io.h>
  51 #include <asm/smp.h>
  52 #include <asm/irq.h>
  53 #include <asm/msr.h>
  54 #include <asm/delay.h>
  55 #include <asm/mpspec.h>
  56 #include <asm/uaccess.h>
  57 #include <asm/processor.h>
  58 #include <asm/timer.h>
  59
  60 #include "mach_time.h"
  61
  62 #include <linux/timex.h>
  63 #include <linux/config.h>
  64
  65 #include <asm/hpet.h>
  66
  67 #include <asm/arch_hooks.h>
  68
  69 #include "io_ports.h"
  70
  71 extern spinlock_t i8259A_lock;
  72 int pit_latch_buggy;              /* extern */
  73
  74 #include "do_timer.h"
  75
  76 u64 jiffies_64 = INITIAL_JIFFIES;
  77
  78 EXPORT_SYMBOL(jiffies_64);
  79
  80 unsigned long cpu_khz;  /* Detected as we calibrate the TSC */
  81
  82 extern unsigned long wall_jiffies;
  83
  84 DEFINE_SPINLOCK(rtc_lock);
  85
  86 DEFINE_SPINLOCK(i8253_lock);
  87 EXPORT_SYMBOL(i8253_lock);
  88
  89 struct timer_opts *cur_timer = &timer_none;
  90
  91 /*
  92  * This version of gettimeofday has microsecond resolution
  93  * and better than microsecond precision on fast x86 machines with TSC.
  94  */
  95 void do_gettimeofday(struct timeval *tv)
  96 {
  97         unsigned long seq;
  98         unsigned long usec, sec;
  99         unsigned long max_ntp_tick;
 100
 101         do {
 102                 unsigned long lost;
 103
 104                 seq = read_seqbegin(&xtime_lock);
 105
 106                 usec = cur_timer->get_offset();
 107                 lost = jiffies - wall_jiffies;
 108
 109                 /*
 110                  * If time_adjust is negative then NTP is slowing the clock
 111                  * so make sure not to go into next possible interval.
 112                  * Better to lose some accuracy than have time go backwards..
 113                  */
 114                 if (unlikely(time_adjust < 0)) {
 115                         max_ntp_tick = (USEC_PER_SEC / HZ) - tickadj;
 116                         usec = min(usec, max_ntp_tick);
 117
 118                         if (lost)
 119                                 usec += lost * max_ntp_tick;
 120                 }
 121                 else if (unlikely(lost))
 122                         usec += lost * (USEC_PER_SEC / HZ);
 123
 124                 sec = xtime.tv_sec;
 125                 usec += (xtime.tv_nsec / 1000);
 126         } while (read_seqretry(&xtime_lock, seq));
 127
 128         while (usec >= 1000000) {
 129                 usec -= 1000000;
 130                 sec++;
 131         }
 132
 133         tv->tv_sec = sec;
 134         tv->tv_usec = usec;
 135 }
 136
 137 EXPORT_SYMBOL(do_gettimeofday);
 138
 139 int do_settimeofday(struct timespec *tv)
 140 {
 141         time_t wtm_sec, sec = tv->tv_sec;
 142         long wtm_nsec, nsec = tv->tv_nsec;
 143
 144         if ((unsigned long)tv->tv_nsec >= NSEC_PER_SEC)
 145                 return -EINVAL;
 146
 147         write_seqlock_irq(&xtime_lock);
 148         /*
 149          * This is revolting. We need to set "xtime" correctly. However, the
 150          * value in this location is the value at the most recent update of
 151          * wall time.  Discover what correction gettimeofday() would have
 152          * made, and then undo it!
 153          */
 154         nsec -= cur_timer->get_offset() * NSEC_PER_USEC;
 155         nsec -= (jiffies - wall_jiffies) * TICK_NSEC;
 156
 157         wtm_sec  = wall_to_monotonic.tv_sec + (xtime.tv_sec - sec);
 158         wtm_nsec = wall_to_monotonic.tv_nsec + (xtime.tv_nsec - nsec);
 159
 160         set_normalized_timespec(&xtime, sec, nsec);
 161         set_normalized_timespec(&wall_to_monotonic, wtm_sec, wtm_nsec);
 162
 163         time_adjust = 0;                /* stop active adjtime() */
 164         time_status |= STA_UNSYNC;
 165         time_maxerror = NTP_PHASE_LIMIT;
 166         time_esterror = NTP_PHASE_LIMIT;
 167         write_sequnlock_irq(&xtime_lock);
 168         clock_was_set();
 169         return 0;
 170 }
 171
 172 EXPORT_SYMBOL(do_settimeofday);
 173
 174 static int set_rtc_mmss(unsigned long nowtime)
 175 {
 176         int retval;
 177
 178         /* gets recalled with irq locally disabled */
 179         spin_lock(&rtc_lock);
 180         if (efi_enabled)
 181                 retval = efi_set_rtc_mmss(nowtime);
 182         else
 183                 retval = mach_set_rtc_mmss(nowtime);
 184         spin_unlock(&rtc_lock);
 185
 186         return retval;
 187 }
 188
 189 /* last time the cmos clock got updated */
 190 static long last_rtc_update;
 191
 192 int timer_ack;
 193
 194 /* monotonic_clock(): returns # of nanoseconds passed since time_init()
 195  *              Note: This function is required to return accurate
 196  *              time even in the absence of multiple timer ticks.
 197  */
 198 unsigned long long monotonic_clock(void)
 199 {
 200         return cur_timer->monotonic_clock();
 201 }
 202 EXPORT_SYMBOL(monotonic_clock);
 203
 204 #if defined(CONFIG_SMP) && defined(CONFIG_FRAME_POINTER)
 205 unsigned long profile_pc(struct pt_regs *regs)
 206 {
 207         unsigned long pc = instruction_pointer(regs);
 208
 209         if (in_lock_functions(pc))
 210                 return *(unsigned long *)(regs->ebp + 4);
 211
 212         return pc;
 213 }
 214 EXPORT_SYMBOL(profile_pc);
 215 #endif
 216
 217 /*
 218  * timer_interrupt() needs to keep up the real-time clock,
 219  * as well as call the "do_timer()" routine every clocktick
 220  */
 221 static inline void do_timer_interrupt(int irq, void *dev_id,
 222                                         struct pt_regs *regs)
 223 {
 224 #ifdef CONFIG_X86_IO_APIC
 225         if (timer_ack) {
 226                 /*
 227                  * Subtle, when I/O APICs are used we have to ack timer IRQ
 228                  * manually to reset the IRR bit for do_slow_gettimeoffset().
 229                  * This will also deassert NMI lines for the watchdog if run
 230                  * on an 82489DX-based system.
 231                  */
 232                 spin_lock(&i8259A_lock);
 233                 outb(0x0c, PIC_MASTER_OCW3);
 234                 /* Ack the IRQ; AEOI will end it automatically. */
 235                 inb(PIC_MASTER_POLL);
 236                 spin_unlock(&i8259A_lock);
 237         }
 238 #endif
 239
 240         do_timer_interrupt_hook(regs);
 241
 242         /*
 243          * If we have an externally synchronized Linux clock, then update
 244          * CMOS clock accordingly every ~11 minutes. Set_rtc_mmss() has to be
 245          * called as close as possible to 500 ms before the new second starts.
 246          */
 247         if ((time_status & STA_UNSYNC) == 0 &&
 248             xtime.tv_sec > last_rtc_update + 660 &&
 249             (xtime.tv_nsec / 1000)
 250                         >= USEC_AFTER - ((unsigned) TICK_SIZE) / 2 &&
 251             (xtime.tv_nsec / 1000)
 252                         <= USEC_BEFORE + ((unsigned) TICK_SIZE) / 2) {
 253                 /* horrible...FIXME */
 254                 if (efi_enabled) {
 255                         if (efi_set_rtc_mmss(xtime.tv_sec) == 0)
 256                                 last_rtc_update = xtime.tv_sec;
 257                         else
 258                                 last_rtc_update = xtime.tv_sec - 600;
 259                 } else if (set_rtc_mmss(xtime.tv_sec) == 0)
 260                         last_rtc_update = xtime.tv_sec;
 261                 else
 262                         last_rtc_update = xtime.tv_sec - 600; /* do it again in 60 s */
 263         }
 264
 265         if (MCA_bus) {
 266                 /* The PS/2 uses level-triggered interrupts.  You can't
 267                 turn them off, nor would you want to (any attempt to
 268                 enable edge-triggered interrupts usually gets intercepted by a
 269                 special hardware circuit).  Hence we have to acknowledge
 270                 the timer interrupt.  Through some incredibly stupid
 271                 design idea, the reset for IRQ 0 is done by setting the
 272                 high bit of the PPI port B (0x61).  Note that some PS/2s,
 273                 notably the 55SX, work fine if this is removed.  */
 274
 275                 irq = inb_p( 0x61 );    /* read the current state */
 276                 outb_p( irq|0x80, 0x61 );       /* reset the IRQ */
 277         }
 278 }
 279
 280 /*
 281  * This is the same as the above, except we _also_ save the current
 282  * Time Stamp Counter value at the time of the timer interrupt, so that
 283  * we later on can estimate the time of day more exactly.
 284  */
 285 irqreturn_t timer_interrupt(int irq, void *dev_id, struct pt_regs *regs)
 286 {
 287         /*
 288          * Here we are in the timer irq handler. We just have irqs locally
 289          * disabled but we don't know if the timer_bh is running on the other
 290          * CPU. We need to avoid to SMP race with it. NOTE: we don' t need
 291          * the irq version of write_lock because as just said we have irq
 292          * locally disabled. -arca
 293          */
 294         write_seqlock(&xtime_lock);
 295
 296         cur_timer->mark_offset();
 297
 298         do_timer_interrupt(irq, NULL, regs);
 299
 300         write_sequnlock(&xtime_lock);
 301         return IRQ_HANDLED;
 302 }
 303
 304 /* not static: needed by APM */
 305 unsigned long get_cmos_time(void)
 306 {
 307         unsigned long retval;
 308
 309         spin_lock(&rtc_lock);
 310
 311         if (efi_enabled)
 312                 retval = efi_get_time();
 313         else
 314                 retval = mach_get_cmos_time();
 315
 316         spin_unlock(&rtc_lock);
 317
 318         return retval;
 319 }
 320
 321 static long clock_cmos_diff, sleep_start;
 322
 323 static int timer_suspend(struct sys_device *dev, u32 state)
 324 {
 325         /*
 326          * Estimate time zone so that set_time can update the clock
 327          */
 328         clock_cmos_diff = -get_cmos_time();
 329         clock_cmos_diff += get_seconds();
 330         sleep_start = get_cmos_time();
 331         return 0;
 332 }
 333
 334 static int timer_resume(struct sys_device *dev)
 335 {
 336         unsigned long flags;
 337         unsigned long sec;
 338         unsigned long sleep_length;
 339
 340 #ifdef CONFIG_HPET_TIMER
 341         if (is_hpet_enabled())
 342                 hpet_reenable();
 343 #endif
 344         sec = get_cmos_time() + clock_cmos_diff;
 345         sleep_length = (get_cmos_time() - sleep_start) * HZ;
 346         write_seqlock_irqsave(&xtime_lock, flags);
 347         xtime.tv_sec = sec;
 348         xtime.tv_nsec = 0;
 349         write_sequnlock_irqrestore(&xtime_lock, flags);
 350         jiffies += sleep_length;
 351         wall_jiffies += sleep_length;
 352         return 0;
 353 }
 354
 355 static struct sysdev_class timer_sysclass = {
 356         .resume = timer_resume,
 357         .suspend = timer_suspend,
 358         set_kset_name("timer"),
 359 };
 360
 361
 362 /* XXX this driverfs stuff should probably go elsewhere later -john */
 363 static struct sys_device device_timer = {
 364         .id     = 0,
 365         .cls    = &timer_sysclass,
 366 };
 367
 368 static int time_init_device(void)
 369 {
 370         int error = sysdev_class_register(&timer_sysclass);
 371         if (!error)
 372                 error = sysdev_register(&device_timer);
 373         return error;
 374 }
 375
 376 device_initcall(time_init_device);
 377
 378 #ifdef CONFIG_HPET_TIMER
 379 extern void (*late_time_init)(void);
 380 /* Duplicate of time_init() below, with hpet_enable part added */
 381 void __init hpet_time_init(void)
 382 {
 383         xtime.tv_sec = get_cmos_time();
 384         xtime.tv_nsec = (INITIAL_JIFFIES % HZ) * (NSEC_PER_SEC / HZ);
 385         set_normalized_timespec(&wall_to_monotonic,
 386                 -xtime.tv_sec, -xtime.tv_nsec);
 387
 388         if (hpet_enable() >= 0) {
 389                 printk("Using HPET for base-timer\n");
 390         }
 391
 392         cur_timer = select_timer();
 393         printk(KERN_INFO "Using %s for high-res timesource\n",cur_timer->name);
 394
 395         time_init_hook();
 396 }
 397 #endif
 398
 399 void __init time_init(void)
 400 {
 401 #ifdef CONFIG_HPET_TIMER
 402         if (is_hpet_capable()) {
 403                 /*
 404                  * HPET initialization needs to do memory-mapped io. So, let
 405                  * us do a late initialization after mem_init().
 406                  */
 407                 late_time_init = hpet_time_init;
 408                 return;
 409         }
 410 #endif
 411         xtime.tv_sec = get_cmos_time();
 412         xtime.tv_nsec = (INITIAL_JIFFIES % HZ) * (NSEC_PER_SEC / HZ);
 413         set_normalized_timespec(&wall_to_monotonic,
 414                 -xtime.tv_sec, -xtime.tv_nsec);
 415
 416         cur_timer = select_timer();
 417         printk(KERN_INFO "Using %s for high-res timesource\n",cur_timer->name);
 418
 419         time_init_hook();
 420 }