- no need to restart autofs
[mom.git] / pl_mop.sh
1 #!/bin/bash
2 #
3 # Runs once a day to "fix" nodes in various ways
4 #
5 # Mark Huang <mlhuang@cs.princeton.edu>
6 # Copyright (C) 2005 The Trustees of Princeton University
7 #
8 # $Id: pl_mop.sh,v 1.2 2005/11/03 17:23:25 mlhuang Exp $
9 #
10
11 PATH=/sbin:/usr/sbin:$PATH
12
13 PIDFILE=/var/run/pl_mop.pid
14
15 # Record PID
16 if [ -f $PIDFILE ] ; then
17     if kill -0 `cat $PIDFILE` >/dev/null 2>&1 ; then
18         logger -p info -t pl_mom "$0 (`cat $PIDFILE`) already running"
19         exit 1
20     fi
21 fi
22 echo $$ > $PIDFILE
23
24 # Clean up stale lock files
25 trap "rm -f $PIDFILE" EXIT
26
27 # Run a command and log its output to syslog
28 run() {
29     eval $* 2>&1 | logger -p info -t "pl_mom: $1"
30 }
31
32 # OpenSSH server 3.8 and above refuse login for "locked"
33 # accounts. Replace "!!" with "*" in /etc/shadow for all VServer
34 # accounts.
35 fix_etc_shadow() {
36     echo "* Fixing /etc/shadow"
37
38     shopt -s nullglob
39     for file in /etc/vservers/*.conf pl_admin.conf site_admin.conf ; do
40         slice=$(basename ${file%*.conf})
41         if grep -q "$slice:\!\!" /etc/shadow ; then
42             sed -i -e "s/$slice:\!\!:\(.*\)/$slice:*:\1/" /etc/shadow
43         fi
44     done
45 }
46
47 # keep essential services running
48 restart_services() {
49     for service in sshd pl_sshd pl_mom pl_nm proper ; do
50         echo "* Checking $service"
51         status=$(service $service status)
52         if [ $? -ne 0 ] || echo $status 2>&1 | grep -q stopped ; then
53             echo "* Restarting $service"
54             service $service start
55         fi
56     done
57 }
58
59 # keep netflow running
60 restart_netflow() {
61     echo "* Checking netflow"
62     echo "sudo /sbin/service netflow restart" | su - pl_netflow
63     if [ $? -ne 0 ] ; then
64         echo "* Restarting netflow"
65         service netflow-init start
66         vserver pl_netflow start
67         echo "sudo /sbin/service netflow restart" | su - pl_netflow
68     fi
69 }
70
71 # keep pl_conf running
72 restart_pl_conf() {
73     echo "* Checking pl_conf"
74     vserver pl_conf exec /sbin/service pl_conf status >/dev/null 2>&1
75     if [ $? -ne 0 ] ; then
76         echo "* Restarting pl_conf"
77         vserver pl_conf restart
78     fi
79 }
80
81 # kill all the processes running in slice contexts
82 vkillall() {
83     vps -A | awk '(int($2) > 1) { system("vkill -c " $2 " -s 9 " $1); }'
84     # unmounts all the /proc and /dev/pts mounts in each vserver
85     tries=10
86     while grep -q /vservers/ /proc/mounts && [ $tries -gt 0 ] ; do
87         tries=$(($tries -1))
88         # arizona_stork seems to generate some weird mount points of the form
89         # /vservers/arizona_stork/tmp/0.886421543959\040(deleted) that should be
90         # /vservers/arizona_stork/tmp/0.886421543959
91         awk '(/vservers\//) { sub(/\\040.*$/, ""); print "Unmounting " $2; system("umount " $2); }' /proc/mounts
92     done
93 }   
94
95 # /vservers gets re-mounted read-only by the kernel if an ext3 journal
96 # transaction aborts
97 fix_vservers() {
98     echo "* Fixing /vservers"
99
100     # test to see if /vservers is mounted read-only
101     mkdir -p /vservers/.vtmp
102     tmp=$(mktemp /vservers/.vtmp/fixit.XXXXXX)
103     if [ $? -eq 0 ] ; then
104         rm -f $tmp
105         return 0
106     fi
107
108     # kill all processes running in slice contexts
109     vkillall
110
111     # stop vcached
112     pidfile=/var/run/vcached.pid
113     if [ -r "$pidfile" ] ; then
114         kill $(cat $pidfile)
115     fi
116     touch $pidfile
117
118     # unmounts /vservers
119     if umount /vservers ; then
120         # install expect if necessary
121         if ! rpm -q expect ; then
122             yum -y install expect
123         fi
124
125         # tell expect to hit the 'y' key every time fsck asks
126         expect -c 'set timeout 3600; spawn fsck /dev/mapper/planetlab-vservers; expect "<y>?" { send "y\r"; exp_continue }'
127
128         # blow away the vserver cache
129         rm -rf /vservers/.vcache/*
130
131         # re-mount /vservers
132         mount /vservers
133     else
134         echo "Unable to unmount /vservers!" >&2
135     fi
136
137     # allow vcached to run again
138     rm -f $pidfile
139 }
140
141 kill_duplicate_ssh() {
142     echo "* Killing stale duplicate SSH instances"
143
144     # count the number of SSH instances started by each slice
145     ps -C sshd -o command= |
146     grep " \[priv\]" |
147     sort | uniq -c |
148     while read instances sshd slice priv ; do
149         # kill all old instances
150         if [ $instances -gt 10 ] ; then
151             ps -C sshd -o pid=,start_time=,command= |
152             grep "$slice \[priv\]" |
153             while read pid start_time command ; do
154                 start_time=$(date -d "$start_time" +%s)
155                 min=$(date -d "6 hours ago" +%s)
156                 if [ $start_time -lt $min ] ; then
157                     echo "* Killing $slice sshd pid $pid"
158                     kill -9 $pid
159                 fi
160             done
161         fi
162     done
163 }
164
165 # XXX kill zombie slices
166
167 # XXX reboot if boot state changes
168
169 run fix_vservers
170
171 run fix_etc_shadow
172
173 run restart_services
174
175 run restart_pl_conf
176
177 run restart_netflow
178
179 run kill_duplicate_ssh