monitor/wrapper/emailTxt.py

   1 #
   2 # Copyright (c) 2004  The Trustees of Princeton University (Trustees).
   3 #
   4 # Faiyaz Ahmed <faiyaza@cs.princeton.edu>
   5 #
   6 # $Id: emailTxt.py,v 1.10 2007/08/29 17:26:50 soltesz Exp $
   7
   8
   9 #
  10 # This file contains the texts of the automatically generated
  11 # emails sent to techs and PIs
  12 #
  13
  14 class mailtxt:
  15
  16         newdown_one=("""PlanetLab node(s) down: %(loginbase)s""",
  17 """
  18 Hello,
  19
  20 As part of PlanetLab node monitoring, we noticed the following nodes were down at your site:
  21
  22 %(hostname_list)s
  23 We're writing because we need your help returning them to their regular operation.
  24
  25 To help, please confirm that a verison 3.0 or greater BootCD is installed in the machine.  Then, after checking that the node is properly networked, power cycle the machine.  Note that rebooting the machine may not fully resolve the problems we are seeing.  Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.  It may take several minutes before Comon registers your node.  Until that time, visiting the link below will return the message 'could not find requested table - probably empty'.
  26
  27         http://summer.cs.princeton.edu/status/tabulator.cgi?table=nodes/table_%(hostname)s&limit=50
  28
  29 If the machine has booted successfully, you may check it more quickly by logging in with your site_admin account, and running:
  30
  31     sudo /usr/sbin/vps ax
  32
  33 If you have a BootCD older than 3.0, you will need to create a new BootImage on CD or USB.  You can find instructions for this at the Technical Contact's Guide:
  34
  35     https://www.planet-lab.org/doc/guides/bootcdsetup
  36
  37 If after following these directions, and either logging in with your site_admin account or seeing the CoMon report of your machine, there is no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.   Including this message in your reply will help us coordinate our records with the actions you've taken.
  38
  39 Finally, you can track the current status of your machines using this Google Gadget:
  40
  41     http://fusion.google.com/add?source=atgs&moduleurl=http://monitor.planet-lab.org/monitor/sitemonitor.xml
  42
  43 Thank you for your help,
  44   -- PlanetLab Central (support@planet-lab.org)
  45 """)
  46
  47 #If no one responds, then after a week, we will disable your site's ability to create new slices.  Because this action will directly affect your site's registered PI, we will also CC the PI for help at that time.
  48
  49         newdown_two=("""PlanetLab node(s) down: %(loginbase)s""",
  50 """
  51 Hello,
  52
  53 As part of PlanetLab node monitoring, we noticed the following nodes were down at your site:
  54
  55 %(hostname_list)s
  56 We're writing again because our previous correspondence, sent only to the registered Technical Contact, has gone unacknowledged for at least a week, and we need your help returning these machines to their regular operation.  We understand that machine maintenance can take time.  So, while we wait for the machines to return to their regular operation slice creation has been suspended at your site.  No new slices may be created, but the existing slices and services running within them will be unaffected.
  57
  58 To help, please confirm that a verison 3.0 or greater BootCD is installed in the machine.  Then, after checking that the node is properly networked, power cycle the machine.  Note that rebooting the machine may not fully resolve the problems we are seeing.  Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.  It may take several minutes before Comon registers your node.  Until that time, visiting the link below will return the message 'could not find requested table - probably empty'.
  59
  60         http://summer.cs.princeton.edu/status/tabulator.cgi?table=nodes/table_%(hostname)s&limit=50
  61
  62 If the machine has booted successfully, you may check it more quickly by logging in with your site_admin account, and running:
  63
  64     sudo /usr/sbin/vps ax
  65
  66 If you have a BootCD older than 3.0, you will need to create a new Boot CD and configuration file.  You can find instructions for this at the Technical Contact's Guide:
  67
  68     https://www.planet-lab.org/doc/guides/bootcdsetup
  69
  70 If after following these directions, and either logging in with your site_admin account or seeing the CoMon report of your machine, there is no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.   Including this message in your reply will help us coordinate our records with the actions you've taken.
  71
  72 Finally, you can track the current status of your machines using this Google Gadget:
  73
  74     http://fusion.google.com/add?source=atgs&moduleurl=http://monitor.planet-lab.org/monitor/sitemonitor.xml
  75
  76 After another week, we will disable all slices currently running on PlanetLab.  Because this action will directly affect all users of these slices, these users will also be notified at that time.
  77
  78 Thank you for your help,
  79   -- PlanetLab Central (support@planet-lab.org)
  80 """)
  81
  82         newdown_three=("""PlanetLab node(s) down: %(loginbase)s""",
  83 """
  84 Hello,
  85
  86 As part of PlanetLab node monitoring, we noticed the following nodes were down at your site:
  87
  88 %(hostname_list)s
  89 We understand that machine maintenance can take time.  We're writing again because our previous correspondences, sent first to the registered Technical Contact then the the Site PI, have gone unacknowledged for at least two weeks, and we need your help returning these machines to their regular operation.  This is the third time attempting to contact someone in regard to these machines at your site.  So, while we wait for the machines to return to their regular operation all current slice activity will be suspended.  Current experiments will be stopped and will not be be able to start again until there is evidence that you have begun to help with the maintenance of these machines.
  90
  91 To help, please confirm that a verison 3.0 or greater BootCD is installed in the machine.  Then, after checking that the node is properly networked, power cycle the machine.  Note that rebooting the machine may not fully resolve the problems we are seeing.  Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.  It may take several minutes before Comon registers your node.  Until that time, visiting the link below will return the message 'could not find requested table - probably empty'.
  92
  93         http://summer.cs.princeton.edu/status/tabulator.cgi?table=nodes/table_%(hostname)s&limit=50
  94
  95 If the machine has booted successfully, you may check it more quickly by logging in with your site_admin account, and running:
  96
  97     sudo /usr/sbin/vps ax
  98
  99 If you have a BootCD older than 3.0, you will need to create a new Boot CD and configuration file.  You can find instructions for this at the Technical Contact's Guide:
 100
 101     https://www.planet-lab.org/doc/guides/bootcdsetup
 102
 103 Finally, you can track the current status of your machines using this Google Gadget:
 104
 105     http://fusion.google.com/add?source=atgs&moduleurl=http://monitor.planet-lab.org/monitor/sitemonitor.xml
 106
 107 If after following these directions, and either logging in with your site_admin account or seeing the CoMon report of your machine, there is no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.   Including this message in your reply will help us coordinate our records with the actions you've taken.
 108
 109 Thank you for your help,
 110   -- PlanetLab Central (support@planet-lab.org)
 111 """)
 112
 113         newbootcd_one=(""" Planetlab nodes need a new BootCD: %(loginbase)s""", # : %(hostname)s""",
 114 """As part of PlanetLab node monitoring, we noticed the following nodes have an out-dated BootCD:
 115
 116 %(hostname_list)s
 117 This usually implies that you need to update the BootCD and node configuration file stored on the read-only media (either the all-in-one ISO CD, floppy disk, or write-protected USB stick).
 118
 119 To check the status of these and any other machines that you manage please visit:
 120
 121     http://comon.cs.princeton.edu/status
 122
 123 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact's Guide.
 124
 125     https://www.planet-lab.org/doc/guides/bootcdsetup
 126
 127 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 128
 129 Thank you for your help,
 130   -- PlanetLab Central (support@planet-lab.org)
 131 """)
 132 #After a week, we will disable your site's ability to create new slices.  Because this action will directly affect your site's registered PI, we will also CC the PI for help at that time.
 133
 134         newbootcd_two=(""" Planetlab nodes need a new BootCD: %(loginbase)s""", # : %(hostname)s""",
 135 """As part of PlanetLab node monitoring, we noticed the following nodes have an out-dated BootCD:
 136
 137 %(hostname_list)s
 138 This usually implies that you need to update the BootCD and node configuration file stored on the read-only media (Either the all-in-one ISO CD, floppy disk, or write-protected USB stick).
 139
 140 We're writing again because our previous correspondence, sent only to the registered Technical Contact, has gone unacknowledged for at least a week, and we need your help returning these machines to their regular operation.  We understand that machine maintenance can take time.  So, while we wait for the machines to return to their regular operation, slice creation has been suspended at your site.  No new slices may be created, but the existing slices and services running within them will be unaffected.
 141
 142 To check the status of these and any other machines that you manage please visit:
 143
 144     http://comon.cs.princeton.edu/status
 145
 146 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact's Guide.
 147
 148     https://www.planet-lab.org/doc/guides/bootcdsetup
 149
 150 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 151
 152 After another week, we will disable all slices currently running on PlanetLab.  Because this action will directly affect all users of these slices, these users will also be notified at that time.
 153
 154 Thank you for your help,
 155   -- PlanetLab Central (support@planet-lab.org)
 156 """)
 157         newbootcd_three=(""" Planetlab nodes need a new BootCD: %(loginbase)s""", # : %(hostname)s""",
 158 """As part of PlanetLab node monitoring, we noticed the following nodes have an out-dated BootCD:
 159
 160 %(hostname_list)s
 161 This usually implies that you need to update the BootCD and node configuration file stored on the read-only media (Either the all-in-one ISO CD, floppy disk, or write-protected USB stick).
 162
 163 We understand that machine maintenance can take time.  We're writing again because our previous correspondences, sent first to the registered Technical Contact then the the Site PI, have gone unacknowledged for at least two weeks, and we need your help returning these machines to their regular operation.  This is the third time attempting to contact someone in regard to these machines at your site.  So, while we wait for the machines to return to their regular operation all current slice activity will be suspended.  Current experiments will be stopped and will not be be able to start again until there is evidence that you have begun to help with the maintenance of these machines.
 164
 165 To check the status of these and any other machines that you manage please visit:
 166
 167     http://comon.cs.princeton.edu/status
 168
 169 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact's Guide.
 170
 171     https://www.planet-lab.org/doc/guides/bootcdsetup
 172
 173 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 174
 175 Thank you for your help,
 176   -- PlanetLab Central (support@planet-lab.org)
 177 """)
 178         pcuthankyou_one=("""Thank you for correcting your PlanetLab node PCU - %(loginbase)s""",
 179         """
 180 While monitoring your site, we noticed that the following PCU *improved* their states:
 181
 182 %(hostname_list)s
 183 Often, system administration is a thankless job, but not today. :-)
 184
 185 Thank you!
 186   -- PlanetLab Central (support@planet-lab.org)
 187         """)
 188
 189         thankyou=("""Thank you for helping maintain your PlanetLab nodes - %(loginbase)s""",
 190         """
 191 While monitoring your site, we noticed that the following nodes *improved*
 192 their states:
 193
 194 %(hostname_list)s
 195 Often, system administration is a thankless job, but not today. :-)
 196
 197 Thank you!
 198   -- PlanetLab Central (support@planet-lab.org)
 199
 200 Legend:
 201 PROD-      This state is the production state where the node can contact PlanetLab,
 202            and install slices from users.
 203 DEBUG-     This state designates a node that could not boot successfully.
 204 OLDBOOTCD- This state corresponds to the situation where an oldbootcd prevented
 205            the normal operation of the node.
 206 ERROR-     This is an error state, where there is absolutely no contact
 207            with PlanetLab.
 208         """)
 209
 210 #############################################################################
 211 #############################################################################
 212 #############################################################################
 213
 214         pcumissing_notice =("""MONTEST: There is no PCU available to reboot %(hostname)s""",
 215 """We've noticed that there is no PCU associated with %(hostname)s, so we could
 216 not reboot it ourselves.
 217
 218 By taking a few moments now to register your PCU for this host, you will save
 219 time in the future the next time we need to reboot this machine, because we
 220 will be able to do so without disturbing you.
 221
 222     http://www.planet-lab.org/registerwizard/index.php
 223
 224 The registration is very quick.  All we need are: PCU hostname, IP, username,
 225 and password.  Then, choose which node to associate it with, and we will take
 226 care of the rest.
 227
 228 Thank you very much for your help,
 229   -- PlanetLab Central (support@planet-lab.org)
 230 """)
 231
 232         pcufailed_notice =("""MONTEST: Could not use PCU to reboot %(hostname)s""",
 233
 234 """We tried to use the PCU registered for %(hostname)s, but for some reason
 235 the host did not come back online.  You may be able to learn more by visiting
 236 this link:
 237
 238         https://monitor.planet-lab.org/monitor/pcuview?pcu_id=%(pcu_id)s
 239
 240 We need your help resolving this issue in a few ways:
 241
 242  1. First, we need your help rebooting %(hostname)s.  Because the above PCU does
 243     not appear to work, please manually reboot this machine.  If it turns out
 244         that there is a problem with the PCU configuration, we can help you
 245     resolve that independently.
 246
 247  2. If it is possible, please correcct the above PCU problem, or let us know
 248         what steps you are taking.  By enabling us to take administrative actions
 249         automatically without your intervention, you will save time in the future
 250         the next time we need to reboot this machine, because we will be able to
 251         do so without disturbing you.
 252
 253  3. If there is nothing apparently wrong with the PCU, or the mapping between
 254     the PCU and the host, then there is likely a problem with our bootstrap
 255     software on your machine.  To help us, please make a note of any text on
 256     the console and report it to mailto:support@planet-lab.org .  An example
 257     might be that the console hangs waiting for a module to unload.  The last
 258     reported name or any error messages on the screen would be very helpful.
 259
 260 If the PCU is up and running, but behind a firewall, please make it accessible
 261 from address block 128.112.139.0/24.  You can confirm that this is the address
 262 space from which the PlanetLab Central servers run.
 263
 264 Thank you very much for your help,
 265   -- PlanetLab Central (support@planet-lab.org)
 266 """)
 267
 268         online_notice=("""MONTEST: Host %(hostname)s is online""",
 269         """
 270 This notice is simply to let you know that:
 271     %(hostname)s
 272
 273 is online and operational.
 274
 275         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 276
 277 Thank you very much for your help!
 278   -- PlanetLab Central (support@planet-lab.org)
 279         """)
 280         test_notice=("""MONTEST: Host %(hostname)s is testing""",
 281         """
 282 This notice is simply to test whether notices work.
 283     %(hostname)s
 284
 285 Thank you very much for your help!
 286         """)
 287         retry_bootman=("""MONTEST: Running BootManager on %(hostname)s""",
 288         """
 289 This notice is simply to let you know that:
 290     %(hostname)s
 291
 292 appears stuck in a debug mode.  To try to correct this, we're trying to rerun BootManager.py.
 293 If any action is needed from you, you will recieve additional notices.  Thank you!
 294         """)
 295         down_notice=("""MONTEST: Host %(hostname)s is down""",
 296         """
 297 This notice is simply to let you know that:
 298     %(hostname)s
 299
 300 is down, disconnected from the network and/or non-operational.
 301
 302 Please investigate, and let us know if there's anything we can do to help get
 303 it back on-line.  You can see more information about the current status of
 304 this host here:
 305
 306         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 307
 308 Thank you very much for your help,
 309   -- PlanetLab Central (support@planet-lab.org)
 310         """)
 311
 312         clear_penalty=("""MONTEST: All penalties cleared from site %(loginbase)s""",
 313         """
 314 This notice is to let you know that any penalties previously applied to your
 315 site have been removed: %(penalty_level)s.
 316
 317 All privileges have been restored.  You may create slices again, and if your
 318 slices were disabled, please allow up to 30 minutes for them to return to
 319 enabled.
 320
 321         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 322
 323 Thank you very much for your help,
 324   -- PlanetLab Central (support@planet-lab.org)
 325
 326 Legend:
 327
 328   0  - no penalties applied
 329   1  - site is disabled.  no new slices can be created.
 330   2+ - all existing slices will be disabled.
 331         """)
 332
 333         increase_penalty=("""MONTEST: Penalty increased for site %(loginbase)s""",
 334         """
 335 This notice is to let you know that the penalty applied to your site has
 336 increased: %(penalty_level)s.
 337
 338 Your privileges will be reduced corresponding to the legend below.  To
 339 restore these privileges, please return at least two machines to working
 340 state.
 341
 342         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 343
 344 Thank you very much for your help,
 345   -- PlanetLab Central (support@planet-lab.org)
 346
 347 Legend:
 348
 349   0  - no penalty applied
 350   1  - site is disabled.  no new slices can be created.
 351   2+ - all existing slices will be disabled.
 352         """)
 353
 354         newbootcd_notice=("""MONTEST: Host %(hostname)s needs a new BootImage""", """
 355 We noticed the following node has an out-dated BootImage:
 356
 357     %(hostname)s
 358
 359 This usually implies that you need to update the BootImage and node
 360 configuration file stored on the read-only media (either the all-in-one ISO
 361 CD, floppy disk, or write-protected USB stick).
 362
 363 You can do this by walking through the steps of the registration wizard, and
 364 downloading a new BootImage for your machine.
 365
 366     https://www.planet-lab.org/registerwizard/index.php
 367
 368 Thank you for your help,
 369   -- PlanetLab Central (support@planet-lab.org)
 370 """)
 371
 372 #############################################################################
 373 #############################################################################
 374 #############################################################################
 375
 376         pcudown_one =("""Could not use PCU to reboot %(hostname)s""",
 377
 378 """As part of PlanetLab node monitoring and maintenance, we tried to use the PCU
 379 registered below, but could not for the reasons at the link below:
 380
 381         https://monitor.planet-lab.org/cgi-bin/printbadpcus.php?id=%(pcu_id)s
 382
 383 We need your help resolving this issue in a few ways:
 384
 385  1. First, we need your help rebooting %(hostname)s.  Because the above PCU does
 386     not appear to work, please manually reboot this machine.  If it turns out that
 387     there is a problem with the PCU configuration, we can help you
 388     resolve that independently.
 389
 390  2. If there is nothing apparently wrong with the PCU, or the mapping between
 391     the PCU and the host, then there is likely a problem with our bootstrap
 392     software on your machine.  To help us, please make a note of any text on
 393     the console and report it to mailto:support@planet-lab.org .  An example
 394     might be that the console hangs waiting for a module to unload.  The last
 395     reported name or any error messages on the screen would be very helpful.
 396
 397  3. Alternately, if it is possible, please correcct the above PCU problem, or
 398     let us know what steps you are taking.  By enabling us to take administrative
 399     actions automatically from PlanetLab Central without your intervention, you
 400     can trade a small amount of time now for a time savings in the future.
 401
 402 If the PCU is up and running, but behind a firewall, please make it accessible
 403 from address block 128.112.139.0/24.  You can confirm that this is the address
 404 space from which the PlanetLab Central servers run.
 405
 406 If the above PCU is no longer in service, please delete it by visiting:
 407
 408     https://www.planet-lab.org/db/sites/pcu.php?id=%(pcu_id)s
 409
 410 and selecting 'Delete PCU'. You may then register a new PCU for your nodes.
 411
 412 Thank you very much for your help,
 413   -- PlanetLab Central (support@planet-lab.org)
 414 """)
 415         pcutonodemapping_one =("""PCU to Node mapping is incorrect for %(hostname)s""",
 416         """
 417     As part of our machine monitoring and maintenance, we tried to use the PCU
 418 registered below, and though it appears to succeed, we do not subsequently
 419 observe the associated nodes rebooting:
 420
 421     https://monitor.planet-lab.org/cgi-bin/printbadpcus.php?id=%(pcu_id)s
 422
 423 %(hostname_list)s
 424
 425 We need your help resolving this issue in two ways:
 426
 427 * First, we need your help rebooting %(hostname)s.  Because the above PCU
 428   does not appear to actually control the above Nodes, we cannot use it to
 429   reboot these machines. So, please manually reboot the machine and we can
 430   help you resolve any configuration errors with the PCU independently.
 431
 432 * Second, please check the configuration of the above PCU.  Check that the
 433   PCU is physically connected to the servers that it should be able to
 434   control.  A common mistake is that the PCU is registered for a machine,
 435   but not actually connected physically to the machine.
 436
 437 By enabling us to take administrative actions automatically from PlanetLab
 438 Central without local intervention, you can trade a small amount of time now
 439 for a time savings in the future.
 440
 441 If the above PCU is no longer in service, please delete it by visiting:
 442
 443     https://www.planet-lab.org/db/sites/pcu.php?id=%(pcu_id)s
 444
 445 and selecting 'Delete PCU'. You may then register a new PCU for your nodes.
 446
 447 Alternately, if the machines listed above are no longer in service, please
 448 delete them by visiting your sites page at:
 449
 450     https://www.planet-lab.org/
 451
 452 Thank you very much for your help,
 453   -- PlanetLab Central (support@planet-lab.org)
 454 """)
 455
 456         newalphacd_notice=("""MONTEST: New Boot Images for %(hostname)s""",
 457 """As part of PlanetLab node monitoring, we noticed that we were not able to recognize all the hardware in your machine.  This means that it is so new that it needs a new BootCD, or that it is so old that it is no longer supported.
 458
 459     %(hostname)s
 460
 461 To make this process as simple as possible, we have created All-in-One boot images that include the node configuration file.
 462
 463 The only step that you need to take is to choose which media you prefer, either CD ISO, or USB image for each host.
 464
 465 %(url_list)s
 466
 467 Instructions to burn or copy these All-in-One images to the appropriate media are available in the Technical Contact's Guide.
 468
 469     https://www.planet-lab.org/doc/guides/bootcdsetup
 470
 471 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 472
 473 Thank you for your help,
 474   -- PlanetLab Central (support@planet-lab.org)
 475 """)
 476
 477         # TODO: need reminder versions for repeats...
 478         newdown=[newdown_one, newdown_two, newdown_three]
 479         newbootcd=[newbootcd_one, newbootcd_two, newbootcd_three]
 480         #newalphacd=[newalphacd_one, newalphacd_one, newalphacd_one]
 481         newthankyou=[thankyou,thankyou,thankyou]
 482         pcuthankyou=[pcuthankyou_one,pcuthankyou_one,pcuthankyou_one]
 483         NMReset=[nmreset,nmreset,nmreset]
 484         pcutonodemapping=[pcutonodemapping_one, pcutonodemapping_one, pcutonodemapping_one]
 485         pcudown=[pcudown_one, pcudown_one, pcudown_one]
 486
 487         unknownsequence_notice = ("""MONTEST: Unrecognized Error on PlanetLab host %(hostname)s""",
 488                                            """
 489 While trying to automatically recover this machine:
 490
 491     http://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 492
 493 We encountered an unknown situation.  Please re-code to handle, or manually intervene to repair this host.
 494
 495 Abbreviated BootManager Sequence:
 496
 497     %(sequence)s
 498
 499 BootManager.log output follows:
 500 ---------------------------------------------------------
 501 %(bmlog)s
 502 """       )
 503         donation_down_one=("""PlanetLab node donation setup: %(hostname)s""",
 504         """
 505 Hello,
 506
 507 As part of PlanetLab node monitoring, we noticed the following node is registered in the PlanetLab database, but it is not completly setup and running.
 508
 509 %(hostname_list)s
 510 We are writing because we need your help completing the setup to ensure its full operation.
 511
 512 You should have received directions for the complete configuration when you contacted the donation program coordinator at PlanetLab.  For review, or if you did not receive them, you can find the latest version here:
 513
 514     https://svn.planet-lab.org/wiki/DC7800Configuration
 515
 516 It is essential that the AMT feature be configured to enable PlanetLab staff to remotely manage the machine.  The basic steps are:
 517
 518     Configure the DC7800 AMT feature  : https://www.planet-lab.org/AMT
 519     Add a PCU to your site            : https://www.planet-lab.org/db/sites/pcu.php
 520         Associate your node with the PCU  : Follow the 'My Site' link
 521         Finally, download the Boot Image  : https://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 522         Burn Boot Image to media & Reboot your node
 523
 524 You can confirm that your machine's PCU is correctly configured by visiting the AMT
 525 port using your browser, such as:
 526
 527     http://%(hostname)s:16992/
 528
 529 If you need any clarification about the steps mentioned here, please feel free
 530 to contact us at PlanetLab Support (support@planet-lab.org).
 531
 532 Thank you for your help,
 533   -- PlanetLab Central (support@planet-lab.org)
 534 """)
 535
 536         donation_nopcu_one=("""PlanetLab node donation, PCU setup: %(hostname)s""",
 537 """
 538 Hello,
 539
 540 As part of PlanetLab node monitoring, we noticed the following node was not completely setup at your site:
 541
 542 %(hostname_list)s
 543 We are writing because we need your help completing the setup to ensure its full operation.
 544
 545 The DC7800 comes with a built-in remote management feature.  The PCU functionality on your node is not configured.  The result of this is that we are unable to remotely administer this machine.
 546
 547 You should have received directions for the complete configuration when you contacted the donation program coordinator at PlanetLab.  For review, or if you did not receive them, you can find the latest version here:
 548
 549     https://svn.planet-lab.org/wiki/DC7800Configuration
 550
 551 It is essential that the PCU be configured.  The basic steps are:
 552
 553     Configure the DC7800 AMT feature  : https://www.planet-lab.org/AMT
 554     Add a PCU to your site            : https://www.planet-lab.org/db/sites/pcu.php
 555         Associate your node with the PCU  : Follow the 'My Site' link
 556
 557 You can confirm that your machine is correctly configured by visiting the AMT
 558 port using your browser, such as:
 559
 560     http://%(hostname)s:16992/
 561
 562 If you need any clarification about the steps mentioned here, please feel free
 563 to contact us at PlanetLab Support (support@planet-lab.org).
 564
 565 Thank you for your help,
 566   -- PlanetLab Central (support@planet-lab.org)
 567 """)
 568
 569         donation_nopcu = [ donation_nopcu_one, donation_nopcu_one, donation_nopcu_one ]
 570         donation_down = [ donation_down_one, donation_down_one, donation_down_one ]
 571
 572
 573         minimalhardware_notice = ("""MONTEST: Hardware requirements not met on PlanetLab host %(hostname)s""",
 574                                            """
 575 While trying to automatically recover this machine:
 576
 577     http://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 578
 579 We encountered an failed hardware requirement.  Please look at the log below to determine the exact nature of the failure, either Disk, CPU, Network, or Mimial RAM was not satisfied.
 580
 581 If your machine does not meet the current hardware specifications for a PlanetLab node (http://www.planet-lab.org/hardware), please upgrade it to meet the current recommended configuration.
 582
 583 If you believe this message is an error, please email support@planet-lab.org explaining the problem.  You may need to create an updated Boot Image that includes drivers for your hardware.
 584
 585 Thank you,
 586  - PlanetLab Support
 587
 588 BootManager.log output follows:
 589 ---------------------------------------------------------
 590 %(bmlog)s
 591 """       )
 592
 593         baddisk_notice = ("""MONTEST: Bad Disk on PlanetLab node %(hostname)s""",
 594                            """As part of PlanetLab node monitoring, we noticed %(hostname)s has a number of disk or media related I/O errors, that prevent it from either booting or reliably running as a PlanetLab node.
 595
 596 Please verify the integrity of the disk, and order a replacement if needed.  If you need to schedule downtime for the node, please let us know at support@planet-lab.org.
 597
 598 Thanks.
 599
 600   -- PlanetLab Central (support@planet-lab.org)
 601
 602 The output of `dmesg` follows:
 603 -------------------------------------------------------------------------
 604
 605 %(log)s
 606 """)
 607
 608         down=("""PlanetLab node %(hostname)s down.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s has been down for %(days)s days.
 609
 610 Please check the node's connectivity and, if properly networked, power cycle the machine. Note that rebooting the machine may not fully resolve the problems we're seeing. Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.
 611
 612 http://summer.cs.princeton.edu/status/tabulator.cgi?table=table_nodeviewshort&select='address==%(hostbyteorder)s'
 613
 614 http://www.planet-lab.org/db/sites/index.php?id=%(site_id)d
 615
 616 There's no need to respond to this message if CoMon reports that your machine is accessible. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can resolve the issue.
 617
 618 Thanks.
 619
 620
 621   -- PlanetLab Central (support@planet-lab.org)
 622 """)
 623
 624         dbg=("""Planetlab node %(hostname)s requires reboot.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s is in debug mode.  This usually implies the node was rebooted unexpectedly and could not come up cleanly.
 625
 626 Please check the node's connectivity and, if properly networked, power cycle the machine. Note that rebooting the machine may not fully resolve the problems we're seeing. Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.
 627
 628 http://summer.cs.princeton.edu/status/tabulator.cgi?table=table_nodeviewshort&select='address==%(hostbyteorder)s'
 629
 630 There's no need to respond to this message if CoMon reports that your machine is accessible. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can resolve the issue.
 631
 632 Thank you for your help,
 633   -- PlanetLab Central (support@planet-lab.org)
 634 """)
 635
 636         plnode_cfg=(""" Please Verify Network Configuration for PlanetLab node %(hostname)s""",
 637 """Hello,
 638
 639 As part of PlanetLab node monitoring, we noticed that %(hostname)s has a network configuration error related to DNS or hostname lookups.  Often this can happen either due local configuraiton changes, or a misconfiguration of the node's DNS servers.  To resolve the issue we require your assistance.  All that is needed is to visit:
 640
 641         https://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 642
 643 Find the primary node network entry and confirm that the settings are correct.
 644
 645 If you use 'static' network configuration, verify that the DNS servers are correct.  If you are using 'dhcp' then you will need to confirm that the information returned for the node will allow it to perform lookups on it's own hostname.
 646
 647 If you change the network settings, then select, "Download -> Download plnode.txt file for %(hostname)s" menu.  This will generate a new configuration file for your node.  Copy this file to the appropriate read-only media, either floppy or USB stick, and reboot the machine.  If you are using an All-in-One boot image, then you will need to download the All-in-One image instead, burn it to the appropriate media (CD or USB) and reboot.
 648
 649 Please let us know if you need any assistance.
 650
 651 Thank you for your help,
 652   -- PlanetLab Central (support@planet-lab.org)
 653
 654 BootManager.log output follows:
 655 ---------------------------------------------------------
 656 %(bmlog)s
 657 """)
 658
 659         nodeconfig_notice=("""MONTEST:  Please Update Configuration file for PlanetLab node %(hostname)s""",
 660 """As part of PlanetLab node monitoring, we noticed %(hostname)s has an out-dated plnode.txt file with no NODE_ID or a mis-matched HOSTNAME.  This can happen either due to an initial configuration failure at your site, with information entered into our database, or after a software upgrade.  To resolve the issue we require your assistance.  All that is needed is to visit:
 661
 662         https://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 663
 664 Then, select, "Download -> Download plnode.txt file for %(hostname)s" menu.  This will generate a new configuration file for your node.  Copy this file to the appropriate read-only media, either floppy or USB stick, and reboot the machine.
 665
 666 There is no need to respond to this message if you're able to update the configuration file without difficulty and your node returns to normal operation.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.
 667
 668 Thank you for your help,
 669   -- PlanetLab Central (support@planet-lab.org)
 670 """)
 671
 672         bootcd=(""" Planetlab node %(hostname)s needs a new BootCD""",
 673 """As part of PlanetLab node monitoring, we noticed %(hostname)s has an out-dated BootCD: "%(version)".  This usually implies that you need to update both the BootCD and regenerate the planet.cnf file stored on the read-only floppy (Or read-only USB stick that stores the content of BootCD and planet.cnf).
 674
 675 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact Guide.
 676     https://www.planet-lab.org/doc/guides/tech#NodeInstallation
 677
 678 There's no need to respond to this message if you're able to follow the directions without difficulty and your node returns to normal operation. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.
 679
 680 Thanks you for your help,
 681   -- PlanetLab Central (support@planet-lab.org)
 682 """)
 683
 684         ssh=("""Planetlab node %(hostname)s down.""", """As part of PlanetLab node monitoring, we noticed node %(hostname)s is not available for ssh.
 685
 686 Please check the node's connectivity and, if properly networked, power cycle the machine. Note that rebooting the machine may not fully resolve the problems we're seeing. Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.
 687
 688 http://summer.cs.princeton.edu/status/tabulator.cgi?table=table_nodeviewshort&select='address==%(hostbyteorder)s'
 689
 690 There's no need to respond to this message if CoMon reports that your machine is accessible. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can resolve the issue.
 691
 692 Thanks.
 693
 694
 695   -- PlanetLab Central (support@planet-lab.org)
 696 """)
 697
 698
 699         baddns_notice=("""MONTEST: Planetlab node down: broken DNS configuration for %(hostname)s""",
 700 """As part of PlanetLab node monitoring, we noticed the DNS servers used by the following machine(s) are not responding to queries.
 701
 702     %(hostname)s
 703
 704 The conseuqnece of this is that the node cannot boot correctly, and is not a functioning part of the PlanetLab network.
 705
 706 To help us return this machine to running order, please verify that the registered DNS servers in the node network configuration are correct.
 707
 708 %(network_config)s
 709
 710 You may update the node's network information at the link below:
 711
 712     https://www.planet-lab.org/db/nodes/node_networks.php?id=%(interface_id)s
 713
 714 If you have any questions, please feel free to contact us at PlanetLab Support (support@planet-lab.org).
 715
 716 Thank you for your help,
 717   -- PlanetLab Central (support@planet-lab.org)
 718 """)
 719
 720
 721         filerw=("""Planetlab node %(hostname)s has a bad disk.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s has a read-only filesystem.
 722
 723 Please verify the integrity of the disk and email the site if a replacement is needed.
 724
 725 Thanks.
 726
 727   -- PlanetLab Central (support@planet-lab.org)
 728 """)
 729
 730
 731         clock_drift=("""Planetlab node %(hostname)s and NTP.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s cannot reach our NTP server.
 732
 733 Please verify that the NTP port (tcp/123) is not blocked by your site.
 734
 735 Thanks.
 736
 737   -- PlanetLab Central (support@planet-lab.org)
 738 """)
 739
 740
 741
 742         removedSliceCreation=("""PlanetLab slice creation/renewal suspension.""","""As part of PlanetLab node monitoring, we noticed the %(loginbase)s site has less than 2 nodes up.  We have attempted to contact the PI and Technical contacts %(times)s times and have not received a response.
 743
 744 Slice creation and renewal are now suspended for the %(loginbase)s site.  Please be aware that failure to respond will result in the automatic suspension of all running slices on PlanetLab.
 745
 746
 747   -- PlanetLab Central (support@planet-lab.org)
 748 """)
 749
 750
 751         suspendSlices=("""PlanetLab slices suspended.""","""As part of PlanetLab node monitoring, we noticed the %(loginbase)s site has less than 2 nodes up.  We have attempted to contact the PI and Technical contacts %(times)s times and have not received a response.
 752
 753 All %(loginbase)s slices are now suspended.
 754
 755
 756   -- PlanetLab Central (support@planet-lab.org)
 757 """)
 758
 759
 760         pcu_broken=("""%(hostname)s failed to reinstall""","""Hello,
 761
 762    %(hostname)s was remotely rebooted via your power control unit but has not contacted PlanetLab since. It should contact upon every boot, hence we believe that either the node has some hardware problems, is not properly connected to the power control unit, or has network connectivity issues. Could you please reboot the node and watch the console for error messages?
 763
 764
 765 Thanks.
 766
 767 -- PlanetLab Central (support@planet-lab.org)
 768 """)
 769
 770
 771         no_pcu=("""Hello,
 772
 773 We have set %(hostname)s to reinstall, but because your site does not have a power control unit, we are unable to powercycle the node.  Please
 774
 775 Thanks.
 776
 777 -- PlanetLab Central (support@planet-lab.org)
 778 """)
 779