monitor/wrapper/emailTxt.py

   1 #
   2 # Copyright (c) 2004  The Trustees of Princeton University (Trustees).
   3 #
   4 # Faiyaz Ahmed <faiyaza@cs.princeton.edu>
   5 #
   6 # $Id: emailTxt.py,v 1.10 2007/08/29 17:26:50 soltesz Exp $
   7
   8
   9 #
  10 # This file contains the texts of the automatically generated
  11 # emails sent to techs and PIs
  12 #
  13
  14 class mailtxt:
  15
  16         newdown_one=("""PlanetLab node(s) down: %(loginbase)s""",
  17 """
  18 Hello,
  19
  20 As part of PlanetLab node monitoring, we noticed the following nodes were down at your site:
  21
  22 %(hostname_list)s
  23 We're writing because we need your help returning them to their regular operation.
  24
  25 To help, please confirm that a verison 3.0 or greater BootCD is installed in the machine.  Then, after checking that the node is properly networked, power cycle the machine.  Note that rebooting the machine may not fully resolve the problems we are seeing.  Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.  It may take several minutes before Comon registers your node.  Until that time, visiting the link below will return the message 'could not find requested table - probably empty'.
  26
  27         http://summer.cs.princeton.edu/status/tabulator.cgi?table=nodes/table_%(hostname)s&limit=50
  28
  29 If the machine has booted successfully, you may check it more quickly by logging in with your site_admin account, and running:
  30
  31     sudo /usr/sbin/vps ax
  32
  33 If you have a BootCD older than 3.0, you will need to create a new BootImage on CD or USB.  You can find instructions for this at the Technical Contact's Guide:
  34
  35     https://www.planet-lab.org/doc/guides/bootcdsetup
  36
  37 If after following these directions, and either logging in with your site_admin account or seeing the CoMon report of your machine, there is no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.   Including this message in your reply will help us coordinate our records with the actions you've taken.
  38
  39 Finally, you can track the current status of your machines using this Google Gadget:
  40
  41     http://fusion.google.com/add?source=atgs&moduleurl=http://monitor.planet-lab.org/monitor/sitemonitor.xml
  42
  43 Thank you for your help,
  44   -- PlanetLab Central (support@planet-lab.org)
  45 """)
  46
  47 #If no one responds, then after a week, we will disable your site's ability to create new slices.  Because this action will directly affect your site's registered PI, we will also CC the PI for help at that time.
  48
  49         newdown_two=("""PlanetLab node(s) down: %(loginbase)s""",
  50 """
  51 Hello,
  52
  53 As part of PlanetLab node monitoring, we noticed the following nodes were down at your site:
  54
  55 %(hostname_list)s
  56 We're writing again because our previous correspondence, sent only to the registered Technical Contact, has gone unacknowledged for at least a week, and we need your help returning these machines to their regular operation.  We understand that machine maintenance can take time.  So, while we wait for the machines to return to their regular operation slice creation has been suspended at your site.  No new slices may be created, but the existing slices and services running within them will be unaffected.
  57
  58 To help, please confirm that a verison 3.0 or greater BootCD is installed in the machine.  Then, after checking that the node is properly networked, power cycle the machine.  Note that rebooting the machine may not fully resolve the problems we are seeing.  Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.  It may take several minutes before Comon registers your node.  Until that time, visiting the link below will return the message 'could not find requested table - probably empty'.
  59
  60         http://summer.cs.princeton.edu/status/tabulator.cgi?table=nodes/table_%(hostname)s&limit=50
  61
  62 If the machine has booted successfully, you may check it more quickly by logging in with your site_admin account, and running:
  63
  64     sudo /usr/sbin/vps ax
  65
  66 If you have a BootCD older than 3.0, you will need to create a new Boot CD and configuration file.  You can find instructions for this at the Technical Contact's Guide:
  67
  68     https://www.planet-lab.org/doc/guides/bootcdsetup
  69
  70 If after following these directions, and either logging in with your site_admin account or seeing the CoMon report of your machine, there is no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.   Including this message in your reply will help us coordinate our records with the actions you've taken.
  71
  72 Finally, you can track the current status of your machines using this Google Gadget:
  73
  74     http://fusion.google.com/add?source=atgs&moduleurl=http://monitor.planet-lab.org/monitor/sitemonitor.xml
  75
  76 After another week, we will disable all slices currently running on PlanetLab.  Because this action will directly affect all users of these slices, these users will also be notified at that time.
  77
  78 Thank you for your help,
  79   -- PlanetLab Central (support@planet-lab.org)
  80 """)
  81
  82         newdown_three=("""PlanetLab node(s) down: %(loginbase)s""",
  83 """
  84 Hello,
  85
  86 As part of PlanetLab node monitoring, we noticed the following nodes were down at your site:
  87
  88 %(hostname_list)s
  89 We understand that machine maintenance can take time.  We're writing again because our previous correspondences, sent first to the registered Technical Contact then the the Site PI, have gone unacknowledged for at least two weeks, and we need your help returning these machines to their regular operation.  This is the third time attempting to contact someone in regard to these machines at your site.  So, while we wait for the machines to return to their regular operation all current slice activity will be suspended.  Current experiments will be stopped and will not be be able to start again until there is evidence that you have begun to help with the maintenance of these machines.
  90
  91 To help, please confirm that a verison 3.0 or greater BootCD is installed in the machine.  Then, after checking that the node is properly networked, power cycle the machine.  Note that rebooting the machine may not fully resolve the problems we are seeing.  Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.  It may take several minutes before Comon registers your node.  Until that time, visiting the link below will return the message 'could not find requested table - probably empty'.
  92
  93         http://summer.cs.princeton.edu/status/tabulator.cgi?table=nodes/table_%(hostname)s&limit=50
  94
  95 If the machine has booted successfully, you may check it more quickly by logging in with your site_admin account, and running:
  96
  97     sudo /usr/sbin/vps ax
  98
  99 If you have a BootCD older than 3.0, you will need to create a new Boot CD and configuration file.  You can find instructions for this at the Technical Contact's Guide:
 100
 101     https://www.planet-lab.org/doc/guides/bootcdsetup
 102
 103 Finally, you can track the current status of your machines using this Google Gadget:
 104
 105     http://fusion.google.com/add?source=atgs&moduleurl=http://monitor.planet-lab.org/monitor/sitemonitor.xml
 106
 107 If after following these directions, and either logging in with your site_admin account or seeing the CoMon report of your machine, there is no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.   Including this message in your reply will help us coordinate our records with the actions you've taken.
 108
 109 Thank you for your help,
 110   -- PlanetLab Central (support@planet-lab.org)
 111 """)
 112
 113         newbootcd_one=(""" Planetlab nodes need a new BootCD: %(loginbase)s""", # : %(hostname)s""",
 114 """As part of PlanetLab node monitoring, we noticed the following nodes have an out-dated BootCD:
 115
 116 %(hostname_list)s
 117 This usually implies that you need to update the BootCD and node configuration file stored on the read-only media (either the all-in-one ISO CD, floppy disk, or write-protected USB stick).
 118
 119 To check the status of these and any other machines that you manage please visit:
 120
 121     http://comon.cs.princeton.edu/status
 122
 123 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact's Guide.
 124
 125     https://www.planet-lab.org/doc/guides/bootcdsetup
 126
 127 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 128
 129 Thank you for your help,
 130   -- PlanetLab Central (support@planet-lab.org)
 131 """)
 132 #After a week, we will disable your site's ability to create new slices.  Because this action will directly affect your site's registered PI, we will also CC the PI for help at that time.
 133
 134         newbootcd_two=(""" Planetlab nodes need a new BootCD: %(loginbase)s""", # : %(hostname)s""",
 135 """As part of PlanetLab node monitoring, we noticed the following nodes have an out-dated BootCD:
 136
 137 %(hostname_list)s
 138 This usually implies that you need to update the BootCD and node configuration file stored on the read-only media (Either the all-in-one ISO CD, floppy disk, or write-protected USB stick).
 139
 140 We're writing again because our previous correspondence, sent only to the registered Technical Contact, has gone unacknowledged for at least a week, and we need your help returning these machines to their regular operation.  We understand that machine maintenance can take time.  So, while we wait for the machines to return to their regular operation, slice creation has been suspended at your site.  No new slices may be created, but the existing slices and services running within them will be unaffected.
 141
 142 To check the status of these and any other machines that you manage please visit:
 143
 144     http://comon.cs.princeton.edu/status
 145
 146 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact's Guide.
 147
 148     https://www.planet-lab.org/doc/guides/bootcdsetup
 149
 150 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 151
 152 After another week, we will disable all slices currently running on PlanetLab.  Because this action will directly affect all users of these slices, these users will also be notified at that time.
 153
 154 Thank you for your help,
 155   -- PlanetLab Central (support@planet-lab.org)
 156 """)
 157         newbootcd_three=(""" Planetlab nodes need a new BootCD: %(loginbase)s""", # : %(hostname)s""",
 158 """As part of PlanetLab node monitoring, we noticed the following nodes have an out-dated BootCD:
 159
 160 %(hostname_list)s
 161 This usually implies that you need to update the BootCD and node configuration file stored on the read-only media (Either the all-in-one ISO CD, floppy disk, or write-protected USB stick).
 162
 163 We understand that machine maintenance can take time.  We're writing again because our previous correspondences, sent first to the registered Technical Contact then the the Site PI, have gone unacknowledged for at least two weeks, and we need your help returning these machines to their regular operation.  This is the third time attempting to contact someone in regard to these machines at your site.  So, while we wait for the machines to return to their regular operation all current slice activity will be suspended.  Current experiments will be stopped and will not be be able to start again until there is evidence that you have begun to help with the maintenance of these machines.
 164
 165 To check the status of these and any other machines that you manage please visit:
 166
 167     http://comon.cs.princeton.edu/status
 168
 169 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact's Guide.
 170
 171     https://www.planet-lab.org/doc/guides/bootcdsetup
 172
 173 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 174
 175 Thank you for your help,
 176   -- PlanetLab Central (support@planet-lab.org)
 177 """)
 178         pcuthankyou_one=("""Thank you for correcting your PlanetLab node PCU - %(loginbase)s""",
 179         """
 180 While monitoring your site, we noticed that the following PCU *improved* their states:
 181
 182 %(hostname_list)s
 183 Often, system administration is a thankless job, but not today. :-)
 184
 185 Thank you!
 186   -- PlanetLab Central (support@planet-lab.org)
 187         """)
 188
 189         thankyou=("""Thank you for helping maintain your PlanetLab nodes - %(loginbase)s""",
 190         """
 191 While monitoring your site, we noticed that the following nodes *improved*
 192 their states:
 193
 194 %(hostname_list)s
 195 Often, system administration is a thankless job, but not today. :-)
 196
 197 Thank you!
 198   -- PlanetLab Central (support@planet-lab.org)
 199
 200 Legend:
 201 PROD-      This state is the production state where the node can contact PlanetLab,
 202            and install slices from users.
 203 DEBUG-     This state designates a node that could not boot successfully.
 204 OLDBOOTCD- This state corresponds to the situation where an oldbootcd prevented
 205            the normal operation of the node.
 206 ERROR-     This is an error state, where there is absolutely no contact
 207            with PlanetLab.
 208         """)
 209
 210 #############################################################################
 211 #############################################################################
 212 #############################################################################
 213
 214         pcumissing_notice =("""MONTEST: There is no PCU available to reboot %(hostname)s""",
 215 """We've noticed that there is no PCU associated with %(hostname)s, so we could
 216 not reboot it ourselves.
 217
 218 By taking a few moments now to register your PCU for this host, you will save
 219 time in the future the next time we need to reboot this machine, because we
 220 will be able to do so without disturbing you.
 221
 222     http://www.planet-lab.org/registerwizard/index.php
 223
 224 The registration is very quick.  All we need are: PCU hostname, IP, username,
 225 and password.  Then, choose which node to associate it with, and we will take
 226 care of the rest.
 227
 228 Thank you very much for your help,
 229   -- PlanetLab Central (support@planet-lab.org)
 230 """)
 231
 232         pcufailed_notice =("""MONTEST: Could not use PCU to reboot %(hostname)s""",
 233
 234 """We tried to use the PCU registered for %(hostname)s, but for some reason
 235 the host did not come back online.  You may be able to learn more by visiting
 236 this link:
 237
 238         https://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 239
 240 We need your help resolving this issue in a few ways:
 241
 242  1. First, we need your help rebooting %(hostname)s.  Because the above PCU does
 243     not appear to work, please manually reboot this machine.  If it turns out
 244         that there is a problem with the PCU configuration, we can help you
 245     resolve that independently.
 246
 247  2. If it is possible, please correcct the above PCU problem, or let us know
 248         what steps you are taking.  By enabling us to take administrative actions
 249         automatically without your intervention, you will save time in the future
 250         the next time we need to reboot this machine, because we will be able to
 251         do so without disturbing you.
 252
 253  3. If there is nothing apparently wrong with the PCU, or the mapping between
 254     the PCU and the host, then there is likely a problem with our bootstrap
 255     software on your machine.  To help us, please make a note of any text on
 256     the console and report it to mailto:support@planet-lab.org .  An example
 257     might be that the console hangs waiting for a module to unload.  The last
 258     reported name or any error messages on the screen would be very helpful.
 259
 260 If the PCU is up and running, but behind a firewall, please make it accessible
 261 from address block 128.112.139.0/24.  You can confirm that this is the address
 262 space from which the PlanetLab Central servers run.
 263
 264 Thank you very much for your help,
 265   -- PlanetLab Central (support@planet-lab.org)
 266 """)
 267
 268         online_notice=("""MONTEST: Host %(hostname)s is online""",
 269         """
 270 This notice is simply to let you know that:
 271     %(hostname)s
 272
 273 is online and operational.
 274
 275         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 276
 277 Thank you very much for your help!
 278   -- PlanetLab Central (support@planet-lab.org)
 279         """)
 280         test_notice=("""MONTEST: Host %(hostname)s is testing""",
 281         """
 282 This notice is simply to test whether notices work.
 283     %(hostname)s
 284
 285 Thank you very much for your help!
 286         """)
 287         retry_bootman=("""MONTEST: Running BootManager on %(hostname)s""",
 288         """
 289 This notice is simply to let you know that:
 290     %(hostname)s
 291
 292 appears stuck in a debug mode.  To try to correct this, we're trying to rerun BootManager.py.
 293 If any action is needed from you, you will recieve additional notices.  Thank you!
 294         """)
 295         down_notice=("""MONTEST: Host %(hostname)s is down""",
 296         """
 297 This notice is simply to let you know that:
 298     %(hostname)s
 299
 300 is down, disconnected from the network and/or non-operational.
 301
 302 Please investigate, and let us know if there's anything we can do to help get
 303 it back on-line.  You can see more information about the current status of
 304 this host here:
 305
 306         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 307
 308 Thank you very much for your help,
 309   -- PlanetLab Central (support@planet-lab.org)
 310         """)
 311
 312         clear_penalty=("""MONTEST: All privileges restored to site %(loginbase)s""",
 313         """
 314 This notice is to let you know that any privileges previously reduced at your
 315 site have been restored: %(penalty_level)s.
 316
 317 All privileges are restored.  You may create slices again, and if your
 318 slices were disabled, please allow up to 30 minutes for them to return to
 319 enabled.
 320
 321         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 322
 323 Thank you very much for your help,
 324   -- PlanetLab Central (support@planet-lab.org)
 325
 326 Legend:
 327
 328   0  - no penalties applied
 329   1  - site is disabled.  no new slices can be created.
 330   2+ - all existing slices will be disabled.
 331         """)
 332
 333         increase_penalty=("""MONTEST: Privilege reduced for site %(loginbase)s""",
 334         """
 335 This notice is to let you know that the privileges granted to your site as
 336 a participating member of Planetlab have reduced: %(penalty_level)s.
 337
 338 Your privileges will be reduced corresponding to the legend below.  To
 339 restore these privileges, please return at least two machines to working
 340 state.
 341
 342         http://monitor.planet-lab.org/monitor/pcuview?loginbase=%(loginbase)s
 343
 344 Thank you very much for your help,
 345   -- PlanetLab Central (support@planet-lab.org)
 346
 347 Legend:
 348
 349   0  - no penalty applied
 350   1  - site is disabled.  no new slices can be created.
 351   2+ - all existing slices will be disabled.
 352         """)
 353
 354         newbootcd_notice=("""MONTEST: Host %(hostname)s needs a new BootImage""", """
 355 We noticed the following node has an out-dated BootImage:
 356
 357     %(hostname)s
 358
 359 This usually implies that you need to update the BootImage and node
 360 configuration file stored on the read-only media (either the all-in-one ISO
 361 CD, floppy disk, or write-protected USB stick).
 362
 363 You can do this by walking through the steps of the registration wizard, and
 364 downloading a new BootImage for your machine.
 365
 366     https://www.planet-lab.org/registerwizard/index.php
 367
 368 Thank you for your help,
 369   -- PlanetLab Central (support@planet-lab.org)
 370 """)
 371
 372 #############################################################################
 373 #############################################################################
 374 #############################################################################
 375
 376         pcudown_one =("""Could not use PCU to reboot %(hostname)s""",
 377
 378 """As part of PlanetLab node monitoring and maintenance, we tried to use the PCU
 379 registered below, but could not for the reasons at the link below:
 380
 381         https://monitor.planet-lab.org/cgi-bin/printbadpcus.php?id=%(pcu_id)s
 382
 383 We need your help resolving this issue in a few ways:
 384
 385  1. First, we need your help rebooting %(hostname)s.  Because the above PCU does
 386     not appear to work, please manually reboot this machine.  If it turns out that
 387     there is a problem with the PCU configuration, we can help you
 388     resolve that independently.
 389
 390  2. If there is nothing apparently wrong with the PCU, or the mapping between
 391     the PCU and the host, then there is likely a problem with our bootstrap
 392     software on your machine.  To help us, please make a note of any text on
 393     the console and report it to mailto:support@planet-lab.org .  An example
 394     might be that the console hangs waiting for a module to unload.  The last
 395     reported name or any error messages on the screen would be very helpful.
 396
 397  3. Alternately, if it is possible, please correcct the above PCU problem, or
 398     let us know what steps you are taking.  By enabling us to take administrative
 399     actions automatically from PlanetLab Central without your intervention, you
 400     can trade a small amount of time now for a time savings in the future.
 401
 402 If the PCU is up and running, but behind a firewall, please make it accessible
 403 from address block 128.112.139.0/24.  You can confirm that this is the address
 404 space from which the PlanetLab Central servers run.
 405
 406 If the above PCU is no longer in service, please delete it by visiting:
 407
 408     https://www.planet-lab.org/db/sites/pcu.php?id=%(pcu_id)s
 409
 410 and selecting 'Delete PCU'. You may then register a new PCU for your nodes.
 411
 412 Thank you very much for your help,
 413   -- PlanetLab Central (support@planet-lab.org)
 414 """)
 415         pcutonodemapping_one =("""PCU to Node mapping is incorrect for %(hostname)s""",
 416         """
 417     As part of our machine monitoring and maintenance, we tried to use the PCU
 418 registered below, and though it appears to succeed, we do not subsequently
 419 observe the associated nodes rebooting:
 420
 421     https://monitor.planet-lab.org/cgi-bin/printbadpcus.php?id=%(pcu_id)s
 422
 423 %(hostname_list)s
 424
 425 We need your help resolving this issue in two ways:
 426
 427 * First, we need your help rebooting %(hostname)s.  Because the above PCU
 428   does not appear to actually control the above Nodes, we cannot use it to
 429   reboot these machines. So, please manually reboot the machine and we can
 430   help you resolve any configuration errors with the PCU independently.
 431
 432 * Second, please check the configuration of the above PCU.  Check that the
 433   PCU is physically connected to the servers that it should be able to
 434   control.  A common mistake is that the PCU is registered for a machine,
 435   but not actually connected physically to the machine.
 436
 437 By enabling us to take administrative actions automatically from PlanetLab
 438 Central without local intervention, you can trade a small amount of time now
 439 for a time savings in the future.
 440
 441 If the above PCU is no longer in service, please delete it by visiting:
 442
 443     https://www.planet-lab.org/db/sites/pcu.php?id=%(pcu_id)s
 444
 445 and selecting 'Delete PCU'. You may then register a new PCU for your nodes.
 446
 447 Alternately, if the machines listed above are no longer in service, please
 448 delete them by visiting your sites page at:
 449
 450     https://www.planet-lab.org/
 451
 452 Thank you very much for your help,
 453   -- PlanetLab Central (support@planet-lab.org)
 454 """)
 455
 456         newalphacd_notice=("""MONTEST: New Boot Images for %(hostname)s""",
 457 """As part of PlanetLab node monitoring, we noticed that we were not able to recognize all the hardware in your machine.  This means that it is so new that it needs a new BootCD, or that it is so old that it is no longer supported.
 458
 459     %(hostname)s
 460
 461 To make this process as simple as possible, we have created All-in-One boot images that include the node configuration file.
 462
 463 The only step that you need to take is to choose which media you prefer, either CD ISO, or USB image for each host.
 464
 465 %(url_list)s
 466
 467 Instructions to burn or copy these All-in-One images to the appropriate media are available in the Technical Contact's Guide.
 468
 469     https://www.planet-lab.org/doc/guides/bootcdsetup
 470
 471 If your node returns to normal operation after following these directions, then there's no need to respond to this message.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.  Including this message in your reply will help us coordinate our records with the actions you've taken.
 472
 473 Thank you for your help,
 474   -- PlanetLab Central (support@planet-lab.org)
 475 """)
 476
 477         # TODO: need reminder versions for repeats...
 478         newdown=[newdown_one, newdown_two, newdown_three]
 479         newbootcd=[newbootcd_one, newbootcd_two, newbootcd_three]
 480         #newalphacd=[newalphacd_one, newalphacd_one, newalphacd_one]
 481         newthankyou=[thankyou,thankyou,thankyou]
 482         pcuthankyou=[pcuthankyou_one,pcuthankyou_one,pcuthankyou_one]
 483         pcutonodemapping=[pcutonodemapping_one, pcutonodemapping_one, pcutonodemapping_one]
 484         pcudown=[pcudown_one, pcudown_one, pcudown_one]
 485
 486         unknownsequence_notice = ("""MONTEST: Unrecognized Error on PlanetLab host %(hostname)s""",
 487                                            """
 488 While trying to automatically recover this machine:
 489
 490     http://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 491
 492 We encountered an unknown situation.  Please re-code to handle, or manually intervene to repair this host.
 493
 494 Abbreviated BootManager Sequence:
 495
 496     %(sequence)s
 497
 498 BootManager.log output follows:
 499 ---------------------------------------------------------
 500 %(bmlog)s
 501 """       )
 502         donation_down_one=("""PlanetLab node donation setup: %(hostname)s""",
 503         """
 504 Hello,
 505
 506 As part of PlanetLab node monitoring, we noticed the following node is registered in the PlanetLab database, but it is not completly setup and running.
 507
 508 %(hostname_list)s
 509 We are writing because we need your help completing the setup to ensure its full operation.
 510
 511 You should have received directions for the complete configuration when you contacted the donation program coordinator at PlanetLab.  For review, or if you did not receive them, you can find the latest version here:
 512
 513     https://svn.planet-lab.org/wiki/DC7800Configuration
 514
 515 It is essential that the AMT feature be configured to enable PlanetLab staff to remotely manage the machine.  The basic steps are:
 516
 517     Configure the DC7800 AMT feature  : https://www.planet-lab.org/AMT
 518     Add a PCU to your site            : https://www.planet-lab.org/db/sites/pcu.php
 519         Associate your node with the PCU  : Follow the 'My Site' link
 520         Finally, download the Boot Image  : https://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 521         Burn Boot Image to media & Reboot your node
 522
 523 You can confirm that your machine's PCU is correctly configured by visiting the AMT
 524 port using your browser, such as:
 525
 526     http://%(hostname)s:16992/
 527
 528 If you need any clarification about the steps mentioned here, please feel free
 529 to contact us at PlanetLab Support (support@planet-lab.org).
 530
 531 Thank you for your help,
 532   -- PlanetLab Central (support@planet-lab.org)
 533 """)
 534
 535         donation_nopcu_one=("""PlanetLab node donation, PCU setup: %(hostname)s""",
 536 """
 537 Hello,
 538
 539 As part of PlanetLab node monitoring, we noticed the following node was not completely setup at your site:
 540
 541 %(hostname_list)s
 542 We are writing because we need your help completing the setup to ensure its full operation.
 543
 544 The DC7800 comes with a built-in remote management feature.  The PCU functionality on your node is not configured.  The result of this is that we are unable to remotely administer this machine.
 545
 546 You should have received directions for the complete configuration when you contacted the donation program coordinator at PlanetLab.  For review, or if you did not receive them, you can find the latest version here:
 547
 548     https://svn.planet-lab.org/wiki/DC7800Configuration
 549
 550 It is essential that the PCU be configured.  The basic steps are:
 551
 552     Configure the DC7800 AMT feature  : https://www.planet-lab.org/AMT
 553     Add a PCU to your site            : https://www.planet-lab.org/db/sites/pcu.php
 554         Associate your node with the PCU  : Follow the 'My Site' link
 555
 556 You can confirm that your machine is correctly configured by visiting the AMT
 557 port using your browser, such as:
 558
 559     http://%(hostname)s:16992/
 560
 561 If you need any clarification about the steps mentioned here, please feel free
 562 to contact us at PlanetLab Support (support@planet-lab.org).
 563
 564 Thank you for your help,
 565   -- PlanetLab Central (support@planet-lab.org)
 566 """)
 567
 568         donation_nopcu = [ donation_nopcu_one, donation_nopcu_one, donation_nopcu_one ]
 569         donation_down = [ donation_down_one, donation_down_one, donation_down_one ]
 570
 571
 572         minimalhardware_notice = ("""MONTEST: Hardware requirements not met on PlanetLab host %(hostname)s""",
 573                                            """
 574 While trying to automatically recover this machine:
 575
 576     http://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 577
 578 We encountered an failed hardware requirement.  Please look at the log below to determine the exact nature of the failure, either Disk, CPU, Network, or Mimial RAM was not satisfied.
 579
 580 If your machine does not meet the current hardware specifications for a PlanetLab node (http://www.planet-lab.org/hardware), please upgrade it to meet the current recommended configuration.
 581
 582 If you believe this message is an error, please email support@planet-lab.org explaining the problem.  You may need to create an updated Boot Image that includes drivers for your hardware.
 583
 584 Thank you,
 585  - PlanetLab Support
 586
 587 BootManager.log output follows:
 588 ---------------------------------------------------------
 589 %(bmlog)s
 590 """       )
 591
 592         baddisk_notice = ("""MONTEST: Bad Disk on PlanetLab node %(hostname)s""",
 593                            """As part of PlanetLab node monitoring, we noticed %(hostname)s has a number of disk or media related I/O errors, that prevent it from either booting or reliably running as a PlanetLab node.
 594
 595 Please verify the integrity of the disk, and order a replacement if needed.  If you need to schedule downtime for the node, please let us know at support@planet-lab.org.
 596
 597 Thanks.
 598
 599   -- PlanetLab Central (support@planet-lab.org)
 600
 601 The output of `dmesg` follows:
 602 -------------------------------------------------------------------------
 603
 604 %(log)s
 605 """)
 606
 607         down=("""PlanetLab node %(hostname)s down.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s has been down for %(days)s days.
 608
 609 Please check the node's connectivity and, if properly networked, power cycle the machine. Note that rebooting the machine may not fully resolve the problems we're seeing. Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.
 610
 611 http://summer.cs.princeton.edu/status/tabulator.cgi?table=table_nodeviewshort&select='address==%(hostbyteorder)s'
 612
 613 http://www.planet-lab.org/db/sites/index.php?id=%(site_id)d
 614
 615 There's no need to respond to this message if CoMon reports that your machine is accessible. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can resolve the issue.
 616
 617 Thanks.
 618
 619
 620   -- PlanetLab Central (support@planet-lab.org)
 621 """)
 622
 623         dbg=("""Planetlab node %(hostname)s requires reboot.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s is in debug mode.  This usually implies the node was rebooted unexpectedly and could not come up cleanly.
 624
 625 Please check the node's connectivity and, if properly networked, power cycle the machine. Note that rebooting the machine may not fully resolve the problems we're seeing. Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.
 626
 627 http://summer.cs.princeton.edu/status/tabulator.cgi?table=table_nodeviewshort&select='address==%(hostbyteorder)s'
 628
 629 There's no need to respond to this message if CoMon reports that your machine is accessible. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can resolve the issue.
 630
 631 Thank you for your help,
 632   -- PlanetLab Central (support@planet-lab.org)
 633 """)
 634
 635         plnode_cfg=(""" Please Verify Network Configuration for PlanetLab node %(hostname)s""",
 636 """Hello,
 637
 638 As part of PlanetLab node monitoring, we noticed that %(hostname)s has a network configuration error related to DNS or hostname lookups.  Often this can happen either due local configuraiton changes, or a misconfiguration of the node's DNS servers.  To resolve the issue we require your assistance.  All that is needed is to visit:
 639
 640         https://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 641
 642 Find the primary node network entry and confirm that the settings are correct.
 643
 644 If you use 'static' network configuration, verify that the DNS servers are correct.  If you are using 'dhcp' then you will need to confirm that the information returned for the node will allow it to perform lookups on it's own hostname.
 645
 646 If you change the network settings, then select, "Download -> Download plnode.txt file for %(hostname)s" menu.  This will generate a new configuration file for your node.  Copy this file to the appropriate read-only media, either floppy or USB stick, and reboot the machine.  If you are using an All-in-One boot image, then you will need to download the All-in-One image instead, burn it to the appropriate media (CD or USB) and reboot.
 647
 648 Please let us know if you need any assistance.
 649
 650 Thank you for your help,
 651   -- PlanetLab Central (support@planet-lab.org)
 652
 653 BootManager.log output follows:
 654 ---------------------------------------------------------
 655 %(bmlog)s
 656 """)
 657
 658         nodeconfig_notice=("""MONTEST:  Please Update Configuration file for PlanetLab node %(hostname)s""",
 659 """As part of PlanetLab node monitoring, we noticed %(hostname)s has an out-dated plnode.txt file with no NODE_ID or a mis-matched HOSTNAME.  This can happen either due to an initial configuration failure at your site, with information entered into our database, or after a software upgrade.  To resolve the issue we require your assistance.  All that is needed is to visit:
 660
 661         https://www.planet-lab.org/db/nodes/index.php?nodepattern=%(hostname)s
 662
 663 Then, select, "Download -> Download plnode.txt file for %(hostname)s" menu.  This will generate a new configuration file for your node.  Copy this file to the appropriate read-only media, either floppy or USB stick, and reboot the machine.
 664
 665 There is no need to respond to this message if you're able to update the configuration file without difficulty and your node returns to normal operation.  However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.
 666
 667 Thank you for your help,
 668   -- PlanetLab Central (support@planet-lab.org)
 669 """)
 670
 671         bootcd=(""" Planetlab node %(hostname)s needs a new BootCD""",
 672 """As part of PlanetLab node monitoring, we noticed %(hostname)s has an out-dated BootCD: "%(version)".  This usually implies that you need to update both the BootCD and regenerate the planet.cnf file stored on the read-only floppy (Or read-only USB stick that stores the content of BootCD and planet.cnf).
 673
 674 Instructions to perform the steps necessary for a BootCD upgrade are available in the Technical Contact Guide.
 675     https://www.planet-lab.org/doc/guides/tech#NodeInstallation
 676
 677 There's no need to respond to this message if you're able to follow the directions without difficulty and your node returns to normal operation. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can help resolve the issue.
 678
 679 Thanks you for your help,
 680   -- PlanetLab Central (support@planet-lab.org)
 681 """)
 682
 683         ssh=("""Planetlab node %(hostname)s down.""", """As part of PlanetLab node monitoring, we noticed node %(hostname)s is not available for ssh.
 684
 685 Please check the node's connectivity and, if properly networked, power cycle the machine. Note that rebooting the machine may not fully resolve the problems we're seeing. Once the machine has come back up, please visit the Comon status page to verify that your node is accessible from the network.
 686
 687 http://summer.cs.princeton.edu/status/tabulator.cgi?table=table_nodeviewshort&select='address==%(hostbyteorder)s'
 688
 689 There's no need to respond to this message if CoMon reports that your machine is accessible. However, if there are any console messages relating to the node's failure, please report them to PlanetLab support (support@planet-lab.org) so we can resolve the issue.
 690
 691 Thanks.
 692
 693
 694   -- PlanetLab Central (support@planet-lab.org)
 695 """)
 696
 697
 698         baddns_notice=("""MONTEST: Planetlab node down: broken DNS configuration for %(hostname)s""",
 699 """As part of PlanetLab node monitoring, we noticed the DNS servers used by the following machine(s) are not responding to queries.
 700
 701     %(hostname)s
 702
 703 The conseuqnece of this is that the node cannot boot correctly, and is not a functioning part of the PlanetLab network.
 704
 705 To help us return this machine to running order, please verify that the registered DNS servers in the node network configuration are correct.
 706
 707 %(network_config)s
 708
 709 You may update the node's network information at the link below:
 710
 711     https://www.planet-lab.org/db/nodes/node_networks.php?id=%(interface_id)s
 712
 713 If you have any questions, please feel free to contact us at PlanetLab Support (support@planet-lab.org).
 714
 715 Thank you for your help,
 716   -- PlanetLab Central (support@planet-lab.org)
 717 """)
 718
 719
 720         filerw=("""Planetlab node %(hostname)s has a bad disk.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s has a read-only filesystem.
 721
 722 Please verify the integrity of the disk and email the site if a replacement is needed.
 723
 724 Thanks.
 725
 726   -- PlanetLab Central (support@planet-lab.org)
 727 """)
 728
 729
 730         clock_drift=("""Planetlab node %(hostname)s and NTP.""", """As part of PlanetLab node monitoring, we noticed %(hostname)s cannot reach our NTP server.
 731
 732 Please verify that the NTP port (tcp/123) is not blocked by your site.
 733
 734 Thanks.
 735
 736   -- PlanetLab Central (support@planet-lab.org)
 737 """)
 738
 739
 740
 741         removedSliceCreation=("""PlanetLab slice creation/renewal suspension.""","""As part of PlanetLab node monitoring, we noticed the %(loginbase)s site has less than 2 nodes up.  We have attempted to contact the PI and Technical contacts %(times)s times and have not received a response.
 742
 743 Slice creation and renewal are now suspended for the %(loginbase)s site.  Please be aware that failure to respond will result in the automatic suspension of all running slices on PlanetLab.
 744
 745
 746   -- PlanetLab Central (support@planet-lab.org)
 747 """)
 748
 749
 750         suspendSlices=("""PlanetLab slices suspended.""","""As part of PlanetLab node monitoring, we noticed the %(loginbase)s site has less than 2 nodes up.  We have attempted to contact the PI and Technical contacts %(times)s times and have not received a response.
 751
 752 All %(loginbase)s slices are now suspended.
 753
 754
 755   -- PlanetLab Central (support@planet-lab.org)
 756 """)
 757
 758
 759         pcu_broken=("""%(hostname)s failed to reinstall""","""Hello,
 760
 761    %(hostname)s was remotely rebooted via your power control unit but has not contacted PlanetLab since. It should contact upon every boot, hence we believe that either the node has some hardware problems, is not properly connected to the power control unit, or has network connectivity issues. Could you please reboot the node and watch the console for error messages?
 762
 763
 764 Thanks.
 765
 766 -- PlanetLab Central (support@planet-lab.org)
 767 """)
 768
 769
 770         no_pcu=("""Hello,
 771
 772 We have set %(hostname)s to reinstall, but because your site does not have a power control unit, we are unable to powercycle the node.  Please
 773
 774 Thanks.
 775
 776 -- PlanetLab Central (support@planet-lab.org)
 777 """)
 778