integrating new tables
authorTony Mack <tmack@paris.CS.Princeton.EDU>
Sat, 9 Mar 2013 02:23:46 +0000 (21:23 -0500)
committerTony Mack <tmack@paris.CS.Princeton.EDU>
Sat, 9 Mar 2013 02:23:46 +0000 (21:23 -0500)
PLC/NodeGroups.py
PLC/NodeTags.py
PLC/Nodes.py
PLC/Sites.py

index 01a28d3..8c669d2 100644 (file)
@@ -9,7 +9,6 @@ from PLC.Faults import *
 from PLC.Parameter import Parameter, Mixed
 from PLC.Debug import profile
 from PLC.Storage.AlchemyObject import AlchemyObj
-from PLC.Nodes import Node, Nodes
 
 class NodeGroup(AlchemyObj):
     """
index e911244..e3749f8 100644 (file)
@@ -4,7 +4,6 @@
 from PLC.Faults import *
 from PLC.Parameter import Parameter
 from PLC.Storage.AlchemyObject import AlchemyObj
-from PLC.Nodes import Node, Nodes
 from PLC.TagTypes import TagType, TagTypes
 
 class NodeTag(AlchemyObj):
@@ -16,8 +15,8 @@ class NodeTag(AlchemyObj):
     tablename = 'node_tags'
     fields = {
         'node_tag_id': Parameter(int, "Node tag identifier", primary_key=True),
-        'node_id': Node.fields['node_id'],
-        'hostname' : Node.fields['hostname'],
+        'node_id': Parameter(int, "Node identifier"),
+        'hostname' : Parameter(str, "Node hostname"),
         'tag_type_id': TagType.fields['tag_type_id'],
         'value': Parameter(str, "Node tag value"),
         'tagname': TagType.fields['tagname'],
index 76adc03..6c09c1e 100644 (file)
@@ -4,7 +4,7 @@
 # Mark Huang <mlhuang@cs.princeton.edu>
 # Copyright (C) 2006 The Trustees of Princeton University
 #
-
+from datetime import datetime
 from types import StringTypes
 import re
 
@@ -16,6 +16,13 @@ from PLC.Storage.AlchemyObject import AlchemyObj
 from PLC.NodeTypes import NodeTypes
 from PLC.BootStates import BootStates
 from PLC.Interfaces import Interface, Interfaces
+from PLC.ConfFileNodes import ConfFileNode
+from PLC.SliceNodes import SliceNode
+from PLC.SliceNodeWhitelists import SliceNodeWhitelist
+from PLC.PCUNodes import PCUNode
+from PLC.PCUNodePorts import PCUNodePort
+from PLC.NodeTags import NodeTag
+from PLC.NodeGroups import NodeGroup 
 
 def valid_hostname(hostname):
     # 1. Each part begins and ends with a letter or number.
@@ -44,31 +51,31 @@ class Node(AlchemyObj):
         'node_type': Parameter(str,"Node type",max=20),
         'hostname': Parameter(str, "Fully qualified hostname", max = 255),
         'site_id': Parameter(int, "Site at which this node is located"),
-        'boot_state': Parameter(str, "Boot state", max = 20),
-        'run_level': Parameter(str, "Run level", max = 20),
+        'boot_state': Parameter(str, "Boot state", max = 20, nullok=True),
+        'run_level': Parameter(str, "Run level", max = 20, nullok=True),
         'model': Parameter(str, "Make and model of the actual machine", max = 255, nullok = True),
-        'boot_nonce': Parameter(str, "(Admin only) Random value generated by the node at last boot", max = 128),
-        'version': Parameter(str, "Apparent Boot CD version", max = 64),
-        'ssh_rsa_key': Parameter(str, "Last known SSH host key", max = 1024),
-        'date_created': Parameter(int, "Date and time when node entry was created", ro = True),
-        'last_updated': Parameter(int, "Date and time when node entry was created", ro = True),
-        'last_contact': Parameter(int, "Date and time when node last contacted plc", ro = True),
-        'last_boot': Parameter(int, "Date and time when node last booted", ro = True),
-        'last_download': Parameter(int, "Date and time when node boot image was created", ro = True),
-        'last_pcu_reboot': Parameter(int, "Date and time when PCU reboot was attempted", ro = True),
-        'last_pcu_confirmation': Parameter(int, "Date and time when PCU reboot was confirmed", ro = True),
-        'last_time_spent_online': Parameter(int, "Length of time the node was last online before shutdown/failure", ro = True),
-        'last_time_spent_offline': Parameter(int, "Length of time the node was last offline after failure and before reboot", ro = True),
-        'verified': Parameter(bool, "Whether the node configuration is verified correct", ro=False),
-        'key': Parameter(str, "(Admin only) Node key", max = 256),
-        'session': Parameter(str, "(Admin only) Node session value", max = 256, ro = True),
+        'boot_nonce': Parameter(str, "(Admin only) Random value generated by the node at last boot", max = 128, nullok=True),
+        'version': Parameter(str, "Apparent Boot CD version", max = 64, nullok=True),
+        'ssh_rsa_key': Parameter(str, "Last known SSH host key", max = 1024, nullok=True),
+        'date_created': Parameter(datetime, "Date and time when node entry was created", ro = True),
+        'last_updated': Parameter(datetime, "Date and time when node entry was created", ro = True),
+        'last_contact': Parameter(datetime, "Date and time when node last contacted plc", ro = True, nullok=True),
+        'last_boot': Parameter(datetime, "Date and time when node last booted", ro = True, nullok=True),
+        'last_download': Parameter(datetime, "Date and time when node boot image was created", ro = True, nullok=True),
+        'last_pcu_reboot': Parameter(datetime, "Date and time when PCU reboot was attempted", ro = True, nullok=True),
+        'last_pcu_confirmation': Parameter(datetime, "Date and time when PCU reboot was confirmed", ro = True, nullok=True),
+        'last_time_spent_online': Parameter(datetime, "Length of time the node was last online before shutdown/failure", ro = True, nullok=True),
+        'last_time_spent_offline': Parameter(datetime, "Length of time the node was last offline after failure and before reboot", ro = True, nullok=True),
+        'verified': Parameter(bool, "Whether the node configuration is verified correct", ro=False, nullok=True),
+        'key': Parameter(str, "(Admin only) Node key", max = 256, nullok=True),
+        'session': Parameter(str, "(Admin only) Node session value", max = 256, ro = True, nullok=True),
         'interface_ids': Parameter([int], "List of network interfaces that this node has", joined=True),
         'conf_file_ids': Parameter([int], "List of configuration files specific to this node", joined=True),
         # 'root_person_ids': Parameter([int], "(Admin only) List of people who have root access to this node"),
         'slice_ids': Parameter([int], "List of slices on this node", joined=True),
         'slice_ids_whitelist': Parameter([int], "List of slices allowed on this node", joined=True),
         'pcu_ids': Parameter([int], "List of PCUs that control this node", joined=True),
-        'ports': Parameter([int], "List of PCU ports that this node is connected to"),
+        'ports': Parameter([int], "List of PCU ports that this node is connected to", joined=True),
         'peer_id': Parameter(int, "Peer to which this node belongs", nullok = True),
         'peer_node_id': Parameter(int, "Foreign node identifier at peer", nullok = True),
         'node_tag_ids' : Parameter ([int], "List of tags attached to this node", joined=True),
@@ -81,7 +88,7 @@ class Node(AlchemyObj):
         if not valid_hostname(hostname):
             raise PLCInvalidArgument, "Invalid hostname"
 
-        conflicts = Nodes(self.api, [hostname])
+        conflicts = Node().select(filter={'hostname': hostname})
         for node in conflicts:
             if 'node_id' not in self or self['node_id'] != node['node_id']:
                 raise PLCInvalidArgument, "Hostname already in use"
@@ -89,9 +96,10 @@ class Node(AlchemyObj):
         return hostname
 
     def validate_node_type(self, node_type):
-        node_types = [row['node_type'] for row in NodeTypes(self.api)]
-        if node_type not in node_types:
-            raise PLCInvalidArgument, "Invalid node type %r"%node_type
+        # Make sure node type does not alredy exist
+        conflicts = NodeTypes(self.api, [name])
+        if not conflicts:
+            raise PLCInvalidArgument, "Invalid node_type"
         return node_type
 
     def validate_boot_state(self, boot_state):
@@ -265,7 +273,10 @@ class Node(AlchemyObj):
 
     def sync(self, commit=True, validate=True):
         AlchemyObj.sync(self, commit=commit, validate=validate)
+        ts = datetime.now() 
+        self['last_updated'] = ts 
         if 'node_id' not in self:
+            self['date_created'] = ts
             AlchemyObj.insert(self, dict(self))
         else:
             AlchemyObj.update(self, {'node_id': self['node_id']}, dict(self))
@@ -287,6 +298,8 @@ class Nodes(list):
     """
 
     def __init__(self, api, node_filter = None, columns = None):
+        self.api = api 
+        self.refresh(api)
         # as many left joins as requested tags
         if not node_filter:
             nodes = Node().select()
@@ -305,20 +318,48 @@ class Nodes(list):
             raise PLCInvalidArgument, "Wrong node filter %r"%node_filter
 
         for node in nodes:
+            node = Node(api, object=node)
+            if not columns or 'interface_ids' in columns:
+                interfaces = Interface().select(filter={'node_id': node['node_id']})
+                node['interface_ids'] = [rec.interface_id for rec in interfaces]
+            if not columns or 'conf_file_ids' in columns:
+                conf_files = ConfFileNode().select(filter={'node_id': node['node_id']})
+                node['conf_file_ids'] = [rec.conf_file_id for rec in conf_files]
+            if not columns or 'slice_ids' in columns:
+                slice_nodes = SliceNode().select(filter={'node_id': node['node_id']})
+                node['slice_ids'] = [rec.slice_id for rec in slices]            
+            if not columns or 'slice_ids_whitelist' in columns:
+                slice_whitelist = SliceNodeWhitelist().select(filter={'node_id': node['node_id']})
+                node['slice_ids_whitelist'] = [rec.slice_id for rec in slice_whitelist]
+            if not columns or 'pcu_ids' in columns:
+                pcus = PCUNode().select(filter={'node_id': node['node_id']})
+                node['pcu_ids'] = [rec.pcu_id in rec in pcus]
+            if not columns or 'pcu_ports' in columns:
+                pcu_ports = PCUNodePort().select(filter={'node_id': node['node_id']})
+                node['pcu_ports'] = [rec.port for rec in pcu_ports]             
+            if not columns or 'node_tag_ids' in columns:
+                node_tags = NodeTag().select(filter={'node_id': node['node_id']})
+                node['node_tag_ids'] = [rec.node_tag_id for rec in node_tags]
+            if not columns or 'nodegroup_ids' in columns:
+                nodegroups = NodeGroup().select(filter={'node_id': node['node_id']})
+                node['nodegroup_ids'] = [rec.nodegroup_id for rec in nodegroups] 
             self.append(node)
 
     def refresh(self, api):
-        default_site = Sites().select(filter={'login_base': 'default'})[0] 
+        from PLC.Sites import Sites
+        default_site = Sites(api, site_filter={'login_base': 'default'})[0]
         # get current list of compute nodes
-        hypervisors = self.api.client_shell.nova.hypervisors.list()
+        hypervisors = api.client_shell.nova.hypervisors.list()
         compute_hosts = [h.hypervisor_hostname for h in hypervisors]
  
         nodes = Node().select()
-        hostsnames = [node['hostname'] for node in nodes]
+        hostnames = [node.hostname for node in nodes]
         
         added_nodes = set(compute_hosts).difference(hostnames)
         for added_node in added_nodes:
-            node = Node(api, {'hostname': added_node, 'site_id': default_site['site_id']})
+            node = Node(api, {'hostname': added_node,
+                              'node_type': 'regular', 
+                              'site_id': default_site['site_id']})
             node.sync()
                    
         
index e2b6c1e..a223b4b 100644 (file)
@@ -183,20 +183,20 @@ class Sites(list):
 
             if not columns or 'slice_ids' in columns:
                 site_slices = Slice().select(filter={'site_id': site['site_id']})
-                site['slice_ids'] = [rec.person_id for rec in site_slices]
+                site['slice_ids'] = [rec.slice_id for rec in site_slices]
 
             if not columns or 'puc_ids' in columns:
                 site_pcus = PCU().select(filter={'site_id': site['site_id']})
-                site['pcu_ids'] = [rec.id for rec in site_pcus]
+                site['pcu_ids'] = [rec.pcu_id for rec in site_pcus]
             if not columns or 'node_ids' in columns:
                 site_nodes = Node().select(filter={'site_id': site['site_id']})
-                site['node_ids'] = [rec.id for rec in site_nodes]
+                site['node_ids'] = [rec.node_id for rec in site_nodes]
             if not columns or 'address_ids' in columns:
                 site_addresses = SiteAddress().select(filter={'site_id': site['site_id']})
-                site['address_ids'] = [rec.id for rec in site_addresses]
+                site['address_ids'] = [rec.address_id for rec in site_addresses]
 
             if not columns or 'site_tag_ids' in columns:
                 site_tags = SiteTag().select(filter={'site_id': site['site_id']})
-                site['site_tag_ids'] = [rec.id for rec in site_tags]
+                site['site_tag_ids'] = [rec.tag_id for rec in site_tags]
 
             self.append(site)