creating tag sfa-0.9-11
[sfa.git] / sfa / plc / sfa-import-plc.py
index 16eddb6..0350bbb 100755 (executable)
@@ -4,8 +4,8 @@
 ### $URL$
 #
 ##
-# Import PLC records into the Geni database. It is indended that this tool be
-# run once to create Geni records that reflect the current state of the
+# Import PLC records into the SFA database. It is indended that this tool be
+# run once to create SFA records that reflect the current state of the
 # planetlab database.
 #
 # The import tool assumes that the existing PLC hierarchy should all be part
 import getopt
 import sys
 import tempfile
-
+import logging.handlers
+import logging
 from sfa.util.record import *
-from sfa.util.genitable import GeniTable
-from sfa.util.misc import *
+from sfa.util.table import SfaTable
+from sfa.util.namespace import *
 from sfa.util.config import Config
-from sfa.util.report import trace, error
-
 from sfa.trust.certificate import convert_public_key, Keypair
 from sfa.trust.trustedroot import *
 from sfa.trust.hierarchy import *
+from sfa.plc.api import *
 from sfa.trust.gid import create_uuid
 from sfa.plc.sfaImport import *
-
-
+from sfa.util.report import trace, error
 
 def process_options():
    global hrn
@@ -61,42 +60,45 @@ def save_keys(filename, keys):
     f.close()
 
 def main():
+    # setup the logger
+    LOGFILE='/var/log/sfa_import_plc.log'
+    logging.basicConfig(level=logging.INFO,
+                        format='%(asctime)s - %(message)s',
+                        filename=LOGFILE)
+    rotate_handler = logging.handlers.RotatingFileHandler(LOGFILE, maxBytes=1000000, backupCount=5) 
+    logger = logging.getLogger()
+    logger.addHandler(rotate_handler)
+    
     process_options()
     config = Config()
+    if not config.SFA_REGISTRY_ENABLED:
+        sys.exit(0)
     root_auth = config.SFA_REGISTRY_ROOT_AUTH
-    level1_auth = config.SFA_REGISTRY_LEVEL1_AUTH
+    interface_hrn = config.SFA_INTERFACE_HRN
     keys_filename = config.config_path + os.sep + 'person_keys.py' 
-    sfaImporter = sfaImport()
+    sfaImporter = sfaImport(logger)
     shell = sfaImporter.shell
     plc_auth = sfaImporter.plc_auth 
     AuthHierarchy = sfaImporter.AuthHierarchy
     TrustedRoots = sfaImporter.TrustedRoots
-    table = GeniTable()
+    table = SfaTable()
     if not table.exists():
         table.create()
 
-    if not level1_auth or level1_auth in ['']:
-        level1_auth = None
-    
-    print "Import: creating top level authorities"
-    if not level1_auth:
-        sfaImporter.create_top_level_auth_records(root_auth)
-        import_auth = root_auth
-    else:
-        if not AuthHierarchy.auth_exists(level1_auth):
-            AuthHierarchy.create_auth(level1_auth)
-        sfaImporter.create_top_level_auth_records(level1_auth)
-        import_auth = level1_auth
-
-    print "Import: adding", import_auth, "to trusted list"
-    authority = AuthHierarchy.get_auth_info(import_auth)
+    # create root authority 
+    sfaImporter.create_top_level_auth_records(root_auth)
+    if not root_auth == interface_hrn:
+        sfaImporter.create_top_level_auth_records(interface_hrn)
+
+    trace("Import: adding " + interface_hrn + " to trusted list", logger)
+    authority = AuthHierarchy.get_auth_info(interface_hrn)
     TrustedRoots.add_gid(authority.get_gid_object())
 
-    if ".vini" in import_auth and import_auth.endswith('vini'):
+    if ".vini" in interface_hrn and interface_hrn.endswith('vini'):
         # create a fake internet2 site first
         i2site = {'name': 'Internet2', 'abbreviated_name': 'I2',
                     'login_base': 'internet2', 'site_id': -1}
-        sfaImporter.import_site(import_auth, i2site)
+        sfaImporter.import_site(interface_hrn, i2site)
    
     # create dict of all existing sfa records
     existing_records = {}
@@ -149,19 +151,19 @@ def main():
 
     # start importing 
     for site in sites:
-        site_hrn = import_auth + "." + site['login_base']
+        site_hrn = interface_hrn + "." + site['login_base']
         # import if hrn is not in list of existing hrns or if the hrn exists
         # but its not a site record
         if site_hrn not in existing_hrns or \
            (site_hrn, 'authority') not in existing_records:
-            sfaImporter.import_site(import_auth, site)
+            site_hrn = sfaImporter.import_site(interface_hrn, site)
              
         # import node records
         for node_id in site['node_ids']:
             if node_id not in nodes_dict:
                 continue 
             node = nodes_dict[node_id]
-            hrn =  hostname_to_hrn(import_auth, site['login_base'], node['hostname'])
+            hrn =  hostname_to_hrn(interface_hrn, site['login_base'], node['hostname'])
             if hrn not in existing_hrns or \
                (hrn, 'node') not in existing_records:
                 sfaImporter.import_node(site_hrn, node)
@@ -171,7 +173,7 @@ def main():
             if slice_id not in slices_dict:
                 continue 
             slice = slices_dict[slice_id]
-            hrn = slicename_to_hrn(import_auth, slice['name'])
+            hrn = slicename_to_hrn(interface_hrn, slice['name'])
             if hrn not in existing_hrns or \
                (hrn, 'slice') not in existing_records:
                 sfaImporter.import_slice(site_hrn, slice)      
@@ -197,16 +199,26 @@ def main():
                (hrn, 'user') not in existing_records or update_record:
                 sfaImporter.import_person(site_hrn, person)
 
-    
     # remove stale records    
     for (record_hrn, type) in existing_records.keys():
+        record = existing_records[(record_hrn, type)]
+        # if this is the interface name dont do anything
+        if record_hrn == interface_hrn or \
+           record_hrn == root_auth or \
+           record['peer_authority']:
+            continue
+        # dont delete vini's internet2 placeholdder record
+        # normally this would be deleted becuase it does not have a plc record 
+        if ".vini" in interface_hrn and interface_hrn.endswith('vini') and \
+           record_hrn.endswith("internet2"):     
+            continue
+
         found = False
-        if record_hrn == import_auth:
-            continue    
+        
         if type == 'authority':    
             for site in sites:
-                site_hrn = import_auth + "." + site['login_base']
-                if site_hrn == record_hrn:
+                site_hrn = interface_hrn + "." + site['login_base']
+                if site_hrn == record_hrn and site['site_id'] == record['pointer']:
                     found = True
                     break
 
@@ -218,14 +230,17 @@ def main():
                 for person in persons:
                     tmp_username = person['email'].split("@")[0]
                     alt_username = person['email'].split("@")[0].replace(".", "_")
-                    if username in [tmp_username, alt_username] and site['site_id'] in person['site_ids']:
+                    if username in [tmp_username, alt_username] and \
+                       site['site_id'] in person['site_ids'] and \
+                       person['person_id'] == record['pointer']:
                         found = True
                         break
         
         elif type == 'slice':
             slicename = hrn_to_pl_slicename(record_hrn)
             for slice in slices:
-                if slicename == slice['name']:
+                if slicename == slice['name'] and \
+                   slice['slice_id'] == record['pointer']:
                     found = True
                     break    
  
@@ -236,19 +251,20 @@ def main():
                 site = sites_dict[login_base]
                 for node in nodes:
                     tmp_nodename = node['hostname'].split(".")[0]
-                    if tmp_nodename == nodename and node['site_id'] == site['site_id']:
+                    if tmp_nodename == nodename and \
+                       node['site_id'] == site['site_id'] and \
+                       node['node_id'] == record['pointer']:
                         found = True
                         break  
         else:
             continue 
         
         if not found:
-            trace("Import: Removing %s %s" % (type,  record_hrn))
             record_object = existing_records[(record_hrn, type)]
             sfaImporter.delete_record(record_hrn, type) 
                                    
     # save pub keys
-    trace('saving current pub keys') 
+    trace('Import: saving current pub keys', logger)
     save_keys(keys_filename, person_keys)                
         
 if __name__ == "__main__":