review logging again; code that runs in client and/or server now logs in the right...
[sfa.git] / sfa / plc / sfa-import-plc.py
index 7b0685e..2b409c3 100755 (executable)
@@ -1,11 +1,8 @@
 #!/usr/bin/python
 #
-### $Id$
-### $URL$
-#
 ##
-# Import PLC records into the Geni database. It is indended that this tool be
-# run once to create Geni records that reflect the current state of the
+# Import PLC records into the SFA database. It is indended that this tool be
+# run once to create SFA records that reflect the current state of the
 # planetlab database.
 #
 # The import tool assumes that the existing PLC hierarchy should all be part
@@ -22,22 +19,17 @@ import sys
 import tempfile
 
 from sfa.util.record import *
-from sfa.util.genitable import GeniTable
-from sfa.util.misc import *
+from sfa.util.table import SfaTable
+from sfa.util.namespace import *
 from sfa.util.config import Config
-from sfa.util.report import trace, error
 from sfa.trust.certificate import convert_public_key, Keypair
 from sfa.trust.trustedroot import *
 from sfa.trust.hierarchy import *
 from sfa.plc.api import *
-from sfa.util.geniclient import *
 from sfa.trust.gid import create_uuid
-from sfa.plc.sfaImport import *
-
-
+from sfa.plc.sfaImport import sfaImport
 
 def process_options():
-   global hrn
 
    (options, args) = getopt.getopt(sys.argv[1:], '', [])
    for opt in options:
@@ -62,44 +54,37 @@ def save_keys(filename, keys):
     f.close()
 
 def main():
+
     process_options()
     config = Config()
     if not config.SFA_REGISTRY_ENABLED:
         sys.exit(0)
     root_auth = config.SFA_REGISTRY_ROOT_AUTH
-    level1_auth = config.SFA_REGISTRY_LEVEL1_AUTH
+    interface_hrn = config.SFA_INTERFACE_HRN
     keys_filename = config.config_path + os.sep + 'person_keys.py' 
     sfaImporter = sfaImport()
+    if config.SFA_API_DEBUG: sfaImporter.logger.setLevelDebug()
     shell = sfaImporter.shell
     plc_auth = sfaImporter.plc_auth 
-    AuthHierarchy = sfaImporter.AuthHierarchy
-    TrustedRoots = sfaImporter.TrustedRoots
-    table = GeniTable()
+    table = SfaTable()
+
     if not table.exists():
-        table.create()
+       table.create()
 
-    if not level1_auth or level1_auth in ['']:
-        level1_auth = None
-    
-    print "Import: creating top level authorities"
-    if not level1_auth:
-        sfaImporter.create_top_level_auth_records(root_auth)
-        import_auth = root_auth
-    else:
-        if not AuthHierarchy.auth_exists(level1_auth):
-            AuthHierarchy.create_auth(level1_auth)
-        sfaImporter.create_top_level_auth_records(level1_auth)
-        import_auth = level1_auth
+    # create root authority 
+    sfaImporter.create_top_level_auth_records(root_auth)
+    if not root_auth == interface_hrn:
+        sfaImporter.create_top_level_auth_records(interface_hrn)
 
-    print "Import: adding", import_auth, "to trusted list"
-    authority = AuthHierarchy.get_auth_info(import_auth)
-    TrustedRoots.add_gid(authority.get_gid_object())
+    sfaImporter.logger.info("Import: adding " + interface_hrn + " to trusted list")
+    authority = sfaImporter.AuthHierarchy.get_auth_info(interface_hrn)
+    sfaImporter.TrustedRoots.add_gid(authority.get_gid_object())
 
-    if ".vini" in import_auth and import_auth.endswith('vini'):
+    if ".vini" in interface_hrn and interface_hrn.endswith('vini'):
         # create a fake internet2 site first
         i2site = {'name': 'Internet2', 'abbreviated_name': 'I2',
                     'login_base': 'internet2', 'site_id': -1}
-        sfaImporter.import_site(import_auth, i2site)
+        sfaImporter.import_site(interface_hrn, i2site)
    
     # create dict of all existing sfa records
     existing_records = {}
@@ -118,7 +103,7 @@ def main():
         sites_dict[site['login_base']] = site 
     
     # Get all plc users
-    persons = shell.GetPersons(plc_auth, {'peer_id': None}, ['person_id', 'email', 'key_ids', 'site_ids'])
+    persons = shell.GetPersons(plc_auth, {'peer_id': None, 'enabled': True}, ['person_id', 'email', 'key_ids', 'site_ids'])
     persons_dict = {}
     for person in persons:
         persons_dict[person['person_id']] = person
@@ -149,22 +134,23 @@ def main():
     slices_dict = {}
     for slice in slices:
         slices_dict[slice['slice_id']] = slice
-
     # start importing 
     for site in sites:
-        site_hrn = import_auth + "." + site['login_base']
+        site_hrn = interface_hrn + "." + site['login_base']
+        print "Importing site: %s" % site_hrn
+
         # import if hrn is not in list of existing hrns or if the hrn exists
         # but its not a site record
         if site_hrn not in existing_hrns or \
            (site_hrn, 'authority') not in existing_records:
-            sfaImporter.import_site(import_auth, site)
+            site_hrn = sfaImporter.import_site(interface_hrn, site)
              
         # import node records
         for node_id in site['node_ids']:
             if node_id not in nodes_dict:
                 continue 
             node = nodes_dict[node_id]
-            hrn =  hostname_to_hrn(import_auth, site['login_base'], node['hostname'])
+            hrn =  hostname_to_hrn(interface_hrn, site['login_base'], node['hostname'])
             if hrn not in existing_hrns or \
                (hrn, 'node') not in existing_records:
                 sfaImporter.import_node(site_hrn, node)
@@ -174,7 +160,7 @@ def main():
             if slice_id not in slices_dict:
                 continue 
             slice = slices_dict[slice_id]
-            hrn = slicename_to_hrn(import_auth, slice['name'])
+            hrn = slicename_to_hrn(interface_hrn, slice['name'])
             if hrn not in existing_hrns or \
                (hrn, 'slice') not in existing_records:
                 sfaImporter.import_slice(site_hrn, slice)      
@@ -204,14 +190,21 @@ def main():
     for (record_hrn, type) in existing_records.keys():
         record = existing_records[(record_hrn, type)]
         # if this is the interface name dont do anything
-        if record_hrn == import_auth or record['peer_authority']:
-            continue    
-        
+        if record_hrn == interface_hrn or \
+           record_hrn == root_auth or \
+           record['peer_authority']:
+            continue
+        # dont delete vini's internet2 placeholdder record
+        # normally this would be deleted becuase it does not have a plc record 
+        if ".vini" in interface_hrn and interface_hrn.endswith('vini') and \
+           record_hrn.endswith("internet2"):     
+            continue
+
         found = False
         
         if type == 'authority':    
             for site in sites:
-                site_hrn = import_auth + "." + site['login_base']
+                site_hrn = interface_hrn + "." + site['login_base']
                 if site_hrn == record_hrn and site['site_id'] == record['pointer']:
                     found = True
                     break
@@ -254,12 +247,11 @@ def main():
             continue 
         
         if not found:
-            trace("Import: Removing %s %s" % (type,  record_hrn))
             record_object = existing_records[(record_hrn, type)]
             sfaImporter.delete_record(record_hrn, type) 
                                    
     # save pub keys
-    trace('saving current pub keys')
+    sfaImporter.logger.info('Import: saving current pub keys')
     save_keys(keys_filename, person_keys)                
         
 if __name__ == "__main__":