sfa/senslab/slab-import.py

   1 ###########################################################################
   2 #    Copyright (C) 2011 by root
   3 #    <root@FlabFedora2>
   4 #
   5 # Copyright: See COPYING file that comes with this distribution
   6 #
   7 ###########################################################################
   8 import sys
   9 from sfa.senslab.OARrestapi import OARapi
  10 from sfa.senslab.LDAPapi import LDAPapi
  11 from sfa.senslab.slabdriver import SlabDriver
  12 from sfa.util.config import Config
  13 from sfa.util.xrn import hrn_to_urn, get_authority
  14 from sfa.util.table import SfaTable
  15 from sfa.trust.hierarchy import Hierarchy
  16
  17 AuthHierarchy = Hierarchy()
  18 table = SfaTable()
  19 if not table.exists():
  20     table.create()
  21
  22 def create_top_level_auth_records(hrn):
  23     """
  24     Create top level records (includes root and sub authorities (local/remote)
  25     """
  26     print>>sys.stderr, "\r\n =========SenslabImport create_top_level_auth_records\r\n"
  27     urn = hrn_to_urn(hrn, 'authority')
  28     # make sure parent exists
  29     parent_hrn = get_authority(hrn)
  30     if not parent_hrn:
  31         parent_hrn = hrn
  32     if not parent_hrn == hrn:
  33         create_top_level_auth_records(parent_hrn)
  34
  35
  36     # create the authority if it doesnt already exist
  37     if not AuthHierarchy.auth_exists(urn):
  38         AuthHierarchy.create_auth(urn)
  39
  40     # create the db record if it doesnt already exist
  41     auth_info = AuthHierarchy.get_auth_info(hrn)
  42
  43     auth_record = table.find({'type': 'authority', 'hrn': hrn})
  44
  45     if not auth_record:
  46         auth_record = SfaRecord(hrn=hrn, gid=auth_info.get_gid_object(), type="authority", pointer=-1)
  47         auth_record['authority'] = get_authority(auth_record['hrn'])
  48         table.insert(auth_record)
  49         print>>sys.stderr, "\r\n ========= \t\t SenslabImport NO AUTH RECORD \r\n" ,auth_record['authority']
  50
  51
  52 def import_node(hrn, node):
  53
  54     # ASN.1 will have problems with hrn's longer than 64 characters
  55     if len(hrn) > 64:
  56         hrn = hrn[:64]
  57
  58     node_record = table.find({'type': 'node', 'hrn': hrn})
  59     pkey = Keypair(create=True)
  60     urn = hrn_to_urn(hrn, 'node')
  61     node_gid = AuthHierarchy.create_gid(urn, create_uuid(), pkey)
  62     node_record = SfaRecord(hrn=hrn, gid=node_gid, type="node", pointer=node['node_id'])
  63     node_record['authority'] = get_authority(node_record['hrn'])
  64     existing_records = table.find({'hrn': hrn, 'type': 'node', 'pointer': node['node_id']})
  65     if not existing_records:
  66         table.insert(node_record)
  67     else:
  68         existing_record = existing_records[0]
  69         node_record['record_id'] = existing_record['record_id']
  70         table.update(node_record)
  71
  72 # person is already a sfa record
  73 def import_person(person):
  74     existing_records = table.find({'hrn': person['hrn'], 'type': 'user'})
  75     if not existing_records:
  76         table.insert(person)
  77     else:
  78         existing_record = existing_records[0]
  79         person['record_id'] = existing_record['record_id']
  80         table.update(person)
  81
  82
  83
  84 def delete_record( hrn, type):
  85     # delete the record
  86     record_list = table.find({'type': type, 'hrn': hrn})
  87     for record in record_list:
  88         table.remove(record)
  89
  90
  91 def main():
  92
  93     config = Config()
  94     if not config.SFA_REGISTRY_ENABLED:
  95         sys.exit(0)
  96     root_auth = config.SFA_REGISTRY_ROOT_AUTH
  97     interface_hrn = config.SFA_INTERFACE_HRN
  98     print interface_hrn, root_auth
  99
 100      # initialize registry db table
 101     #table = SfaTable()
 102     #if not table.exists():
 103         #table.create()
 104
 105     # create root authority
 106     create_top_level_auth_records(root_auth)
 107
 108     # create s user record for the slice manager
 109     #Do we need this?
 110     #SenslabImporter.create_sm_client_record()
 111
 112     # create interface records
 113     #Do we need this?
 114     #SenslabImporter.logger.info("Import: creating interface records")
 115     #SenslabImporter.create_interface_records()
 116      # create dict of all existing sfa records
 117
 118     existing_records = {}
 119     existing_hrns = []
 120     key_ids = []
 121     person_keys = {}
 122     results = table.find()
 123     for result in results:
 124         existing_records[(result['hrn'], result['type'])] = result
 125         existing_hrns.append(result['hrn'])
 126
 127     #Get Senslab nodes
 128
 129     Driver = SlabDriver(config)
 130     nodes_dict  = Driver.GetNodes()
 131     print "\r\n NODES8DICT ",nodes_dict
 132
 133     ldap_person_list = Driver.GetPersons()
 134     print "\r\n PERSONS_LIST ",ldap_person_list
 135
 136
 137
 138     #slices_list = SenslabUsers.GetSlices()
 139     #print "\r\n SLICES_LIST ",slices_list
 140
 141         # Get all Senslab sites
 142     #sites_dict  = OARImporter.GetSites()
 143     #print "\r\n sSITES_DICT" , sites_dict
 144
 145      # start importing
 146     #for site in sites_dict:
 147         #site_hrn = interface_hrn + "." + site['login_base']
 148         ##sfa_logger().info("Importing site: %s" % site_hrn)
 149         #print "HRN %s %s site existing in hrn ? %s" %( site['login_base'],site_hrn, site_hrn in existing_hrns)
 150         ## import if hrn is not in list of existing hrns or if the hrn exists
 151         ## but its not a site record
 152         #if site_hrn not in existing_hrns or \
 153             #(site_hrn, 'authority') not in existing_records:
 154              #print "SITE HRN UNKNOWN" , site, site_hrn
 155              #site_hrn = SenslabImporter.import_site(interface_hrn, site)
 156
 157         # import node records
 158         #for node_id in site['node_ids']:
 159                 #for[node['node_id'] for node in nodes_dict]:
 160                         #print '\r\n \t **NODE_ID %s node %s '%( node_id, node)
 161                         #continue
 162     for node in nodes_dict:
 163         hrn =  hostname_to_hrn(interface_hrn, root_auth, node['hostname'])
 164         if hrn not in existing_hrns or \
 165         (hrn, 'node') not in existing_records:
 166             print "\t\t NODE HRN NOT in existing records!" ,hrn
 167             import_node(hrn, node)
 168
 169    # import persons
 170     for person in ldap_person_list:
 171         if person['hrn'] not in existing_hrns or \
 172             (person['hrn'], 'user') not in existing_records :
 173             import_person( person)
 174 # import slices
 175         #for slice_id in site['slice_ids']:
 176                 #print >>sys.stderr, "\r\n\r\n \t ^^^^^^^\\\\\\\\\\\\\\\^^^^^^ slice_id  %s  " %(slice_id)
 177                 #for sl in slices_list:
 178                         #if slice_id is sl['slice_id']:
 179                                 ##hrn = slicename_to_hrn(interface_hrn, sl['name'])
 180                                 #hrn = email_to_hrn(site_hrn, sl['name'])
 181                                 #print >>sys.stderr, "\r\n\r\n^^^^^^^^^^^^^SLICE ID hrn %s  site_hrn %s" %(hrn,site_hrn)
 182                                 #if hrn not in existing_hrns or \
 183                                 #(hrn, 'slice') not in existing_records:
 184                                         #SenslabImporter.import_slice(site_hrn, sl)
 185
 186
 187     # remove stale records
 188     system_records = [interface_hrn, root_auth, interface_hrn + '.slicemanager']
 189     for (record_hrn, type) in existing_records.keys():
 190         if record_hrn in system_records:
 191             continue
 192
 193         record = existing_records[(record_hrn, type)]
 194         if record['peer_authority']:
 195             continue
 196
 197
 198
 199         found = False
 200
 201         if type == 'authority':
 202             #for site in sites_dict:
 203                 #print "\t type : authority : ", site
 204                 #site_hrn = interface_hrn + "." + site['login_base']
 205                 #if site_hrn == record_hrn and site['site_id'] == record['pointer']:
 206             found = True
 207             print "\t \t Found :", found
 208             break
 209
 210         elif type == 'user':
 211             for person in persons:
 212                 if person['hrn'] == record_hrn:
 213                     found = True
 214                 break
 215
 216         elif type == 'node':
 217             login_base = get_leaf(get_authority(record_hrn))
 218             nodename = Xrn.unescape(get_leaf(record_hrn))
 219             print "type: node :  nodename %s" %(nodename)
 220             for node in nodes_dict.values():
 221                 if node['hostname'] == nodename :
 222                     found = True
 223                     break
 224
 225         else:
 226             continue
 227
 228         if not found:
 229             record_object = existing_records[(record_hrn, type)]
 230             print "\t\t NOT FOUND ! "
 231             delete_record(record_hrn, type)
 232
 233 if __name__ == "__main__":
 234     main()