monitor/wrapper/plccache.py

   1 #!/usr/bin/python
   2
   3 import sys
   4 from monitor.wrapper import plc
   5 from monitor.database.info.model import *
   6 import profile
   7
   8 def d_from_l(l, key):
   9         d = {}
  10         for obj in l:
  11                 if not str(obj[key]) in d:
  12                         d[str(obj[key])] = obj
  13                 else:
  14                         print "Two objects have the same %s key %s!" % (key, obj[key])
  15                         continue
  16         return d
  17
  18 def dpcus_from_lpcus(l_pcus):
  19         d_pcus = d_from_l(l_pcus, 'pcu_id')
  20         return d_pcus
  21
  22 def dnodes_from_lnodes(l_nodes):
  23         d_nodes = d_from_l(l_nodes, 'hostname')
  24         return d_nodes
  25
  26 def dsites_from_lsites(l_sites):
  27         d_sites = d_from_l(l_sites, 'login_base')
  28         return d_sites
  29
  30 def dsites_from_lsites_id(l_sites):
  31         d_sites = {}
  32         id2lb = {}
  33         for site in l_sites:
  34                 if not site['login_base'] in d_sites:
  35                         d_sites[site['login_base']] = site
  36                         id2lb[site['site_id']] = site['login_base']
  37                 else:
  38                         #print "Two sites have the same login_base value %s!" % site['login_base']
  39                         #sys.exit(1)
  40                         continue
  41         return (d_sites, id2lb)
  42
  43 def dsn_from_dsln(d_sites, id2lb, l_nodes):
  44         lb2hn = {}
  45         dsn = {}
  46         hn2lb = {}
  47         for id in id2lb:
  48                 if id2lb[id] not in lb2hn:
  49                         lb2hn[id2lb[id]] = []
  50
  51         for node in l_nodes:
  52                 # this won't reach sites without nodes, which I guess isn't a problem.
  53                 if node['site_id'] in id2lb.keys():
  54                         login_base = id2lb[node['site_id']]
  55                 else:
  56                         print >>sys.stderr, "%s has a foreign site_id %s" % (node['hostname'],
  57                                                                                                         node['site_id'])
  58                         continue
  59                         for i in id2lb:
  60                                 print i, " ", id2lb[i]
  61                         raise Exception, "Node has missing site id!! %s %d" %(node['hostname'], node['site_id'])
  62                 if not login_base in dsn:
  63                         lb2hn[login_base] = []
  64                         dsn[login_base] = {}
  65                         dsn[login_base]['plc'] = d_sites[login_base]
  66                         dsn[login_base]['monitor'] = {} # event log, or something
  67
  68                 hostname = node['hostname']
  69                 lb2hn[login_base].append(node)
  70                 dsn[login_base][hostname] = {}
  71                 dsn[login_base][hostname]['plc'] = node
  72                 dsn[login_base][hostname]['comon'] = {}
  73                 dsn[login_base][hostname]['monitor'] = {}
  74
  75                 hn2lb[hostname] = login_base
  76         return (dsn, hn2lb, lb2hn)
  77
  78 l_sites = None
  79 l_nodes = None
  80 l_pcus = None
  81
  82 plcdb_hn2lb = None
  83 plcdb_lb2hn = None
  84 plcdb_id2lb = None
  85
  86 def init():
  87         import traceback
  88         #print "IMPORTING PLCCACHE: ",
  89         #traceback.print_stack()
  90         global l_sites
  91         global l_nodes
  92         global l_pcus
  93         global plcdb_hn2lb
  94         global plcdb_lb2hn
  95         global plcdb_id2lb
  96         print >>sys.stderr, "initing plccache"
  97
  98         print >>sys.stderr, "collecting plcsites"
  99         dbsites = PlcSite.query.all()
 100         l_sites = [ s.plc_site_stats for s in dbsites ]
 101
 102         print >>sys.stderr, "collecting plcnodes"
 103         dbnodes = PlcNode.query.all()
 104         l_nodes = [ s.plc_node_stats for s in dbnodes ]
 105
 106         print >>sys.stderr, "collecting plcpcus"
 107         dbpcus = PlcPCU2.query.all()
 108         l_pcus = []
 109         for s in dbpcus:
 110                 pcu = {}
 111                 for k in ['username', 'protocol', 'node_ids', 'ip',
 112                                   'pcu_id', 'hostname', 'site_id', 'notes',
 113                                   'model', 'password', 'ports']:
 114                         pcu[k] = getattr(s, k)
 115                 l_pcus.append(pcu)
 116
 117         print >>sys.stderr, "building id2lb"
 118         (d_sites,id2lb) = dsites_from_lsites_id(l_sites)
 119         print >>sys.stderr, "building lb2hn"
 120         (plcdb, hn2lb, lb2hn) = dsn_from_dsln(d_sites, id2lb, l_nodes)
 121
 122         plcdb_hn2lb = hn2lb
 123         plcdb_lb2hn = lb2hn
 124         plcdb_id2lb = id2lb
 125
 126         return
 127
 128 def GetNodesByIds(ids):
 129         ret = []
 130         for node_id in ids:
 131                 node = PlcNode.get_by(node_id=node_id)
 132                 ret.append(node.plc_node_stats)
 133         return ret
 134
 135 def GetNodesBySite(loginbase):
 136         site = PlcSite.get_by(loginbase=loginbase)
 137         return GetNodesByIds(site.plc_site_stats['node_ids'])
 138
 139 def GetNodeByName(hostname):
 140         print "GetNodeByName %s" % hostname
 141         node = PlcNode.get_by(hostname=hostname)
 142         return node.plc_node_stats
 143
 144 def GetSitesByName(sitelist):
 145         ret = []
 146         for site in sitelist:
 147                 site = PlcSite.get_by(loginbase=site)
 148                 ret.append(site.plc_site_stats)
 149         return ret
 150
 151 def GetSitesById(idlist):
 152         ret = []
 153         for site_id in idlist:
 154                 site = PlcSite.get_by(site_id=site_id)
 155                 ret.append(site.plc_site_stats)
 156         return ret
 157
 158 def deleteExtra(l_plc, objectClass=PlcSite, dbKey='loginbase', plcKey='login_base'):
 159         dbobjs = objectClass.query.all()
 160         dbobj_key = [ getattr(s, dbKey) for s in dbobjs ]
 161         plcobj_key = [ s[plcKey] for s in l_plc ]
 162         extra_key = set(dbobj_key) - set(plcobj_key)
 163         for obj in extra_key:
 164                 print >>sys.stderr, "deleting %s" % obj
 165                 dbobj = objectClass.get_by(**{dbKey : obj})
 166                 dbobj.delete()
 167
 168 def sync():
 169         l_sites = plc.api.GetSites({'peer_id':None},
 170                                                 ['login_base', 'site_id', 'abbreviated_name', 'latitude',
 171                                                 'longitude', 'max_slices', 'slice_ids', 'node_ids',
 172                                                 'enabled', 'date_created' ])
 173         l_nodes = plc.api.GetNodes({'peer_id':None},
 174                                                 ['hostname', 'node_id', 'ports', 'site_id', 'boot_state', 'run_level',
 175                                                  'version', 'last_updated', 'date_created', 'key',
 176                                                  'last_contact', 'pcu_ids', 'interface_ids'])
 177         l_pcus = plc.api.GetPCUs()
 178
 179         print >>sys.stderr, "sync sites"
 180         for site in l_sites:
 181                 dbsite = PlcSite.findby_or_create(site_id=site['site_id'])
 182                 dbsite.loginbase = site['login_base']
 183                 dbsite.date_checked = datetime.now()
 184                 dbsite.plc_site_stats = site
 185         deleteExtra(l_sites, PlcSite, 'loginbase', 'login_base')
 186         deleteExtra(l_sites, HistorySiteRecord, 'loginbase', 'login_base')
 187         session.flush()
 188
 189         print >>sys.stderr, "sync pcus"
 190         for pcu in l_pcus:
 191                 dbpcu = PlcPCU2.findby_or_create(pcu_id=pcu['pcu_id'])
 192                 dbpcu.date_checked = datetime.now()
 193                 for key in pcu.keys():
 194                         print >>sys.stderr, "setting %s  = %s" % (key, pcu[key])
 195                         setattr(dbpcu, key, pcu[key])
 196
 197         deleteExtra(l_pcus, PlcPCU2, 'pcu_id', 'pcu_id')
 198         deleteExtra(l_pcus, HistoryPCURecord, 'plc_pcuid', 'pcu_id')
 199         deleteExtra(l_pcus, FindbadPCURecord, 'plc_pcuid', 'pcu_id')
 200         session.flush()
 201
 202         print >>sys.stderr, "sync nodes"
 203         for node in l_nodes:
 204                 dbnode = PlcNode.findby_or_create(node_id=node['node_id'])
 205                 dbnode.hostname = node['hostname']
 206                 dbnode.date_checked = datetime.now()
 207                 dbnode.plc_node_stats = node
 208         deleteExtra(l_nodes, PlcNode, 'node_id', 'node_id')
 209         deleteExtra(l_nodes, HistoryNodeRecord, 'plc_nodeid', 'node_id')
 210         deleteExtra(l_nodes, PlcNode, 'hostname', 'hostname')
 211         deleteExtra(l_nodes, HistoryNodeRecord, 'hostname', 'hostname')
 212         deleteExtra(l_nodes, FindbadNodeRecord, 'hostname', 'hostname')
 213         session.flush()
 214
 215         init()
 216
 217         return
 218
 219 if __name__ == '__main__':
 220         sync()
 221 else:
 222         init()