split api and driver
[sfa.git] / sfa / plc / network.py
1 from __future__ import with_statement
2 import sys
3 import re
4 import socket
5 from StringIO import StringIO
6 from lxml import etree
7 from xmlbuilder import XMLBuilder
8
9 from sfa.util.faults import InvalidRSpec
10 from sfa.util.xrn import get_authority
11 from sfa.util.plxrn import hrn_to_pl_slicename, hostname_to_urn
12
13 class Sliver:
14     def __init__(self, node):
15         self.node = node
16         self.network = node.network
17         self.slice = node.network.slice
18         
19     def toxml(self, xml):
20         with xml.sliver:
21             self.slice.tags_to_xml(xml, self.node)
22
23         
24 class Iface:
25     def __init__(self, network, iface):
26         self.network = network
27         self.id = iface['interface_id']
28         self.idtag = "i%s" % self.id
29         self.ipv4 = iface['ip']
30         self.bwlimit = iface['bwlimit']
31         self.hostname = iface['hostname']
32         self.primary = iface['is_primary']
33
34     def toxml(self, xml):
35         """
36         Just print out bwlimit right now
37         """
38         if self.bwlimit:
39             with xml.bw_limit(units="kbps"):
40                 xml << str(self.bwlimit / 1000)
41
42
43 class Node:
44     def __init__(self, network, node):
45         self.network = network
46         self.id = node['node_id']
47         self.idtag = "n%s" % self.id
48         self.hostname = node['hostname']
49         self.site_id = node['site_id']
50         self.iface_ids = node['interface_ids']
51         self.sliver = None
52         self.whitelist = node['slice_ids_whitelist']
53         auth = self.network.api.hrn
54         login_base = self.get_site().idtag
55         self.urn = hostname_to_urn(auth, login_base, self.hostname)
56
57     def get_primary_iface(self):
58         for id in self.iface_ids:
59             iface = self.network.lookupIface(id)
60             if iface.primary:
61                 return iface
62         return None
63         
64     def get_site(self):
65         return self.network.lookupSite(self.site_id)
66     
67     def add_sliver(self):
68         self.sliver = Sliver(self)
69
70     def toxml(self, xml):
71         slice = self.network.slice
72         if self.whitelist and not self.sliver:
73             if not slice or slice.id not in self.whitelist:
74                 return
75
76         with xml.node(id = self.idtag):
77             with xml.hostname:
78                 xml << self.hostname
79             with xml.urn:
80                 xml << self.urn
81             iface = self.get_primary_iface()
82             if iface:
83                 iface.toxml(xml)
84             if self.sliver:
85                 self.sliver.toxml(xml)
86     
87
88 class Site:
89     def __init__(self, network, site):
90         self.network = network
91         self.id = site['site_id']
92         self.node_ids = site['node_ids']
93         self.node_ids.sort()
94         self.name = site['abbreviated_name']
95         self.tag = site['login_base']
96         self.idtag = site['login_base']
97         self.public = site['is_public']
98         self.enabled = site['enabled']
99         self.links = set()
100         self.whitelist = False
101
102     def get_sitenodes(self):
103         n = []
104         for i in self.node_ids:
105             n.append(self.network.lookupNode(i))
106         return n
107     
108     def toxml(self, xml):
109         if not (self.public and self.enabled and self.node_ids):
110             return
111         with xml.site(id = self.idtag):
112             with xml.name:
113                 xml << self.name
114             for node in self.get_sitenodes():
115                 node.toxml(xml)
116    
117     
118 class Slice:
119     def __init__(self, network, hrn, slice):
120         self.hrn = hrn
121         self.network = network
122         self.id = slice['slice_id']
123         self.name = slice['name']
124         self.peer_id = slice['peer_id']
125         self.node_ids = set(slice['node_ids'])
126         self.slice_tag_ids = slice['slice_tag_ids']
127     
128     """
129     Use with tags that can have more than one instance
130     """
131     def get_multi_tag(self, tagname, node = None):
132         tags = []
133         for i in self.slice_tag_ids:
134             try: 
135                 tag = self.network.lookupSliceTag(i)                 
136                 if tag.tagname == tagname:
137                     if node:
138                         if node.id == tag.node_id:
139                             tags.append(tag)
140                     elif not tag.node_id:
141                         tags.append(tag)
142             except InvalidRSpec, e: 
143                 # As they're not needed, we ignore some tag types from 
144                 # GetSliceTags call. See Slicetag.ignore_tags 
145                 pass 
146         return tags
147         
148     """
149     Use with tags that have only one instance
150     """
151     def get_tag(self, tagname, node = None):
152         for i in self.slice_tag_ids:
153             try:
154                 tag = self.network.lookupSliceTag(i) 
155                 if tag.tagname == tagname: 
156                     if node:
157                         if node.id == tag.node_id:
158                             return tag
159                     elif not tag.node_id:
160                         return tag 
161             except InvalidRSpec, e:
162                 # As they're not needed, we ignore some tag types from
163                 # GetSliceTags call. See Slicetag.ignore_tags
164                 pass
165         return None
166         
167     def get_nodes(self):
168         n = []
169         for id in self.node_ids:
170             if id in self.network.nodes:
171                 n.append(self.network.nodes[id])
172         return n
173
174     # Add a new slice tag   
175     def add_tag(self, tagname, value, node = None, role = "user"):
176         tt = self.network.lookupTagType(tagname)
177         if not tt.permit_update(role):
178             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
179         tag = Slicetag()
180         tag.initialize(tagname, value, node, self.network)
181         self.network.tags[tag.id] = tag
182         self.slice_tag_ids.append(tag.id)
183         return tag
184     
185     # Update a slice tag if it exists, else add it             
186     def update_tag(self, tagname, value, node = None, role = "user"):
187         tag = self.get_tag(tagname, node)
188         if tag and tag.value == value:
189             return tag
190
191         tt = self.network.lookupTagType(tagname)
192         if not tt.permit_update(role):
193             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
194
195         if tag:
196             tag.change(value)
197         else:
198             tag = self.add_tag(tagname, value, node, role)
199         return tag
200             
201     def update_multi_tag(self, tagname, value, node = None, role = "user"):
202         tags = self.get_multi_tag(tagname, node)
203         for tag in tags:
204             if tag and tag.value == value:
205                 break
206         else:
207             tag = self.add_tag(tagname, value, node, role)
208         return tag
209             
210     def tags_to_xml(self, xml, node = None):
211         tagtypes = self.network.getTagTypes()
212         for tt in tagtypes:
213             if tt.in_rspec:
214                 if tt.multi:
215                     tags = self.get_multi_tag(tt.tagname, node)
216                     for tag in tags:
217                         if not tag.was_deleted():  ### Debugging
218                             xml << (tag.tagname, tag.value)
219                 else:
220                     tag = self.get_tag(tt.tagname, node)
221                     if tag:
222                         if not tag.was_deleted():   ### Debugging
223                             xml << (tag.tagname, tag.value)
224
225     def toxml(self, xml):
226         with xml.sliver_defaults:
227             self.tags_to_xml(xml)
228
229
230 class Slicetag:
231     newid = -1 
232     filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category'] 
233     ignore_tags = ['hmac','ssh_key']
234     def __init__(self, tag = None):
235         if not tag:
236             return
237         self.id = tag['slice_tag_id']
238         self.slice_id = tag['slice_id']
239         self.tagname = tag['tagname']
240         self.value = tag['value']
241         self.node_id = tag['node_id']
242         self.category = tag['category']
243         self.status = None
244
245     # Create a new slicetag that will be written to the DB later
246     def initialize(self, tagname, value, node, network):
247         tt = network.lookupTagType(tagname)
248         self.id = Slicetag.newid
249         Slicetag.newid -=1
250         self.slice_id = network.slice.id
251         self.tagname = tagname
252         self.value = value
253         if node:
254             self.node_id = node.id
255         else:
256             self.node_id = None
257         self.category = tt.category
258         self.status = "new"
259
260     def change(self, value):
261         if self.value != value:
262             self.value = value
263             self.status = "change"
264         else:
265             self.status = "updated"
266         
267     # Mark a tag as deleted
268     def delete(self):
269         self.status = "delete"
270
271     def was_added(self):
272         return (self.id < 0)
273
274     def was_changed(self):
275         return (self.status == "change")
276
277     def was_deleted(self):
278         return (self.status == "delete")
279
280     def was_updated(self):
281         return (self.status != None)
282     
283     def write(self, api):
284         if self.was_added():
285             api.driver.AddSliceTag(self.slice_id, self.tagname, self.value, self.node_id)
286         elif self.was_changed():
287             api.driver.UpdateSliceTag(self.id, self.value)
288         elif self.was_deleted():
289             api.driver.DeleteSliceTag(self.id)
290
291
292 class TagType:
293     ignore_tags = ['hmac','ssh_key']
294     def __init__(self, tagtype):
295         self.id = tagtype['tag_type_id']
296         self.category = tagtype['category']
297         self.tagname = tagtype['tagname']
298         self.roles = tagtype['roles']
299         self.multi = False
300         self.in_rspec = False
301         if self.category == 'slice/rspec':
302             self.in_rspec = True
303         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
304             self.multi = True
305
306     def permit_update(self, role):
307         if role in self.roles:
308             return True
309         return False
310         
311
312 class Network:
313     """
314     A Network is a compound object consisting of:
315     * a dictionary mapping site IDs to Site objects
316     * a dictionary mapping node IDs to Node objects
317     * a dictionary mapping interface IDs to Iface objects
318     """
319     def __init__(self, api, type = "SFA"):
320         self.api = api
321         self.type = type
322         self.sites = self.get_sites(api)
323         self.nodes = self.get_nodes(api)
324         self.ifaces = self.get_ifaces(api)
325         self.tags = self.get_slice_tags(api)
326         self.tagtypes = self.get_tag_types(api)
327         self.slice = None
328         self.sitemap = {}
329         for s in self.sites:
330             site = self.sites[s]
331             self.sitemap[site.idtag] = site.id
332
333     def lookupSiteIdtag(self, name):
334         """ Lookup site id from name """
335         val = None
336         try:
337             val = self.sitemap[name]
338         except:
339             raise InvalidRSpec("site name '%s' not found" % name)
340         return val
341     
342     def lookupSite(self, id):
343         """ Lookup site based on id or idtag value """
344         val = None
345         if isinstance(id, basestring):
346             id = self.lookupSiteIdtag(id)
347         try:
348             val = self.sites[id]
349         except:
350             self.api.logger.error("Invalid RSpec: site ID %s not found" % id )
351             raise InvalidRSpec("site ID %s not found" % id)
352         return val
353     
354     def getSites(self):
355         sites = []
356         for s in self.sites:
357             sites.append(self.sites[s])
358         return sites
359         
360     def lookupNode(self, id):
361         """ Lookup node based on id or idtag value """
362         val = None
363         if isinstance(id, basestring):
364             id = int(id.lstrip('n'))
365         try:
366             val = self.nodes[id]
367         except:
368             raise InvalidRSpec("node ID %s not found" % id)
369         return val
370     
371     def getNodes(self):
372         nodes = []
373         for n in self.nodes:
374             nodes.append(self.nodes[n])
375         return nodes
376     
377     def lookupIface(self, id):
378         """ Lookup iface based on id or idtag value """
379         val = None
380         if isinstance(id, basestring):
381             id = int(id.lstrip('i'))
382         try:
383             val = self.ifaces[id]
384         except:
385             raise InvalidRSpec("interface ID %s not found" % id)
386         return val
387     
388     def getIfaces(self):
389         ifaces = []
390         for i in self.ifaces:
391             ifaces.append(self.ifaces[i])
392         return ifaces
393     
394     def nodesWithSlivers(self):
395         nodes = []
396         for n in self.nodes:
397             node = self.nodes[n]
398             if node.sliver:
399                 nodes.append(node)
400         return nodes
401             
402     def lookupSliceTag(self, id):
403         val = None
404         try:
405             val = self.tags[id]
406         except:
407             raise InvalidRSpec("slicetag ID %s not found" % id)
408         return val
409     
410     def getSliceTags(self):
411         tags = []
412         for t in self.tags:
413             tags.append(self.tags[t])
414         return tags
415     
416     def lookupTagType(self, name):
417         val = None
418         try:
419             val = self.tagtypes[name]
420         except:
421             raise InvalidRSpec("tag %s not found" % name)
422         return val
423     
424     def getTagTypes(self):
425         tags = []
426         for t in self.tagtypes:
427             tags.append(self.tagtypes[t])
428         return tags
429     
430     def __process_attributes(self, element, node=None):
431         """
432         Process the elements under <sliver_defaults> or <sliver>
433         """
434         if element is None:
435             return 
436
437         tagtypes = self.getTagTypes()
438         for tt in tagtypes:
439             if tt.in_rspec:
440                 if tt.multi:
441                     for e in element.iterfind("./" + tt.tagname):
442                         self.slice.update_multi_tag(tt.tagname, e.text, node)
443                 else:
444                     e = element.find("./" + tt.tagname)
445                     if e is not None:
446                         self.slice.update_tag(tt.tagname, e.text, node)
447
448     def addRSpec(self, xml, schema=None):
449         """
450         Annotate the objects in the Network with information from the RSpec
451         """
452         try:
453             tree = etree.parse(StringIO(xml))
454         except etree.XMLSyntaxError:
455             message = str(sys.exc_info()[1])
456             raise InvalidRSpec(message)
457
458         # Filter out stuff that's not for us
459         rspec = tree.getroot()
460         for network in rspec.iterfind("./network"):
461             if network.get("name") != self.api.hrn:
462                 rspec.remove(network)
463         for request in rspec.iterfind("./request"):
464             if request.get("name") != self.api.hrn:
465                 rspec.remove(request)
466
467         if schema:
468             # Validate the incoming request against the RelaxNG schema
469             relaxng_doc = etree.parse(schema)
470             relaxng = etree.RelaxNG(relaxng_doc)
471         
472             if not relaxng(tree):
473                 error = relaxng.error_log.last_error
474                 message = "%s (line %s)" % (error.message, error.line)
475                 self.api.logger.error("failed to validate rspec %r"%message)
476                 self.api.logger.debug("---------- XML input BEG")
477                 self.api.logger.debug(xml)
478                 self.api.logger.debug("---------- XML input END")
479                 raise InvalidRSpec(message)
480
481         self.rspec = rspec
482
483         defaults = rspec.find(".//sliver_defaults")
484         self.__process_attributes(defaults)
485
486         # Find slivers under node elements
487         for sliver in rspec.iterfind("./network/site/node/sliver"):
488             elem = sliver.getparent()
489             try:
490                 node = self.lookupNode(elem.get("id"))
491             except:
492                 # Don't worry about nodes from other aggregates
493                 pass
494             else:
495                 node.add_sliver()
496                 self.__process_attributes(sliver, node)
497
498         # Find slivers that specify nodeid
499         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
500             try:
501                 node = self.lookupNode(sliver.get("nodeid"))
502             except:
503                 # Don't worry about nodes from other aggregates
504                 pass
505             else:
506                 node.add_sliver()
507                 self.__process_attributes(sliver, node)
508
509         return
510
511     def addSlice(self):
512         """
513         Annotate the objects in the Network with information from the slice
514         """
515         slice = self.slice
516         if not slice:
517             raise InvalidRSpec("no slice associated with network")
518
519         for node in slice.get_nodes():
520             node.add_sliver()
521
522     def updateSliceTags(self):
523         """
524         Write any slice tags that have been added or modified back to the DB
525         """
526         for tag in self.getSliceTags():
527             if tag.category == 'slice/rspec' and not tag.was_updated():
528                 tt = self.lookupTagType(tag.tagname)
529                 if tt.permit_update("user"):
530                     tag.delete()
531
532         # Update slice tags in database
533         for tag in self.getSliceTags():
534             if tag.slice_id == self.slice.id:
535                 tag.write(self.api) 
536
537     def toxml(self):
538         """
539         Produce XML directly from the topology specification.
540         """
541         xml = XMLBuilder(format = True, tab_step = "  ")
542         with xml.RSpec(type=self.type):
543             if self.slice:
544                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
545             else:
546                 element = xml.network(name=self.api.hrn)
547                 
548             with element:
549                 if self.slice:
550                     self.slice.toxml(xml)
551                 for site in self.getSites():
552                     site.toxml(xml)
553
554         header = '<?xml version="1.0"?>\n'
555         return header + str(xml)
556
557     def get_sites(self, api):
558         """
559         Create a dictionary of site objects keyed by site ID
560         """
561         tmp = []
562         for site in api.driver.GetSites({'peer_id': None}):
563             t = site['site_id'], Site(self, site)
564             tmp.append(t)
565         return dict(tmp)
566
567
568     def get_nodes(self, api):
569         """
570         Create a dictionary of node objects keyed by node ID
571         """
572         tmp = []
573         for node in api.driver.GetNodes({'peer_id': None}):
574             try:
575                 t = node['node_id'], Node(self, node)
576                 tmp.append(t)
577             except:
578                 self.api.logger.error("Failed to add node %s (%s) to RSpec" % (node['hostname'], node['node_id']))
579                  
580         return dict(tmp)
581
582     def get_ifaces(self, api):
583         """
584         Create a dictionary of node objects keyed by node ID
585         """
586         tmp = []
587         for iface in api.driver.GetInterfaces():
588             t = iface['interface_id'], Iface(self, iface)
589             tmp.append(t)
590         return dict(tmp)
591
592     def get_slice_tags(self, api):
593         """
594         Create a dictionary of slicetag objects keyed by slice tag ID
595         """
596         tmp = []
597         for tag in api.driver.GetSliceTags({'~tagname':Slicetag.ignore_tags}, Slicetag.filter_fields): 
598             t = tag['slice_tag_id'], Slicetag(tag)
599             tmp.append(t)
600         return dict(tmp)
601     
602     def get_tag_types(self, api):
603         """
604         Create a list of tagtype obects keyed by tag name
605         """
606         tmp = []
607         for tag in api.driver.GetTagTypes({'~tagname':TagType.ignore_tags}):
608             t = tag['tagname'], TagType(tag)
609             tmp.append(t)
610         return dict(tmp)
611     
612     def get_slice(self, api, hrn):
613         """
614         Return a Slice object for a single slice
615         """
616         slicename = hrn_to_pl_slicename(hrn)
617         slice = api.driver.GetSlices([slicename])
618         if len(slice):
619             self.slice = Slice(self, slicename, slice[0])
620             return self.slice
621         else:
622             return None
623     
624