Merge branch 'master' into thgeneric
[sfa.git] / sfa / util / xml.py
1 #!/usr/bin/python 
2 from types import StringTypes
3 from lxml import etree
4 from StringIO import StringIO
5
6 from sfa.util.faults import InvalidXML
7
8 class XpathFilter:
9     @staticmethod
10     def xpath(filter={}):
11         xpath = ""
12         if filter:
13             filter_list = []
14             for (key, value) in filter.items():
15                 if key == 'text':
16                     key = 'text()'
17                 else:
18                     key = '@'+key
19                 if isinstance(value, str):
20                     filter_list.append('%s="%s"' % (key, value))
21                 elif isinstance(value, list):
22                     filter_list.append('contains("%s", %s)' % (' '.join(map(str, value)), key))
23             if filter_list:
24                 xpath = ' and '.join(filter_list)
25                 xpath = '[' + xpath + ']'
26         return xpath
27
28 class XML:
29  
30     def __init__(self, xml=None):
31         self.root = None
32         self.namespaces = None
33         self.default_namespace = None
34         self.schema = None
35         if isinstance(xml, basestring):
36             self.parse_xml(xml)
37         elif isinstance(xml, etree._ElementTree):
38             self.root = xml.getroot()
39         elif isinstance(xml, etree._Element):
40             self.root = xml 
41
42     def parse_xml(self, xml):
43         """
44         parse rspec into etree
45         """
46         parser = etree.XMLParser(remove_blank_text=True)
47         try:
48             tree = etree.parse(xml, parser)
49         except IOError:
50             # 'rspec' file doesnt exist. 'rspec' is proably an xml string
51             try:
52                 tree = etree.parse(StringIO(xml), parser)
53             except Exception, e:
54                 raise InvalidXML(str(e))
55         self.root = tree.getroot()
56         # set namespaces map
57         self.namespaces = dict(self.root.nsmap)
58         if 'default' not in self.namespaces and None in self.namespaces: 
59             # If the 'None' exist, then it's pointing to the default namespace. This makes 
60             # it hard for us to write xpath queries for the default naemspace because lxml 
61             # wont understand a None prefix. We will just associate the default namespeace 
62             # with a key named 'default'.     
63             self.namespaces['default'] = self.namespaces[None]
64         else:
65             self.namespaces['default'] = 'default' 
66
67         # set schema 
68         for key in self.root.attrib.keys():
69             if key.endswith('schemaLocation'):
70                 # schema location should be at the end of the list
71                 schema_parts  = self.root.attrib[key].split(' ')
72                 self.schema = schema_parts[1]    
73                 namespace, schema  = schema_parts[0], schema_parts[1]
74                 break
75
76     def parse_dict(self, d, root_tag_name='xml', element = None):
77         if element is None: 
78             if self.root is None:
79                 self.parse_xml('<%s/>' % root_tag_name)
80             element = self.root
81
82         if 'text' in d:
83             text = d.pop('text')
84             element.text = text
85
86         # handle repeating fields
87         for (key, value) in d.items():
88             if isinstance(value, list):
89                 value = d.pop(key)
90                 for val in value:
91                     if isinstance(val, dict):
92                         child_element = etree.SubElement(element, key)
93                         self.parse_dict(val, key, child_element)
94                     elif isinstance(val, basestring):
95                         child_element = etree.SubElement(element, key).text = val
96                         
97             elif isinstance(value, int):
98                 d[key] = unicode(d[key])  
99             elif value is None:
100                 d.pop(key)
101
102         # element.attrib.update will explode if DateTimes are in the
103         # dcitionary.
104         d=d.copy()
105         # looks like iteritems won't stand side-effects
106         for k in d.keys():
107             if not isinstance(d[k],StringTypes):
108                 del d[k]
109
110         element.attrib.update(d)
111
112     def validate(self, schema):
113         """
114         Validate against rng schema
115         """
116         relaxng_doc = etree.parse(schema)
117         relaxng = etree.RelaxNG(relaxng_doc)
118         if not relaxng(self.root):
119             error = relaxng.error_log.last_error
120             message = "%s (line %s)" % (error.message, error.line)
121             raise InvalidXML(message)
122         return True
123
124     def xpath(self, xpath, namespaces=None):
125         if not namespaces:
126             namespaces = self.namespaces
127         return self.root.xpath(xpath, namespaces=namespaces)
128
129     def set(self, key, value):
130         return self.root.set(key, value)
131
132     def add_attribute(self, elem, name, value):
133         """
134         Add attribute to specified etree element    
135         """
136         opt = etree.SubElement(elem, name)
137         opt.text = value
138
139     def add_element(self, name, attrs={}, parent=None, text=""):
140         """
141         Wrapper around etree.SubElement(). Adds an element to 
142         specified parent node. Adds element to root node is parent is 
143         not specified. 
144         """
145         if parent == None:
146             parent = self.root
147         element = etree.SubElement(parent, name)
148         if text:
149             element.text = text
150         if isinstance(attrs, dict):
151             for attr in attrs:
152                 element.set(attr, attrs[attr])  
153         return element
154
155     def remove_attribute(self, elem, name, value):
156         """
157         Removes an attribute from an element
158         """
159         if elem is not None:
160             opts = elem.iterfind(name)
161             if opts is not None:
162                 for opt in opts:
163                     if opt.text == value:
164                         elem.remove(opt)
165
166     def remove_element(self, element_name, root_node = None):
167         """
168         Removes all occurences of an element from the tree. Start at 
169         specified root_node if specified, otherwise start at tree's root.   
170         """
171         if not root_node:
172             root_node = self.root
173
174         if not element_name.startswith('//'):
175             element_name = '//' + element_name
176
177         elements = root_node.xpath('%s ' % element_name, namespaces=self.namespaces)
178         for element in elements:
179             parent = element.getparent()
180             parent.remove(element)
181
182     def attributes_list(self, elem):
183         # convert a list of attribute tags into list of tuples
184         # (tagnme, text_value)
185         opts = []
186         if elem is not None:
187             for e in elem:
188                 opts.append((e.tag, str(e.text).strip()))
189         return opts
190
191     def get_element_attributes(self, elem=None, depth=0):
192         if elem == None:
193             elem = self.root_node
194         if not hasattr(elem, 'attrib'):
195             # this is probably not an element node with attribute. could be just and an
196             # attribute, return it
197             return elem
198         attrs = dict(elem.attrib)
199         attrs['text'] = str(elem.text).strip()
200         attrs['parent'] = elem.getparent()
201         if isinstance(depth, int) and depth > 0:
202             for child_elem in list(elem):
203                 key = str(child_elem.tag)
204                 if key not in attrs:
205                     attrs[key] = [self.get_element_attributes(child_elem, depth-1)]
206                 else:
207                     attrs[key].append(self.get_element_attributes(child_elem, depth-1))
208         else:
209             attrs['child_nodes'] = list(elem)
210         return attrs
211
212     def merge(self, in_xml):
213         pass
214
215     def __str__(self):
216         return self.toxml()
217
218     def toxml(self):
219         return etree.tostring(self.root, encoding='UTF-8', pretty_print=True)  
220     
221     # XXX smbaker, for record.load_from_string
222     def todict(self, elem=None):
223         if elem is None:
224             elem = self.root
225         d = {}
226         d.update(elem.attrib)
227         d['text'] = elem.text
228         for child in elem.iterchildren():
229             if child.tag not in d:
230                 d[child.tag] = []
231             d[child.tag].append(self.todict(child))
232
233         if len(d)==1 and ("text" in d):
234             d = d["text"]
235
236         return d
237         
238     def save(self, filename):
239         f = open(filename, 'w')
240         f.write(self.toxml())
241         f.close()
242
243 # no RSpec in scope 
244 #if __name__ == '__main__':
245 #    rspec = RSpec('/tmp/resources.rspec')
246 #    print rspec
247