fix issue with escaping unicode strings for xmlrpc
[plcapi.git] / PLC / API.py
index 3c825b7..6e59d56 100644 (file)
@@ -5,9 +5,9 @@
 # Mark Huang <mlhuang@cs.princeton.edu>
 #
 # Copyright (C) 2004-2006 The Trustees of Princeton University
-# $Id$
 #
 
+import os
 import sys
 import traceback
 import string
@@ -20,8 +20,13 @@ import xmlrpclib
 # avoiding
 # [#x7F-#x84], [#x86-#x9F], [#xFDD0-#xFDDF]
 
-invalid_xml_ascii = map(chr, range(0x0, 0x8) + [0xB, 0xC] + range(0xE, 0x1F))
-xml_escape_table = string.maketrans("".join(invalid_xml_ascii), "?" * len(invalid_xml_ascii))
+invalid_codepoints = range(0x0, 0x8) + [0xB, 0xC] + range(0xE, 0x1F)
+# broke with f24, somehow we get a unicode as an incoming string to be translated
+str_xml_escape_table = string.maketrans("".join((chr(x) for x in invalid_codepoints)),
+                                        "?" * len(invalid_codepoints))
+# loosely inspired from
+# http://www.terminally-incoherent.com/blog/2010/05/06/character-mapping-must-return-integer-none-or-unicode/
+unicode_xml_escape_table = { invalid : u"?" for invalid in invalid_codepoints}
 
 def xmlrpclib_escape(s, replace = string.replace):
     """
@@ -36,7 +41,23 @@ def xmlrpclib_escape(s, replace = string.replace):
     s = replace(s, ">", "&gt;",)
 
     # Replace invalid 7-bit control characters with '?'
-    return s.translate(xml_escape_table)
+    if isinstance(s, str):
+        return s.translate(str_xml_escape_table)
+    else:
+        return s.translate(unicode_xml_escape_table)
+
+def test_xmlrpclib_escape():
+    inputs = [
+        # full ASCII 
+        "".join( (chr(x) for x in range(128))),
+        # likewise but as a unicode string up to 256
+        u"".join( (unichr(x) for x in range(256))),
+        ]
+    for input in inputs:
+        print "==================== xmlrpclib_escape INPUT"
+        print type(input), '->', input
+        print "==================== xmlrpclib_escape OUTPUT"
+        print xmlrpclib_escape(input)
 
 def xmlrpclib_dump(self, value, write):
     """
@@ -83,8 +104,7 @@ except ImportError:
 from PLC.Config import Config
 from PLC.Faults import *
 import PLC.Methods
-import PLC.Shortcuts
-import PLC.Legacy
+import PLC.Accessors
 
 def import_deep(name):
     mod = __import__(name)
@@ -99,11 +119,11 @@ class PLCAPI:
     native_methods = PLC.Methods.native_methods
 
     # other_methods_map : dict {methodname: fullpath}
-    # e.g. 'Shortcuts' -> 'PLC.Shortcuts.Shortcuts'
+    # e.g. 'Accessors' -> 'PLC.Accessors.Accessors'
     other_methods_map={}
-    for subdir in [ 'Shortcuts', 'Legacy']:
+    for subdir in [ 'Accessors' ]:
         path="PLC."+subdir
-        # scan e.g. PLC.Shortcuts.__all__
+        # scan e.g. PLC.Accessors.__all__
         pkg = __import__(path).__dict__[subdir]
         for modulename in getattr(pkg,"__all__"):
             fullpath=path+"."+modulename
@@ -111,7 +131,7 @@ class PLCAPI:
                 other_methods_map[method] = fullpath
 
     all_methods = native_methods + other_methods_map.keys()
-    
+
     def __init__(self, config = "/etc/planetlab/plc_config", encoding = "utf-8"):
         self.encoding = encoding
 
@@ -121,15 +141,46 @@ class PLCAPI:
 
         # Load configuration
         self.config = Config(config)
-       
-       # Initialize database connection
+
+        # Initialize database connection
         if self.config.PLC_DB_TYPE == "postgresql":
             from PLC.PostgreSQL import PostgreSQL
             self.db = PostgreSQL(self)
-
         else:
             raise PLCAPIError, "Unsupported database type " + self.config.PLC_DB_TYPE
 
+        # Aspects modify the API by injecting code before, after or
+        # around method calls. -- http://github.com/baris/pyaspects/blob/master/README
+        # 
+        if self.config.PLC_RATELIMIT_ENABLED:
+            from aspects import apply_ratelimit_aspect
+            apply_ratelimit_aspect()
+
+        if getattr(self.config, "PLC_NETCONFIG_ENABLED", False):
+            from aspects.netconfigaspects import apply_netconfig_aspect
+            apply_netconfig_aspect()
+
+        # Enable Caching. Only for GetSlivers for the moment.
+        # TODO: we may consider to do this in an aspect like the ones above.
+        try:
+            if self.config.PLC_GETSLIVERS_CACHE:
+                getslivers_cache = True
+        except AttributeError:
+            getslivers_cache = False
+
+        if getslivers_cache:
+            os.environ['DJANGO_SETTINGS_MODULE']='plc_django_settings'
+            from cache_utils.decorators import cached
+            from PLC.Methods.GetSlivers import GetSlivers
+
+            @cached(7200)
+            def cacheable_call(cls, auth, node_id_or_hostname):
+                return cls.raw_call(auth, node_id_or_hostname)
+            
+            GetSlivers.call = cacheable_call
+            
+
+
     def callable(self, method):
         """
         Return a new instance of the specified method.
@@ -138,19 +189,18 @@ class PLCAPI:
         # Look up method
         if method not in self.all_methods:
             raise PLCInvalidAPIMethod, method
-        
+
         # Get new instance of method
         try:
             classname = method.split(".")[-1]
             if method in self.native_methods:
-                module = __import__("PLC.Methods." + method, globals(), locals(), [classname])
-                return getattr(module, classname)(self)
+                fullpath="PLC.Methods." + method
             else:
                 fullpath=self.other_methods_map[method]
-                module = __import__(fullpath, globals(), locals(), [classname])
-                return getattr(module, classname)(self)
+            module = __import__(fullpath, globals(), locals(), [classname])
+            return getattr(module, classname)(self)
         except ImportError, AttributeError:
-            raise PLCInvalidAPIMethod, method
+            raise PLCInvalidAPIMethod, "import error %s for %s" % (AttributeError,fullpath)
 
     def call(self, source, method, *args):
         """
@@ -202,3 +252,19 @@ class PLCAPI:
             data = buildSOAP(kw = {'%sResponse' % method: {'Result': result}}, encoding = self.encoding)
 
         return data
+
+    def handle_json(self, source, data):
+        """
+        Handle a JSON request 
+        """
+        method, args = json.loads(data)
+        try:
+            result = self.call(source, method, *args)
+        except Exception, e:
+            result = str(e)
+       
+        return json.dumps(result) 
+        
+# one simple unit test        
+if __name__ == '__main__':
+    test_xmlrpclib_escape()