to-be-integrated/third-party/codemirror-3.15/test/mode_test.js

   1 /**
   2  * Helper to test CodeMirror highlighting modes. It pretty prints output of the
   3  * highlighter and can check against expected styles.
   4  *
   5  * Mode tests are registered by calling test.mode(testName, mode,
   6  * tokens), where mode is a mode object as returned by
   7  * CodeMirror.getMode, and tokens is an array of lines that make up
   8  * the test.
   9  *
  10  * These lines are strings, in which styled stretches of code are
  11  * enclosed in brackets `[]`, and prefixed by their style. For
  12  * example, `[keyword if]`. Brackets in the code itself must be
  13  * duplicated to prevent them from being interpreted as token
  14  * boundaries. For example `a[[i]]` for `a[i]`. If a token has
  15  * multiple styles, the styles must be separated by ampersands, for
  16  * example `[tag&error </hmtl>]`.
  17  *
  18  * See the test.js files in the css, markdown, gfm, and stex mode
  19  * directories for examples.
  20  */
  21 (function() {
  22   function findSingle(str, pos, ch) {
  23     for (;;) {
  24       var found = str.indexOf(ch, pos);
  25       if (found == -1) return null;
  26       if (str.charAt(found + 1) != ch) return found;
  27       pos = found + 2;
  28     }
  29   }
  30
  31   var styleName = /[\w&-_]+/g;
  32   function parseTokens(strs) {
  33     var tokens = [], plain = "";
  34     for (var i = 0; i < strs.length; ++i) {
  35       if (i) plain += "\n";
  36       var str = strs[i], pos = 0;
  37       while (pos < str.length) {
  38         var style = null, text;
  39         if (str.charAt(pos) == "[" && str.charAt(pos+1) != "[") {
  40           styleName.lastIndex = pos + 1;
  41           var m = styleName.exec(str);
  42           style = m[0].replace(/&/g, " ");
  43           var textStart = pos + style.length + 2;
  44           var end = findSingle(str, textStart, "]");
  45           if (end == null) throw new Error("Unterminated token at " + pos + " in '" + str + "'" + style);
  46           text = str.slice(textStart, end);
  47           pos = end + 1;
  48         } else {
  49           var end = findSingle(str, pos, "[");
  50           if (end == null) end = str.length;
  51           text = str.slice(pos, end);
  52           pos = end;
  53         }
  54         text = text.replace(/\[\[|\]\]/g, function(s) {return s.charAt(0);});
  55         tokens.push(style, text);
  56         plain += text;
  57       }
  58     }
  59     return {tokens: tokens, plain: plain};
  60   }
  61
  62   test.mode = function(name, mode, tokens, modeName) {
  63     var data = parseTokens(tokens);
  64     return test((modeName || mode.name) + "_" + name, function() {
  65       return compare(data.plain, data.tokens, mode);
  66     });
  67   };
  68
  69   function compare(text, expected, mode) {
  70
  71     var expectedOutput = [];
  72     for (var i = 0; i < expected.length; i += 2) {
  73       var sty = expected[i];
  74       if (sty && sty.indexOf(" ")) sty = sty.split(' ').sort().join(' ');
  75       expectedOutput.push(sty, expected[i + 1]);
  76     }
  77
  78     var observedOutput = highlight(text, mode);
  79
  80     var pass, passStyle = "";
  81     pass = highlightOutputsEqual(expectedOutput, observedOutput);
  82     passStyle = pass ? 'mt-pass' : 'mt-fail';
  83
  84     var s = '';
  85     if (pass) {
  86       s += '<div class="mt-test ' + passStyle + '">';
  87       s +=   '<pre>' + text.replace('&', '&amp;').replace('<', '&lt;') + '</pre>';
  88       s +=   '<div class="cm-s-default">';
  89       s +=   prettyPrintOutputTable(observedOutput);
  90       s +=   '</div>';
  91       s += '</div>';
  92       return s;
  93     } else {
  94       s += '<div class="mt-test ' + passStyle + '">';
  95       s +=   '<pre>' + text.replace('&', '&amp;').replace('<', '&lt;') + '</pre>';
  96       s +=   '<div class="cm-s-default">';
  97       s += 'expected:';
  98       s +=   prettyPrintOutputTable(expectedOutput);
  99       s += 'observed:';
 100       s +=   prettyPrintOutputTable(observedOutput);
 101       s +=   '</div>';
 102       s += '</div>';
 103       throw s;
 104     }
 105   }
 106
 107   /**
 108    * Emulation of CodeMirror's internal highlight routine for testing. Multi-line
 109    * input is supported.
 110    *
 111    * @param string to highlight
 112    *
 113    * @param mode the mode that will do the actual highlighting
 114    *
 115    * @return array of [style, token] pairs
 116    */
 117   function highlight(string, mode) {
 118     var state = mode.startState()
 119
 120     var lines = string.replace(/\r\n/g,'\n').split('\n');
 121     var st = [], pos = 0;
 122     for (var i = 0; i < lines.length; ++i) {
 123       var line = lines[i], newLine = true;
 124       var stream = new CodeMirror.StringStream(line);
 125       if (line == "" && mode.blankLine) mode.blankLine(state);
 126       /* Start copied code from CodeMirror.highlight */
 127       while (!stream.eol()) {
 128         var style = mode.token(stream, state), substr = stream.current();
 129         if (style && style.indexOf(" ") > -1) style = style.split(' ').sort().join(' ');
 130
 131         stream.start = stream.pos;
 132         if (pos && st[pos-2] == style && !newLine) {
 133           st[pos-1] += substr;
 134         } else if (substr) {
 135           st[pos++] = style; st[pos++] = substr;
 136         }
 137         // Give up when line is ridiculously long
 138         if (stream.pos > 5000) {
 139           st[pos++] = null; st[pos++] = this.text.slice(stream.pos);
 140           break;
 141         }
 142         newLine = false;
 143       }
 144     }
 145
 146     return st;
 147   }
 148
 149   /**
 150    * Compare two arrays of output from highlight.
 151    *
 152    * @param o1 array of [style, token] pairs
 153    *
 154    * @param o2 array of [style, token] pairs
 155    *
 156    * @return boolean; true iff outputs equal
 157    */
 158   function highlightOutputsEqual(o1, o2) {
 159     if (o1.length != o2.length) return false;
 160     for (var i = 0; i < o1.length; ++i)
 161       if (o1[i] != o2[i]) return false;
 162     return true;
 163   }
 164
 165   /**
 166    * Print tokens and corresponding styles in a table. Spaces in the token are
 167    * replaced with 'interpunct' dots (&middot;).
 168    *
 169    * @param output array of [style, token] pairs
 170    *
 171    * @return html string
 172    */
 173   function prettyPrintOutputTable(output) {
 174     var s = '<table class="mt-output">';
 175     s += '<tr>';
 176     for (var i = 0; i < output.length; i += 2) {
 177       var style = output[i], val = output[i+1];
 178       s +=
 179       '<td class="mt-token">' +
 180         '<span class="cm-' + String(style).replace(/ +/g, " cm-") + '">' +
 181         val.replace(/ /g,'\xb7').replace('&', '&amp;').replace('<', '&lt;') +
 182         '</span>' +
 183         '</td>';
 184     }
 185     s += '</tr><tr>';
 186     for (var i = 0; i < output.length; i += 2) {
 187       s += '<td class="mt-style"><span>' + (output[i] || null) + '</span></td>';
 188     }
 189     s += '</table>';
 190     return s;
 191   }
 192 })();