Implement database schema versioning.
[sliver-openvswitch.git] / ovsdb / ovsdb-client.c
index da7faf6..da6a6d6 100644 (file)
 #include "table.h"
 #include "timeval.h"
 #include "util.h"
-
 #include "vlog.h"
-#define THIS_MODULE VLM_ovsdb_client
+
+VLOG_DEFINE_THIS_MODULE(ovsdb_client);
 
 /* --format: Output formatting. */
 static enum {
     FMT_TABLE,                  /* Textual table. */
     FMT_HTML,                   /* HTML table. */
-    FMT_CSV                     /* Comma-separated lines. */
+    FMT_CSV,                    /* Comma-separated lines. */
+    FMT_JSON                    /* JSON. */
 } output_format;
 
 /* --no-headings: Whether table output should include headings. */
@@ -74,8 +75,6 @@ main(int argc, char *argv[])
 {
     proctitle_init(argc, argv);
     set_program_name(argv[0]);
-    time_init();
-    vlog_init();
     parse_options(argc, argv);
     signal(SIGPIPE, SIG_IGN);
     run_command(argc - optind, argv + optind, all_commands);
@@ -121,6 +120,8 @@ parse_options(int argc, char *argv[])
                 output_format = FMT_HTML;
             } else if (!strcmp(optarg, "csv")) {
                 output_format = FMT_CSV;
+            } else if (!strcmp(optarg, "json")) {
+                output_format = FMT_JSON;
             } else {
                 ovs_fatal(0, "unknown output format \"%s\"", optarg);
             }
@@ -181,6 +182,9 @@ usage(void)
            "    list databases available on SERVER\n"
            "\n  get-schema SERVER DATABASE\n"
            "    retrieve schema for DATABASE from SERVER\n"
+           "\n  get-schema-version SERVER DATABASE\n"
+           "    retrieve schema for DATABASE from SERVER and report only its\n"
+           "    version number on stdout\n"
            "\n  list-tables SERVER DATABASE\n"
            "    list tables for DATABASE on SERVER\n"
            "\n  list-columns SERVER DATABASE [TABLE]\n"
@@ -188,16 +192,18 @@ usage(void)
            "\n  transact SERVER TRANSACTION\n"
            "    run TRANSACTION (a JSON array of operations) on SERVER\n"
            "    and print the results as JSON on stdout\n"
-           "\n  monitor SERVER DATABASE TABLE [COLUMN,...] [SELECT,...]\n"
-           "    monitor contents of (COLUMNs in) TABLE in DATABASE on SERVER\n"
-           "    Valid SELECTs are: initial, insert, delete, modify\n"
+           "\n  monitor SERVER DATABASE TABLE [COLUMN,...]...\n"
+           "    monitor contents of COLUMNs in TABLE in DATABASE on SERVER.\n"
+           "    COLUMNs may include !initial, !insert, !delete, !modify\n"
+           "    to avoid seeing the specified kinds of changes.\n"
            "\n  dump SERVER DATABASE\n"
            "    dump contents of DATABASE on SERVER to stdout\n",
            program_name, program_name);
     stream_usage("SERVER", true, true, true);
     printf("\nOutput formatting options:\n"
            "  -f, --format=FORMAT         set output formatting to FORMAT\n"
-           "                              (\"table\", \"html\", or \"csv\"\n"
+           "                              (\"table\", \"html\", \"csv\", "
+           "or \"json\")\n"
            "  --no-headings               omit table heading row\n"
            "  --pretty                    pretty-print JSON in output");
     daemon_usage();
@@ -224,11 +230,11 @@ open_jsonrpc(const char *server)
     struct stream *stream;
     int error;
 
-    error = stream_open_block(server, &stream);
+    error = stream_open_block(jsonrpc_stream_open(server, &stream), &stream);
     if (error == EAFNOSUPPORT) {
         struct pstream *pstream;
 
-        error = pstream_open(server, &pstream);
+        error = jsonrpc_pstream_open(server, &pstream);
         if (error) {
             ovs_fatal(error, "failed to connect or listen to \"%s\"", server);
         }
@@ -306,11 +312,60 @@ fetch_schema(const char *server, const char *database)
 \f
 struct column {
     char *heading;
-    int width;
 };
 
+struct cell {
+    /* Literal text. */
+    char *text;
+
+    /* JSON. */
+    struct json *json;
+    const struct ovsdb_type *type;
+};
+
+static const char *
+cell_to_text(const struct cell *cell_)
+{
+    struct cell *cell = (struct cell *) cell_;
+    if (!cell->text) {
+        if (cell->json) {
+            if (data_format == DF_JSON || !cell->type) {
+                cell->text = json_to_string(cell->json, JSSF_SORT);
+            } else if (data_format == DF_STRING) {
+                struct ovsdb_datum datum;
+                struct ovsdb_error *error;
+                struct ds s;
+
+                error = ovsdb_datum_from_json(&datum, cell->type, cell->json,
+                                              NULL);
+                if (!error) {
+                    ds_init(&s);
+                    ovsdb_datum_to_string(&datum, cell->type, &s);
+                    ovsdb_datum_destroy(&datum, cell->type);
+                    cell->text = ds_steal_cstr(&s);
+                } else {
+                    cell->text = json_to_string(cell->json, JSSF_SORT);
+                }
+            } else {
+                NOT_REACHED();
+            }
+        } else {
+            cell->text = xstrdup("");
+        }
+    }
+
+    return cell->text;
+}
+
+static void
+cell_destroy(struct cell *cell)
+{
+    free(cell->text);
+    json_destroy(cell->json);
+}
+
 struct table {
-    char **cells;
+    struct cell *cells;
     struct column *columns;
     size_t n_columns, allocated_columns;
     size_t n_rows, allocated_rows;
@@ -335,7 +390,7 @@ table_destroy(struct table *table)
     free(table->columns);
 
     for (i = 0; i < table->n_columns * table->n_rows; i++) {
-        free(table->cells[i]);
+        cell_destroy(&table->cells[i]);
     }
     free(table->cells);
 
@@ -368,11 +423,10 @@ table_add_column(struct table *table, const char *heading, ...)
 
     va_start(args, heading);
     column->heading = xvasprintf(heading, args);
-    column->width = strlen(column->heading);
     va_end(args);
 }
 
-static char **
+static struct cell *
 table_cell__(const struct table *table, size_t row, size_t column)
 {
     return &table->cells[column + row * table->n_columns];
@@ -391,37 +445,23 @@ table_add_row(struct table *table)
     y = table->n_rows++;
     table->current_column = 0;
     for (x = 0; x < table->n_columns; x++) {
-        *table_cell__(table, y, x) = NULL;
+        struct cell *cell = table_cell__(table, y, x);
+        memset(cell, 0, sizeof *cell);
     }
 }
 
-static void
-table_add_cell_nocopy(struct table *table, char *s)
+static struct cell *
+table_add_cell(struct table *table)
 {
     size_t x, y;
-    int length;
 
     assert(table->n_rows > 0);
     assert(table->current_column < table->n_columns);
 
     x = table->current_column++;
     y = table->n_rows - 1;
-    *table_cell__(table, y, x) = s;
-
-    length = strlen(s);
-    if (length > table->columns[x].width) {
-        table->columns[x].width = length;
-    }
-}
-
-static void
-table_add_cell(struct table *table, const char *format, ...)
-{
-    va_list args;
 
-    va_start(args, format);
-    table_add_cell_nocopy(table, xvasprintf(format, args));
-    va_end(args);
+    return table_cell__(table, y, x);
 }
 
 static void
@@ -436,48 +476,63 @@ table_print_table__(const struct table *table)
 {
     static int n = 0;
     struct ds line = DS_EMPTY_INITIALIZER;
+    int *widths;
     size_t x, y;
 
     if (n++ > 0) {
         putchar('\n');
     }
 
+    if (table->caption) {
+        puts(table->caption);
+    }
+
+    widths = xmalloc(table->n_columns * sizeof *widths);
+    for (x = 0; x < table->n_columns; x++) {
+        const struct column *column = &table->columns[x];
+
+        widths[x] = strlen(column->heading);
+        for (y = 0; y < table->n_rows; y++) {
+            const char *text = cell_to_text(table_cell__(table, y, x));
+            size_t length = strlen(text);
+
+            if (length > widths[x])
+                widths[x] = length;
+        }
+    }
+
     if (output_headings) {
         for (x = 0; x < table->n_columns; x++) {
             const struct column *column = &table->columns[x];
             if (x) {
                 ds_put_char(&line, ' ');
             }
-            ds_put_format(&line, "%-*s", column->width, column->heading);
+            ds_put_format(&line, "%-*s", widths[x], column->heading);
         }
         table_print_table_line__(&line);
 
         for (x = 0; x < table->n_columns; x++) {
-            const struct column *column = &table->columns[x];
-            int i;
-
             if (x) {
                 ds_put_char(&line, ' ');
             }
-            for (i = 0; i < column->width; i++) {
-                ds_put_char(&line, '-');
-            }
+            ds_put_char_multiple(&line, '-', widths[x]);
         }
         table_print_table_line__(&line);
     }
 
     for (y = 0; y < table->n_rows; y++) {
         for (x = 0; x < table->n_columns; x++) {
-            const char *cell = *table_cell__(table, y, x);
+            const char *text = cell_to_text(table_cell__(table, y, x));
             if (x) {
                 ds_put_char(&line, ' ');
             }
-            ds_put_format(&line, "%-*s", table->columns[x].width, cell);
+            ds_put_format(&line, "%-*s", widths[x], text);
         }
         table_print_table_line__(&line);
     }
 
     ds_destroy(&line);
+    free(widths);
 }
 
 static void
@@ -551,7 +606,7 @@ table_print_html__(const struct table *table)
     for (y = 0; y < table->n_rows; y++) {
         fputs("  <tr>\n", stdout);
         for (x = 0; x < table->n_columns; x++) {
-            const char *content = *table_cell__(table, y, x);
+            const char *content = cell_to_text(table_cell__(table, y, x));
 
             if (!strcmp(table->columns[x].heading, "_uuid")) {
                 fputs("    <td><a name=\"", stdout);
@@ -622,12 +677,52 @@ table_print_csv__(const struct table *table)
             if (x) {
                 putchar(',');
             }
-            table_print_csv_cell__(*table_cell__(table, y, x));
+            table_print_csv_cell__(cell_to_text(table_cell__(table, y, x)));
         }
         putchar('\n');
     }
 }
 
+static void
+table_print_json__(const struct table *table)
+{
+    struct json *json, *headings, *data;
+    size_t x, y;
+    char *s;
+
+    json = json_object_create();
+    if (table->caption) {
+        json_object_put_string(json, "caption", table->caption);
+    }
+
+    headings = json_array_create_empty();
+    for (x = 0; x < table->n_columns; x++) {
+        const struct column *column = &table->columns[x];
+        json_array_add(headings, json_string_create(column->heading));
+    }
+    json_object_put(json, "headings", headings);
+
+    data = json_array_create_empty();
+    for (y = 0; y < table->n_rows; y++) {
+        struct json *row = json_array_create_empty();
+        for (x = 0; x < table->n_columns; x++) {
+            const struct cell *cell = table_cell__(table, y, x);
+            if (cell->text) {
+                json_array_add(row, json_string_create(cell->text));
+            } else {
+                json_array_add(row, json_clone(cell->json));
+            }
+        }
+        json_array_add(data, row);
+    }
+    json_object_put(json, "data", data);
+
+    s = json_to_string(json, json_flags);
+    json_destroy(json);
+    puts(s);
+    free(s);
+}
+
 static void
 table_print(const struct table *table)
 {
@@ -643,6 +738,10 @@ table_print(const struct table *table)
     case FMT_CSV:
         table_print_csv__(table);
         break;
+
+    case FMT_JSON:
+        table_print_json__(table);
+        break;
     }
 }
 \f
@@ -685,6 +784,14 @@ do_get_schema(int argc OVS_UNUSED, char *argv[])
     ovsdb_schema_destroy(schema);
 }
 
+static void
+do_get_schema_version(int argc OVS_UNUSED, char *argv[])
+{
+    struct ovsdb_schema *schema = fetch_schema(argv[1], argv[2]);
+    puts(schema->version);
+    ovsdb_schema_destroy(schema);
+}
+
 static void
 do_list_tables(int argc OVS_UNUSED, char *argv[])
 {
@@ -699,7 +806,7 @@ do_list_tables(int argc OVS_UNUSED, char *argv[])
         struct ovsdb_table_schema *ts = node->data;
 
         table_add_row(&t);
-        table_add_cell(&tts->name);
+        table_add_cell(&t)->text = xstrdup(ts->name);
     }
     ovsdb_schema_destroy(schema);
     table_print(&t);
@@ -728,16 +835,13 @@ do_list_columns(int argc OVS_UNUSED, char *argv[])
 
             SHASH_FOR_EACH (column_node, &ts->columns) {
                 const struct ovsdb_column *column = column_node->data;
-                struct json *type = ovsdb_type_to_json(&column->type);
 
                 table_add_row(&t);
                 if (!table_name) {
-                    table_add_cell(&tts->name);
+                    table_add_cell(&t)->text = xstrdup(ts->name);
                 }
-                table_add_cell(&t, column->name);
-                table_add_cell_nocopy(&t, json_to_string(type, JSSF_SORT));
-
-                json_destroy(type);
+                table_add_cell(&t)->text = xstrdup(column->name);
+                table_add_cell(&t)->json = ovsdb_type_to_json(&column->type);
             }
         }
     }
@@ -771,30 +875,6 @@ do_transact(int argc OVS_UNUSED, char *argv[])
     jsonrpc_close(rpc);
 }
 
-static char *
-format_json(const struct json *json, const struct ovsdb_type *type)
-{
-    if (data_format == DF_JSON) {
-        return json_to_string(json, JSSF_SORT);
-    } else if (data_format == DF_STRING) {
-        struct ovsdb_datum datum;
-        struct ovsdb_error *error;
-        struct ds s;
-
-        error = ovsdb_datum_from_json(&datum, type, json, NULL);
-        if (error) {
-            return json_to_string(json, JSSF_SORT);
-        }
-
-        ds_init(&s);
-        ovsdb_datum_to_string(&datum, type, &s);
-        ovsdb_datum_destroy(&datum, type);
-        return ds_steal_cstr(&s);
-    } else {
-        NOT_REACHED();
-    }
-}
-
 static void
 monitor_print_row(struct json *row, const char *type, const char *uuid,
                   const struct ovsdb_column_set *columns, struct table *t)
@@ -810,15 +890,15 @@ monitor_print_row(struct json *row, const char *type, const char *uuid,
     }
 
     table_add_row(t);
-    table_add_cell(tuuid);
-    table_add_cell(ttype);
+    table_add_cell(t)->text = xstrdup(uuid);
+    table_add_cell(t)->text = xstrdup(type);
     for (i = 0; i < columns->n_columns; i++) {
         const struct ovsdb_column *column = columns->columns[i];
         struct json *value = shash_find_data(json_object(row), column->name);
+        struct cell *cell = table_add_cell(t);
         if (value) {
-            table_add_cell_nocopy(t, format_json(value, &column->type));
-        } else {
-            table_add_cell(t, "");
+            cell->json = json_clone(value);
+            cell->type = &column->type;
         }
     }
 }
@@ -878,6 +958,87 @@ monitor_print(struct json *table_updates,
     table_destroy(&t);
 }
 
+static void
+add_column(const char *server, const struct ovsdb_column *column,
+           struct ovsdb_column_set *columns, struct json *columns_json)
+{
+    if (ovsdb_column_set_contains(columns, column->index)) {
+        ovs_fatal(0, "%s: column \"%s\" mentioned multiple times",
+                  server, column->name);
+    }
+    ovsdb_column_set_add(columns, column);
+    json_array_add(columns_json, json_string_create(column->name));
+}
+
+static struct json *
+parse_monitor_columns(char *arg, const char *server, const char *database,
+                      const struct ovsdb_table_schema *table,
+                      struct ovsdb_column_set *columns)
+{
+    bool initial, insert, delete, modify;
+    struct json *mr, *columns_json;
+    char *save_ptr = NULL;
+    char *token;
+
+    mr = json_object_create();
+    columns_json = json_array_create_empty();
+    json_object_put(mr, "columns", columns_json);
+
+    initial = insert = delete = modify = true;
+    for (token = strtok_r(arg, ",", &save_ptr); token != NULL;
+         token = strtok_r(NULL, ",", &save_ptr)) {
+        if (!strcmp(token, "!initial")) {
+            initial = false;
+        } else if (!strcmp(token, "!insert")) {
+            insert = false;
+        } else if (!strcmp(token, "!delete")) {
+            delete = false;
+        } else if (!strcmp(token, "!modify")) {
+            modify = false;
+        } else {
+            const struct ovsdb_column *column;
+
+            column = ovsdb_table_schema_get_column(table, token);
+            if (!column) {
+                ovs_fatal(0, "%s: table \"%s\" in %s does not have a "
+                          "column named \"%s\"",
+                          server, table->name, database, token);
+            }
+            add_column(server, column, columns, columns_json);
+        }
+    }
+
+    if (columns_json->u.array.n == 0) {
+        const struct shash_node **nodes;
+        size_t i, n;
+
+        n = shash_count(&table->columns);
+        nodes = shash_sort(&table->columns);
+        for (i = 0; i < n; i++) {
+            const struct ovsdb_column *column = nodes[i]->data;
+            if (column->index != OVSDB_COL_UUID
+                && column->index != OVSDB_COL_VERSION) {
+                add_column(server, column, columns, columns_json);
+            }
+        }
+        free(nodes);
+
+        add_column(server, ovsdb_table_schema_get_column(table,"_version"),
+                   columns, columns_json);
+    }
+
+    if (!initial || !insert || !delete || !modify) {
+        struct json *select = json_object_create();
+        json_object_put(select, "initial", json_boolean_create(initial));
+        json_object_put(select, "insert", json_boolean_create(insert));
+        json_object_put(select, "delete", json_boolean_create(delete));
+        json_object_put(select, "modify", json_boolean_create(modify));
+        json_object_put(mr, "select", select);
+    }
+
+    return mr;
+}
+
 static void
 do_monitor(int argc, char *argv[])
 {
@@ -889,8 +1050,8 @@ do_monitor(int argc, char *argv[])
     struct ovsdb_schema *schema;
     struct jsonrpc_msg *request;
     struct jsonrpc *rpc;
-    struct json *select, *monitor, *monitor_request, *monitor_requests,
-        *request_id;
+    struct json *monitor, *monitor_request_array,
+        *monitor_requests, *request_id;
 
     rpc = open_jsonrpc(server);
 
@@ -901,54 +1062,27 @@ do_monitor(int argc, char *argv[])
                   server, database, table_name);
     }
 
-    if (argc >= 5 && *argv[4] != '\0') {
-        char *save_ptr = NULL;
-        char *token;
-
-        for (token = strtok_r(argv[4], ",", &save_ptr); token != NULL;
-             token = strtok_r(NULL, ",", &save_ptr)) {
-            const struct ovsdb_column *column;
-            column = ovsdb_table_schema_get_column(table, token);
-            if (!column) {
-                ovs_fatal(0, "%s: table \"%s\" in %s does not have a "
-                          "column named \"%s\"",
-                          server, table_name, database, token);
-            }
-            ovsdb_column_set_add(&columns, column);
-        }
-    } else {
-        struct shash_node *node;
-
-        SHASH_FOR_EACH (node, &table->columns) {
-            const struct ovsdb_column *column = node->data;
-            if (column->index != OVSDB_COL_UUID) {
-                ovsdb_column_set_add(&columns, column);
-            }
-        }
-    }
-
-    if (argc >= 6 && *argv[5] != '\0') {
-        char *save_ptr = NULL;
-        char *token;
+    monitor_request_array = json_array_create_empty();
+    if (argc > 4) {
+        int i;
 
-        select = json_object_create();
-        for (token = strtok_r(argv[5], ",", &save_ptr); token != NULL;
-             token = strtok_r(NULL, ",", &save_ptr)) {
-            json_object_put(select, token, json_boolean_create(true));
+        for (i = 4; i < argc; i++) {
+            json_array_add(
+                monitor_request_array,
+                parse_monitor_columns(argv[i], server, database, table,
+                                      &columns));
         }
     } else {
-        select = NULL;
-    }
-
-    monitor_request = json_object_create();
-    json_object_put(monitor_request,
-                    "columns", ovsdb_column_set_to_json(&columns));
-    if (select) {
-        json_object_put(monitor_request, "select", select);
+        /* Allocate a writable empty string since parse_monitor_columns() is
+         * going to strtok() it and that's risky with literal "". */
+        char empty[] = "";
+        json_array_add(
+            monitor_request_array,
+            parse_monitor_columns(empty, server, database, table, &columns));
     }
 
     monitor_requests = json_object_create();
-    json_object_put(monitor_requests, table_name, monitor_request);
+    json_object_put(monitor_requests, table_name, monitor_request_array);
 
     monitor = json_array_create_3(json_string_create(database),
                                   json_null_create(), monitor_requests);
@@ -1049,25 +1183,6 @@ swap_rows(size_t a_y, size_t b_y, void *aux_)
     aux->data[b_y] = tmp;
 }
 
-static char *
-format_data(const struct ovsdb_datum *datum, const struct ovsdb_type *type)
-{
-    if (data_format == DF_JSON) {
-        struct json *json = ovsdb_datum_to_json(datum, type);
-        char *s = json_to_string(json, JSSF_SORT);
-        json_destroy(json);
-        return s;
-    } else if (data_format == DF_STRING) {
-        struct ds s;
-
-        ds_init(&s);
-        ovsdb_datum_to_string(datum, type, &s);
-        return ds_steal_cstr(&s);
-    } else {
-        NOT_REACHED();
-    }
-}
-
 static int
 compare_columns(const void *a_, const void *b_)
 {
@@ -1145,8 +1260,9 @@ dump_table(const struct ovsdb_table_schema *ts, struct json_array *rows)
     for (y = 0; y < rows->n; y++) {
         table_add_row(&t);
         for (x = 0; x < n_columns; x++) {
-            table_add_cell_nocopy(&t, format_data(&data[y][x],
-                                                  &columns[x]->type));
+            struct cell *cell = table_add_cell(&t);
+            cell->json = ovsdb_datum_to_json(&data[y][x], &columns[x]->type);
+            cell->type = &columns[x]->type;
         }
     }
     table_print(&t);
@@ -1239,10 +1355,11 @@ do_help(int argc OVS_UNUSED, char *argv[] OVS_UNUSED)
 static const struct command all_commands[] = {
     { "list-dbs", 1, 1, do_list_dbs },
     { "get-schema", 2, 2, do_get_schema },
+    { "get-schema-version", 2, 2, do_get_schema_version },
     { "list-tables", 2, 2, do_list_tables },
     { "list-columns", 2, 3, do_list_columns },
     { "transact", 2, 2, do_transact },
-    { "monitor", 3, 5, do_monitor },
+    { "monitor", 3, INT_MAX, do_monitor },
     { "dump", 2, 2, do_dump },
     { "help", 0, INT_MAX, do_help },
     { NULL, 0, 0, NULL },