]> git.proxmox.com Git - mirror_zfs.git/blobdiff - lib/libzfs_core/libzfs_core.c
OpenZFS 9102 - zfs should be able to initialize storage devices
[mirror_zfs.git] / lib / libzfs_core / libzfs_core.c
index ca0b3cfb5d88890884d91ea4b6b1daa796cad3c9..524a637e4a38e8eafed2dff8f855d95cea0841d0 100644 (file)
@@ -20,7 +20,7 @@
  */
 
 /*
- * Copyright (c) 2012, 2017 by Delphix. All rights reserved.
+ * Copyright (c) 2012, 2018 by Delphix. All rights reserved.
  * Copyright (c) 2013 Steven Hartland. All rights reserved.
  * Copyright (c) 2017 Datto Inc.
  * Copyright 2017 RackTop Systems.
@@ -78,6 +78,9 @@
 #include <unistd.h>
 #include <stdlib.h>
 #include <string.h>
+#ifdef ZFS_DEBUG
+#include <stdio.h>
+#endif
 #include <errno.h>
 #include <fcntl.h>
 #include <pthread.h>
@@ -91,6 +94,42 @@ static int g_fd = -1;
 static pthread_mutex_t g_lock = PTHREAD_MUTEX_INITIALIZER;
 static int g_refcount;
 
+#ifdef ZFS_DEBUG
+static zfs_ioc_t fail_ioc_cmd;
+static zfs_errno_t fail_ioc_err;
+
+static void
+libzfs_core_debug_ioc(void)
+{
+       /*
+        * To test running newer user space binaries with kernel's
+        * that don't yet support an ioctl or a new ioctl arg we
+        * provide an override to intentionally fail an ioctl.
+        *
+        * USAGE:
+        * The override variable, ZFS_IOC_TEST, is of the form "cmd:err"
+        *
+        * For example, to fail a ZFS_IOC_POOL_CHECKPOINT with a
+        * ZFS_ERR_IOC_CMD_UNAVAIL, the string would be "0x5a4d:1029"
+        *
+        * $ sudo sh -c "ZFS_IOC_TEST=0x5a4d:1029 zpool checkpoint tank"
+        * cannot checkpoint 'tank': the loaded zfs module does not support
+        * this operation. A reboot may be required to enable this operation.
+        */
+       if (fail_ioc_cmd == 0) {
+               char *ioc_test = getenv("ZFS_IOC_TEST");
+               unsigned int ioc_num = 0, ioc_err = 0;
+
+               if (ioc_test != NULL &&
+                   sscanf(ioc_test, "%i:%i", &ioc_num, &ioc_err) == 2 &&
+                   ioc_num < ZFS_IOC_LAST)  {
+                       fail_ioc_cmd = ioc_num;
+                       fail_ioc_err = ioc_err;
+               }
+       }
+}
+#endif
+
 int
 libzfs_core_init(void)
 {
@@ -103,6 +142,10 @@ libzfs_core_init(void)
                }
        }
        g_refcount++;
+
+#ifdef ZFS_DEBUG
+       libzfs_core_debug_ioc();
+#endif
        (void) pthread_mutex_unlock(&g_lock);
        return (0);
 }
@@ -135,6 +178,11 @@ lzc_ioctl(zfs_ioc_t ioc, const char *name,
        ASSERT3S(g_refcount, >, 0);
        VERIFY3S(g_fd, !=, -1);
 
+#ifdef ZFS_DEBUG
+       if (ioc == fail_ioc_cmd)
+               return (fail_ioc_err);
+#endif
+
        if (name != NULL)
                (void) strlcpy(zc.zc_name, name, sizeof (zc.zc_name));
 
@@ -258,6 +306,40 @@ lzc_promote(const char *fsname, char *snapnamebuf, int snapnamelen)
        return (0);
 }
 
+int
+lzc_remap(const char *fsname)
+{
+       int error;
+       nvlist_t *args = fnvlist_alloc();
+       error = lzc_ioctl(ZFS_IOC_REMAP, fsname, args, NULL);
+       nvlist_free(args);
+       return (error);
+}
+
+int
+lzc_rename(const char *source, const char *target)
+{
+       zfs_cmd_t zc = { "\0" };
+       int error;
+       ASSERT3S(g_refcount, >, 0);
+       VERIFY3S(g_fd, !=, -1);
+       (void) strlcpy(zc.zc_name, source, sizeof (zc.zc_name));
+       (void) strlcpy(zc.zc_value, target, sizeof (zc.zc_value));
+       error = ioctl(g_fd, ZFS_IOC_RENAME, &zc);
+       if (error != 0)
+               error = errno;
+       return (error);
+}
+int
+lzc_destroy(const char *fsname)
+{
+       int error;
+       nvlist_t *args = fnvlist_alloc();
+       error = lzc_ioctl(ZFS_IOC_DESTROY, fsname, args, NULL);
+       nvlist_free(args);
+       return (error);
+}
+
 /*
  * Creates snapshots.
  *
@@ -536,6 +618,15 @@ lzc_get_holds(const char *snapname, nvlist_t **holdsp)
  * to contain DRR_WRITE_EMBEDDED records with drr_etype==BP_EMBEDDED_TYPE_DATA,
  * which the receiving system must support (as indicated by support
  * for the "embedded_data" feature).
+ *
+ * If "flags" contains LZC_SEND_FLAG_COMPRESS, the stream is generated by using
+ * compressed WRITE records for blocks which are compressed on disk and in
+ * memory.  If the lz4_compress feature is active on the sending system, then
+ * the receiving system must have that feature enabled as well.
+ *
+ * If "flags" contains LZC_SEND_FLAG_RAW, the stream is generated, for encrypted
+ * datasets, by sending data exactly as it exists on disk.  This allows backups
+ * to be taken even if encryption keys are not currently loaded.
  */
 int
 lzc_send(const char *snapname, const char *from, int fd,
@@ -643,8 +734,9 @@ recv_read(int fd, void *buf, int ilen)
  */
 static int
 recv_impl(const char *snapname, nvlist_t *recvdprops, nvlist_t *localprops,
-    const char *origin, boolean_t force, boolean_t resumable, boolean_t raw,
-    int input_fd, const dmu_replay_record_t *begin_record, int cleanup_fd,
+    uint8_t *wkeydata, uint_t wkeylen, const char *origin, boolean_t force,
+    boolean_t resumable, boolean_t raw, int input_fd,
+    const dmu_replay_record_t *begin_record, int cleanup_fd,
     uint64_t *read_bytes, uint64_t *errflags, uint64_t *action_handle,
     nvlist_t **errors)
 {
@@ -684,7 +776,11 @@ recv_impl(const char *snapname, nvlist_t *recvdprops, nvlist_t *localprops,
                drr = *begin_record;
        }
 
-       if (resumable || raw) {
+       /*
+        * Raw receives, resumable receives, and receives that include a
+        * wrapping key all use the new interface.
+        */
+       if (resumable || raw || wkeydata != NULL) {
                nvlist_t *outnvl = NULL;
                nvlist_t *innvl = fnvlist_alloc();
 
@@ -696,6 +792,20 @@ recv_impl(const char *snapname, nvlist_t *recvdprops, nvlist_t *localprops,
                if (localprops != NULL)
                        fnvlist_add_nvlist(innvl, "localprops", localprops);
 
+               if (wkeydata != NULL) {
+                       /*
+                        * wkeydata must be placed in the special
+                        * ZPOOL_HIDDEN_ARGS nvlist so that it
+                        * will not be printed to the zpool history.
+                        */
+                       nvlist_t *hidden_args = fnvlist_alloc();
+                       fnvlist_add_uint8_array(hidden_args, "wkeydata",
+                           wkeydata, wkeylen);
+                       fnvlist_add_nvlist(innvl, ZPOOL_HIDDEN_ARGS,
+                           hidden_args);
+                       nvlist_free(hidden_args);
+               }
+
                if (origin != NULL && strlen(origin))
                        fnvlist_add_string(innvl, "origin", origin);
 
@@ -827,8 +937,8 @@ int
 lzc_receive(const char *snapname, nvlist_t *props, const char *origin,
     boolean_t force, boolean_t raw, int fd)
 {
-       return (recv_impl(snapname, props, NULL, origin, force, B_FALSE, raw,
-           fd, NULL, -1, NULL, NULL, NULL, NULL));
+       return (recv_impl(snapname, props, NULL, NULL, 0, origin, force,
+           B_FALSE, raw, fd, NULL, -1, NULL, NULL, NULL, NULL));
 }
 
 /*
@@ -841,8 +951,8 @@ int
 lzc_receive_resumable(const char *snapname, nvlist_t *props, const char *origin,
     boolean_t force, boolean_t raw, int fd)
 {
-       return (recv_impl(snapname, props, NULL, origin, force, B_TRUE, raw,
-           fd, NULL, -1, NULL, NULL, NULL, NULL));
+       return (recv_impl(snapname, props, NULL, NULL, 0, origin, force,
+           B_TRUE, raw, fd, NULL, -1, NULL, NULL, NULL, NULL));
 }
 
 /*
@@ -864,8 +974,8 @@ lzc_receive_with_header(const char *snapname, nvlist_t *props,
        if (begin_record == NULL)
                return (EINVAL);
 
-       return (recv_impl(snapname, props, NULL, origin, force, resumable, raw,
-           fd, begin_record, -1, NULL, NULL, NULL, NULL));
+       return (recv_impl(snapname, props, NULL, NULL, 0, origin, force,
+           resumable, raw, fd, begin_record, -1, NULL, NULL, NULL, NULL));
 }
 
 /*
@@ -894,9 +1004,9 @@ int lzc_receive_one(const char *snapname, nvlist_t *props,
     uint64_t *read_bytes, uint64_t *errflags, uint64_t *action_handle,
     nvlist_t **errors)
 {
-       return (recv_impl(snapname, props, NULL, origin, force, resumable,
-           raw, input_fd, begin_record, cleanup_fd, read_bytes, errflags,
-           action_handle, errors));
+       return (recv_impl(snapname, props, NULL, NULL, 0, origin, force,
+           resumable, raw, input_fd, begin_record, cleanup_fd, read_bytes,
+           errflags, action_handle, errors));
 }
 
 /*
@@ -908,15 +1018,15 @@ int lzc_receive_one(const char *snapname, nvlist_t *props,
  * this nvlist
  */
 int lzc_receive_with_cmdprops(const char *snapname, nvlist_t *props,
-    nvlist_t *cmdprops, const char *origin, boolean_t force,
-    boolean_t resumable, boolean_t raw, int input_fd,
+    nvlist_t *cmdprops, uint8_t *wkeydata, uint_t wkeylen, const char *origin,
+    boolean_t force, boolean_t resumable, boolean_t raw, int input_fd,
     const dmu_replay_record_t *begin_record, int cleanup_fd,
     uint64_t *read_bytes, uint64_t *errflags, uint64_t *action_handle,
     nvlist_t **errors)
 {
-       return (recv_impl(snapname, props, cmdprops, origin, force, resumable,
-           raw, input_fd, begin_record, cleanup_fd, read_bytes, errflags,
-           action_handle, errors));
+       return (recv_impl(snapname, props, cmdprops, wkeydata, wkeylen, origin,
+           force, resumable, raw, input_fd, begin_record, cleanup_fd,
+           read_bytes, errflags, action_handle, errors));
 }
 
 /*
@@ -1063,6 +1173,25 @@ lzc_destroy_bookmarks(nvlist_t *bmarks, nvlist_t **errlist)
        return (error);
 }
 
+static int
+lzc_channel_program_impl(const char *pool, const char *program, boolean_t sync,
+    uint64_t instrlimit, uint64_t memlimit, nvlist_t *argnvl, nvlist_t **outnvl)
+{
+       int error;
+       nvlist_t *args;
+
+       args = fnvlist_alloc();
+       fnvlist_add_string(args, ZCP_ARG_PROGRAM, program);
+       fnvlist_add_nvlist(args, ZCP_ARG_ARGLIST, argnvl);
+       fnvlist_add_boolean_value(args, ZCP_ARG_SYNC, sync);
+       fnvlist_add_uint64(args, ZCP_ARG_INSTRLIMIT, instrlimit);
+       fnvlist_add_uint64(args, ZCP_ARG_MEMLIMIT, memlimit);
+       error = lzc_ioctl(ZFS_IOC_CHANNEL_PROGRAM, pool, args, outnvl);
+       fnvlist_free(args);
+
+       return (error);
+}
+
 /*
  * Executes a channel program.
  *
@@ -1099,27 +1228,105 @@ lzc_destroy_bookmarks(nvlist_t *bmarks, nvlist_t **errlist)
 int
 lzc_channel_program(const char *pool, const char *program, uint64_t instrlimit,
     uint64_t memlimit, nvlist_t *argnvl, nvlist_t **outnvl)
+{
+       return (lzc_channel_program_impl(pool, program, B_TRUE, instrlimit,
+           memlimit, argnvl, outnvl));
+}
+
+/*
+ * Creates a checkpoint for the specified pool.
+ *
+ * If this function returns 0 the pool was successfully checkpointed.
+ *
+ * This method may also return:
+ *
+ * ZFS_ERR_CHECKPOINT_EXISTS
+ *     The pool already has a checkpoint. A pools can only have one
+ *     checkpoint at most, at any given time.
+ *
+ * ZFS_ERR_DISCARDING_CHECKPOINT
+ *     ZFS is in the middle of discarding a checkpoint for this pool.
+ *     The pool can be checkpointed again once the discard is done.
+ *
+ * ZFS_DEVRM_IN_PROGRESS
+ *     A vdev is currently being removed. The pool cannot be
+ *     checkpointed until the device removal is done.
+ *
+ * ZFS_VDEV_TOO_BIG
+ *     One or more top-level vdevs exceed the maximum vdev size
+ *     supported for this feature.
+ */
+int
+lzc_pool_checkpoint(const char *pool)
 {
        int error;
-       nvlist_t *args;
 
-       args = fnvlist_alloc();
-       fnvlist_add_string(args, ZCP_ARG_PROGRAM, program);
-       fnvlist_add_nvlist(args, ZCP_ARG_ARGLIST, argnvl);
-       fnvlist_add_uint64(args, ZCP_ARG_INSTRLIMIT, instrlimit);
-       fnvlist_add_uint64(args, ZCP_ARG_MEMLIMIT, memlimit);
-       error = lzc_ioctl(ZFS_IOC_CHANNEL_PROGRAM, pool, args, outnvl);
+       nvlist_t *result = NULL;
+       nvlist_t *args = fnvlist_alloc();
+
+       error = lzc_ioctl(ZFS_IOC_POOL_CHECKPOINT, pool, args, &result);
+
        fnvlist_free(args);
+       fnvlist_free(result);
 
        return (error);
 }
 
+/*
+ * Discard the checkpoint from the specified pool.
+ *
+ * If this function returns 0 the checkpoint was successfully discarded.
+ *
+ * This method may also return:
+ *
+ * ZFS_ERR_NO_CHECKPOINT
+ *     The pool does not have a checkpoint.
+ *
+ * ZFS_ERR_DISCARDING_CHECKPOINT
+ *     ZFS is already in the middle of discarding the checkpoint.
+ */
+int
+lzc_pool_checkpoint_discard(const char *pool)
+{
+       int error;
+
+       nvlist_t *result = NULL;
+       nvlist_t *args = fnvlist_alloc();
+
+       error = lzc_ioctl(ZFS_IOC_POOL_DISCARD_CHECKPOINT, pool, args, &result);
+
+       fnvlist_free(args);
+       fnvlist_free(result);
+
+       return (error);
+}
+
+/*
+ * Executes a read-only channel program.
+ *
+ * A read-only channel program works programmatically the same way as a
+ * normal channel program executed with lzc_channel_program(). The only
+ * difference is it runs exclusively in open-context and therefore can
+ * return faster. The downside to that, is that the program cannot change
+ * on-disk state by calling functions from the zfs.sync submodule.
+ *
+ * The return values of this function (and their meaning) are exactly the
+ * same as the ones described in lzc_channel_program().
+ */
+int
+lzc_channel_program_nosync(const char *pool, const char *program,
+    uint64_t timeout, uint64_t memlimit, nvlist_t *argnvl, nvlist_t **outnvl)
+{
+       return (lzc_channel_program_impl(pool, program, B_FALSE, timeout,
+           memlimit, argnvl, outnvl));
+}
+
 /*
  * Performs key management functions
  *
- * crypto_cmd should be a value from zfs_ioc_crypto_cmd_t. If the command
- * specifies to load or change a wrapping key, the key should be specified in
- * the hidden_args nvlist so that it is not logged
+ * crypto_cmd should be a value from dcp_cmd_t. If the command specifies to
+ * load or change a wrapping key, the key should be specified in the
+ * hidden_args nvlist so that it is not logged.
  */
 int
 lzc_load_key(const char *fsname, boolean_t noop, uint8_t *wkeydata,
@@ -1190,3 +1397,40 @@ lzc_reopen(const char *pool_name, boolean_t scrub_restart)
        nvlist_free(args);
        return (error);
 }
+
+/*
+ * Changes initializing state.
+ *
+ * vdevs should be a list of (<key>, guid) where guid is a uint64 vdev GUID.
+ * The key is ignored.
+ *
+ * If there are errors related to vdev arguments, per-vdev errors are returned
+ * in an nvlist with the key "vdevs". Each error is a (guid, errno) pair where
+ * guid is stringified with PRIu64, and errno is one of the following as
+ * an int64_t:
+ *     - ENODEV if the device was not found
+ *     - EINVAL if the devices is not a leaf or is not concrete (e.g. missing)
+ *     - EROFS if the device is not writeable
+ *     - EBUSY start requested but the device is already being initialized
+ *     - ESRCH cancel/suspend requested but device is not being initialized
+ *
+ * If the errlist is empty, then return value will be:
+ *     - EINVAL if one or more arguments was invalid
+ *     - Other spa_open failures
+ *     - 0 if the operation succeeded
+ */
+int
+lzc_initialize(const char *poolname, pool_initialize_func_t cmd_type,
+    nvlist_t *vdevs, nvlist_t **errlist)
+{
+       int error;
+       nvlist_t *args = fnvlist_alloc();
+       fnvlist_add_uint64(args, ZPOOL_INITIALIZE_COMMAND, (uint64_t)cmd_type);
+       fnvlist_add_nvlist(args, ZPOOL_INITIALIZE_VDEVS, vdevs);
+
+       error = lzc_ioctl(ZFS_IOC_POOL_INITIALIZE, poolname, args, errlist);
+
+       fnvlist_free(args);
+
+       return (error);
+}