Merge branch 'upstream'

Add parted and lsscsi dependencies to zfs-test

The zfault.sh and zconfig.sh test scripts requires the parted
utility, the lsscsi utility, and the scsi_debug module.  To
ensure the utilities are available they have been added as
dependencies to zfs-test package.  Checking for scsi_debug
is a little more problematic because if it's missing you will
need to build it.  For clarity the documention has been updated
to mention this.

Closes #205
Closes #206

Add Gunnar Beutner to AUTHORS for his contributions

Truncate the xattr znode when updating existing attributes.

If the attribute's new value was shorter than the old one the old
code would leave parts of the old value in the xattr znode.

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>
Closes #203

Added missing initialization for va.va_dentry in zfs_get_xattrdir.

Without this we may mistakenly believe we have a dentry and try to
d_instantiate() it.  This will result in the following BUG.  It's
important to note that while the xattr directory has an inode
assoicated with it we never create a dentry for it.

  kernel BUG at fs/dcache.c:1418!

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>
Closes #202

Support IEC base-2 prefixes

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Cleanup various Sun/Solaris-isms

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Update the version in the zpool upgrade example

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Normalize the deferred destruction language

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Improve the wording about hot spares

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Improve some quoting consistency

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Remove a stray tab

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Linux has "partitions", not "slices"

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Use Linux disk names in zpool.8

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

More and correct an example in zpool.8

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Change /dev/dsk -> /dev in the man pages

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Correct man page section numbers for Linux

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Set -Wno-unused-but-set-variable globally

As of gcc-4.6 the option -Wunused-but-set-variable is enabled by
default.  While this is a useful warning there are numerous places
in the ZFS code when a variable is set and then only checked in an
ASSERT().  To avoid having to update every instance of this in the
code we now set -Wno-unused-but-set-variable to suppress the warning.

Additionally, when building with --enable-debug and -Werror set these
warning also become fatal.  We can reevaluate the suppression of these
error at a later time if it becomes an issue.  For now we are basically
just reverting to the previous gcc behavior.

Fix gcc configure warnings

Newer versions of gcc are getting smart enough to detect the sloppy
syntax used for the autoconf tests.  It is now generating warnings
for unused/undeclared variables.  Newer version of gcc even have
the -Wunused-but-set-variable option set by default.  This isn't a
problem except when -Werror is set and they get promoted to an error.
In this case the autoconf test will return an incorrect result which
will result in a build failure latter on.

To handle this I'm tightening up many of the autoconf tests to
explicitly mark variables as unused to suppress the gcc warning.
Remember, all of the autoconf code can never actually be run we
just want to get a clean build error to detect which APIs are
available.  Never using a variable is absolutely fine for this.

Closes #176

Fix gcc compiler warning, parse_option()

When compiling ZFS in user space gcc-4.6.0 correctly identifies
the variable 'value' as being set but never used.  This generates a
warning and a build failure when using --enable-debug.  Once again
this is correct but I'm reluctant to remove 'value' because we are
breaking the string in to name/value pairs.  While it is not used
now there's a good chance it will be soon and I'd rather not have
to reinvent this.  To suppress the warning with just as a VERIFY().
This was observed under Fedora 15.

  cmd/mount_zfs/mount_zfs.c: In function ‘parse_option’:
  cmd/mount_zfs/mount_zfs.c:112:21: error: variable ‘value’ set but not
  used [-Werror=unused-but-set-variable]

Fix gcc compiler warning, dsl_pool_create()

When compiling ZFS in user space gcc-4.6.0 correctly identifies
the variable 'os' as being set but never used.  This generates a
warning and a build failure when using --enable-debug.  However,
the code is correct we only want to use 'os' for the kernel space
builds.  To suppress the warning the call was wrapped with a
VERIFY() which has the nice side effect of ensuring the 'os'
actually never is NULL.  This was observed under Fedora 15.

  module/zfs/dsl_pool.c: In function ‘dsl_pool_create’:
  module/zfs/dsl_pool.c:229:12: error: variable ‘os’ set but not used
  [-Werror=unused-but-set-variable]

Linux 2.6.39 compat, invalidate_inodes()

Update code to use the spl_invalidate_inodes() wrapper.  This hides
some of the complexity of determining if invalidate_inodes() was
exported, and if so what is its prototype.  The second argument
of spl_invalidate_inodes() determined the behavior of how dirty
inodes are handled.  By passing a zero we are indicated that we
want those inodes to be treated as busy and skipped.

Autogen refresh for kernel-insert-inode-locked.m4

Several Makefile.in's were accidentally not updated when the
kernel-insert-inode-locked.m4 check was added.  This change simply
refreshes the missed files.

Merge branch 'kfreebsd'

Add a NEWS entry for the decomposition and rename.

Fix rebuildable RPMs for el6/ch5

When rebuilding the source RPM under el5 you need to append the
target_cpu.  However, under el6/ch5 things are packaged correctly
and the arch is already part of kver.  For this reason it also
needs to be stripped from kver when setting kverpkg.

Align closing fi in mount-zfs.sh

Use consistent indentation in mount-zfs.sh

Fix a couple comments

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Linux 2.6.29 compat, credentials

The .sync_fs fix as applied did not use the updated SPL credential
API.  This broke builds on Debian Lenny, this change applies the
needed fix to use the portable API.  The original credential changes
are part of commit 81e97e21872a9c38ad66c37fafe1436ee25abee3.

Add a zfs-grub dependency to zfs-initramfs.

The grub-common package at ppa:dajhorn/zfs-grub provides a
virtual zfs-grub package.

Updating the initrd on a system with a ZFS root filesystem
requires that the grub-probe utility from the grub2 source
package be compiled against a native libzfs.

The /etc/grub.d runparts must also recognize the ZFS root
filesystem so that appropriate kernel command line
parameters are added to the /boot/grub/grub.cfg file.

Use git-dch to update the debian/changelog.

Merge branch 'upstream' into kfreebsd

Prep zfs-0.6.0-rc3 tag

Create the third 0.6.0 release candidate tag (rc3).

Update zfs.fedora init script

Apply all of Rudd-O's changes for the Fedora init script.  The
initial init script was one I threw together based on Rudd-O's
original work.  It worked for me but it has some flaws.

Rudd-O has invested considerable time updating it to be significantly
smarter.  It now handles using ZFS as your root filesystem plus
various other quirks.  Since he is familiar with the right
way to do things on Fedora and has tested this init script we
are integrating all of his changes.

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Upstream zfs-0.6.0-rc3 tag. Use 0.6.0.7 instead.

Merge branch 'upstream' into kfreebsd

Permit both mountpoint=legacy and mountpoint=/ in initrd

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Added .gitignore for mount.zfs and zvol_id

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Fix ASSERTION(!dsl_pool_sync_context(tx->tx_pool))

Disable the normal reclaim path for the txg_sync thread.  This
ensures the thread will never enter dmu_tx_assign() which can
otherwise occur due to direct reclaim.  If this is allowed to
happen the system can deadlock.  Direct reclaim call path:

  ->shrink_icache_memory->prune_icache->dispose_list->
  clear_inode->zpl_clear_inode->zfs_inactive->dmu_tx_assign

Add direct+indirect ARC reclaim

Under OpenSolaris all memory reclaim is done asyncronously.  Under
Linux memory reclaim is done asynchronously _and_ synchronously.
When a process allocates memory with GFP_KERNEL it explicitly allows
the kernel to do reclaim on its behalf to satify the allocation.
If that GFP_KERNEL allocation fails the kernel may take more drastic
measures to reclaim the memory such as killing user space processes.

This was observed to happen with ZFS because the ARC could consume
a large fraction of the system memory but no synchronous reclaim
could be performed on it.  The result was GFP_KERNEL allocations
could fail resulting in OOM events, and only moments latter the
arc_reclaim thread would free unused memory from the ARC.

This change leaves the arc_thread in place to manage the fundamental
ARC behavior.  But it adds a synchronous (direct) reclaim path for
the ARC which can be called when memory is badly needed.  It also
adds an asynchronous (indirect) reclaim path which is called
much more frequently to prune the ARC slab caches.

Add missing arcstats

The following useful values were missing the arcstats.  This change
adds them in to provide greater visibility in to the arcs behavior.

arc_no_grow                     4    0
arc_tempreserve                 4    0
arc_loaned_bytes                4    0
arc_meta_used                   4    624774592
arc_meta_limit                  4    400785408
arc_meta_max                    4    625594176

Call d_instantiate before unlocking inode

Under Linux a dentry referencing an inode must be instantiated before
the inode is unlocked.  To accomplish this without overly modifing
the core ZFS code the dentry it passed via the vattr_t.  There are
cases such as replay when a dentry is not available.  In which case
it is obviously not initialized at inode creation time, if a dentry
is needed it will be spliced as when required via d_lookup().

Use git-dch to update the debian/changelog.

Partial autogen updates.

The previous commit failed to compile properly in the PPA build
environment because the configure script was not updated.

Use git-dch to update the debian/changelog.

Full upstream merge. Use zfs-0.6.0.6 as the unofficial upstream version.

Remove volume and swap handling from the init script.

Managing volumes and swap areas in the init script like
Debian kFreeBSD does is appealing, but providing an
alternative management facility for these things adds
unnecessary complexity.

Add ${shlibs:Depends} to each control stanza.

Satisfy the dpkg-gencontrol warning and specify the external
dependencies for each library package.

Move udev rules from /etc to /lib.

Install 60-zpool.rules and 60-zvol.rules to /lib/udev/rules.d
instead of /etc/udev/rules.d according to packaging convention.

Disable dracut instead of reverting it.

Rename /etc/default/zfsload during upgrades.

Preserve the /etc/default/zfsload configuration file by
renaming it to /etc/default/zfs during the replacement
upgrade from the zfs package to the zfsutils package.

Ignore `zfs unmount -a` errors in the init script.

The default dh_installinit prerm script tries to stop the zfs init
script, which causes package upgrade errors on busy systems.

Remove `make distclean` kludge.

The module/Makefile.in template is updated such that
`make distclean` succeeds after `./configure --with-config=user`.

Merge branch 'upstream' into kfreebsd

Merge branch 'upstream'

Fix `make distclean` for `./configure --with-config=user

    Making distclean in module
    make[1]: Entering directory `/zfs/module'
    make -C  SUBDIRS=`pwd`  clean
    make: Entering an unknown directory
    make: *** SUBDIRS=/zfs/module: No such file or directory.  Stop.

When using --with-config=user the 'distclean' target would fail
because it assumes the kernel configuration infrastrure is set up.
This is not the case, nor does it need to be, because the
'--with-config=user' option will prune the entire ./module subtree
from SUBDIRS.  This prevents most build rules from operating in the
./module directory.

However, the 'dist*' rules will still traverse this directory
because it is listed in DIST_SUBDIRS.  This is correct because we
need to ensure the dist rules package the directory contents
regardless of the configuration for the 'dist' rule.  The correct
way to handle this is to only invoke the kernel build system as
part of the 'clean' rule when CONFIG_KERNEL_TRUE is set.

Initial fix provided by Darik Horn <dajhorn@vanadac.com>.
This commit is a slightly refined form of the original.

Call udevadm trigger more safely

Some udev hooks are not designed to be idempotent, so calling udevadm
trigger outside of the distribution's initialization scripts can have
unexpected (and potentially dangerous) side effects.  For example, the
system time may change or devices may appear multiple times.  See Ubuntu
launchpad bug 320200 and this mailing list post for more details:

https://lists.ubuntu.com/archives/ubuntu-devel/2009-January/027260.html

To avoid these problems we call udevadm trigger with --action=change
--subsystem-match=block.  The first argument tells udev just to refresh
devices, and make sure everything's as it should be.  The second
argument limits the scope to block devices, so devices belonging to
other subsystems cannot be affected.

This doesn't fix the problem on older udev implementations that don't
provide udevadm but instead have udevtrigger as a standalone program.
In this case the above options aren't available so there's no way to
call call udevtrigger safely.  But we can live with that since this
issue only exists in optional test and helper scripts, and most
zfs-on-linux users are running newer systems anyways.

Update CHAOS 5 Packaging

The CHAOS 5 kernels are now packaged identially to the RHEL6 kernels.
Therefore we can simply use the RHEL6 rules in the spec file when
building packages.

Fix libzpool cv_* build error

This build failure was accidentally introduced by previous commit
bfd214a which fixed the load average.  Unfortunately, the wrapper
for cv_wait_interruptible was not available in the zfs_context.h
user compatibility code.  I failed to notice this because I didn't
rebuild everything cleanly before committing.

  undefined reference to `cv_wait_interruptible'
  collect2: ld returned 1 exit status

Closes #181

Fix inflated load average

Kernel threads which sleep uninterruptibly on Linux are marked in the (D)
state.  These threads are usually in the process of performing IO and are
thus counted against the load average.  The txg_quiesce and txg_sync threads
were always sleeping uninterruptibly and thus inflating the load average.

This change makes them sleep interruptibly.  Some care is required however
because these threads may now be woken early by signals.  In this case the
callers are all careful to check that the required conditions are met after
waking up.  If we're woken early due to a signal they will simply go back
to sleep.  In this case these changes are safe.

Closes #175

Manually update the debian/changelog.

Force the dkms.conf file into the zfs-dkms package.

Rename the debian/dkms file to debian/zfs-dkms.dkms so that
the dkms.conf file is included in the zfs-dkms package.

The dh_dkms debhelper put the dkms.conf file into the
libavl0 package after the library decomposition, which
caused upgrade errors.

Manually update the debian/changelog.

Add the /etc/default/zfs import to the init script.

The init script is disabled by default.

Link /proc/mounts to /etc/mtab.

During system start, the /etc/init/mountall.conf on Ubuntu is unable to
generate the /etc/mtab file from the /proc/mounts file if a ZFS filesystem is
already mounted.

However, mountall 2.18 behaves properly if /etc/mtab is a symlink to
/proc/mounts.  This version was first published in Ubuntu Maverick.

Additionally, the mountall package is peculiar to Ubuntu, so the mountall
dependency breaks Debian compatibility.  A better solution would be to update
mountall to recognize ZFS mounts, or to find a proc syntax that mountall
already recognizes.

Manually update the debian/changelog.

Merge branch 'master' into kfreebsd

Conflicts:
debian/changelog

Print initramfs errors in a sensible order.

If the zfs script must drop into a recovery shell, then print the error message
and error number after the command invocation that failed.

Use `mount.zfs` instead of `zfs mount` in the initramfs.

Revert to mounting the root filesytem like this:

  mount -t zfs -o zfsutil "$ZFS_BOOTFS" "$rootmnt"

Ideally, the root filesystem would be mounted like this:

  zpool import -R "$rootmnt" -N "$ZFS_RPOOL"
  zfs mount -o mountpoint=/ "$ZFS_BOOTFS"

but the MOUNTPOINT prefix is preserved on descendent filesystems after the
pivot into the regular root, which later breaks things like `zfs mount -a` and
the /etc/mtab refresh.

Assuming one filesystem on the pivot and implicitly remapping it is sensible
behavior for the exec init.  Keeping the -R prefix is similarly sensible
behavior for the zfs utility.  Thus, the initramfs is probably the best place
to do something unusual.

Disable volinit and volfini in the init script.

The `zfs volinit` and `zfs volfini` commands are unimplemented.

Disable `zfs ushare -a`, which is unimplemented on Linux.

Add standard Linux paths to the init script.

Manually update the debian/changelog.

Add  a zfs conflict to the zfsutils package.

This is required because the kFreeBSD /etc/init.d/zfs script
conflicts with the KQ /etc/init.d/zfsload script.

Change BSD runlevels to Linux runlevels.

The unmodified init script from Debian kFreeBSD causes
these warnings during installation:

  update-rc.d: warning: zfs start runlevel arguments (2 3 4 5)
    do not match LSB Default-Start values (S)
  update-rc.d: warning: zfs stop runlevel arguments (0 1 6)
    do not match LSB Default-Stop values (0 6)

Manually update the debian/changelog.

Add a zfs-lib replacement to each constituent library.

Add "Replaces: zfs-lib" to each library in the debian/control
so that upgrades happen smooothly.

Use git-dch to update the debian/changelog.

Change usr/lib/include to usr/include in the libzfs-dev.install file.

The libzfs-dev.install file has an incorrect path.

Add libzfs-dev to the debian/control file.

The libzfs-dev package provides a virtual libuutil-dev
and a virtual libnvpair-for compatibility with Debian kFreeBSD.

Use git-dch to update the debian/changelog.

Handle the GRUB zfs-bootfs parameter in the initramfs.

Use /sbin/mount.zfs for the root mount in the initramfs.

Spec file compat, %{datadir}

The dracut change caused an error during "make rpm".  The cause
is simple, RHEL5 does not recognize the %{datarootdir} macro in
zfs.spec.  It was changed to %{datadir} which fixes the build.

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Set cmd paths in udev rules using --prefix

The udev/rules.d scripts must use absolute paths to their support
binaries.  However, where those binaries get installed depends
on what --prefix was set to when the package was configured.
This change makes the udev/rules.d helpers to *.in files which
are processed by configure.  This allows them to be dynamically
updated to include the specified --prefix.

Additionally, this change updates 60-zvol.rules to handle both
the 'add' and 'change' actions.  This ensures that that all
valid zvol devices are correctly linked.

Replace zfs-lib by libzfs0 and zfs by zfsutils
in the debian/control file.

Check zvols for Linux swap areas instead of FreeBSD swap areas.

Debian kFreeBSD checks for the org.freebsd:swap property on
zvols at startup, so do the same on Linux systems.

Import the zfsutils init script from Debian kFreeBSD.

Remove the KQ init script that was imported from zfs-linux/lzfs.

Restrict the package architecture to linux-any.

This source package is specifically for Linux and incompatible
with the Hurd and kFreeBSD kernels.

Decompose the zfs-lib package.

The constituent packages are libspl0, libavl0, libefi0, libnvpair0,
libunicode0, libuutil0, libzpool0, and libzfs0.

This change reflects the Debian kFreeBSD packaging.

Fixes to enable zvol symlink creation

This commit fixes issue on
https://github.com/behlendorf/zfs/issues/#issue/172
Changes:
- update BLKZNAME to use _IOR instead of _IO.  Kernel 2.6.32 allows
read parameters (copy_to_user) with _IO, while newer kernels (tested
Archlinux's 2.6.37 kernel) enforces _IOR (which is correct)
- fix return code and message on error

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>

Rename the zfs-lib package to libzfs0.

This change reflects the Debian kFreeBSD packaging.

Rename the zfs package to zfsutils.

This change reflects the Debian kFreeBSD packaging.

Use git-dch to update the debian/changelog.

Include /sbin/mount.zfs in the zfs package.

Use git-dch to update the debian/changelog.

Remove the whack-bang and execute bit from the initramfs boot script.

This change reflects the scripts/local and scripts/nfs files that
are provided by the initramfs-tools package.

Properly strip the bootfs= and rpool= kernel command line parameters.