Rearrange clar submodule cleanup code

Port tests from PR 1683

This ports over some of the tests from
    https://github.com/libgit2/libgit2/pull/1683
by @yorah and @ethomson

Move binary check to CRLF filter itself

Checkout should not reject binary files from filters, as a filter
may actually wish to operate on binary files.  The CRLF filter should
reject binary files itself if it wishes to.  Moreover, the CRLF
filter requires this logic so that users can emulate the checkout
data in their odb -> workdir filtering.

Conflicts:
src/checkout.c
src/crlf.c

Merge git_buf and git_buffer

This makes the git_buf struct that was used internally into an
externally available structure and eliminates the git_buffer.

As part of that, some of the special cases that arose with the
externally used git_buffer were blended into the git_buf, such as
being careful about git_buf objects that may have a NULL ptr and
allowing for bufs with a valid ptr and size but zero asize as a
way of referring to externally owned data.

Add ident filter

This adds the ident filter (that knows how to replace $Id$) and
tweaks the filter APIs and code so that git_filter_source objects
actually have the updated OID of the object being filtered when
it is a known value.

Add functions to manipulate filter lists

Extend the git2/sys/filter API with functions to look up a filter
and add it manually to a filter list.  This requires some trickery
because the regular attribute lookups and checks are bypassed when
this happens, but in the right hands, it will allow a user to have
granular control over applying filters.

Update filter registry code

This updates the git filter registry to be a little cleaner and
plugs some memory leaks.

Add simple global shutdown hooks

Increasingly there are a number of components that want to do some
cleanup at global shutdown time (at least if there are not going
to be memory leaks).  This creates a very simple system of shutdown
hooks that will be invoked by git_threads_shutdown.  Right now, the
maximum number of hooks is hardcoded, but since adding a hook is
not a public API, it should be fine and I thought it was better to
start off with really simple code.

Fix longstanding valgrind warning

There was a possible circumstance that could result in reading
past the end of a buffer.  This check fixes that.

Hook up filter initialize callback

I knew I forgot something

Extend public filter api with filter lists

This moves the git_filter_list into the public API so that users
can create, apply, and dispose of filter lists.  This allows more
granular application of filters to user data outside of libgit2
internals.

This also converts all the internal usage of filters to the public
APIs along with a few small tweaks to make it easier to use the
public git_buffer stuff alongside the internal git_buf.

Add attributes to filters and fix registry

The filter registry as implemented was too primitive to actually
work once multiple filters were coming into play.  This expands
the implementation of the registry to handle multiple prioritized
filters correctly.

Additionally, this adds an "attributes" field to a filter that
makes it really really easy to implement filters that are based
on one or more attribute values.  The lookup and even simple value
checking can all happen automatically without custom filter code.

Lastly, with the registry improvements, this fills out the filter
lifecycle callbacks, with initialize and shutdown callbacks that
will be called before the filter is first used and after it is
last invoked.  This allows for system-wide initialization and
cleanup by the filter.

Make git_filter_source opaque

Create public filter object and use it

This creates include/sys/filter.h with a basic definition of a
git_filter and then converts the internal code to use it.  There
are related internal objects (git_filter_list) that we will want
to publish at some point, but this is a first step.

Start of filter API + git_blob_filtered_content

This begins the process of exposing git_filter objects to the
public API.  This includes:

* new public type and API for `git_buffer` through which an
  allocated buffer can be passed to the user
* new API `git_blob_filtered_content`
* make the git_filter type and GIT_FILTER_TO_... constants public

Merge pull request #1833 from libgit2/cmn/config-include

Support config includes

Merge pull request #1857 from linquize/find-git-path-win32

Fix failure in win32 git path guessing

Fix failure in win32_find_git_in_registry() when UAC is turned on

Demand read only access to registry key instead of full access.
This might happen in Windows Vista and later.

Fix failure in win32_find_git_in_registry()

The buffer size 0 was definitely not enough so it failed

Merge pull request #1856 from libgit2/cmn/no-orphans

No such thing as an orphan branch

Merge pull request #1851 from tiennou/libssh2-errors

Provide libssh2 error message

No such thing as an orphan branch

Unfortunately git-core uses the term "unborn branch" and "orphan
branch" interchangeably. However, "orphan" is only really there for
the checkout command, which has the `--orphan` option so it doesn't
actually create the branch.

Branches never have parents, so the distinction of a branch with no
parents is odd to begin with. Crucially, the error messages deal with
unborn branches, so let's use that.

Whitespace.

Add a wrapper to provide the libssh2 error message

clone: Anal as fuck

Merge pull request #1850 from linquize/git-clone-init-options

git_clone supports init_options

git_clone supports optional init_options

Add tests for git_tree_walk

This tests the fixes for issues from #1849

Merge pull request #1849 from whavinga/treewalker

Treewalker

Fix memory leak in git_tree_walk on error or when stopping the walk from the supplied callback

Prevent git_tree_walk 'skip entry' callback return code from leaking through as the return value of git_tree_walk

Merge pull request #1848 from libgit2/ntk/fix/cl_assert_equal_sz

Fix cl_assert_equal_sz error message formating

clar: Move cl_assert_equal_sz() definition to clar.h

clar: Fix clar__assert_equal error message formating

Merge pull request #1839 from isaac/ssh-repository-invalid

SSH: Clone fails with errors: ERROR: Repository invalid & Early EOF

Merge pull request #1846 from libgit2/ntk/fix/format

errors: Fix format of some error messages

errors: Fix format of some error messages

Merge pull request #1838 from libgit2/cmn/first-parent

revwalk: allow simplifying by first-parent

Merge pull request #1841 from libgit2/ntk/fix/loose_ambiguous

Make odb_loose return EAMBIGUOUS when required

odb: Teach loose backend to return EAMBIGUOUS

path: Make direach() return EUSER on callback error

revwalk: allow simplifying by first-parent

When enabled, only the first parent of each commit will be queued,
enabling a simple way of using first-parent simplification.

Merge pull request #1843 from uh-sem-blee/development

fixing headers with bad values for objective-c

Make work if built with threading enabled

Only use callbacks when -n or -v in add example.

Move statement after declarations in add example.

Remove unnececery arguments priting in add example.

Better usage info in add example.

Add -u option to add example.

Supported options information in add example.

Adding add example.

fixing headers with bad values for objective-c

Merge pull request #1842 from uh-sem-blee/development

fixes issues with objective-git

Comment updates

Merge pull request #1837 from libgit2/ntk/topic/control_stream_write_size

odb: Error when streaming in less|more bytes than declared

Test for repo before removing leading colon

fixes issues with objective-git

Trim leading colon from ssh repository path

odb: Error when streaming in too [few|many] bytes

config: handle realloc issues from larger depths

As the include depth increases, the chance of a realloc
increases. This means that whenever we run git_array_alloc() or call
config_parse(), we need to remember what our reader's index is so we
can look it up again.

config: return an error when reaching the maximum include depth

config: fix variable overriding

When two or more variables of the same name exist and the user asks
for a scalar, we must return the latest value assign to it.

config: refresh included files

We need to refresh the variables from the included files if they are
changed, so loop over all included files and re-parse the files if any
of them has changed.

config: keep a list of included files

When refreshing we need to refresh if any of the files have been
touched, so we need to keep the list.

config: add support for include directives

Relative, absolute and home-relative paths are supported. The
recursion limit it set at 10, just like in git.

Merge pull request #1836 from libgit2/ntk/fix/leaks

Fix memory leaks

Merge pull request #1835 from libgit2/ntk/fix/less_backend_calls_on_revparsing

Some revparse love

tests: Fix memory leaks

revparse: Simplify error handling

revparse: Prevent unnecessary odb backend calls

Merge pull request #1791 from libgit2/cmn/revwalk-recursive

revwalk: make mark_unintersting use a loop

Merge pull request #1815 from libgit2/ntk/topic/stream_write/check_before_overwriting

Ask the odbbackend if the object exists before overwriting it

odb: Prevent stream_finalize_write() from overwriting

Now that #1785 is merged, git_odb_stream_finalize_write() calculates the object id before invoking the odb backend.

This commit gives a chance to the backend to check if it already knows this object.

blob: Slightly enforce a create_fromchunks() test

revwalk: make mark_unintersting use a loop

Using a recursive function can blow the stack when dealing with long
histories. Use a loop instead to limit the call chain depth.

This fixes #1223.

Merge pull request #1829 from libgit2/fix-umask-fragility

Fix umask fragility

Better macro name for is-exec-bit-set test

GIT_MODE_TYPE should exclude setgid bits

The GIT_MODE_TYPE macro was looking at all bits above the
permissions, but it should really just look at the top bits so
that it will give the right results for a setgid or setuid entry.

Since we're now using these macros in the tests, this was causing
a test failure on platforms that don't support setgid.

Fix tests of file modes

This fixes an issue checking file modes in the tests that
initialize a repo from a template directory when a symlink is
used in the template.  Also, this updates some other places where
we are examining file modes to use the new macros.

Add more file mode permissions macros

This adds some more macros for some standard operations on file
modes, particularly related to permissions, and then updates a
number of places around the code base to use the new macros.

Fix some newer GCC compiler warnings

config: decouple the backend from the reader at the low level

In order to support config includes, we must differentiate between the
backend's main file and the file we are currently parsing.

This lays the groundwork for includes, keeping the current behaviours.

Merge pull request #1831 from linquize/version.h-warning

Fix warning in src/win32/version.h

Fix warning in src/win32/version.h

Fix tests to use core.filemode correctly

Some windows tests were failing

_umask is function name on Windows

Clean up one other mode_t assertion

Make tests take umask into account

It seems that libgit2 is correctly applying the umask when
initializing a repository from a template and when creating new
directories during checkout, but the test suite is not accounting
for possible variations due to the umask.  This updates that so
that the test suite will work regardless of the umask.

Update clar

Test pushing to remotes with "file:///" urls

Provide better errors for push on non-bare local remotes

Merge pull request #1817 from libgit2/ntk/fix/backend/honor_refresh_capabilities

Of backends and refreshers...

Backport @peff's fix for duplicates in sha1_lookup

odb: Move the auto refresh logic to the pack backend

Previously, `git_object_read()`, `git_object_read_prefix()` and
`git_object_exists()` were implementing an auto refresh logic. When the
expected object couldn't be found in any backend, a call to
`git_odb_refresh()` was triggered and the lookup was once again performed
against all backends.

This commit removes this auto-refresh logic from the odb layer and pushes
it down into the pack-backend (as it's the only one currently exposing
a `refresh()` endpoint).

Merge pull request #1828 from libgit2/examples-cmakelists

Split examples CMakeLists.txt

Split examples CMakeLists.txt

Also, this converts the examples/CMakeLists.txt from explicitly
listing to just globbing for all the individual C files.

Merge pull request #1827 from libgit2/relative-path-win32-fix

Fix resolving relative windows network paths

Fix resolving relative windows network paths

don't use inline in tests for win32

Merge pull request #1804 from ethomson/rewrites

Minor changes for rewrites