indexer: do multiple passes over the delta list

Though unusual, a packfile may contain a delta whose base is a delta
that comes later. In order index such a packfile, we must not give up
on the first failure to resolve a delta, but keep it around.

If there is a pass which makes no progress, this indicates that the
packfile is broken, so fail accordingly.

Merge pull request #1885 from ethomson/transport_register

Add git_transport_register, git_transport_unregister

Add git_transport_register, git_transport_unregister

Mark git__timer as inline on OSX

Merge pull request #1882 from linquize/config-subsection-fix

Config subsection name should allow to have ']' and '\\' should allow to escape any characters

Add negative test cases for config header with invalid characters

Add test case to test ']' and '\\' characters in config subsection

Config subsection name should allow to have ']' and '\\' should allow to escape any characters

Merge pull request #1879 from libgit2/redir-refactor

Redir refactor

Merge pull request #1412 from jamill/push_progress

Initial Implementation of progress reports during push

Merge pull request #1881 from libgit2/ignore-submodules-in-stash

Never consider submodules for stashing

Ensure submodule repos and indices are freed

...before the helper's cleanup method tries to delete their files.

Merge pull request #1878 from libgit2/ntk/fix/warnings

Fix x86/x64 size_t related warnings

Initial Implementation of progress reports during push

This adds the basics of progress reporting during push. While progress
for all aspects of a push operation are not reported with this change,
it lays the foundation to add these later. Push progress reporting
can be improved in the future - and consumers of the API should
just get more accurate information at that point.

The main areas where this is lacking are:

1) packbuilding progress: does not report progress during deltafication,
   as this involves coordinating progress from multiple threads.

2) network progress: reports progress as objects and bytes are going
   to be written to the subtransport (instead of as client gets
   confirmation that they have been received by the server) and leaves
   out some of the bytes that are transfered as part of the push protocol.
   Basically, this reports the pack bytes that are written to the
   subtransport. It does not report the bytes sent on the wire that
   are received by the server. This should be a good estimate of
   progress (and an improvement over no progress).

Merge pull request #1883 from libgit2/ntk/fix/empty_first_commit_line

Remove leading newlines from commit message

commit: Trim message leading newlines

Fix libgit2/libgit2sharp#522

Tabify indentations

Test that submodules don't affect stashing

Never consider submodules for stashing

Merge pull request #1880 from ethomson/refdb_h_oopsie

Add refdb.h to git2.h, reorder git2.h sanely

Add refdb.h to git2.h, reorder git2.h sanely

Tighten up url-connection utility

WHOOPS

Make sure utility doesn't leak memory

Adjust to new utility signature

Deploy gitno_connection_data into transport (winhttp)

...and have that call manage replaced memory in the output structure.

Deploy gitno_connection_data into transport

Fix warnings

Refactor URL handling to use library call

Migrate redirect URL handling to common utility

Why are we disabling redirects?

Merge pull request #1877 from libgit2/win32-redirects

Win32: handle http->https redirects

Merge pull request #1876 from arrbee/fix-error-handling-docs

Bring error handling docs up to date

Win32: handle http->https redirects

The error handling docs are out of date

The error handling docs date back to the early error redesign
work and don't match up with the route we actually took.  This
brings them in line with actual practice both for external users
and internal implementors, and notes some of the exceptions and
possible bugs.

Merge pull request #1875 from ethomson/refdb_not_odb

That's the refdb, it's not the odb...

That's the refdb, it's not the odb...

Merge pull request #1873 from mikeando/doc_cleanup

Cleaned up some tables in checkout-internals doc

Merge pull request #1874 from mikeando/doc_cleanup2

Fixed formatting of diff-internals.md

Fixed formatting of diff-internals.md

Indentation for lists was not working correctly.

Cleaned up some tables in checkout-internals doc

The markdown wasn't rendering correctly.

Merge pull request #1872 from libgit2/config-isolate-xdg

Make tests pass if XDG config exists

Make tests pass if XDG config exists

Merge pull request #1871 from libgit2/cross-protocol-redirects-alt

Alternative fix for cross protocol redirects

Prevent HTTPS to HTTP redirect

Disconnect path string to preserve after redirect

The subtransport path was relying on pointing to data owned by
the remote which meant that after a redirect, the updated path
was getting lost for future requests.  This updates the http
transport to strdup the path and maintain its own lifetime.

This also pulls responsibility for parsing the URL back into the
http transport and isolates the functions that parse and free that
connection data so that they can be reused between the initial
parsing and the redirect parsing.

Merge pull request #1869 from ethomson/fs_iterator_race_2

Ignore files that disappear while iterating

Ignore files that disappear while iterating

On occasion, files can disappear while we're iterating the
filesystem, between calls to readdir and stat.  Let's pretend
those didn't exist in the first place.

Properly parse urls that include protocol://

Allow redirects to use same host

Merge pull request #1865 from arrbee/various-cleanups

Various warning cleanup and minor fixes

Merge pull request #1864 from libgit2/minimize-regex-usage

Minimize regex usage

Fix up filebuf tests a bit

Fix incorrect return code in crlf filter

The git_buf_text_gather_stats call returns a boolean indicating if
the file looks like binary data.  That shouldn't be an error; it
should be used to skip CRLF processing though.

Merge pull request #1867 from ethomson/remove_not_delete

'del' instead of 'delete' for the poor C++ users

'del' instead of 'delete' for the poor C++ users

Fix warnings in Makefile.embed

Clean up unnecessary git_buf_printf calls

This replaces some git_buf_printf calls with simple calls to
git_buf_put instead.  Also, it fixes a missing va_end inside
the git_buf_vprintf implementation.

Fix warnings on Windows 64-bit build

Clean up newly introduced warnings

The attempt to "clean up warnings" seems to have introduced some
new warnings on compliant compilers.  This fixes those in a way
that I suspect will also be okay for the non-compliant compilers.

Also this fixes what appears to be an extra semicolon in the
repo initialization template dir handling (and as part of that
fix, handles the case where an error occurs correctly).

Remove regex usage from places that don't need it

In revwalk, we are doing a very simple check to see if a string
contains wildcard characters, so a full regular expression match
is not needed.

In remote listing, now that we have git_config_foreach_match with
full regular expression matching, we can take advantage of that
and eliminate the regex here, replacing it with much simpler string
manipulation.

Merge pull request #1863 from linquize/typo

Fix typo in documentation

merge: reverse array and length parameter order

Make it pair up with the one for commits. This fixes #1691.

Fix typo in documentation

Merge pull request #1840 from linquize/warning

Fix warning

Merge pull request #1861 from ben/molo-valgrind

OSX 10.8 + Valgrind

Merge pull request #1859 from linquize/init.templatedir

Make init.templatedir work

Check error value from git_futils_find_template_dir

Suppress noise from running Valgrind on OSX 10.8

Fix warning

Make init.templatedir work

msvc: No void* arithmetic on Windows

Merge pull request #1860 from libgit2/cmn/indexer-hash

indexer: check the packfile trailer

indexer: don't reiterate the class in the message

indexer: check the packfile trailer for correctness

The packfile trailer gets sent over and we should check whether it's
correct as part of our sanity checks of the packfile.

Merge pull request #1858 from linquize/win32-template-dir

Configurable template dir for Win32

Merge pull request #1847 from libgit2/filters-alternative

Alternative proposal for filter API

Update clar and recreate cl_assert_equal_sz

This updates clar to the version without cl_assert_equal_sz and
then adds a new version of that macro the clar_libgit2.h.  The new
version works around a strange issue that seemed to be arising on
release builds with VS 10 64-bit builds.

Bug fixes and cleanups

This contains a few bug fixes and some header and API cleanups.

The main API change is that filters should now use GIT_PASSTHROUGH
to indicate that they wish to skip processing a file instead of
GIT_ENOTFOUND.

The bug fixes include a possible out-of-range buffer access in
the ident filter, a filter ordering problem I introduced into the
custom filter tests on Windows, and a filter buf NUL termination
issue that was coming up on Linux.

More filtering tests including order

This adds more tests of filters, including the ident filter when
mixed with custom filters.  I was able to combine with the reverse
filter and demonstrate that the order of filter application with
the default priority constants matches the order of core Git.

Also, this fixes two issues in the ident filter: preventing ident
expansion on binary files and avoiding a NULL dereference when
dollar sign characters are found without Id.

Some tests with ident and crlf filters

Fixed the filter order to match core Git, too.

This test demonstrates an interesting behavior of core Git (which
is totally reasonable and which libgit2 matches, although mostly
by coincidence).  If you use the ident filter and commit a file
with a garbage ident in it, like '$Id: this is just garbage$' and
then immediately do a 'git checkout-index' with the new file, Git
will not consider the file out of date and will not overwrite the
file with an updated $Id$.  Libgit2 has the same behavior.  If you
remove the file and then do a checkout-index, it will be replaced
with a filtered version that has injected the OID correctly.

Add clar helper to create new commit from index

There were a lot of places in the test code base that were creating
a commit from the index on the current branch.  This just adds a
helper to handle that case pretty easily.  There was only one test
where this change ended up tweaking the test data, so pretty easy
and mostly just a cleanup.

Add clar helpers for testing file equality

These are a couple of new clar helpers for testing that a file
has expected contents that I extracted from the checkout code.

Actually wrote this as part of an abandoned earlier attempt at a
new filters API, but it will be useful now for some of the tests
I'm going to write.

Fix cleanup issues with new tests

Fixing up some win32 issues with autocrlf

Fix win32 warnings

I wish MSVC understood that "const char **" is not a const ptr,
but it a non-const pointer to an array of const ptrs.  Does that
seem like too much to ask.

Make filter tests somewhat more robust

The global and system config could interfere with the filter
tests by imposing CRLF filtering where it was not anticipated.
This better isolates the tests from the system settings.

Rearrange clar submodule cleanup code

Port tests from PR 1683

This ports over some of the tests from
    https://github.com/libgit2/libgit2/pull/1683
by @yorah and @ethomson

Move binary check to CRLF filter itself

Checkout should not reject binary files from filters, as a filter
may actually wish to operate on binary files.  The CRLF filter should
reject binary files itself if it wishes to.  Moreover, the CRLF
filter requires this logic so that users can emulate the checkout
data in their odb -> workdir filtering.

Conflicts:
src/checkout.c
src/crlf.c

Merge git_buf and git_buffer

This makes the git_buf struct that was used internally into an
externally available structure and eliminates the git_buffer.

As part of that, some of the special cases that arose with the
externally used git_buffer were blended into the git_buf, such as
being careful about git_buf objects that may have a NULL ptr and
allowing for bufs with a valid ptr and size but zero asize as a
way of referring to externally owned data.

Add ident filter

This adds the ident filter (that knows how to replace $Id$) and
tweaks the filter APIs and code so that git_filter_source objects
actually have the updated OID of the object being filtered when
it is a known value.

Add functions to manipulate filter lists

Extend the git2/sys/filter API with functions to look up a filter
and add it manually to a filter list.  This requires some trickery
because the regular attribute lookups and checks are bypassed when
this happens, but in the right hands, it will allow a user to have
granular control over applying filters.

Update filter registry code

This updates the git filter registry to be a little cleaner and
plugs some memory leaks.

Add simple global shutdown hooks

Increasingly there are a number of components that want to do some
cleanup at global shutdown time (at least if there are not going
to be memory leaks).  This creates a very simple system of shutdown
hooks that will be invoked by git_threads_shutdown.  Right now, the
maximum number of hooks is hardcoded, but since adding a hook is
not a public API, it should be fine and I thought it was better to
start off with really simple code.

Fix longstanding valgrind warning

There was a possible circumstance that could result in reading
past the end of a buffer.  This check fixes that.

Hook up filter initialize callback

I knew I forgot something

Extend public filter api with filter lists

This moves the git_filter_list into the public API so that users
can create, apply, and dispose of filter lists.  This allows more
granular application of filters to user data outside of libgit2
internals.

This also converts all the internal usage of filters to the public
APIs along with a few small tweaks to make it easier to use the
public git_buffer stuff alongside the internal git_buf.

Add attributes to filters and fix registry

The filter registry as implemented was too primitive to actually
work once multiple filters were coming into play.  This expands
the implementation of the registry to handle multiple prioritized
filters correctly.

Additionally, this adds an "attributes" field to a filter that
makes it really really easy to implement filters that are based
on one or more attribute values.  The lookup and even simple value
checking can all happen automatically without custom filter code.

Lastly, with the registry improvements, this fills out the filter
lifecycle callbacks, with initialize and shutdown callbacks that
will be called before the filter is first used and after it is
last invoked.  This allows for system-wide initialization and
cleanup by the filter.

Make git_filter_source opaque