Merge pull request #2000 from ethomson/overwrite_ignored

Overwrite ignored files on checkout

Overwrite ignored directories on checkout

Overwrite ignored files on checkout

Merge pull request #1986 from libgit2/rb/error-handling-cleanups

Clean up some error handling and change callback error behavior

pool: Agh, this test doesn't really apply in 32-bit machines

The size_t is 32-bit already, so it overflows before going into the
function. The `-1` test should handle this gracefully in both cases
anyway.

pool: Correct overflow checks

Ok, scrap the previous commit. This is the right overflow check that
takes care of 64 bit overflow **and** 32-bit overflow, which needs to be
considered because the pool malloc can only allocate 32-bit elements in
one go.

pool: Cleanup error handling in pool_strdup

Note that `git_pool_strdup` cannot really return any error codes,
 because the pool doesn't set errors on OOM.

 The only place where `giterr_set_oom` is called is in
 `git_pool_strndup`, in a conditional check that is always optimized
 away. `n + 1` cannot be zero if `n` is unsigned because the compiler
 doesn't take wraparound into account.

 This check has been removed altogether because `size_t` is not
 particularly going to overflow.

Merge pull request #2001 from ethomson/merge_version_validate

Validate struct versions in merge, revert

Validate struct versions in merge, revert

Add git_treebuilder_insert test and clarify doc

This wasn't being tested and since it has a callback, I fixed it
even though the return value of this callback is not treated like
any of the other callbacks in the API.

Cleanups, renames, and leak fixes

This renames git_vector_free_all to the better git_vector_free_deep
and also contains a couple of memory leak fixes based on valgrind
checks.  The fixes are specifically: failure to free global dir
path variables when not compiled with threading on and failure to
free filters from the filter registry that had not be initialized
fully.

More tests of canceling from callbacks

This covers diff print, push, and ref foreach.  This also has a
fix for a small memory leak in the push tests.

Fix up some valgrind leaks and warnings

Test cancel from indexer progress callback

This adds tests that try canceling an indexer operation from
within the progress callback.

After writing the tests, I wanted to run this under valgrind and
had a number of errors in that situation because mmap wasn't
working.  I added a CMake option to force emulation of mmap and
consolidated the Amiga-specific code into that new place (so we
don't actually need separate Amiga code now, just have to turn on
-DNO_MMAP).

Additionally, I made the indexer code propagate error codes more
reliably than it used to.

More improvements to callback return value tests

This time actually checking return values in diff notify tests and
actually testing callbacks for the index all-all/update-all/etc
functions.

Try a test that won't assert on Linux

Update clone doc and tests for callback return val

Clone callbacks can return non-zero values to cancel the clone.
This adds some tests to verify that this actually works and updates
the documentation to be clearer that this can happen and that the
return value will be propagated back by the clone function.

Fix checkout notify callback docs and tests

The checkout notify callback behavior on non-zero return values
was not being tested.  This adds tests, fixes a bug with positive
values, and clarifies the documentation to make it clear that the
checkout can be canceled via this mechanism.

Update git_blob_create_fromchunks callback behavr

The callback to supply data chunks could return a negative value
to stop creation of the blob, but we were neither using GIT_EUSER
nor propagating the return value.  This makes things use the new
behavior of returning the negative value back to the user.

Update docs for new callback return value behavior

One more rename/cleanup for callback err functions

Further callback error check style fixes

Okay, I've decided I like the readability of this style much
better so I used it everywhere.

Some callback error check style cleanups

I find this easier to read...

Fix C99 __func__ for MSVC

Remove converting user error to GIT_EUSER

This changes the behavior of callbacks so that the callback error
code is not converted into GIT_EUSER and instead we propagate the
return value through to the caller.  Instead of using the
giterr_capture and giterr_restore functions, we now rely on all
functions to pass back the return value from a callback.

To avoid having a return value with no error message, the user
can call the public giterr_set_str or some such function to set
an error message.  There is a new helper 'giterr_set_callback'
that functions can invoke after making a callback which ensures
that some error message was set in case the callback did not set
one.

In places where the sign of the callback return value is
meaningful (e.g. positive to skip, negative to abort), only the
negative values are returned back to the caller, obviously, since
the other values allow for continuing the loop.

The hardest parts of this were in the checkout code where positive
return values were overloaded as meaningful values for checkout.
I fixed this by adding an output parameter to many of the internal
checkout functions and removing the overload.  This added some
code, but it is probably a better implementation.

There is some funkiness in the network code where user provided
callbacks could be returning a positive or a negative value and
we want to rely on that to cancel the loop.  There are still a
couple places where an user error might get turned into GIT_EUSER
there, I think, though none exercised by the tests.

Add git_vector_free_all

There are a lot of places that we call git__free on each item in
a vector and then call git_vector_free on the vector itself.  This
just wraps that up into one convenient helper function.

Further EUSER and error propagation fixes

This continues auditing all the places where GIT_EUSER is being
returned and making sure to clear any existing error using the
new giterr_user_cancel helper.  As a result, places that relied
on intercepting GIT_EUSER but having the old error preserved also
needed to be cleaned up to correctly stash and then retrieve the
actual error.

Additionally, as I encountered places where error codes were not
being propagated correctly, I tried to fix them up.  A number of
those fixes are included in the this commit as well.

Improve GIT_EUSER handling

This adds giterr_user_cancel to return GIT_EUSER and clear any
error message that is sitting around.  As a result of using that
in places, we need to be more thorough with capturing errors that
happen inside a callback when used internally.  To help with that,
this also adds giterr_capture and giterr_restore so that when we
internally use a foreach-type function that clears errors and
converts them to GIT_EUSER, it is easier to restore not just the
return value, but the actual error message text.

Add config read fns with controlled error behavior

This adds `git_config__lookup_entry` which will look up a key in
a config and return either the entry or NULL if the key was not
present.  Optionally, it can either suppress all errors or can
return them (although not finding the key is not an error for this
function).  Unlike other accessors, this does not normalize the
config key string, so it must only be used when the key is known
to be in normalized form (i.e. all lower-case before the first dot
and after the last dot, with no invalid characters).

This also adds three high-level helper functions to look up config
values with no errors and a fallback value.  The three functions
are for string, bool, and int values, and will resort to the
fallback value for any error that arises.  They are:

* `git_config__get_string_force`
* `git_config__get_bool_force`
* `git_config__get_int_force`

None of them normalize the config `key` either, so they can only
be used for internal cases where the key is known to be in normal
format.

Merge pull request #1985 from libgit2/diff-rename-config

Rename detection using diff.renames

Check version earlier

Merge pull request #1996 from ethomson/warnings

Clean up warnings

Clean up warnings

Merge pull request #1994 from palistov/commit-cleanup

commit: Fix potential segfault

commit: Fix potential segfault in git_commit_message

Dereferencing commit pointer before asserting

Merge pull request #1993 from jaredlwong/development

Fixed left shift size of int.

Fixed left shift size of int.

Simply switched the ordering of the checks in the for loop where this left
shift was being made.

Clarify docs

Don't clobber whitespace settings

Clarify default value and behavior

Merge pull request #1989 from palistov/blame-cleanup

blame.c: Remove unnecessary error-check and goto

blame.c: Remove unnecessary error-check and goto

In private function 'load_blob'.

Don't use weird return codes

Implement GIT_DIFF_FIND_BY_CONFIG

Merge pull request #1988 from mgbowen/fix-libssh2-windows

Fixed compilation on Windows when using libssh2.

Fixed compilation on Windows when using libssh2.

Introduce GIT_DIFF_FIND_BY_CONFIG

Merge pull request #1984 from ethomson/revert_fix

Reorder revert test variable decls

Reorder var decls in revert test

Oh, MSVC.

Merge pull request #1983 from ethomson/revert

Bare naked merge and rebase

Bare naked merge and rebase

Merge pull request #1982 from linquize/revert.h

Include git2/revert.h in git2.h

Include git2/revert.h in git2.h

Merge pull request #1981 from jamill/download_cancel_tweaks

Updates to cancellation logic during download and indexing of packfile.

Merge pull request #1977 from ethomson/revert

Revert support for a single commit

Updates to cancellation logic during download and indexing of packfile.

clean up state metadata more consistently

Introduce git_revert to revert a single commit

Merge pull request #1979 from libgit2/rb/diff-find-delete-unmod

Add GIT_DIFF_FIND_REMOVE_UNMODIFIED flag and fix copy detection bug

GIT_DIFF_FIND_REMOVE_UNMODIFIED sounds better

Add GIT_DIFF_FIND_DELETE_UNMODIFIED flag

When doing copy detection, it is often necessary to include
UNMODIFIED records in the git_diff so they are available as source
records for GIT_DIFF_FIND_COPIES_FROM_UNMODIFIED.  Yet in the final
diff, often you will not want to have these UNMODIFIED records.
This adds a flag which marks these UNMODIFIED records for deletion
from the diff list so they will be removed after the rename detect
phase is over.

Fix bug making split deltas a COPIED targets

When FIND_COPIES is used in combination with BREAK_REWRITES for
rename detection, there was a bug where the split MODIFIED delta
was only used as a target for RENAME records and not for COPIED
records.  This fixes that, converting the split into a pair of
DELETED and COPIED deltas when that circumstance arises.

Merge pull request #1978 from libgit2/rb/cmake-find-iconv

Improve iconv finding for cmake

Improve iconv finding for cmake

* add FindIconv helper for CMake iconv detection
* only default using iconv to ON for MacOS
* update pkg-config generation to include iconv dependency better

Merge pull request #1975 from nikai3d/patch-2

fix typos in docs

fix typos in docs

Merge pull request #1974 from ghedo/strnlen

posix: Solaris doesn't have strnlen either

posix: Solaris doesn't have strnlen either

Merge pull request #1972 from ghedo/ssh_agent

ssh: add support for ssh-agent authentication

transport: document ssh-agent authentication

ssh: add support for ssh-agent authentication

libgit2 0.20.0 "anmeldung"

Apologies for the delay. This release is chunky,
but you're probably used to chunky releases by now.

Full changelog follows:

Internal changes
+ Added support for decomposed Unicode paths in Mac OS X
+ Added support for junctions in win32
+ Fixed issues with HTTP redirects in the network stack
+ Performance improvements (as always)

git2/blame.h
+ added full support for blame operations

git2/blob.h
+ added `git_blob_filtered_content` to load blobs in
memory with their corresponding filters applied

git2/branch.h
+ added branch iterators as an alternative to the
callback-based API

git2/buffer.h
+ exported the git_buf struct to allow binary buffers
to be passed from/to the library. This simplifies
several APIs

git2/checkout.h
+ implemented additional checkout options ('skip unmerged',
'use ours' and 'use theirs')

git2/clone.h
+ simplified the clone API
+ added new `git_clone_into` to clone into an existing
(empty) repository

git2/commit.h
+ added APIs to access the raw (uncleaned) text of a commit
message

git2/common.h
+ added global options to set the default paths to load
templates from

git2/config.h
+ added multivar iterators
+ added globbing iterator
+ added `git_config_foreach_match` to perform operations
on every single var in a config file

git2/diff.h
+ restructured and simplified the diff API

git2/filter.h
+ added external APIs to configure and apply custom filters
to checked out blobs

git2/index.h
+ `git_index_read` can now force a reload of the index file
even if it hasn't changed on-disk

git2/indexer.h
+ improved the streaming indexer APIs

git2/merge.h
+ added support for merge!

git2/object.h
+ added helper API to lookup a generic object by path

git2/pack.h
+ added progress callbacks to the packbuilder

git2/patch.h
+ added support for patch generation as part of the Diff
API revamp

git2/pathspec.h
+ added helper APIs to work with pathspecs and match files
in the workdir or diffs

git2/push.h
+ added progress callbacks to push

git2/reflog.h
+ changed reflog APIs to work on reference names instead of
the references themselves, so they become less racy

git2/remote.h
+ added support for setting refspecs on remotes, either at
creation or on existing ones
+ simplified the remotes API

git2/revwalk.h
+ add API to simplify parents during a walk

git2/signature.h
+ add helper to create a signature with the default values for
a repository (i.e. the set `user.name` and `user.email` values,
and the current time)

git2/submodules.h
+ improve the status detection for submodules

git2/sys/
+ exported many new internal APIs, such as pluggabe transport
APIs

-vmg, out

Formatting fix for cred_acquire_cb

Merge pull request #1966 from nickh/patch_content_offsets

Add content offset to git_diff_line

Merge pull request #1970 from ghedo/netbsd_qsort

util: NetBSD doesn't have qsort_r either

util: NetBSD doesn't have qsort_r either

Merge pull request #1969 from libgit2/ntk/fix/drop_comment

Cleaning up

tests: Drop unrelated comment

Merge pull request #1968 from libgit2/ntk/fix/bad_index

Corrupted index is bad for your health

index: Free the index on git_index_open() failure

tree-cache: Fix error message typo

tree-cache: Don't segfault upon corruption

tree-cache: Zero out the allocated tree children array

tree-cache: Free the tree upon the detection of a corrupted child

Merge pull request #1967 from victorgp/cleaning-code-minor-change

Cleaning code, removing unused variables

cleaning code, removing unused variables

Add content offset to git_diff_line

For additions and deletions, external consumers like subversion
can make use of the content offset to generate diffs in their
proprietary formats.

netops: fix leak

Fix warnings

Merge pull request #1960 from ethomson/ntlm

NTLM/Negotiate support in WinHTTP

Introduce git_cred_default for NTLM/SPNEGO auth

Propagate auth error codes as GIT_EUSER in winhttp

Merge pull request #1963 from libgit2/ntk/fix/mailmap

Add missing mappings to .mailmap file

Add missing mappings to .mailmap file

Merge pull request #1962 from libgit2/rename-tests

Rename tests directory

Update files that reference tests-clar

Rename tests-clar to tests

Merge pull request #1951 from victorgp/create-remote-plus-fetch

Allowing create remotes with custom fetch spec

Fix warnings

tests: make a few globals statics

ld was warning that the size of path changed, rightly so.