Merge pull request #2886 from jeffhostetler/jeffhostetler/clar_trace

Set up git_trace in clar test suite.

Merge pull request #2945 from ethomson/empty_hashsig_heap

diff_tform: don't compare empty hashsig_heaps

diff_tform: account for whitespace options

When comparing seemingly blank files, take whitespace options into
account.

Plug a few leaks

diff_tform: don't compare empty hashsig_heaps

Don't try to compare two empty hashsig_heaps.

Merge pull request #2941 from libgit2/cmn/http-enforce-cred

http: enforce the credential types

Merge pull request #2771 from libgit2/cmn/config-borrow-entry

Borrowing configuration entries

config: borrow refcounted references

This changes the get_entry() method to return a refcounted version of
the config entry, which you have to free when you're done.

This allows us to avoid freeing the memory in which the entry is stored
on a refresh, which may happen at any time for a live config.

For this reason, get_string() has been forbidden on live configs and a
new function get_string_buf() has been added, which stores the string in
a git_buf which the user then owns.

The functions which parse the string value takea advantage of the
borrowing to parse safely and then release the entry.

http: enforce the credential types

The user may decide to return any type of credential, including ones we
did not say we support. Add a check to make sure the user returned an
object of the right type and error out if not.

Remove swp files

Merge pull request #2934 from akikoskinen/mingw_build_fix

Fix build on mingw (master branch)

Merge pull request #2913 from ethomson/stash_fixup

stash: correctly stash wd modified/index deleted

Merge pull request #2808 from libgit2/cmn/repo-ident

Remove the signature from ref-modifying functions

Converted cl_perf_timer to use git__timer internally.

Update CHANGELOG with the reflog ident changes

repository: remove log message override for switching the active branch

We want to use the "checkout: moving from ..." message in order to let
git know when a change of branch has happened. Make the convenience
functions for this goal write this message.

push: remove reflog message override

We always use "update by push".

branch: don't accept a reflog message override

This namespace is about behaving like git's branch command, so let's do
exactly that instead of taking a reflog message.

This override is still available via the reference namespace.

reset: remove reflog message override

This function is meant to simulate what git does in the reset command,
so we should include the reflog message in that.

Remove the signature from ref-modifying functions

The signature for the reflog is not something which changes
dynamically. Almost all uses will be NULL, since we want for the
repository's default identity to be used, making it noise.

In order to allow for changing the identity, we instead provide
git_repository_set_ident() and git_repository_ident() which allow a user
to override the choice of signature.

Merge pull request #2885 from JIghtuse/master

describe example: function to add commits to opts

Merge pull request #2908 from ethomson/safe_create

Allow checkout to handle newly cloned repositories, remove `GIT_CHECKOUT_SAFE_CREATE`

branch: do capture the error code

We want to ignore GIT_ENOTFOUND, but for that we need to capture the
error code from the reflog deletion.

Merge pull request #2937 from git-up/branch_delete_reflog

git_branch_delete() should ignore errors from non-existing reflogs

Merge pull request #2935 from ethomson/dll_patchlevel

win32: add the patch level to the .dll fileversion

git_branch_delete() should ignore errors from non-existing reflogs

win32: add the patch level to the .dll fileversion

Win32 DLLs have four fields for the version number (major, minor,
teeny, patch).  If a consumer wants to build a custom DLL, it may
be useful to set the patchlevel version number in the DLL.

This value only affects the DLL version number, it does not affect
the resultant "version number", which remains major.minor.teeny.

Added cl_perf_timer. Updated global trace to include timers.

Cleanup formatting of clar trace messages.

Provide mechanism to let CLAR globally setup git_trace()

Include ws2tcpip.h in order to get in6_addr

It's currently required in src/openssl_stream.c only.

Include openssl headers last

Windows headers #define some names that openssl uses too. Openssl
headers #undef the offending names before reusing them. But if those
offending Windows headers get included after the openssl headers the
namespace is polluted and nothing good happens.

Fixes issue #2850.

Don't include headers on windows that aren't available

This mainly concerns mingw build.

Merge pull request #2929 from ethomson/clar_update

Update to clar 2b73f5e

Merge pull request #2928 from ethomson/rebase_alloc_check

rebase: check alloc result

checkout tests: just use SAFE where appropriate

checkout: remove `GIT_CHECKOUT_SAFE_CREATE` as a strategy

example: drop `SAFE_CREATE` from clone example

clone: drop now unnecessary SAFE_CREATE

checkout: upgrade to `SAFE_CREATE` when no index file

When the repository does not contain an index, emulate git's behavior
and upgrade to `SAFE_CREATE`.  This allows us to check out repositories
created with `git clone --no-checkout`.

merge perf test: drop unnecessary SAFE_CREATE

cherrypick, revert: drop unnecessary SAFE_CREATE

Merge pull request #2922 from ethomson/more_explaining_threads_is_more_better

README: provide some more explanation about TLS

Update to clar 2b73f5e

rebase: check alloc result

README: provide some more explanation about TLS

Merge pull request #2921 from libgit2/ntk/macosx_build_cherrypicked

Fix MAX 32 bit build problem described in libgit2/libgit2#2917

Fix MAX 32 bit build problem described in libgit2/libgit2#2917

Merge pull request #2907 from jasonhaslam/git_packfile_unpack_race

Fix race in git_packfile_unpack.

Merge pull request #2911 from ethomson/streaming_filters

Streaming filters

tests: separate INVASIVE filesystem tests

Introduce GITTEST_INVASIVE_FS_STRUCTURE for things that are invasive
to your filesystem structure (like creating folders at your filesystem
root) and GITTEST_INVASIVE_FS_SIZE for things that write lots of data.

filter: take `temp_buf` in `git_filter_options`

filter: add `git_filter_list__load_ext`

Refactor `git_filter_list__load_with_attr_reader` into
`git_filter_list__load_ext`, which takes a `git_filter_options`.

git_filter_opt_t -> git_filter_flag_t

For consistency with the rest of the library, where an opt is an
options *structure*.

buffer: introduce git_buf_attach_notowned

Provide a convenience function that creates a buffer that can be provided
to callers but will not be freed via `git_buf_free`, so the buffer
creator maintains the allocation lifecycle of the buffer's contents.

Merge pull request #2820 from leoyanggit/mac_build

Fix Mac build without OpenSSL

stash: correctly stash wd modified/index deleted

checkout: let the stream writer close the fd

filter streams: base -> parent

git_writestream: from git_filter_stream

filter: test a large file through the stream

Test pushing a file on-disk into a streaming filter that compresses
it into the ODB, and inflates it back into the working directory.

checkout: maintain temporary buffer for filters

Let the filters use the checkout data's temporary buffer, instead
of having to allocate new buffers each time.

checkout: stream the blob into the filters

Use the new streaming filter API during checkout.

filters: stream internally

Migrate the `git_filter_list_apply_*` functions over to using the
new filter streams.

Fix Mac build without OpenSSL

If OpenSSL is disabled on Mac the SHA1 implementation goes
to the CommonCrypto from the system. In this case we should
not include the generic hash impl. Otherwise there would be
duplicated impls which fail the build.

filters: introduce streaming filters

Add structures and preliminary functions to take a buffer, file or
blob and write the contents in chunks through an arbitrary number
of chained filters, finally writing into a user-provided function
accept the contents.

Merge pull request #2909 from stewid/remove_extra_semicolon

Remove extra semicolon outside of a function

Remove extra semicolon outside of a function

Without this change, compiling with gcc and pedantic generates warning:
ISO C does not allow extra ‘;’ outside of a function.

Fix race in git_packfile_unpack.

Increment refcount of newly added cache entries just like existing
entries looked up from the cache. Otherwise the new entry can be
evicted from the cache and destroyed while it's still in use.

Merge pull request #2831 from ethomson/merge_lock

merge: lock index during the merge (not just checkout)

Merge pull request #2895 from ethomson/alloc_overflow

allocations: test for overflow of requested size

Merge pull request #2903 from ethomson/rebase

Fixups for rebase

indexwriter: an indexwriter for repo operations

Provide git_indexwriter_init_for_operation for the common locking
pattern in merge, rebase, revert and cherry-pick.

merge-like operations: lock index while working

merge: lock the index at the start of the merge

Always lock the index when we begin the merge, before we write
any of the metdata files.  This prevents a race where another
client may run a commit after we have written the MERGE_HEAD but
before we have updated the index, which will produce a merge
commit that is treesame to one parent.  The merge will finish and
update the index and the resultant commit would not be a merge at
all.

checkout: introduce GIT_CHECKOUT_DONT_WRITE_INDEX

git_indexwriter: lock then write the index

Introduce `git_indexwriter`, to allow us to lock the index while
performing additional operations, then complete the write (or abort,
unlocking the index).

merge test: test an actual failure, not conflict

Correct the merge failed cleanup test.  Merge data should not be
cleaned up on conflicts, only on actual failure.  And ORIG_HEAD
should not be removed at all.

rebase: `CHECKOUT_SAFE` instead of `FORCE`

Switch to a standard branch-switching pattern of a `SAFE` checkout,
then updating `HEAD`.

rebase: allow `NULL` branch to indicate `HEAD`

Don't require the branch to rebase, if given `NULL`, simply look up
`HEAD`.

rebase: provide NULL `exec` on non-EXEC operations

Users may want to try to pay attention to the `exec` field on all
rebase operations.

Merge pull request #2901 from ethomson/win32_mode_bits

win32: limit the mode to `_wopen`/`_waccess`

pack-objects: unlock the cache on integer overflow

buf test: cleanup memory leak

integer overflow: use compiler intrinsics if supported

gcc and clang support __builtin_add_overflow, use it whenever
possible, falling back to our naive routines.

filebuf: use an int for return check

Make our overflow check look more like gcc/clang's

Make our overflow checking look more like gcc and clang's, so that
we can substitute it out with the compiler instrinsics on platforms
that support it.  This means dropping the ability to pass `NULL` as
an out parameter.

As a result, the macros also get updated to reflect this as well.

win32: limit the mode to `_wopen`/`_waccess`

Win32 generally ignores Unix-like mode bits that don't make any
sense on the platform (eg `0644` makes no sense to Windows).  But
WINE complains loudly when presented with POSIXy bits.  Remove them.

(Thanks @phkelley)

Merge pull request #2883 from urkud/reget-reader-pointer

Reinit `reader` pointer after reading included config file

Merge pull request #2897 from leoyanggit/fix_fileop_warning

Fix build warning on Android

Update `khash.h` to pull request 42

https://github.com/attractivechaos/klib/pull/42/files introduces
`kreallocarray`.  Hook that up as our `git__reallocarray`.

khash: update to klib f28c067

Introduce git__add_sizet_overflow and friends

Add some helper functions to check for overflow in a type-specific
manner.

p_read: ensure requested len is ssize_t

Ensure that the given length to `p_read` is of ssize_t and ensure
that callers test the return as if it were an `ssize_t`.

Use `size_t` to hold size of arrays

Use `size_t` to hold the size of arrays to ease overflow checking,
lest we check for overflow of a `size_t` then promptly truncate
by packing the length into a smaller type.

overflow checking: don't make callers set oom

Have the ALLOC_OVERFLOW testing macros also simply set_oom in the
case where a computation would overflow, so that callers don't
need to.

git_buf_grow_by: increase buf asize incrementally

Introduce `git_buf_grow_by` to incrementally increase the size of a
`git_buf`, performing an overflow calculation on the growth.

git__*allocarray: safer realloc and malloc

Introduce git__reallocarray that checks the product of the number
of elements and element size for overflow before allocation.  Also
introduce git__mallocarray that behaves like calloc, but without the
`c`.  (It does not zero memory, for those truly worried about every
cycle.)

odb__hashlink: check st.st_size before casting

allocations: test for overflow of requested size

Introduce some helper macros to test integer overflow from arithmetic
and set error message appropriately.