merge: add simple recursive test

Add a simple recursive test - where multiple ancestors exist and
creating a virtual merge base from them would prevent a conflict.

merge: rename `git_merge_tree_flags_t` -> `git_merge_flags_t`

Merge pull request #3517 from jacquesg/warnings-fixes

Fix some warnings

Merge pull request #3514 from jacquesg/stat-fixes

Stat fixes

Merge pull request #3516 from libgit2/cmn/repository-state-sequencer

repository: distinguish sequencer cherry-pick and revert

Detect stat's structure

Fix some warnings

repository: distinguish sequencer cherry-pick and revert

These are not quite like their plain counterparts and require special handling.

Merge pull request #3511 from ethomson/racy_fixes_2

Racy fixes for writing new indexes

Merge pull request #3512 from ethomson/windows_sysdir

Protect windows SYSDIR when running tests

tests: use out-of-the-way config dir in sandbox

Don't put the configuration in a subdir of the sandbox named
`config`, lest some tests decide to create their own directory
called `config`.  Prefix with some underscores for uniqueness.

tests: set PROGRAMDATA directory for running tests

config::global: use PROGRAMDATA configuration

Query the `GIT_CONFIG_LEVEL_PROGRAMDATA` location when setting it up
for tests, in case the test runner has sandboxed it.

settings: allow users to set PROGRAMDATA

Allow users to set the `git_libgit2_opts` search path for the
`GIT_CONFIG_LEVEL_PROGRAMDATA`.  Convert `GIT_CONFIG_LEVEL_PROGRAMDATA`
to `GIT_SYSDIR_PROGRAMDATA` for setting the configuration.

racy: make git_index_read_index handle raciness

Ensure that `git_index_read_index` clears the uptodate bit on
files that it modifies.

Further, do not propagate the cache from an on-disk index into
another on-disk index.  Although this should not be done, as
`git_index_read_index` is used to bring an in-memory index into
another index (that may or may not be on-disk), ensure that we do
not accidentally bring in these bits when misused.

racy: ensure git_index_read_tree clears uptodate

Ensure that `git_index_read_tree` clears the uptodate bit on files
that it modifies.

index: clear uptodate bit on save

The uptodate bit should have a lifecycle of a single read->write
on the index.  Once the index is written, the files within it should
be scanned for racy timestamps against the new index timestamp.

index: test for smudged entries on write only

Test that entries are only smudged when we write the index: the
entry smudging is to prevent us from updating an index in a way
that it would be impossible to tell that an item was racy.
Consider when we load an index:  any entries that have the same
(or newer) timestamp than the index itself are considered racy,
and are subject to further scrutiny.

If we *save* that index with the same entries that we loaded,
then the index would now have a newer timestamp than the entries,
and they would no longer be given that additional scrutiny, failing
our racy detection!  So test that we smudge those entries only on
writing the new index, but that we can detect them (in diff) without
having to write.

checkout::crlf test: don't crash when no idx entry

When there's no matching index entry (for whatever reason), don't
try to dereference the null return value to get at the id.

Otherwise when we break something in the index API, the checkout
test crashes for confusing reasons and causes us to step through
it in a debugger thinking that we had broken much more than we
actually did.

index: don't detect raciness in uptodate entries

Keep track of entries that we believe are up-to-date, because we
added the index entries since the index was loaded.  This prevents
us from unnecessarily examining files that we wrote during the
cleanup of racy entries (when we smudge racily clean files that have
a timestamp newer than or equal to the index's timestamp when we
read it).  Without keeping track of this, we would examine every
file that we just checked out for raciness, since all their timestamps
would be newer than the index's timestamp.

racy-git: do a single index->workdir diff

When examining paths that are racily clean, do a single index->workdir
diff over the entirety of the racily clean files, instead of a diff
per file.

Merge pull request #3506 from libgit2/vmg/pool-align

pool: Never return unaligned buffers

pool: Never return unaligned buffers

Merge pull request #3170 from CmdrMoozy/nsec_fix

git_index_entry__init_from_stat: set nsec fields in entry stats

Merge pull request #3499 from ethomson/ref_dir_errmsgs

Improve error messages when dirs prevent ref/reflog creation

Merge pull request #3448 from libgit2/cmn/custom-agent

Support setting custom user-agent

CHANGELOG: add note about custom user-agent

winhttp: use a custom user-agent if the user has set it

We also keep the "git/1.0" prefix in order to maintain compatibility
with hosters.

http: use a custom user-agent if the user has set it

We still prefix it with "git/1.0" since that's required in many
situations, but we replace the area which mentions libgit2.

settings: add a setter for a custom user-agent

Merge pull request #2534 from libgit2/ntk/case_index_conflicts

Failing test for case sensitive conflicts in the index

reflog: error when a directory is at reflog path

When a non-empty directory exists and prevents the creation of a
reflog, provide a more informative error message.

refs: complain when a directory exists at ref

When a (non-empty) directory exists at the reference target
location, complain with a more actionable error message.

index: overwrite the path when inserting conflicts

When we insert a conflict in a case-insensitive index, accept the
new entry's path as the correct case instead of leaving the path we
already had.

This puts `git_index_conflict_add()` on the same level as
`git_index_add()` in this respect.

index: correctly report which conflict stage has a wrong filemode

When we're at offset 'i', we're dealing with the 'i+1' stage, since
conflicts start at 1.

Failing test for case sensitive conflicts in the index

Merge pull request #3498 from ethomson/windows_symlinks

Diff: Honor `core.symlinks=false` and fake symlinks

Merge pull request #3500 from ethomson/submodules_with_path

Handle submodules with paths in `git_submodule_update`

submodule: reload HEAD/index after reading config

Reload the HEAD and index data for a submodule after reading the
configuration.  The configuration may specify a `path`, so we must
update HEAD and index data with that path in mind.

submodule: test updating a submodule w/ a path

Test that `git_submodule_update` can handle a submodule that is
freshly cloned and has a path differing from its name.

Merge pull request #3465 from libgit2/cmn/tls-register

stream: allow registering a user-provided TLS constructor

Merge branch 'pr/3487'

Fix git_commit_summary to convert newlines to spaces even after
whitespace.  Collapse spaces around newlines for the summary.

filebuf: detect directories in our way

When creating a filebuf, detect a directory that exists in our
target file location.  This prevents a failure later, when we try
to move the lock file to the destination.

reflog: test reflog is deleted when ref is deleted

index: test that add_bypath preserves symlinks

Test that on platforms without `core.symlinks`, we preserve symlinks
in `git_index_add_bypath`.  (Users should correct the actual index
entry's mode to change a link to a regular file.)

diff: on win32, treat fake "symlinks" specially

On platforms that lack `core.symlinks`, we should not go looking for
symbolic links and `p_readlink` their target.  Instead, we should
examine the file's contents.

diff: test "symlinks" in wd are respected on win32

When `core.symlinks = false`, we write the symlinks content (target)
to a regular file.  We should ensure that when we later see that
regular file, we treat it specially - and that changing that regular
file would actually change the symlink target.  (For compatibility
with Git for Windows).

Merge pull request #3494 from leoyanggit/fix_unit_test_build

Fix build for unit test

stream: allow registering a user-provided TLS constructor

This allows the application to use their own TLS stream, regardless of
the capabilities of libgit2 itself.

stream: accept NULL in the free function

Merge branch 'pr/3147'

Add diff progress callback.

Fix build for unit test

If none of GIT_OPENSSL, GIT_WINHTTP or GIT_SECURE_TRANSPORT
is defined we should also be able to build the unit test.

Merge pull request #3491 from libgit2/cmn/config-checksum

Use checksums to detect config file changes

Merge pull request #3495 from leoyanggit/fix_transport_build

Fix build for custom transport users

Merge pull request #3492 from libgit2/vmg/redundant

merge-base: Remove redundant merge bases

merge: Fix memory leak in test

Add test case

merge-base: Style

merge-base: Do not read parents from the root

merge-base: Remove redundant merge bases

filebuf: use an internal buffer

This reduces the chances of a crash in the thread tests. This shouldn't
affect general usage too much, since the main usage of these functions
are to read into an empty buffer.

filebuf: use a checksum to detect file changes

Instead of relying on the size and timestamp, which can hide changes
performed in the same second, hash the file content's when we care about
detecting changes.

config: add failing test for an external modification

We currently use the timestamp in order to decide whether a config file
has changed since we last read it.

This scheme falls down if the file is written twice within the same
second, as we fail to detect the file change after the first read in
that second.

Merge pull request #3493 from ethomson/read_index

index: read_index must update hashes

Fix build for custom transport users

We should explicitly include the declaration of git_strarray
from "include/git2/sys/transport.h"

git: put NULL check at the top

index: read_index must update hashes

git: accept NULL as argument to its stream free

Merge pull request #3486 from srajko/reflog-segfault-fix

Fix segfault when reading reflog with extra newlines

Prevent segfault when parsing a reflog with oid parse error

Using calloc instead of malloc because the parse error will lead to an immediate free of committer (and its properties, which can segfault on free if undefined - test_refs_reflog_reflog__reading_a_reflog_with_invalid_format_returns_error segfaulted before the fix).

#3458

pool: fix documentation

Merge pull request #3488 from libgit2/vmg/pool

pool: Simplify implementation

merge: Do not mallocz unecessary entries

pool: update comment

pool: Dot not assume mallocs are zeroed out

pool: Handle 32 bit systems

pool: Take into account malloc overhead & pool page size

repository: plug memory leak

cc @carlosmn

pool: Simplify implementation

Merge pull request #3489 from libgit2/vmg/reuc-insert

Better REUC generation when merging

merge: Plug memory leak

merge: Implement `GIT_MERGE_TREE_SKIP_REUC`

reuc: Be smarter when inserting new REUC entries

Inserting new REUC entries can quickly become pathological given that
each insert unsorts the REUC vector, and both subsequent lookups *and*
insertions will require sorting it again before being successful.

To avoid this, we're switching to `git_vector_insert_sorted`: this keeps
the REUC vector constantly sorted and lets us use the `on_dup` callback
to skip an extra binary search on each insertion.

Merge pull request #3485 from srajko/giterr_clear-typo-fix

Fix docs typo geterr_clear -> giterr_clear

Fix docs typo geterr_clear -> giterr_clear

Merge pull request #3477 from linquize/inttypes.h

inttypes.h is built-in header file since MSVC 2013

Merge pull request #3483 from ethomson/cmake_xcode

cmake: split sources into original paths for Xcode and MSVC

Merge pull request #3481 from ethomson/xdiff_include

xdiff: reference util.h in parent directory

Merge pull request #3482 from ethomson/merge_fail_on_conflict

merge: add GIT_MERGE_TREE_FAIL_ON_CONFLICT

cmake: split sources into original paths for Xcode and MSVC

The MSVC_SPLIT_SOURCES function is helpful for other IDEs, like Xcode,
and will split the source files up into their target directories,
instead of merely placing them all in a "Sources" directory.

Rename MSVC_SPLIT_SOURCES to IDE_SPLIT_SOURCES and enable it for Xcode.

merge: add GIT_MERGE_TREE_FAIL_ON_CONFLICT

Provide a new merge option, GIT_MERGE_TREE_FAIL_ON_CONFLICT, which
will stop on the first conflict and fail the merge operation with
GIT_EMERGECONFLICT.

Merge pull request #3480 from ethomson/nsecs

Nanoseconds in the index: ignore for diffing

xdiff: reference util.h in parent directory

Although CMake will correctly configure include directories for us,
some people may use their own build system, and we should reference
`util.h` based on where it actually lives.

diff: ignore nsecs when diffing

Although our index contains the literal time present in the index,
we do not read nanoseconds from disk, and thus we should not use
them in any comparisons, lest we always think our working directory
is dirty.

Guard this behind a `GIT_USE_NSECS` for future improvement.

index: test that we round-trip nsecs

Test that nanoseconds are round-tripped correctly when we read
an index file that contains them.  We should, however, ignore them
because we don't understand them, and any new entries in the index
should contain a `0` nsecs field, while existing preserving entries.

inttypes.h is built-in header file since MSVC 2013

The reason is that the types defined in libgit2's inttypes.h collide with system inttypes.h
3rd party library header files may directly reference MSVC's built-in inttypes.h

Fixes #3476

Merge pull request #3475 from libgit2/cmn/programdata-config

config: add a ProgramData level

Merge pull request #3479 from ethomson/cplusplus

api: be explicit about our C linkage