Merge pull request #2534 from libgit2/ntk/case_index_conflicts

Failing test for case sensitive conflicts in the index

index: overwrite the path when inserting conflicts

When we insert a conflict in a case-insensitive index, accept the
new entry's path as the correct case instead of leaving the path we
already had.

This puts `git_index_conflict_add()` on the same level as
`git_index_add()` in this respect.

index: correctly report which conflict stage has a wrong filemode

When we're at offset 'i', we're dealing with the 'i+1' stage, since
conflicts start at 1.

Failing test for case sensitive conflicts in the index

Merge pull request #3498 from ethomson/windows_symlinks

Diff: Honor `core.symlinks=false` and fake symlinks

Merge pull request #3500 from ethomson/submodules_with_path

Handle submodules with paths in `git_submodule_update`

submodule: reload HEAD/index after reading config

Reload the HEAD and index data for a submodule after reading the
configuration.  The configuration may specify a `path`, so we must
update HEAD and index data with that path in mind.

submodule: test updating a submodule w/ a path

Test that `git_submodule_update` can handle a submodule that is
freshly cloned and has a path differing from its name.

Merge pull request #3465 from libgit2/cmn/tls-register

stream: allow registering a user-provided TLS constructor

Merge branch 'pr/3487'

Fix git_commit_summary to convert newlines to spaces even after
whitespace.  Collapse spaces around newlines for the summary.

index: test that add_bypath preserves symlinks

Test that on platforms without `core.symlinks`, we preserve symlinks
in `git_index_add_bypath`.  (Users should correct the actual index
entry's mode to change a link to a regular file.)

diff: on win32, treat fake "symlinks" specially

On platforms that lack `core.symlinks`, we should not go looking for
symbolic links and `p_readlink` their target.  Instead, we should
examine the file's contents.

diff: test "symlinks" in wd are respected on win32

When `core.symlinks = false`, we write the symlinks content (target)
to a regular file.  We should ensure that when we later see that
regular file, we treat it specially - and that changing that regular
file would actually change the symlink target.  (For compatibility
with Git for Windows).

Merge pull request #3494 from leoyanggit/fix_unit_test_build

Fix build for unit test

stream: allow registering a user-provided TLS constructor

This allows the application to use their own TLS stream, regardless of
the capabilities of libgit2 itself.

stream: accept NULL in the free function

Merge branch 'pr/3147'

Add diff progress callback.

Fix build for unit test

If none of GIT_OPENSSL, GIT_WINHTTP or GIT_SECURE_TRANSPORT
is defined we should also be able to build the unit test.

Merge pull request #3491 from libgit2/cmn/config-checksum

Use checksums to detect config file changes

Merge pull request #3495 from leoyanggit/fix_transport_build

Fix build for custom transport users

Merge pull request #3492 from libgit2/vmg/redundant

merge-base: Remove redundant merge bases

merge: Fix memory leak in test

Add test case

merge-base: Style

merge-base: Do not read parents from the root

merge-base: Remove redundant merge bases

filebuf: use an internal buffer

This reduces the chances of a crash in the thread tests. This shouldn't
affect general usage too much, since the main usage of these functions
are to read into an empty buffer.

filebuf: use a checksum to detect file changes

Instead of relying on the size and timestamp, which can hide changes
performed in the same second, hash the file content's when we care about
detecting changes.

config: add failing test for an external modification

We currently use the timestamp in order to decide whether a config file
has changed since we last read it.

This scheme falls down if the file is written twice within the same
second, as we fail to detect the file change after the first read in
that second.

Merge pull request #3493 from ethomson/read_index

index: read_index must update hashes

Fix build for custom transport users

We should explicitly include the declaration of git_strarray
from "include/git2/sys/transport.h"

git: put NULL check at the top

index: read_index must update hashes

git: accept NULL as argument to its stream free

Merge pull request #3486 from srajko/reflog-segfault-fix

Fix segfault when reading reflog with extra newlines

Prevent segfault when parsing a reflog with oid parse error

Using calloc instead of malloc because the parse error will lead to an immediate free of committer (and its properties, which can segfault on free if undefined - test_refs_reflog_reflog__reading_a_reflog_with_invalid_format_returns_error segfaulted before the fix).

#3458

pool: fix documentation

Merge pull request #3488 from libgit2/vmg/pool

pool: Simplify implementation

merge: Do not mallocz unecessary entries

pool: update comment

pool: Dot not assume mallocs are zeroed out

pool: Handle 32 bit systems

pool: Take into account malloc overhead & pool page size

repository: plug memory leak

cc @carlosmn

pool: Simplify implementation

Merge pull request #3489 from libgit2/vmg/reuc-insert

Better REUC generation when merging

merge: Plug memory leak

merge: Implement `GIT_MERGE_TREE_SKIP_REUC`

reuc: Be smarter when inserting new REUC entries

Inserting new REUC entries can quickly become pathological given that
each insert unsorts the REUC vector, and both subsequent lookups *and*
insertions will require sorting it again before being successful.

To avoid this, we're switching to `git_vector_insert_sorted`: this keeps
the REUC vector constantly sorted and lets us use the `on_dup` callback
to skip an extra binary search on each insertion.

Merge pull request #3485 from srajko/giterr_clear-typo-fix

Fix docs typo geterr_clear -> giterr_clear

Fix docs typo geterr_clear -> giterr_clear

Merge pull request #3477 from linquize/inttypes.h

inttypes.h is built-in header file since MSVC 2013

Merge pull request #3483 from ethomson/cmake_xcode

cmake: split sources into original paths for Xcode and MSVC

Merge pull request #3481 from ethomson/xdiff_include

xdiff: reference util.h in parent directory

Merge pull request #3482 from ethomson/merge_fail_on_conflict

merge: add GIT_MERGE_TREE_FAIL_ON_CONFLICT

cmake: split sources into original paths for Xcode and MSVC

The MSVC_SPLIT_SOURCES function is helpful for other IDEs, like Xcode,
and will split the source files up into their target directories,
instead of merely placing them all in a "Sources" directory.

Rename MSVC_SPLIT_SOURCES to IDE_SPLIT_SOURCES and enable it for Xcode.

merge: add GIT_MERGE_TREE_FAIL_ON_CONFLICT

Provide a new merge option, GIT_MERGE_TREE_FAIL_ON_CONFLICT, which
will stop on the first conflict and fail the merge operation with
GIT_EMERGECONFLICT.

Merge pull request #3480 from ethomson/nsecs

Nanoseconds in the index: ignore for diffing

xdiff: reference util.h in parent directory

Although CMake will correctly configure include directories for us,
some people may use their own build system, and we should reference
`util.h` based on where it actually lives.

diff: ignore nsecs when diffing

Although our index contains the literal time present in the index,
we do not read nanoseconds from disk, and thus we should not use
them in any comparisons, lest we always think our working directory
is dirty.

Guard this behind a `GIT_USE_NSECS` for future improvement.

index: test that we round-trip nsecs

Test that nanoseconds are round-tripped correctly when we read
an index file that contains them.  We should, however, ignore them
because we don't understand them, and any new entries in the index
should contain a `0` nsecs field, while existing preserving entries.

inttypes.h is built-in header file since MSVC 2013

The reason is that the types defined in libgit2's inttypes.h collide with system inttypes.h
3rd party library header files may directly reference MSVC's built-in inttypes.h

Fixes #3476

Merge pull request #3475 from libgit2/cmn/programdata-config

config: add a ProgramData level

Merge pull request #3479 from ethomson/cplusplus

api: be explicit about our C linkage

win32: add c linkage guard around inttypes.h inclusion

config: add a ProgramData level

This is where portable git stores the global configuration which we can
use to adhere to it even though git isn't quite installed on the system.

Merge pull request #3478 from libgit2/vmg/crud

signature: Strip crud

tests: Fix warnings

index: Remove unneeded consts

signature: Strip crud just like Git does

Merge pull request #3466 from libgit2/cmn/quick-parse-64

revwalk: make commit list use 64 bits for time

Merge pull request #3444 from ethomson/add_preserves_conflict_mode

Preserve modes from a conflict in `git_index_insert`

Merge pull request #3468 from libgit2/vmg/odb-lookups

Fix pathological performance in ODB lookups

odb: Prioritize alternate backends

For most real use cases, repositories with alternates use them as main
object storage. Checking the alternate for objects before the main
repository should result in measurable speedups.

Because of this, we're changing the sorting algorithm to prioritize
alternates *in cases where two backends have the same priority*. This
means that the pack backend for the alternate will be checked before the
pack backend for the main repository *but* both of them will be checked
before any loose backends.

odb: Be smarter when refreshing backends

In the current implementation of ODB backends, each backend is tasked
with refreshing itself after a failed lookup. This is standard Git
behavior: we want to e.g. reload the packfiles on disk in case they have
changed and that's the reason we can't find the object we're looking
for.

This behavior, however, becomes pathological in repositories where
multiple alternates have been loaded. Given that each alternate counts
as a separate backend, a miss in the main repository (which can
potentially be very frequent in cases where object storage comes from
the alternate) will result in refreshing all its packfiles before we
move on to the alternate backend where the object will most likely be
found.

To fix this, the code in `odb.c` has been refactored as to perform the
refresh of all the backends externally, once we've verified that the
object is nowhere to be found.

If the refresh is successful, we then perform the lookup sequentially
through all the backends, skipping the ones that we know for sure
weren't refreshed (because they have no refresh API).

The on-disk pack backend has been adjusted accordingly: it no longer
performs refreshes internally.

Merge pull request #3453 from libgit2/cmn/warn-python

CMake: be more explicit with python errors

revwalk: make commit list use 64 bits for time

We moved the "main" parsing to use 64 bits for the timestamp, but the
quick parsing for the revwalk did not. This means that for large
timestamps we fail to parse the time and thus the walk.

Move this parser to use 64 bits as well.

Merge pull request #3455 from Eun/master

Examples: network/fetch.c transfer_progress_cb - should return a value

fix return

CMake: be more explicit with python errors

There's been a few reports of users not understanding what the python
error means, so spell out the options they have.

Merge pull request #3451 from ethomson/xdiff

xdiff fixes

blame: guard xdiff calls for large files

diff: don't feed large files to xdiff

merge_file: treat large files as binary

xdiff craps the bed on large files.  Treat very large files as binary,
so that it doesn't even have to try.

Refactor our merge binary handling to better match git.git, which
looks for a NUL in the first 8000 bytes.

xdiff: convert size variables to size_t

GITERR_CHECK_ALLOC_ADDn: multi-arg adders

Merge pull request #3447 from arthurschreiber/arthur/fix-odb-refdb-free

refdb and odb backends must provide `free` function

refdb and odb backends must provide `free` function

As refdb and odb backends can be allocated by client code, libgit2
can’t know whether an alternative memory allocator was used, and thus
should not try to call `git__free` on those objects.

Instead, odb and refdb backend implementations must always provide
their own `free` functions to ensure memory gets freed correctly.

Merge pull request #3446 from ethomson/portability

portability: use `CHECK_FUNCTION_EXISTS` for checking whether functions exist...

Merge pull request #3445 from libgit2/cmn/ssl-null

openssl: don't try to teardown an unconnected SSL context

index: also try conflict mode when inserting

When we do not trust the on-disk mode, we use the mode of an existing
index entry.  This allows us to preserve executable bits on platforms
that do not honor them on the filesystem.

If there is no stage 0 index entry, also look at conflicts to attempt
to answer this question:  prefer the data from the 'ours' side, then
the 'theirs' side before falling back to the common ancestor.

qsort_r/qsort_s: detect their support

p_futimes: support using futimens when available

openssl: don't try to teardown an unconnected SSL context

SSL_shutdown() does not like it when we pass an unitialized ssl context
to it. This means that when we fail to connect to a host, we hide the
error message saying so with OpenSSL's indecipherable error message.

Merge pull request #3411 from spraints/custom-push-headers

Include custom HTTP headers

Merge pull request #3443 from libgit2/longpath-printf

win32::longpath: don't print path

index: test that add_bypath preserves mode

win32::longpath: don't print path