checkout: drop git_checkout_reference()

checkout: segregate checkout strategies

checkout: separate tree from index related tests

reset: add support for GIT_RESET_HARD mode

checkout: introduce git_checkout_index()

checkout: introduce git_checkout_tree()

odb: don't overflow the link path buffer

Allocate a buffer large enough to store the path plus the terminator
instead of letting readlink write beyond the end.

Merge pull request #860 from schu/thread-safety

odb_pack: make sure to search all backends

odb_pack: fix race condition

last_found is the last packfile a wanted object was found in. Since
last_found is shared among all searching threads, it might changes while
we're searching. As suggested by @arrbee, put a copy on the stack to fix
the race condition.

Merge pull request #937 from nulltoken/fix/issue_936

refs: prevent locked refs from being enumerated

refs: prevent locked refs from being enumerated

Fix #936

config: fix Unicode BOM detection

Defining the BOM as a string makes the array include the
NUL-terminator, which means that the memcpy is going to check for that
as well and thus never match for a nonempty file.

Define the array as three chars, which makes the size correct.

Remove unnecessary include

I don't think clone.c needs in #include dirent.h and it is not
portable, so let's just get rid of it.

Merge pull request #934 from nulltoken/patch-1

Fix MSVC compilation warnings

Fix MSVC compilation warnings

Merge pull request #933 from barrbrain/pack-iterate-objects-in-offset-order

pack: iterate objects in offset order

pack: iterate objects in offset order

Compute the ordering on demand and persist until the index is freed.

http: use the new unicode functions

The winhttp branch was based on a version before these existed, so the
build broke on Windows.

Merge pull request #901 from carlosmn/winhttp

http: use WinHTTP on Windows

http: use WinHTTP on Windows

Wondows has its own HTTP library. Use that one when possible instead of
our own.

As we don't depend on them anymore, remove the http-parser library from
the Windows build, as well as the search for OpenSSL.

Merge pull request #931 from scunz/error_text

Fix error text s/buffer too long/buffer too short/

Fix error text s/buffer too long/buffer too short/

Merge pull request #929 from arrbee/diff-iter-fixes

Fix problems in diff iterator record chaining

Forgot to reset hunk & line between files

The last change tweaked the way we use the hunk_curr pointer
during iteration, but failed to reset the value back to NULL
when switching files.

Merge pull request #930 from nulltoken/fix/tracking-without-fetch-refspec

refspec: No remote tracking ref from a fetchspec-less remote

refspec: No remote tracking ref from a fetchspec-less remote

Fix problems in diff iterator record chaining

There is a bug in building the linked list of line records in the
diff iterator and also an off by one element error in the hunk
counts.  This fixes both of these, adds some test data with more
complex sets of hunk and line diffs to exercise this code better.

Merge pull request #927 from arrbee/hashfile-with-filters

Add git_repository_hashfile to hash with filters

Merge pull request #928 from barrbrain/odb-pack-stat-less

odb_pack: try lookup before refreshing packs

Fix -Wuninitialized warning

odb_pack: try lookup before refreshing packs

This reduces the rate of syscalls for the common case of sequences of
object reads from the same pack.

Best of 5 timings for libgit2_clar before this patch:
real    0m5.375s
user    0m0.392s
sys     0m3.564s

After applying this patch:
real    0m5.285s
user    0m0.356s
sys     0m3.544s

0.6% improvement in system time.
9.2% improvement in user time.
1.7% improvement in elapsed time.

Confirmed a 0.6% reduction in number of system calls with strace.

Expect greater improvement for graph-traversal with large packs.

Add tests and improve param checks

Fixed some minor `git_repository_hashfile` issues:

- Fixed incorrect doc (saying that repo could be NULL)
- Added checking of object type value to acceptable ones
- Added more tests for various parameter permutations

Add git_repository_hashfile to hash with filters

The existing `git_odb_hashfile` does not apply text filtering
rules because it doesn't have a repository context to evaluate
the correct rules to apply.  This adds a new hashfile function
that will apply repository-specific filters (based on config,
attributes, and filename) before calculating the hash.

Merge pull request #920 from scunz/mergebase_const

git_mergebase: Constness-Fix for consistency

Merge branch 'diff-crlf-filters' into development

Properly handle p_reads

Fix diff binary file detection

In the process of adding tests for the max file size threshold
(which treats files over a certain size as binary) there seem to
be a number of problems in the new code with detecting binaries.
This should fix those up, as well as add a test for the file
size threshold stuff.

Also, this un-deprecates `GIT_DIFF_LINE_ADD_EOFNL`, since I
finally found a legitimate situation where it would be returned.

Merge pull request #924 from schu/cache-fix-race-cond

cache: fix race condition

cache: fix race condition

Example: a cached node is owned only by the cache (refcount == 1).
Thread A holds the lock and determines that the entry which should get
cached equals the node (git_oid_cmp(&node->oid, &entry->oid) == 0).
It frees the given entry to instead return the cached node to the user
(entry = node). Now, before Thread A happens to increment the refcount
of the node *outside* the cache lock, Thread B tries to store another
entry and hits the slot of the node before, decrements its refcount and
frees it *before* Thread A gets a chance to increment for the user.

git_cached_obj_incref(entry);

git_mutex_lock(&cache->lock);
{
git_cached_obj *node = cache->nodes[hash & cache->size_mask];

if (node == NULL) {
cache->nodes[hash & cache->size_mask] = entry;
} else if (git_oid_cmp(&node->oid, &entry->oid) == 0) {
git_cached_obj_decref(entry, cache->free_obj);
entry = node;
} else {
git_cached_obj_decref(node, cache->free_obj);

// Thread B is here

cache->nodes[hash & cache->size_mask] = entry;
}
}
git_mutex_unlock(&cache->lock);

// Thread A is here

/* increase the refcount again, because we are
 * returning it to the user */
git_cached_obj_incref(entry);

Merge pull request #914 from authmillenon/index-fixes

Fix logical error in git_index_set_caps

Merge pull request #906 from nulltoken/topic/git_reference_peel

git reference peel

Reorg internal odb read header and object lookup

Often `git_odb_read_header` will "fail" and have to read the
entire object into memory instead of just the header.  When this
happens, the object is loaded and then disposed of immediately,
which makes it difficult to efficiently use the header information
to decide if the object should be loaded (since attempting to do
so will often result in loading the object twice).

This commit takes the existing code and reorganizes it to have
two new functions:

- `git_odb__read_header_or_object` which acts just like the old
  read header function except that it returns the object, too, if
  it was forced to load the whole thing.  It then becomes the
  callers responsibility to free the `git_odb_object`.
- `git_object__from_odb_object` which was extracted from the old
  `git_object_lookup` and creates a subclass of `git_object` from
  an existing `git_odb_object` (separating the ODB lookup from the
  `git_object` creation).  This allows you to use the first header
  reading function efficiently without instantiating the
  `git_odb_object` twice.

There is no net change to the behavior of any of the existing
functions, but this allows internal code to tap into the ODB
lookup and object creation to be more efficient.

Move diff max_size to public API

This commit adds a max_size value in the public `git_diff_options`
structure so that the user can automatically flag blobs over a
certain size as binary regardless of other properties.

Also, and perhaps more importantly, this moves binary detection
to be as early as possible in the diff traversal inner loop and
makes sure that we stop loading objects as soon as we decide that
they are binary.

Replace git_diff_iterator_num_files with progress

The `git_diff_iterator_num_files` API was problematic, since we
don't actually know the exact number of files to be iterated over
until we load those files into memory.  This replaces it with a
new `git_diff_iterator_progress` API that goes from 0 to 1, and
moves and renamed the old API for the internal places that can
tolerate a max value instead of an exact value.

git_mergebase: Constness-Fix for consistency

Add missing accessor for fetchRecurseSubmodules

When `git_submodule` became an opaque structure, I forgot to add
accessor functions for the fetchRecurseSubmodules config setting.
This fixes that.

Clean up blob diff path

Previously when diffing blobs, the diff code just ran with a NULL
repository object. Of course, that's not necessary and the test
for a NULL repo was confusing. This makes the blob diff run with
the repo that contains the blobs and clarifies the test that it
is possible to be diffing data where the path is unknown.

Implement filters for status/diff blobs

This adds support to diff and status for running filters (a la crlf)
on blobs in the workdir before computing SHAs and before generating
text diffs.  This ended up being a bit more code change than I had
thought since I had to reorganize some of the diff logic to minimize
peak memory use when filtering blobs in a diff.

This also adds a cap on the maximum size of data that will be loaded
to diff.  I set it at 512Mb which should match core git.  Right now
it is a #define in src/diff.h but it could be moved into the public
API if desired.

Better header comments

Alternate test for autocrlf with status

I couldn't get the last failing test to actually fail.  This
is a different test suggested by @nulltoken which should fail.

Test case to reproduce issue #690.
Staged file status does not handle CRLF correctly. Ensures that the test repo has core.autocrlf=true for the test to fail.

object: make git_object_peel() test more readable

checkout: fix documentation code alignment

checkout: cleanup misplaced declaration

errors: deploy GIT_EBAREREPO usage

errors: introduce GIT_EBAREREPO

refs: introduce git_reference_peel()

Fix #530

odb: mark unused variable

Merge pull request #900 from pwkelley/development

Expose a malloc function to 3rd party ODB backends

Merge pull request #912 from schu/netops-ssl-error

netops: be more careful with SSL errors

diff: Cleanup documentation and printf compat

Merge remote-tracking branch 'arrbee/diff-iterator' into development

Merge pull request #917 from arrbee/test-issue-835

Test for gitmodules only submodule def

Test for gitmodules only submodule def

This should confirm that issue #835 is fixed where a submodule that
is only declared in the .gitmodules file was not accessible via the
submodule APIs.

Fix comments and a minor bug

This adds better header comments and also fixes a bug in one of
simple APIs that tells the number of lines in the current hunk.

Diff iterators

This refactors the diff output code so that an iterator object
can be used to traverse and generate the diffs, instead of just
the `foreach()` style with callbacks.  The code has been rearranged
so that the two styles can still share most functions.

This also replaces `GIT_REVWALKOVER` with `GIT_ITEROVER` and uses
that as a common error code for marking the end of iteration when
using a iterator style of object.

Merge pull request #856 from libgit2/utf8-win

Windows: Perform UTF-8 path conversion on the Stack

branch: Add missing include

odb: pass the user's data pointer correctly in foreach

travis: use a valgrind suppressions file

We don't care about the supposed zlib errors, and the leak from
giterr_set isn't interesting, as it gets freed each time an error is
set.

Give valgrind a suppressions file so it doesn't tell us about them.

clar: Clear errors on shutdown

Fix logical error in git_index_set_caps

Merge pull request #913 from nulltoken/fix/warnings

Fix MSVC compilation warnings

Fix MSVC compilation warnings

netops: be more careful with SSL errors

SSL_get_error() allows to receive a result code for various SSL
operations. Depending on the return value (see man (3) SSL_get_error)
there might be additional information in the OpenSSL error queue. Return
the queued message if available, otherwise set an error message
corresponding to the return code.

netops: continue writing on SSL_ERROR_WANT_WRITE

Ignore tags file

Merge pull request #908 from nulltoken/bug/repo_reinit_init

repository: add failing repo initialization test

repository: make initialization cope with missing core.worktree

Add bounds checking to UTF-8 conversion

windows: Keep UTF-8 on the stack yo

UTF-8 changes yo

Merge pull request #905 from carlosmn/signature-now

signature: make the OS give us the offset for git_signature_now

Fix parentheses warning

signature: make the OS give us the offset for git_signature_now

There is a better and less fragile way to calculate time offsets. Let
the OS take care of dealing with DST and simply take the the offset
between the local time and UTC that it gives us.

ssl: make cert check ignore work for invalid certs, not just CNs

Passing SSL_VERIFY_PEER makes OpenSSL shut down the connection if the
certificate is invalid, without giving us a chance to ignore that
error. Pass SSL_VERIFY_NONE and call SSL_get_verify_result if the user
wanted us to check.

When no CNs match, we used to jump to on_error which gave a bogus
error as that's for OpenSSL errors. Jump to cert_fail so we tell the
user that the error came from checking the certificate.

Merge branch 'branch-delete-ref' into development

Conflicts:
include/git2/refs.h

Merge pull request #904 from arrbee/better-object-peel

Make git_object_peel a bit smarter

Merge pull request #897 from nulltoken/topic/git_reference_check_format

refs: expose git_reference_normalize_name()

Merge pull request #899 from schu/revwalk-push

revwalk: refuse push of non-commit objects

Make git_object_peel a bit smarter

This expands the types of peeling that `git_object_peel` knows
how to do to include TAG -> BLOB peeling, and makes the errors
slightly more consistent depending on the situation.  It also
adds a new special behavior where peeling to ANY will peel until
the object type changes (e.g. chases TAGs to a non-TAG).

Using this expanded peeling, this replaces peeling code that was
embedded in `git_tag_peel` and `git_reset`.

Merge pull request #903 from nulltoken/topic/peeling-duplication

branch: reduce code duplication

Expose a malloc function to 3rd party ODB backends

branch: reduce code duplication

revwalk: refuse push of non-commit objects

Check the type of the pushed object immediately instead of starting the
walk and failing in between.

refs: expose git_reference_normalize_name()

branch: Change `git_branch_delete` to take a ref

posix: Always set a default mapping mode

indexer: kill git_indexer_stats.data_received

It's not really needed with the current code as we have EOS and the
sideband's flush to tell us we're done.

Keep the distinction between processed and received objects.

http: increase buffer side to deal with side-band-64k

This poor transport was forgotten in the recent sideband support.