Merge pull request #2042 from libgit2/cmn/conditional-ref

refs: conditional ref updates

Fix some Windows warnings

This fixes a number of warnings with the Windows 64-bit build
including a test failure in test_repo_message__message where an
invalid pointer to a git_buf was being used.

Merge pull request #2100 from libgit2/rb/update-pqueue

Replace priority queue code with implementation from hashsig

Merge pull request #2104 from ethomson/utf8_cleanup

Remove unused utf8 -> utf16 conversion code

Remove unused utf8 -> utf16 conversion code

Merge pull request #2027 from libgit2/rb/only-windows-is-windows

Some tests of paths that can't actually be written to disk

Merge pull request #2094 from libgit2/cmn/push-non-commit

Add flexibility to the revwalk API

Merge pull request #2103 from libgit2/cmn/parse-commit-faster

commit: faster parsing

Split p_strlen into its own header

We need this from util.h and posix.h, but the latter includes common.h
which includes util.h, which means p_strlen is not defined by the time
we get to git__strndup().

Split the definition on p_strlen() off into its own header so we can use
it in util.h.

utils: don't reimplement strnlen

The standard library provides a very nice strnlen function, which knows
to use SSE, let's not reimplement it ourselves.

commit: faster parsing

The current code issues a lot of strncmp() calls in order to check for
the end of the header, simply in order to copy it and start going
through it again. These are a lot of calls for something we can check as
we go along. Knowing the amount of parents beforehand to reduce
allocations in extreme cases does not make up for them.

Instead start parsing immediately and check for the double-newline after
each header field, leaving the raw_header allocation for the end, which
lets us go through the header once and reduces the amount of strncmp()
calls significantly.

In unscientific testing, this has reduced a shortlog-like usage (walking
though the whole history of a branch and extracting data from the
commits) of git.git from ~830ms to ~700ms and makes the time we spend in
strncmp() negligible.

docs: produce literal asterisks

revparse: do look at all refs when matching text

Now that we no longer fail to push non-commits on a glob, let's search
on all refs when we rev-parse syntax asks us to match text.

revwalk: add a test for pushing all references

This used to be broken, let's make sure we don't break this use-case.

revwalk: remove usage of foreach

revwalk: ignore wrong object type in glob pushes

Pushing a whole namespace can cause us to attempt to push non-committish
objects. Catch this situation and special-case it for ignoring this.

revwalk: add a failing test for pushing "tags"

This shows that pusing a whole namespace can be problematic.

revwalk: accept committish objects

Let the user push committish objects and peel them to figure out which
commit to push to our queue.

This is for convenience and for allowing uses of

    git_revwalk_push_glob(w, "tags")

with annotated tags.

refs: add an unconditional delete

Add it under the git_reference_remove() name, letting the user pass the
repo and name, analogous to unconditional setting/creation.

refs: catch cases where the ref type has changed

If the type of the on-disk reference has changed, the old value
comparison should fail.

refs: check the ref's old value when deleting

Recognize when the reference has changed since we loaded it.

refs: placeholder conditional delete

We don't actually pass the old value yet.

refs: factor out old value comparison

We will reuse this later for deletion.

refs: bring conditional symbolic updates to the frontend

Bring the race detection goodness to symbolic references as well.

refdb: add conditional symbolic updates

Add a parameter to the backend to allow checking for the old symbolic
target.

refs: add tests for conditional updates

refs: fix leak on successful update

Free the old ref even on success.

refs: return GIT_EMODIFIED if the ref target moved

In case we loose the race to update the reference, return GIT_EMODIFIED
to let the user distinguish it from other types of errors.

refs: changes from feedback

Change the name to _matching() intead of _if(), and force _set_target()
to be a conditional update. If the user doesn't care about the old
value, they should use git_reference_create().

refs: conditional ref updates

Allow updating references if the old value matches the given one.

Avoid extra copying in pqueue operations

This tweaks the pqueue_up and pqueue_down routines so that they
will not do full element swaps but instead carry over the state
of the previous loop iteration and only assign elements for which
we know the final position.  This will avoid a little bit of data
assignment which should improve performance in theory.

Also got rid of some vector helpers that I'm no longer using.

Fix typo setting sorted flag when reloading index

This fixes a typo I made for setting the sorted flag on the index
after a reload.  That typo didn't actually cause any test failures
so I'm also adding a test that explicitly checks that the index is
correctly sorted after a reload when ignoring case and when not.

Convert pqueue to just be a git_vector

This updates the git_pqueue to simply be a set of specialized
init/insert/pop functions on a git_vector.

To preserve the pqueue feature of having a fixed size heap, I
converted the "sorted" field in git_vectors to a more general
"flags" field so that pqueue could mix in it's own flag.  This
had a bunch of ramifications because a number of places were
directly looking at the vector "sorted" field - I added a couple
new git_vector helpers (is_sorted, set_sorted) so the specific
representation of this information could be abstracted.

Merge pull request #2096 from ethomson/merge

Corrections for merge working directory validation

Add some priority queue tests

I forgot that I wrote some tests for the new priority queue code.

Replace pqueue with code from hashsig heap

I accidentally wrote a separate priority queue implementation when
I was working on file rename detection as part of the file hash
signature calculation code.  To simplify licensing terms, I just
adapted that to a general purpose priority queue and replace the
old priority queue implementation that was borrowed from elsewhere.

This also removes parts of the COPYING document that no longer
apply to libgit2.

Remove unused pointer assignment

Merge wd validation tests against index not HEAD

Validating the workdir should not compare HEAD to working
directory - this is both inefficient (as it ignores the cache)
and incorrect.  If we had legitimately allowed changes in the
index (identical to the merge result) then comparing HEAD to
workdir would reject these changes as different.  Further, this
will identify files that were filtered strangely as modified,
while testing with the cache would prevent this.

Also, it's stupid slow.

Test that emulates a strange filter implementation

Tests merging staged files identical to result

Tests merge when changes exist in workdir/index

Merge pull request #2095 from libgit2/update-head-reflog

Correct "new" id for reattached-HEAD reflog entry

Merge pull request #2098 from arthurschreiber/arthur/add-git_reference_is_note

Add `git_reference_is_note`.

Add `git_reference_is_note`.

Check for errors when dereferencing symbolic refs

Reflog: correct "new" id for reattaching HEAD

Add failing test case

Merge pull request #2092 from libgit2/rb/update-clar

Update to latest clar

Update to latest clar

Merge pull request #2081 from libgit2/bs/reflog

Reflog completionism

Allow tests to run without user config

Enhance testing of signature parameters

Document branch-creation reflog better

Provide good default reflog messages in branch api

Ensure moving a branch updates the reflog

Ensure renaming a reference updates the reflog

Add reflog parameters to git_branch_move

Deleting a branch deletes its reflog

Augment clone API with reflog parameters

Add reflog params to git_branch_create

Add passing reflog tests

Ensure creating HEAD creates its reflog

Enhance clarity

Ensure updating HEAD updates reflog

Add reflog params to set-head calls

Merge pull request #2085 from libgit2/rb/index-tree-blob-collision

Index tree-bob collision

Fix checkout NONE to not remove file

If you are checking out NONE, then don't remove.

Rename conflict to collision to prevent confusion

Force explicit remove of files instead of defer

The checkout code used to defer removal of "blocking" files in
checkouts until the blocked item was actually being written (since
we have already checked that the removing the block is acceptable
according to the update rules).  Unfortunately, this resulted in
an intermediate index state where both the blocking and new items
were in the index which is no longer allowed.  Now we just remove
the blocking item in the first pass so it never needs to coexist.

In cases where there are typechanges, this could result in a bit
more churn of removing and recreating intermediate directories,
but I'm going to assume that is an unusual case and the churn will
not be too costly.

Merge pull request #2091 from libgit2/rb/cleanups-123

Fix errors with zstream (and a variety of other cleanups)

Defer zstream NUL termination to end

And don't terminate if there isn't space for it (since it's binary
data, it's not worth a reallocation).

Expand zstream tests and fix off-by-one error

Reorganize zstream API and fix wrap problems

There were some confusing issues mixing up the number of bytes
written to the zstream output buffer with the number of bytes
consumed from the zstream input.  This reorganizes the zstream
API and makes it easier to deflate an arbitrarily large input
while still using a fixed size output.

Some fixes for Windows x64 warnings

Misc cleanups

Make submodule fetchRecurse match other options

This removes the fetchRecurse compiler warnings and makes the
behavior match the other submodule options (i.e. the in-memory
setting can be reset to the on-disk value).

Some missing oid to id renames

Merge pull request #2089 from scunz/cmake_path

We never search for libiconv via pkg-config

We never search for libiconv via pkg-config

So we actually also never know that we can set a dependency on it in
pkg-config. Instead always give it the -L and -l options.

Merge pull request #2088 from scunz/cmake_path

Fixing #2017 and #2087

Find and use a MacPorts version of libiconv. Fixes #2017.

- Add correct -I, -L and -l flags
- Search for libiconv in /opt/local/[include|lib] before in the
  system path. See #2017 for details.
- Give splitted -L and -l arguments to pkg-config

Cleanup FindIconv.cmake

Doesn't change anything. Just removes stuff that was probably missed
to remove when this was imported.

Use relative path to set cmake module path

This has actually no effect on a "normal" build, but allows to use
libgit2 as a part of a larger project via CMake's ADD_SUBDIRECTORY()

Closes #2087

Two-phase index merging

When three-way merging indexes, we previously changed each path
as we read them, which would lead to us adding an index entry for
'foo', then removing an index entry for 'foo/file'.  With the new
index requirements, this is not allowed.  Removing entries in the
merged index, then adding them, resolves this.  In the previous
example, we now remove 'foo/file' before adding 'foo'.

Give index_isrch the same semantics as index_srch

In case insensitive index mode, we would stop at a prefixed entry,
treating the provided search key length as a substring, not the
length of the string to match.

More index collision tests

index: Implement folder-file checks

index: Compare with given len

Add test for blob/tree name collisions in index

Merge pull request #2086 from ethomson/fixup

Don't strcmp a git_buf, strcmp its char *

Don't strcmp a git_buf, strcmp its char *

Merge pull request #2083 from arthurschreiber/arthur/add-git_commit_descendant_of

Add `git_commit_descendant_of`.

Add `git_graph_descendant_of`.

Merge pull request #2066 from libgit2/rb/builtin-diff-drivers

Add built in diff drivers

Add PHP tests and fix bug in PHP builtin driver

Update Javascript userdiff driver and tests

Writing a sample Javascript driver pointed out some extra
whitespace handling that needed to be done in the diff driver.
This adds some tests with some sample javascript code that I
pulled off of GitHub just to see what would happen.  Also, to
clean up the userdiff test data, I did a "git gc" and packed
up the test objects.

Got permission from Gustaf for userdiff patterns

Merge pull request #2075 from libgit2/cmn/leftover-oid

Leftover OID -> ID changes

Merge pull request #2077 from libgit2/cmn/buf-out

Buff up returning strings

Merge pull request #2078 from linquize/msvc

MSVC doesn't like modern code neither