Add some things to precompiled header

Merge pull request #1775 from libgit2/ssh-default-user

SSH username fixes

Update to clar 7bf638b80

CMake: finding libssh2 should be idempotent

With the current code, running 'cmake .' in an already-configured
directory causes the removal of ssh flags passed to the compiler,
making it impossible to build with ssh support but by removing CMake's
cache.

Remove the check for LIBSSH2_LIBRARY and let CMake do the right thing
wrt finding the library.

Include username in each credential type

Key-based authentication also needs an username, so include it in each
one.

Also stop assuming a default username of "git" in the ssh transport
which has no business making such a decision.

odb: free object data when id is ambiguous

By the time we recognise this as an ambiguous id, the object's data
has been loaded into memory. Free it when returning EABMIGUOUS.

Merge pull request #1768 from arrbee/issue-1766-gitignore-weirdness

Fix issue 1766 - bugs in managing ignore file lists

Merge pull request #1770 from ethomson/index_fuzz

Fixes to safely reading the index

Improve and comment git_ignore__pop_dir

This just cleans up the improved logic for popping ignore dirs
and documents why the complex behavior is needed.

Improve building ignore file lists

The routines to push and pop ignore files while traversing a
directory had some issues. In particular, setting up the initial
list would sometimes push an ignore file before it ought to be
applied if the starting path was a directory containing an ignore
file. Also, the pop function was not always matching the right
part of the path and would fail to pop ignores from the list in
some cases.

This adds some tests that exercise a particular problematic case
and then fixes the problems that I could find related to this.

At some point, I'd like to isolate this ignore rule management
code and rewrite it, but that's a larger project and right now,
I'll opt to just try to fix the broken behaviors.

Merge pull request #1773 from arrbee/fix-fnmatch-prefix

Revert PR #1462 and provide alternative fix

Match against file with leading ! was too broad

Revert PR #1462 and provide alternative fix

This rolls back the changes to fnmatch parsing from commit
2e40a60e847d6c128af23e24ea7a8efebd2427da except for the tests
that were added.  Instead this adds couple of new flags that can
be passed in when attempting to parse an fnmatch pattern.  Also,
this changes the pathspec match logic to special case matching a
filename with a '!' prefix against a negative pattern.

This fixes the build.

Merge pull request #1764 from ethomson/status_renames_from_rewrites

Add rename from rewrites to status

Merge pull request #1462 from yorah/fix/libgit2sharp-issue-379

status: fix handling of filenames with special prefixes

Merge pull request #1771 from nvloff/write_empty_config_value

config: allow setting  empty string as value

config: allow empty string as value

`git_config_set_string(config, "config.section", "")` fails when
escaping the value.

The buffer in `escape_value` is allocated without NULL-termination. And
in case of empty string 0 is passed for buffer size in `git_buf_grow`.

`git_buf_detach` returns NULL when the allocated size is 0 and that
leads to an error return in `GITERR_CHECK_ALLOC` called after
`escape_value`

The change in `config_file.c` was suggested by Russell Belfer <rb@github.com>

git_strndup fix when OOM

Fixes to safely reading the index

Avoid wrapping around extension size when reading, avoid walking off
the end of the buffer when reading names.

Merge pull request #1738 from libgit2/diff-patch-content-size

Add API for getting at git_diff_patch->content_size

Merge pull request #1746 from libgit2/rename-detection-performance

Rename detection slow

Merge pull request #1638 from brodie/brodie/handle-duplicate-objects-across-packs

odb_pack: handle duplicate objects from different packs

odb_pack: handle duplicate objects from different packs

This is based on 24634c6fd02b2240e4a93fad70a08220f8fb793a.

This also corrects an issue with error codes being mixed up with the
number of found objects.

Merge pull request #1769 from ethomson/configparse

Parse config headers with quoted quotes

Parse config headers with quoted quotes

Parse config headers that have the last quote on the
line quoted instead of walking off the end.

Merge pull request #1765 from arrbee/ambiguous-oids

More tests for ambiguous OIDs across packs

More tests for ambiguous OIDs across packs

The test coverage for ambiguous OIDs was pretty thin.  This adds
a bunch of new objects both in packs, across packs, and loose that
match to 8 characters so that we can test various cases of
ambiguous lookups.

Merge pull request #1763 from nvloff/nameless_submodule_segfault

submodule: check alloc and name presence

Add rename from rewrites to status

In git_diff_paired_foreach, temporarily resort the
index->workdir diff list by index path so that we can
track a rename in the workdir from head->index->workdir.

submodule: check alloc and name presense

Update submodule documentation

Fixes #1762

Move slow tests to "stress" clar module

Create a new section of clar tests "stress" that will default to
being off where we can put slow tests that push the library for
performance testing purposes.

Restore commented out tests

This restores the commented out tests (even though they're slow)
and fixes some trailing whitespace.

Rename test for rename from rewrite

A rename test that illustrates a rename from a rewrite.

Update rename src map for any split src

When using a rename source that is actually a to-be-split record,
we have to update the best-fit mapping data in both the case where
the target is also a split record and the case where the target
is a simple added record.  Before this commit, we were only doing
the update when the target was itself a split record (and even in
that case, the test was slightly wrong).

Rename test for multiple similar matches

A rename test that illustrates a source matching multiple targets.

Major rename detection changes

After doing further profiling, I found that a lot of time was
being spent attempting to insert hashes into the file hash
signature when using the rolling hash because the rolling hash
approach generates a hash per byte of the file instead of one
per run/line of data.

To optimize this, I decided to convert back to a run-based file
signature algorithm which would be more like core Git.

After changing this, a number of the existing tests started to
fail.  In some cases, this appears to have been because the test
was coded to be too specific to the particular results of the file
similarity metric and in some cases there appear to have been bugs
in the core rename detection code where only by the coincidence
of the file similarity scoring were the expected results being
generated.

This renames all the variables in the core rename detection code
to be more consistent and hopefully easier to follow which made it
a bit easier to reason about the behavior of that code and fix the
problems that I was seeing.  I think it's in better shape now.

There are a couple of tests now that attempt to stress test the
rename detection code and they are quite slow.  Most of the time
is spent setting up the test data on disk and in the index.  When
we roll out performance improvements for index insertion, it
should also speed up these tests I hope.

Merge pull request #1748 from arthurschreiber/patch-1

Allow Makefile.embed to be used when cross-compiling

When building with MINGW, specify `__USE_MINGW_ANSI_STDIO`.

This option is already present in the CMake config, but was missing from `Makefile.embed` and would cause all kinds of weird failures when compiling rugged on windows with the ruby devkit.

Merge pull request #1755 from csware/double-close

Fix possible double close

Merge pull request #1753 from 13ren/log-bugfix

Fix -n bug; default to all ancestors

Fix possible double close

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Fix -n bug; default to all ancestors

Fix some warnings

Fix rename detection to use actual blob size

The size data in the index may not reflect the actual size of the
blob data from the ODB when content filtering comes into play.
This commit fixes rename detection to use the actual blob size when
calculating data signatures instead of the value from the index.

Because of a misunderstanding on my part, I first converted the
git_index_add_bypath API to use the post-filtered blob data size
in creating the index entry.  I backed that change out, but I
kept the overall refactoring of that routine and the new internal
git_blob__create_from_paths API because it eliminates an extra
stat() call from the code that adds a file to the index.

The existing tests actually cover this code path, at least when
running on Windows, so at this point I'm not adding new tests to
cover the changes.

Merge pull request #1749 from csware/handle-fixes

Close p->mwf.fd only if necessary

Close p->mwf.fd only if necessary

This fixes a regression introduced in revision 9d2f841a5d39fc25ce722a3904f6ebc9aa112222.

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Make rename detection file size fix better

The previous fix for checking file sizes with rename detection
always loads the blob.  In this version, if the odb backend can
get the object header without loading the whole thing into memory,
then we'll just use that, so that we can eliminate possible rename
sources & targets without loading them.

Fix rename detection for tree-to-tree diffs

The performance improvements I introduced for rename detection
were not able to run successfully for tree-to-tree diffs because
the blob size was not known early enough and so the file signature
always had to be calculated nonetheless.

This change separates loading blobs into memory from calculating
the signature.  I can't avoid having to load the large blobs into
memory, but by moving it forward, I'm able to avoid the signature
calculation if the blob won't come into play for renames.

Allow Makefile.embed to be used when cross-compiling

This allows libgit2 to be cross-compiled (e.g. when building native rugged binaries for windows from Linux or OS X).

```
CROSS_COMPILE=i686-w64-mingw32 make -f Makefile.embed
```

Fix incorrect comment

Add rename test that used to be really slow

Before the optimization commits, this test used to take about 20
seconds to run on my machine.  Afterwards, there is still a couple
seconds of data setup, but the actual diff and rename detection
runs in a fraction of a second.

Use local variables in hash calc to avoid aliasing

Don't check rename if file size difference is huge

Don't do text diff unless content will be used

Don't unload diff data unless loaded

Restore GIT_DIFF_LINE_BINARY usage

This restores the usage of GIT_DIFF_LINE_BINARY for the diff
output line that reads "Binary files x and y differ" so that it
can be optionally colorized independently of the file header.

Make compact output more like core Git

Add hunk/file headers to git_diff_patch_size

This allows git_diff_patch_size to account for hunk headers and
file headers in the returned size.  This required some refactoring
of the code that is used to print file headers so that it could be
invoked by the git_diff_patch_size API.

Also this increases the test coverage and fixes an off-by-one bug
in the size calculation when newline changes happen at the end of
the file.

Merge pull request #1745 from libgit2/doc-fixes

Doc fixes

remote: fix git_remote_download() documentation

The description of what the function does hasn't been true for quite a
while. Change it to reflect the way it currently works.

While here, remove an even older comment about missing features that
have been implemented.

Clean up some documentation

clang's docparser highlighted these.

Merge pull request #1732 from libgit2/revwalk-glob-should-ignore-invalid

Invalid refs on disk cause revwalk globbing to fail

Add git_diff_patch_size() API

This adds a new API to get the size in bytes of the diffs in a
git_diff_patch object.

Update init and clean for revwalk::basic tests

The new tests don't always want to use the same fixture data as
the old ones so this makes it configurable on a per-test basis.

Fix warning message about mismatched types

Use pool for loose refdb string allocations

Instead of using lots of strdup calls, this adds a memory pool to
the loose refs iteration code and uses it for keeping track of the
loose refs array.  Memory usage could probably be reduced even
further by eliminating the vector and just scanning by adding the
strlen of each ref, but that would be a more intrusive changes.

This also updates the error handling to be more thorough about
checking for failed allocations, etc.

git_reference_next_name must match git_reference_next

The git_reference_next API silently skips invalid references when
scanning the loose refs.  The git_reference_next_name API should
skip the same ones even though it isn't creating the reference
object.

This adds a test with a an invalid loose reference and makes sure
that both APIs skip the same entries and generate the same results.

Merge pull request #1743 from ethomson/readme

Clarify when to use github issues

Update README.md

Merge pull request #1726 from crazymaster/development

git_buf_text_gather_stats doesn't work for multi-byte characters

Clarify when to use github issues

Suggest that github issues are to be used for bug reports, while questions about usage should be directed to StackOverflow.

Merge pull request #1742 from martinwoodward/Refresh-Readme

Refresh readme and contributing guidance

Update contributing guidance to explain PR flow

Updating the contributing guidance to explain a bit more about how we use
PR's

Tidy up the methods of contacting the project

Updated the methods of getting involved with the project and asking
questions.

Typo

Merge pull request #1736 from ben/default-to-cdecl

Switch default calling convention to cdecl

Merge pull request #1722 from libgit2/ntk/fix/issue_1722

git_revparse_ext: should return a NULL reference  when the revparse expression doesn't lead to a reference

Merge pull request #1735 from ethomson/ignored_are_not_rename_candidates

don't include ignored as rename candidates

don't include ignored as rename candidates

Switch default calling convention to cdecl.

Merge pull request #1731 from alindeman/patch-1

Small grammar fix in docs

Small grammar fix in docs

Merge pull request #1728 from ivoire/small_fixes

Small fixes

Merge pull request #1729 from tiennou/remote-owner

Add `git_remote_owner`.

Add `git_remote_owner`

Fix some more memory leaks in error path

pack: fix memory leak in error path

index: fix potential memory leaks

repository: clarify assignment and test order

Fix

Fix typo

Fix the initial line

Revert "Replace Japanese characters with the encoded hexadecimal values"

This reverts commit a91e4d6b21e141c2abc76b65b2d4c91d5d3e03cc.

Replace Japanese characters with the encoded hexadecimal values

Merge pull request #1727 from alindeman/lookup-object-doc-fix

Fixes return type documentation

Fixes return type documentation

Fix gather_stats

Add test for multi-byte characters

revparse: Don't return a reference when asked for a git object

Fix #1722