Add INCLUDE_TREES, DONT_AUTOEXPAND iterator flags

This standardizes iterator behavior across all three iterators
(index, tree, and working directory).  Previously the working
directory iterator behaved differently from the other two.

Each iterator can now operate in one of three modes:

1. *No tree results, auto expand trees* means that only non-
   tree items will be returned and when a tree/directory is
   encountered, we will automatically descend into it.
2. *Tree results, auto expand trees* means that results will
   be given for every item found, including trees, but you
   only need to call normal git_iterator_advance to yield
   every item (i.e. trees returned with pre-order iteration).
3. *Tree results, no auto expand* means that calling the
   normal git_iterator_advance when looking at a tree will
   not descend into the tree, but will skip over it to the
   next entry in the parent.

Previously, behavior 1 was the only option for index and tree
iterators, and behavior 3 was the only option for workdir.

The main public API implications of this are that the
`git_iterator_advance_into()` call is now valid for all
iterators, not just working directory iterators, and all the
existing uses of working directory iterators explicitly use
the GIT_ITERATOR_DONT_AUTOEXPAND (for now).

Interestingly, the majority of the implementation was in the
index iterator, since there are no tree entries there and now
have to fake them.  The tree and working directory iterators
only required small modifications.

Retire spoolandsort iterator

Since the case sensitivity is moved into the respective iterators,
this removes the spoolandsort iterator code.

Make iterator APIs consistent with standards

The iterator APIs are not currently consistent with the parameter
ordering of the rest of the codebase.  This rearranges the order
of parameters, simplifies the naming of a number of functions, and
makes somewhat better use of macros internally to clean up the
iterator code.

This also expands the test coverage of iterator functionality,
making sure that case sensitive range-limited iteration works
correctly.

Add const to some buffer functions

No longer need clar_main.c

Merge pull request #1396 from cholin/features/note-iterator

[RFC] basic note iterator implementation

added missing free for git_note in clar tests

fixed minor issues with new note iterator

* fixed style issues
* use new iterator functions for git_note_foreach()

MSVC: Define NDEBUG to disable asserts in release builds

use git_note_iterator type instead of non-public git_iterator one

basic note iterator implementation

* git_note_iterator_new() - create a new note iterator
* git_note_next() - retrieves the next item of the iterator

Merge pull request #1392 from ethomson/push_test_fix

remote push test fix

remote push test fix

Merge pull request #1369 from arrbee/repo-init-template-hooks

More tests (and fixes) for initializing repo from template

Make sure docurium can see git_packbuilder_foreach

Merge pull request #1380 from phkelley/index_icase

Disable ignore_case when writing the index to a tree

Merge pull request #1390 from ethomson/reuc_clear

clear REUC on checkout

clear REUC on checkout

Fix a few leaks

`git_diff_get_patch()` would unconditionally load the patch object and
then simply leak it if the user hadn't requested it. Short-circuit
loading the object if the user doesn't want it.

The rest of the plugs are simply calling the free functions of objects
allocated during the tests.

Merge pull request #1388 from carlosmn/hash-ref-delta

indexer: use a hashtable for keeping track of offsets

indexer: use a hashtable for keeping track of offsets

These offsets are needed for REF_DELTA objects, which encode which
object they use as a base, but not where it lies in the packfile, so
we need a list.

These objects are mostly from older packfiles, before OFS_DELTA was
widely spread. The time spent in indexing these packfiles is greatly
reduced, though remains above what git is able to do.

Merge pull request #1387 from carlosmn/kill-indexer

indexer: kill git_indexer

indexer: kill git_indexer

This was the first implementation and its goal was simply to have
something that worked. It is slow and now it's just taking up
space. Remove it and switch the one known usage to use the streaming
indexer.

Merge pull request #1386 from arrbee/update-docs

Update contributing and conventions

Fixed a couple typos

Simplify diff example using revparse

When the examples/diff.c was written, there was not yet a revparse
API.  Now we can use it to make command line parsing way better
with less code.  Yay!

Updates to CONTRIBUTING and CONVENTIONS

The discussion about converting some of our foreach-style APIs to
use iterator objects got me wanting to make a list of good starter
projects.  I put it in CONTRIBUTING.md and then went crazy with
updates to that file and to CONVENTIONS.md.

Merge pull request #1382 from arrbee/fix-diff-patch-a-different-way

Allow empty config object and use it for tests

Allow empty config object and use it

This removes assertions that prevent us from having an empty
git_config object and then updates some tests that were
dependent on global config state to use an empty config before
running anything.

Rename function to __ prefix

Merge pull request #1379 from arrbee/fix-tests-with-autocrlf-input-on-windows

Control for core.autocrlf during testing

Disable ignore_case when writing the index to a tree

Control for core.autocrlf during testing

Merge pull request #1378 from jamill/clone_no_delete

Clone should not clean up directories it did not create

Clone should not delete directories it did not create

Merge pull request #1373 from arrbee/why-cdecl-why

Why cdecl why?

Fix some deprecation warnings on Windows

This fixes some snprintf and vsnprintf related deprecation
warnings we've been having on Windows with recent compilers.

Add GIT_STDLIB_CALL

This removes the one-off GIT_CDECL and adds a new standard way of
doing this named GIT_STDLIB_CALL with a src/win32 specific def
when on the Windows platform.

w32-posix: Wrap the `timezone` declaration with a clause

Allows compilation in newer versions of MinGW that already defined it.

fixing some warnings on Windows

use cdecl for hashsig sorting functions on Windows

Merge pull request #1233 from arrbee/file-similarity-metric

Add file similarity scoring to diff rename/copy detection

Merge pull request #1372 from ethomson/checkout_workdir_end

don't dereference at the end of the workdir iterator

Make mode handling during init more like git

When creating files, instead of actually using GIT_FILEMODE_BLOB
and the other various constants that happen to correspond to
mode values, apparently I should be just using 0666 and 0777, and
relying on the umask to clear bits and make the value sane.

This fixes the rules for copying a template directory and fixes
the checks to match that new behavior.  (Further changes to the
checkout logic to follow separately.)

don't dereference at the end of the workdir iterator

Merge pull request #1371 from csware/version-constants

Win32: Use constants in version resource definitions where possible

Win32: Use constants in version resource definitions where possible

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Fix portability issues on Windows

The new tests were not taking core.filemode into account when
testing file modes after repo initialization.  Fixed that and some
other Windows warnings that have crept in.

Fix initialization of repo directories

When PR #1359 removed the hooks from the test resources/template
directory, it made me realize that the tests for
git_repository_init_ext using templates must be pretty shabby
because we could not have been testing if the hooks were getting
created correctly.

So, this started with me recreating a couple of hooks, including
a sample and symlink, and adding tests that they got created
correctly in the various circumstances, including with the SHARED
modes, etc.  Unfortunately this uncovered some issues with how
directories and symlinks were copied and chmod'ed.  Also, there
was a FIXME in the code related to the chmod behavior as well.

Going back over the directory creation logic for setting up a
repository, I found it was a little difficult to read and could
result in creating and/or chmod'ing directories that the user
almost certainly didn't intend.

So that let to this work which makes repo initialization much
more careful (and hopefully easier to follow).  It required a
couple of extensions / changes to core fileops utilities, but I
also think those are for the better, at least for git_futils_cp_r
in terms of being careful about what actions it takes.

Merge pull request #1368 from scunz/inc_ref

Increment reference counter in git_repository_set_config

Increment reference counter in git_repository_set_config

This fixes #1365

Merge pull request #1364 from martinwoodward/thank-martin

Give props to Martin Pool

Give props to Martin Pool

Martin Pool was the original author of the code referenced in the clone
example. Make note that he's given his permission and also give him the
proper credit.

Revert "hash: remove git_hash_init from internal api"

This reverts commit efe7fad6c96a3d6197a218aeaa561ec676794499, except for
the indentation fixes.

Merge pull request #1363 from schu/hash-initialization

hash: remove git_hash_init from internal api

hash: remove git_hash_init from internal api

Along with that, fix indentation in tests-clar/object/raw/hash.c

tests/pack: fixup 6774b10

Initialize the hash ctx with git_hash_ctx_init, not git_hash_init.

Merge pull request #1362 from schu/packbuilder-nits

packbuilder: minor improvements

tests/pack: do strict check of testpack's SHA1 hash

pack.h: improve docs on how to create a packfile

Merge pull request #1359 from martinwoodward/remove-sample-hooks

Remove sample hook files

Remove sample hook files

Getting rid of sample hook files from test repos as they just take up
space with no value.

Merge pull request #1355 from phkelley/development

Portability fixes for Solaris

Merge pull request #1356 from arrbee/fix-directory-as-ignore-file

Do not fail if .gitignore is directory

Do not fail if .gitignore is directory

This is designed to fix libgit2sharp #350 where if .gitignore is
a directory we abort all operations that process ignores instead
of just skipping it as core git does.

Also added test that fails without this change and passes with it.

More rename detection tests

This includes tests for crlf changes, whitespace changes with the
default comparison and with the ignore whitespace comparison, and
more sensitivity checking for the comparison code.

Rename 'exp' so it doesn't conflict with exp()

Minor improvements to find_similar code

This moves a couple of checks outside of the inner loop of the
find_similar rename/copy detection phase that are only dependent
on the "from" side of a detection.

Also, this replaces the inefficient initialization of the
options structure when a value is not provided explicitly by the
user.

Replace static data with configured metric

Instead of creating three git_diff_similarity_metric statically
for the various config options, just create the metric structure
on demand and populate it, using the payload to specific the
extra flags that should be passed to the hashsig.  This removes
a level of obfuscation from the code, I think.

Fix tests for find_similar and related

This fixes both a test that I broke in diff::patch where I was
relying on the current state of the working directory for the
renames test data and fixes an unstable test in diff::rename
where the environment setting for the "diff.renames" config was
being allowed to influence the test results.

Merge pull request #1343 from nulltoken/topic/remote_orphaned_branch

Teach git_branch_remote_name() to work with orphaned heads

Merge pull request #1354 from nulltoken/fix/stash-drop

Fix git_stash_drop()

Portability fixes for Solaris

branch: refactor git_branch_remote_name() tests

branch: Make git_branch_remote_name() cope with orphaned heads

stash: Update the reference when dropping the topmost stash

stash: Refactor stash::drop tests

ignore: enhance git_ignore_path_is_ignored() test coverage

Add diff rename tests with partial similarity

This adds some new tests that actually exercise the similarity
metric between files to detect renames, copies, and split modified
files that are too heavily modified.

There is still more testing to do - these tests are just partially
covering the cases.

There is also one bug fix in this where a change set with only
MODIFY being broken into ADD/DELETE (due to low self-similarity)
without any additional RENAMED entries would end up not processing
the split requests (because the num_rewrites counter got reset).

Initial integration of similarity metric to diff

This is the initial integration of the similarity metric into
the `git_diff_find_similar()` code path.  The existing tests all
pass, but the new functionality isn't currently well tested.  The
integration does go through the pluggable metric interface, so it
should be possible to drop in an alternative to the internal
metric that libgit2 implements.

This comes along with a behavior change for an existing interface;
namely, passing two NULLs to git_diff_blobs (or passing NULLs to
git_diff_blob_to_buffer) will now call the file_cb parameter zero
times instead of one time.  I know it's strange that that change
is paired with this other change, but it emerged from some
initialization changes that I ended up making.

Merge pull request #1352 from ethomson/reuc_sort

add a sorter to the reuc on index creation

add a sorter to the reuc on index creation

Replace diff delta binary with flags

Previously the git_diff_delta recorded if the delta was binary.
This replaces that (with no net change in structure size) with
a full set of flags.  The flag values that were already in use
for individual git_diff_file objects are reused for the delta
flags, too (along with renaming those flags to make it clear that
they are used more generally).

This (a) makes things somewhat more consistent (because I was
using a -1 value in the "boolean" binary field to indicate unset,
whereas now I can just use the flags that are easier to understand),
and (b) will make it easier for me to add some additional flags to
the delta object in the future, such as marking the results of a
copy/rename detection or other deltas that might want a special
indicator.

While making this change, I officially moved some of the flags that
were internal only into the private diff header.

This also allowed me to remove a gross hack in rename/copy detect
code where I was overwriting the status field with an internal
value.

Refine pluggable similarity API

This plugs in the three basic similarity strategies for handling
whitespace via internal use of the pluggable API.  In so doing, I
realized that the use of git_buf in the hashsig API was not needed
and actually just made it harder to use, so I tweaked that API as
well.

Note that the similarity metric is still not hooked up in the
find_similarity code - this is just setting out the function that
will be used.

Pluggable similarity metric API

More tests of file signatures with whitespace opts

Seems to be working pretty well...

Change similarity metric to sampled hashes

This moves the similarity metric code out of buf_text and into a
new file.  Also, this implements a different approach to similarity
measurement based on a Rabin-Karp rolling hash where we only keep
the top 100 and bottom 100 hashes.  In theory, that should be
sufficient samples to given a fairly accurate measurement while
limiting the amount of data we keep for file signatures no matter
how large the file is.

wip: adding metric to diff

Some similarity metric adjustments

This makes the text similarity metric treat \r as equivalent
to \n and makes it skip whitespace immediately following a line
terminator, so line indentation will have less effect on the
difference measurement (and so \r\n will be treated as just a
single line terminator).

This also separates the text and binary hash calculators into
two separate functions instead of have more if statements inside
the loop. This should make it easier to have more differentiated
heuristics in the future if we so wish.

Initial implementation of similarity scoring algo

This adds a new `git_buf_text_hashsig` type and functions to
generate these hash signatures and compare them to give a
similarity score.  This can be plugged into diff similarity
scoring.

Merge pull request #1351 from arrbee/moar-treebuilder-tests

Add more treebuilder tests

Add more treebuilder tests

The recent changes with git_treebuilder_entrycount point out that
the test coverage for git_treebuilder_remove and
git_treebuilder_entrycount is completely absent.  This adds tests.

Merge pull request #1350 from arrbee/fix-1292

Add explicit entrycount to tree builder

Some code cleanups in tree.c

This replaces most of the explicit vector iteration with calls
to git_vector_foreach, adds in some git__free and giterr_clear
calls to clean up during some error paths, and a couple of
other code simplifications.

Store treebuilder length separately from entries vec

The treebuilder entries vector flags removed items which means
we can't rely on the entries vector length to accurately get the
number of entries.  This adds an entrycount value and maintains it
while updating the treebuilder entries.

Merge pull request #1348 from libgit2/signatures-2

Simplify signature parsing

Merge pull request #1349 from libgit2/clar-no-cache

Disable caching in Clar

Disable caching in Clar

signature: Small cleanup

signature: Shut up MSVC, you silly goose