Merge pull request #906 from nulltoken/topic/git_reference_peel

git reference peel

Add missing accessor for fetchRecurseSubmodules

When `git_submodule` became an opaque structure, I forgot to add
accessor functions for the fetchRecurseSubmodules config setting.
This fixes that.

object: make git_object_peel() test more readable

checkout: fix documentation code alignment

checkout: cleanup misplaced declaration

errors: deploy GIT_EBAREREPO usage

errors: introduce GIT_EBAREREPO

refs: introduce git_reference_peel()

Fix #530

odb: mark unused variable

Merge pull request #900 from pwkelley/development

Expose a malloc function to 3rd party ODB backends

Merge pull request #912 from schu/netops-ssl-error

netops: be more careful with SSL errors

diff: Cleanup documentation and printf compat

Merge remote-tracking branch 'arrbee/diff-iterator' into development

Merge pull request #917 from arrbee/test-issue-835

Test for gitmodules only submodule def

Test for gitmodules only submodule def

This should confirm that issue #835 is fixed where a submodule that
is only declared in the .gitmodules file was not accessible via the
submodule APIs.

Fix comments and a minor bug

This adds better header comments and also fixes a bug in one of
simple APIs that tells the number of lines in the current hunk.

Diff iterators

This refactors the diff output code so that an iterator object
can be used to traverse and generate the diffs, instead of just
the `foreach()` style with callbacks.  The code has been rearranged
so that the two styles can still share most functions.

This also replaces `GIT_REVWALKOVER` with `GIT_ITEROVER` and uses
that as a common error code for marking the end of iteration when
using a iterator style of object.

Merge pull request #856 from libgit2/utf8-win

Windows: Perform UTF-8 path conversion on the Stack

branch: Add missing include

odb: pass the user's data pointer correctly in foreach

travis: use a valgrind suppressions file

We don't care about the supposed zlib errors, and the leak from
giterr_set isn't interesting, as it gets freed each time an error is
set.

Give valgrind a suppressions file so it doesn't tell us about them.

clar: Clear errors on shutdown

Merge pull request #913 from nulltoken/fix/warnings

Fix MSVC compilation warnings

Fix MSVC compilation warnings

netops: be more careful with SSL errors

SSL_get_error() allows to receive a result code for various SSL
operations. Depending on the return value (see man (3) SSL_get_error)
there might be additional information in the OpenSSL error queue. Return
the queued message if available, otherwise set an error message
corresponding to the return code.

netops: continue writing on SSL_ERROR_WANT_WRITE

Ignore tags file

Merge pull request #908 from nulltoken/bug/repo_reinit_init

repository: add failing repo initialization test

repository: make initialization cope with missing core.worktree

Add bounds checking to UTF-8 conversion

windows: Keep UTF-8 on the stack yo

UTF-8 changes yo

Merge pull request #905 from carlosmn/signature-now

signature: make the OS give us the offset for git_signature_now

Fix parentheses warning

signature: make the OS give us the offset for git_signature_now

There is a better and less fragile way to calculate time offsets. Let
the OS take care of dealing with DST and simply take the the offset
between the local time and UTC that it gives us.

ssl: make cert check ignore work for invalid certs, not just CNs

Passing SSL_VERIFY_PEER makes OpenSSL shut down the connection if the
certificate is invalid, without giving us a chance to ignore that
error. Pass SSL_VERIFY_NONE and call SSL_get_verify_result if the user
wanted us to check.

When no CNs match, we used to jump to on_error which gave a bogus
error as that's for OpenSSL errors. Jump to cert_fail so we tell the
user that the error came from checking the certificate.

Merge branch 'branch-delete-ref' into development

Conflicts:
include/git2/refs.h

Merge pull request #904 from arrbee/better-object-peel

Make git_object_peel a bit smarter

Merge pull request #897 from nulltoken/topic/git_reference_check_format

refs: expose git_reference_normalize_name()

Merge pull request #899 from schu/revwalk-push

revwalk: refuse push of non-commit objects

Make git_object_peel a bit smarter

This expands the types of peeling that `git_object_peel` knows
how to do to include TAG -> BLOB peeling, and makes the errors
slightly more consistent depending on the situation.  It also
adds a new special behavior where peeling to ANY will peel until
the object type changes (e.g. chases TAGs to a non-TAG).

Using this expanded peeling, this replaces peeling code that was
embedded in `git_tag_peel` and `git_reset`.

Merge pull request #903 from nulltoken/topic/peeling-duplication

branch: reduce code duplication

Expose a malloc function to 3rd party ODB backends

branch: reduce code duplication

revwalk: refuse push of non-commit objects

Check the type of the pushed object immediately instead of starting the
walk and failing in between.

refs: expose git_reference_normalize_name()

branch: Change `git_branch_delete` to take a ref

posix: Always set a default mapping mode

indexer: kill git_indexer_stats.data_received

It's not really needed with the current code as we have EOS and the
sideband's flush to tell us we're done.

Keep the distinction between processed and received objects.

http: increase buffer side to deal with side-band-64k

This poor transport was forgotten in the recent sideband support.

indexer: don't segfault when freeing an unused indexer

Make sure that idx->pack isn't NULL before trying to free resources
under it.

Merge pull request #896 from ben/revparse-ambiguous

Revparse: GIT_EAMBIGUOUS

Revparse: GIT_EAMBIGUOUS

Revparse now returns EAMBIGUOUS if the the spec
doesn't match any refs/tags, and is <4 characters.

Merge pull request #895 from carlosmn/sideband

Add sideband support

Merge pull request #852 from arrbee/submodule-extensions

Submodule extensions

Merge pull request #876 from arrbee/new-config-locations

new config file locations and defaults

Support new config locations

As of git v1.7.12, $HOME/.config/git/ is supported as a new
location for "config", "attributes", and "ignore" files.

Fix memory leak in cp_r

Fix crash with adding internal ignores

Depending on what you had done before adding new items to the
internal ignores list, it was possible for the cache of ignore
data to be uninitialized.

Fix valgrind warnings and spurious error messages

Just clean up valgrind warnings about uninitialized memory
and also clear out errno in some cases where it results in
a false error message being generated at a later point.

examples: add progress output to fetch

network: add sideband support

This lets us notify the user of what the remote end is doing while we
wait for it to start sending us the packfile.

Working implementation of git_submodule_status

This is a big redesign of the git_submodule_status API and the
implementation of the redesigned API.  It also fixes a number of
bugs that I found in other parts of the submodule API while
writing the tests for the status part.

This also fixes a couple of bugs in the iterators that had not
been noticed before - one with iterating when there is a gitlink
(i.e. separate-work-dir) and one where I was treating anything
even vaguely submodule-like as a submodule, more aggressively
than core git does.

Fix valgrind issues and leaks

This fixes up a number of problems flagged by valgrind and also
cleans up the internal `git_submodule` allocation handling
overall with a simpler model.

Major submodule rewrite

This replaces the old submodule API with a new extended API that
supports most of the things that can be done with `git submodule`.

New submodule test data

Fix errors on Win32 with new repo init

indexer: recognize and mark when all of the packfile has been downloaded

We can't always rely on the network telling us when the download is
finished. Recognize it from the indexer itself.

Merge pull request #844 from arrbee/init-extended

Add git_repository_init_ext for power initters

Fix warnings and merge issues on Win64

Some cleanup suggested during review

This cleans up a number of items suggested during code review
with @vmg, including:

* renaming "outside repo" config API to `git_config_open_default`
* killing the `git_config_open_global` API
* removing the `git_` prefix from the static functions in fileops
* removing some unnecessary functionality from the "cp" command

Don't reference stack vars in cleanup callback

If you use the clar cleanup callback function, you can't pass a
reference pointer to a stack allocated variable because when the
cleanup function runs, the stack won't exist anymore.

fix missing validation and type cast warning

Add template dir and set gid to repo init

This extends git_repository_init_ext further with support for
initializing the repository from an external template directory
and with support for the "create shared" type flags that make a
set GID repository directory.

This also adds tests for much of the new functionality to the
existing `repo/init.c` test suite.

Also, this adds a bunch of new utility functions including a
very general purpose `git_futils_mkdir` (with the ability to
make paths and to chmod the paths post-creation) and a file
tree copying function `git_futils_cp_r`.  Also, this includes
some new path functions that were useful to keep the code
simple.

Add git_repository_init_ext for power initters

The extended version of repository init adds support for many
of the things that you can do with `git init` and sets up
structures that will make it easier to extend further in the
future.

Minor bug fixes in diff code

In looking at PR #878, I found a few small bugs in the diff code,
mostly related to work that can be avoided when processing tree-
to-tree diffs that was always being carried out.  This commit has
some small fixes in it.

Merge pull request #891 from arrbee/internal-ignore-api

API for managing in-memory ignore rules

Wrap up ignore API and add tests

This fills out the ignore API and adds tests.

Add public API for internal ignores

This creates a public API for adding to the internal ignores
list, which already existing but was not accessible.

This adds the new default value for core.excludesfile also.

Merge pull request #889 from nulltoken/filemode-enum

Filemode enum

tree entry: rename git_tree_entry_attributes() into git_tree_entry_filemode()

filemode: deploy enum usage

filemode: introduce enum to ease use of attributes

Win32: test core.autocrlf

Tests: close file handles before asserting

Avoids getting ERROR_SHARING_VIOLATION on win32
and killing the entire clar run.

Merge pull request #884 from carlosmn/global-windows

Make the memory-window conrol structures global

Make the memory-window conrol structures global

Up to now, the idea was that the user would do all the operations for
one repository in the same thread. Thus we could have the
memory-mapped window information thread-local and avoid any locking.

This is not practical in a few environments, such as Apple's GCD which
allocates threads arbitrarily or the .NET CLR, where the OS-level
thread can change at any moment.

Make the control structure global and protect it with a mutex so we
don't depend on the thread currently executing the code.

Merge pull request #879 from nulltoken/deprecated-mode

Handling of 100664 deprecated mode in tree entries

treebuilder: enhance attributes handling on insertion

Add deprecated-mode.git test repository

Merge pull request #778 from ben/clone

Clone

Merge pull request #877 from nulltoken/minor-fixes

Minor fixes

refs: fix missing parameter documentation

notes: slight documentation enhancements

Fix compilation warning

tests: fix tree walking test

Return -1 to stop the iteration instead of not-0

Merge pull request #873 from carlosmn/tree-walk

git_tree_walk callback return value semantic does not match documentation

Merge pull request #875 from arrbee/fix-message-prettify-length-check

Fix message prettify length check

Make git_message_prettify return bytes written

If you want to be absolutely safe with git_message_prettify, you
can now pass a NULL pointer for the buffer and get back the number
of bytes that would be copied into the buffer.

This means that an error is a non-negative return code and a
success will be greater than zero from this function.

Merge pull request #871 from joshtriplett/fix-note_foreach-docs

git_note_foreach: Fix documentation for notes_ref parameter