remotes: change git_remote_new's signature

Add a fetch refspec arguemnt and make the arguments (name, url,
refspec), as that order makes more sense.

remote: add git_remote_add()

Helper function to create a remote with the default settings

config: don't use freed memory on error

Change the order and set a NULL so we don't try to access freed memory
in case of an error.

Merge pull request #674 from nulltoken/topic/GIT_ENOTFOUND

Improve the interop with bindings

Minor error fixes

Clear the error in pkt when we notice that the remote is starting to
send the packfile.

Fix the format string for Windows networking errors.

status: Prevent git_status_file() from returning ENOTFOUND when not applicable

repository: ensure git_repository_discover() returns ENOTFOUND when unable to find a repository given the constraints

fileops: replace integer usage with more explicit enum in some git_futils_rmdir_r() calls

repository: ensure git_repository_open() returns ENOTFOUND when being passed a path leading to no repository

compat: make p_realpath Windows implementation be a bit more POSIX compliant and fail if the provided path does not lead to an existing entry

path: Make git_path_prettify() properly handle ENOTDIR errno value

object: make git_object_lookup() return GIT_ENOTFOUND when searching for an existing object by specifying an incorrect type

remote: make git_remote_load() return GIT_ENOTFOUND when the remote url cannot be retrieved from the config file

remote: ensure the allocated remote is freed when an error occurs during its loading

Merge pull request #672 from scottjg/more-mingw32-fixes

More mingw32 compilation fixes.

Fix directory finding for attrs

The fix to support attrs on bare repos went a little too far
in trying to avoid using the working directory and ended up
not processing the input path quite correctly.

Merge pull request #667 from nulltoken/fix/p_open

compat: make p_open able to accept optional mode when passing the O_CREAT flag

travis: run the tests verbosely

compat: make p_open able to accept optional mode when passing the O_CREAT flag

This has the nice side effect of making test_attr_repo__staging_properly_normalizes_line_endings_according_to_gitattributes_directives() test pass again on Windows. This test started to fail after commit 674a198 was applied.

clar helper: don't dereference giterr_last() if it's NULL

It can cause segfaults if the call didn't set an error

Define explicit _WIN32_WINNT version in makefile

Previously, it was defined in netops.c, but it's also needed in one of the
clar tests, so I figured we might as well just make it global for the
whole project.

Without it, the mingw32 linker won't resolve GetProcessId() (called from
the core/errors.c clar test) because of some conditionals in windows.h.

Update clar to latest version

Fixes the mingw32 build issues.

transport git: don't use 'error' uninitialized

compat: Add `stdarg.h` include

Merge remote-tracking branch 'scottjg/fix-mingw32' into development

Conflicts:
src/netops.c
src/netops.h
src/transports/http.c
tests-clar/clar

Merge pull request #659 from libgit2/development-merge

New-error-handling

Merge pull request #664 from arrbee/attrs-from-index

Support git attrs from index (and bare repo)

notes: Cleanup error handling

Merge pull request #663 from schu/notes-honor-config

Honor core.notesRef config option

Fix unsigned/signed comparison on Windows in commitstagedfile.c

Fix missing prototype warning in utf-conv.c

Fix gitno_connect() error handling on Windows

gitno_connect() can return an error or socket, which is fine on most
platforms where sockets are file descriptors (signed int), but on Windows,
SOCKET is an unsigned type, which is problematic when we are trying to
test if the socket was actually a negative error code.

This fix seperates the error code and socket in gitno_connect(), and fixes
the error handling in do_connect() functions to compensate. It appears
that git_connect() and the git-transport do_connect() functions had bugs
in the non-windows cases too (leaking sockets, and not properly reporting
connection error, respectively) so I went ahead and fixed those too.

Fix clar generated code to compile on MINGW32

MINGW32 does not define _mktemp_s, so we can just use _mktemp instead. See
the non-compressed/non-base64-encoded version of the patch here:
http://gist.github.com/2605249

Fix valgrind issues

There are three changes here:
- correctly propogate error code from failed object lookups
- make zlib inflate use our allocators
- add OID to notfound error in ODB lookups

clar: Properly create files in helper

Fixing issue with test data

compat: va_copy on Win32 systems

Fix memory leaks and use after free

Support reading attributes from index

Depending on the operation, we need to consider gitattributes
in both the work dir and the index.  This adds a parameter to
all of the gitattributes related functions that allows user
control of attribute reading behavior (i.e. prefer workdir,
prefer index, only use index).

This fix also covers allowing us to check attributes (and
hence do diff and status) on bare repositories.

This was a somewhat larger change that I hoped because it had
to change the cache key used for gitattributes files.

notes: add git_note_default_ref()

Add git_note_default_ref to allow easy retrieval of the currently set
default notes reference.

notes: honor core.notesRef

Setting core.notesRef allows to change the default notes reference used
by Git. Check if set before using GIT_NOTES_DEFAULT_REF. Fixes #649.

Silence return value warning

errors: Use a git_buf for building error strings

buffer: Add `git_buf_vprintf`

Remove old and unused error codes

Boom

chmod for writability when writing test files

Backport more test data

Move test resources

Update test suite

Merge branch 'new-error-handling' into development

Conflicts:
.travis.yml
include/git2/diff.h
src/config_file.c
src/diff.c
src/diff_output.c
src/mwindow.c
src/path.c
tests-clar/clar_helpers.c
tests-clar/object/tree/frompath.c
tests/t00-core.c
tests/t03-objwrite.c
tests/t08-tag.c
tests/t10-refs.c
tests/t12-repo.c
tests/t18-status.c
tests/test_helpers.c
tests/test_main.c

Convert from strnlen to git_text_is_binary

Since strnlen is not supported on all platforms and since we
now have the shiny new git_text_is_binary in the filtering
code, let's convert diff binary detection to use the new stuff.

Copy values to avoid strict aliasing warning

To make this code more resilient to future changes, we'll
explicitly translate the libgit2 structure to the libxdiff
structure.

Fix usage of "new" for fieldname in public header

This should restore the ability to include libgit2 headers
in C++ projects.

Cherry picked 2de60205dfea2c4a422b2108a5e8605f97c2e895 from
development into new-error-handling.

Merge remote-tracking branch 'carlosmn/remaining-errors' into new-error-handling

Conflicts:
src/refspec.c

Merge pull request #658 from schu/remote-disconnect

remote: don't free transport on disconnect

remote: don't free transport on disconnect

Currently, git_remote_disconnect not only closes the connection but also
frees the underlying transport object, making it impossible to write
code like

// fetch stuff
git_remote_download()

// close connection
git_remote_disconnect()

// call user provided callback for each ref
git_remote_update_tips(remote, callback)

because remote->refs points to references owned by the transport object.
This means, we have an idling connection while running the callback for
each reference.

Instead, allow immediate disconnect and free the transport later in
git_remote_free().

tests-clar/diff: mark output_len unused

Merge pull request #655 from nulltoken/topic/cr-normalization-test

crlf normalization test coverage

attr: add test coverage related to crlf normalization while staging

Merge pull request #654 from carlosmn/pkt-err

Recognize and report server-side error messages

Merge pull request #652 from nulltoken/topic/diff-callbacks

diff: provide more context to the consumer of the callbacks

net: recognize and report server-side error messages

When e.g. a repository isn't found, the server sends an error saying
so. Put that error message in our error buffer.

Leverage GIT_UNUSED macro to explicitly mark a function parameter as purposely unused

buf: deploy git_buf_len()

diff: provide more context to the consumer of the callbacks

Update the callback to provide some information related to the file change being processed and the range of the hunk, when applicable.

buf: add git_buf_len() accessor to expose the current length of the buffer content

Add a travis config file

Teach travis how to build the project.

pkt: bring back GIT_ESHORTBUFFER

The recent 64-bit Windows fixes changed the return code in
git_pkt_parse_line() so it wouldn't signal a short buffer, breaking
the network code. Bring it back.

remote: add more doc on git_remote_free

refs: fix unused-but-set warning

Fix Win32 warnings

Merge pull request #646 from arrbee/ignore-pat-leading-slash

Ignore pat leading slash

Fix leading slash behavior in attrs/ignores

We were not following the git behavior for leading slashes
in path names when matching git ignores and git attribute
file patterns.  This should fix issue #638.

error handling: move the missing parts over to the new error handling

diff: fix generation of the header of a removal patch

Merge pull request #642 from arrbee/mem-pools

Memory pools and khash hashtables

Rename git_khash_str to git_strmap, etc.

This renamed `git_khash_str` to `git_strmap`, `git_hash_oid` to
`git_oidmap`, and deletes `git_hashtable` from the tree, plus
adds unit tests for `git_strmap`.

Merge pull request #641 from carlosmn/networking

More Networking updates

Include the new config test file

Convert hashtable usage over to khash

This updates khash.h with some extra features (like error checking
on allocations, ability to use wrapped malloc, foreach calls, etc),
creates two high-level wrappers around khash: `git_khash_str` and
`git_khash_oid` for string-to-void-ptr and oid-to-void-ptr tables,
then converts all of the old usage of `git_hashtable` over to use
these new hashtables.

For `git_khash_str`, I've tried to create a set of macros that
yield an API not too unlike the old `git_hashtable` API.  Since
the oid hashtable is only used in one file, I haven't bother to
set up all those macros and just use the khash APIs directly for
now.

Import khash.h from attractivechaos/klib

Adding stash to hashtable implementation

Adding a small stash of nodes with key conflicts has been
demonstrated to greatly increase the efficiency of a cuckoo
hashtable.  See:

  http://research.microsoft.com/pubs/73856/stash-full.9-30.pdf

for more details.

Moving power-of-two bit utilities into util.h

Convert revwalk to use git_pool

This removes the custom paged allocator from revwalk and
replaces it with a `git_pool`.

Convert attrs and diffs to use string pools

This converts the git attr related code (including ignores) and
the git diff related code (and implicitly the status code) to use
`git_pools` for storing strings.  This reduces the number of small
blocks allocated dramatically.

Implement git_pool paged memory allocator

This adds a `git_pool` object that can do simple paged memory
allocation with free for the entire pool at once.  Using this,
you can replace many small allocations with large blocks that
can then cheaply be doled out in small pieces.  This is best
used when you plan to free the small blocks all at once - for
example, if they represent the parsed state from a file or data
stream that are either all kept or all discarded.

There are two real patterns of usage for `git_pools`: either
for "string" allocation, where the item size is a single byte
and you end up just packing the allocations in together, or for
"fixed size" allocation where you are allocating a large object
(e.g. a `git_oid`) and you generally just allocation single
objects that can be tightly packed.  Of course, you can use it
for other things, but those two cases are the easiest.

config: also allow escaping outside of a quoted string

This limitation was a misparsing of the documentation.

remote: run a callback when updating the branch tips

This allows the caller to update an internal structure or update the
user output with the tips that were updated.

While in the area, only try to update the ref if the value is
different from its old one.

revwalk: return GIT_EREVWALKER earlier if no references were pushed

In the case that walk->one is NULL, we know that we have no positive
references, so we already know that the revwalk is over.

examples: run fetch in a background thread

This allows us to give updates on how it's doing

transports: buffer the git requests before sending them

Trying to send every single line immediately won't give us any speed
improvement and duplicates the code we need for other transports. Make
the git transport use the same buffer functions as HTTP.

examples: port 'fetch' to the new API

fetch: use the streaming indexer when downloading a pack

This changes the git_remote_download() API, but the existing one is
silly, so you don't get to complain.

The new API allows to know how much data has been downloaded, how many
objects we expect in total and how many we've processed.

Merge pull request #632 from arrbee/win64-cleanup

Code clean up, including fixing warnings on Windows 64-bit build

Merge pull request #637 from nulltoken/issue/odb-refcount

Fix git_repository_set_odb() refcount issue

tree-cache: don't error out on a childless invalidated entry

The code used to assume that there had to be data after the newline in
a tree cache extension entry. This isn't true for a childless
invalidated entry if it's the last one, as there won't be any children
nor a hash to take up space.

Adapt the off-by-one comparison to also work in this case. Fixes #633.

Rename to git_reference_name_to_oid

Fix git_repository_set_odb() refcount issue

git_repository_free() calls git_odb_free() if the owned odb is not null.

According to the doc, when setting a new odb through git_repository_set_odb() the caller has to take care of releasing the odb by himself.

Merge pull request #636 from csware/WIN32-fixes

Win32 fixes