Merge remote-tracking branch 'upstream/master'

Fix failing tests

Auto merge of #4103 - brson:vs2017, r=alexcrichton

Update lockfile for gcc and cmake crates to pick up MSVC 2017 fixes

Seems to work.

Update lockfile for gcc and cmake crates to pick up MSVC 2017 fixes

Auto merge of #4105 - birkenfeld:master, r=alexcrichton

Do not output "Blocking - waiting for lock" with -q

This is not an error, so it should not be printed unconditionally
to stderr.  Since it can appear intermittently (e.g. due to editor
integration calling build every now and then) it will disturb
things that expect exact output from cargo (e.g. test suites).

Do not output "Blocking - waiting for lock" with -q

This is not an error, so it should not be printed unconditionally
to stderr.  Since it can appear intermittently (e.g. due to editor
integration calling build every now and then) it will disturb
things that expect exact output from cargo (e.g. test suites).

Auto merge of #4099 - matklad:ignore-root-target, r=alexcrichton

Ignore only root target directory

r? @alexcrichton

Ignore only root target directory

We used to ignore all target directories, because it was common to
have multiple packages with different target directories in a single
repository. Now, when workspaces are here, such setups usually have a
single target, and we can .gitignore only it. It's useful because
sometimes you want to have a module named `target` in Rust.

If you use non-workspaced multi-package setup, you can create a
.gitignore with `/target/` for each package.

Addresses review comments

* rebased
* removed `human` (deferring removing `internal` to a later PR)
* cargo_test.rs - fails on other error kinds
* unnecessary `map_err(CargoError::from)` removed
* fold NetworkError entirely into CargoError
* added justification comment for `extend_lifetime`
* various formatting goofs

The following tests are currently failing:
* `http_auth_offered`
* `custom_build_script_failed`
* `build_deps_for_the_right_arch`
* `dep_with_bad_submodule`
* `update_with_shared_deps`
* `finds_author_email`
* `finds_author_user`
* `finds_author_user_escaped`
* `finds_author_username`
* `finds_git_author`
* `exit_code`

Auto merge of #4098 - callahad:remove-superfluous-semis, r=alexcrichton

Remove superfluous `;;` sequences

Per @Mark-Simulacrum's request in https://github.com/rust-lang/rust/pull/42215#issuecomment-303908683

Remove superfluous `;;` sequences

Merge branch 'master' of https://github.com/jluner/cargo

Add error-chain errors

Convert CargoResult, CargoError into an implementation provided by error-chain. The previous is_human machinery is mostly removed; now errors are displayed unless of the Internal kind, verbose mode will print all errors.

Auto merge of #4088 - Nemikolh:buildscript-stderr, r=alexcrichton

Write stderr output from build-scripts next to stdout output

Closes #3462.

Please let me know if you want to change the file name for the error output. I originally thought that `stdout` and `stderr` would have been nice but I'm worried that changing `output` to `stdout` would cause breakage. So I choose the more conservative route.

Add error-chain errors

Convert CargoResult, CargoError into an implementation provided by error-chain. The previous is_human machinery is mostly removed; now errors are displayed unless of the Internal kind, verbose mode will print all errors.

Mention the stderr file in the documentation.

Write stderr output from build-scripts to disk.

Closes #3462

Auto merge of #4085 - alexcrichton:fix-rewrite, r=matklad

Fix a serialization error on publish

In TOML we have to emit all keys before we emit all sub-tables, so to handle
that for dependencies just transform everything to an elaborated version.

Closes #4081

Fix a serialization error on publish

In TOML we have to emit all keys before we emit all sub-tables, so to handle
that for dependencies just transform everything to an elaborated version.

Closes #4081

Auto merge of #4084 - shiver:issue-3360, r=alexcrichton

3360 - Allow for features to be either comma or space delimited.

This is my attempt at tackling issue #3360.
Hopefully I interpreted the original request correctly and this is what you were looking for.

Any suggestions you might have to improve the submission would be great.
Thanks!

3360 - Allow for features to be either comma or space delimited.

Auto merge of #3937 - andwur:rustc-flag-determinism, r=alexcrichton

Deterministic -L and --cfg flag ordering

This ensures that the `-L` and `--cfg` flags passed to `rustc` have stable ordering across runs.

It also does the same for `--cfg` flags passed to `rustdoc`.

Fixes #3895

Only sort deps in build script dependency generation

Auto merge of #4069 - alexcrichton:remove-unused-dep, r=alexcrichton

Remove chrono as a dependency

Turns out we don't use it!

Remove chrono as a dependency

Turns out we don't use it!

Auto merge of #4030 - alexcrichton:rewrite-cargo-toml, r=matklad

Rewrite Cargo.toml when packaging crates

This commit is an implementation of rewriting TOML manifests when we publish
them to the registry. The rationale for doing this is to provide a guarantee
that downloaded tarballs from crates.io can be built with `cargo build`
(literally). This in turn eases a number of other possible consumers of crates
from crates.io

* Vendored sources can now be more easily modified/checked as cargo build should
  work and they're standalone crates that suffice for `path` dependencies
* Tools like cargobomb/crater no longer need to edit the manifest and can
  instead perform regression testing on the literal tarballs they download
* Other systems such as packaging Rust code may be able to take advantage of
  this, but this is a less clear benefit.

Overall I'm hesitatnt about this, unfortunately. This is a silent translation
happening on *publish*, a rare operation, that's difficult to inspect before it
flies up to crates.io. I wrote a script to run this transformation over all
crates.io crates and found a surprisingly large number of discrepancies. The
transformation basically just downloaded all crates at all versions,
regenerated the manifest, and then tested if the two manifests were (in memory)
the same.

Unfortunately historical Cargo had a critical bug which I think made this
exercise not too useful. Cargo used to *not* recreate tarballs if one already
existed, which I believe led to situations such as:

1. `cargo publish`
2. Cargo generates an error about a dependency. This could be that there's a
   `version` not present in a `path` dependency, there could be a `git`
   dependency, etc.
3. Errors are fixed.
4. `cargo publish`
5. Publish is successful

In step 4 above historical Cargo *would not recreate the tarball*. This means
that the contents of the index (what was published) aren't guaranteed to match
with the tarball's `Cargo.toml`. When building from crates.io this is ok as the
index is the source of truth for dependency information, but it means that *any*
transformation to rewrite Cargo.toml is impossible to verify against all crates
on crates.io (due to historical bugs like these).

I strove to read as many errors as possible regardless, attempting to suss out
bugs in the implementation here. To further guard against surprises I've updated
the verification step of packaging to work "normally" in these sense that it's
not rewriting dependencies itself or changing summaries. I'm hoping that this
serves as a good last-ditch effort that what we're about to publish will indeed
build as expected when uploaded to crates.io

Overall I'm probably 70% confident in this change. I think it's necessary to
make progress, but I think there are going to be very painful bugs that arise
from this feature. I'm open to ideas to help weed out these bugs ahead of time!
I've done what I can but I fear it may not be entirely enough.

Closes #4027

Rewrite Cargo.toml when packaging crates

This commit is an implementation of rewriting TOML manifests when we publish
them to the registry. The rationale for doing this is to provide a guarantee
that downloaded tarballs from crates.io can be built with `cargo build`
(literally). This in turn eases a number of other possible consumers of crates
from crates.io

* Vendored sources can now be more easily modified/checked as cargo build should
  work and they're standalone crates that suffice for `path` dependencies
* Tools like cargobomb/crater no longer need to edit the manifest and can
  instead perform regression testing on the literal tarballs they download
* Other systems such as packaging Rust code may be able to take advantage of
  this, but this is a less clear benefit.

Overall I'm hesitatnt about this, unfortunately. This is a silent translation
happening on *publish*, a rare operation, that's difficult to inspect before it
flies up to crates.io. I wrote a script to run this transformation over all
crates.io crates and found a surprisingly large number of discrepancies. The
transformation basically just downloaded all crates at all versions,
regenerated the manifest, and then tested if the two manifests were (in memory)
the same.

Unfortunately historical Cargo had a critical bug which I think made this
exercise not too useful. Cargo used to *not* recreate tarballs if one already
existed, which I believe led to situations such as:

1. `cargo publish`
2. Cargo generates an error about a dependency. This could be that there's a
   `version` not present in a `path` dependency, there could be a `git`
   dependency, etc.
3. Errors are fixed.
4. `cargo publish`
5. Publish is successful

In step 4 above historical Cargo *would not recreate the tarball*. This means
that the contents of the index (what was published) aren't guaranteed to match
with the tarball's `Cargo.toml`. When building from crates.io this is ok as the
index is the source of truth for dependency information, but it means that *any*
transformation to rewrite Cargo.toml is impossible to verify against all crates
on crates.io (due to historical bugs like these).

I strove to read as many errors as possible regardless, attempting to suss out
bugs in the implementation here. To further guard against surprises I've updated
the verification step of packaging to work "normally" in these sense that it's
not rewriting dependencies itself or changing summaries. I'm hoping that this
serves as a good last-ditch effort that what we're about to publish will indeed
build as expected when uploaded to crates.io

Overall I'm probably 70% confident in this change. I think it's necessary to
make progress, but I think there are going to be very painful bugs that arise
from this feature. I'm open to ideas to help weed out these bugs ahead of time!
I've done what I can but I fear it may not be entirely enough.

Closes #4027

Auto merge of #4065 - michaelwoerister:smarter-cargo-incremental, r=alexcrichton

Only compile user-modifiable projects incrementally.

Fixes #3972. Thanks for pointing me to the correct implementation, Alex!

r? @alexcrichton

Only compile user-modifiable projects incrementally.

Auto merge of #4060 - alexcrichton:nobare, r=matklad

Don't use a bare checkout of the index

Both old and new Cargo share the same index, so be sure to maintain
compatibility by initializing a non-bare repository for the index. Note that
a nightly Cargo still won't check out the index, but when an older Cargo comes
along and tries to check it out then it'll work.

Closes #4058

Auto merge of #4055 - mersinvald:less-strict-libtest-tests, r=alexcrichton

Making tests less strict so they won't break on output changes

Required for https://github.com/rust-lang/rust/pull/41910

cc @Mark-Simulacrum
cc @alexcrichton

Auto merge of #3979 - hjr3:issue-3911, r=alexcrichton

Support glob syntax in workspace members

Fixes #3911

Don't use a bare checkout of the index

Both old and new Cargo share the same index, so be sure to maintain
compatibility by initializing a non-bare repository for the index. Note that
a nightly Cargo still won't check out the index, but when an older Cargo comes
along and tries to check it out then it'll work.

Closes #4058

Add test case for non-deterministic --cfg flags passed to rustc

Fix non-deterministic --cfg feature flag list generation

The resolved features were returned in a HashSet and then iterated over,
which returns the feature names in arbitrary order.

See #3895

Add test case for non-deterministic rustc flags due to dependencies

Fix non-deterministic unit dependency list generation

This resulted in the flags passed to rustc having random
ordering, see #3895.

Use a few more `chain_error` calls

Merge branch 'master' into less-strict-libtest-tests

Auto merge of #4057 - jtojnar:patch-1, r=matklad

Update link in manifest documentation

Update link in manifest documentation

Less strict tests regarding libtest's stdout

Auto merge of #4051 - alexcrichton:fix-flaky-test, r=alexcrichton

Fix a flaky concurrent test with correct locking

The recent refactoring to clone the bare registry left in an accidental path
where index checkouts could clobber one another. This commit updates the logic
with proper locking and attempt ordering, attempting a full retry of the open
operation after the index locked.

Auto merge of #4050 - eminence:help_jobs_text, r=alexcrichton

Reword the `cargo test --help` text about the --jobs argument

This should reduce confusion about what the --jobs argument does and how
to control the number of simultaneous running test cases.

Closes #4045

Auto merge of #4046 - jmatraszek:fix_rust_41797, r=alexcrichton

Change inferring bin's name logic

Should fix rust-lang/rust#41797.

Fix a flaky concurrent test with correct locking

The recent refactoring to clone the bare registry left in an accidental path
where index checkouts could clobber one another. This commit updates the logic
with proper locking and attempt ordering, attempting a full retry of the open
operation after the index locked.

Auto merge of #3929 - Xion:master, r=alexcrichton

Allow cargo:rustc-env in build scripts

This is an attempt to address issue #2875. Basically, I'm trying to allow build scripts to produce`cargo:rustc-env=FOO=foo` lines in their output. These are then translated to `env!()`-friendly env. vars that rustc is run with.

Auto merge of #4043 - alexcrichton:fix-flaky-test, r=alexcrichton

Don't try to reach example.com in a test

Instead specify localhost

Don't try to reach example.com in a test

Instead specify localhost

Reword the `cargo test --help` text about the --jobs argument

This should reduce confusion about what the --jobs argument does and how
to control the number of simultaneous running test cases.

Closes #4045

Auto merge of #4047 - boxofrox:update-bin-docs, r=alexcrichton

Update docs: cargo does not build src/bin/*.rs when toml contains [[bin]

Update docs per #4013.

Does it make sense to also mention this behavior in the [Configuring a target](http://doc.crates.io/manifest.html#configuring-a-target) section?

Update documentation: cargo does not build src/bin/*.rs when toml contains [[bin]]

Signed-off-by: Justin Charette <charetjc@gmail.com>

Change inferring bin's name logic

Auto merge of #3954 - RReverser:run-with, r=alexcrichton

Add support for custom target-specific runners

When `target.$triple.runner` is specified, it will be used for any execution commands by cargo including `cargo run`, `cargo test` and `cargo bench`. The original file is passed to the runner executable as a first argument.

This allows to run tests when cross-comping Rust projects.

This is not a complete solution and might be extended in future for better ergonomics to support passing extra arguments to the runner itself or overriding runner from the command line, but it should already unlock major existing use cases.

Fixes #1411
Resolves #3626

Document the feature

Fix build script envvars for `cargo test/doc`

Fix tidy error

Allow runner params

Add documentation about target.$triple.runner

Add support for custom target-specific runners

When `target.$triple.runner` is specified, it will be used for any execution commands by cargo including `cargo run`, `cargo test` and `cargo bench`. The original file is passed to the runner executable as a first argument.

This allows to run tests when cross-comping Rust projects.

This is not a complete solution, and might be extended in future for better ergonomics to support passing extra arguments to the runner itself or overriding runner from command line, but it should already unlock major existing usecases.

Fixes #1411
Resolves #3626

Fix PR comments

Allow cargo:rustc-env in build scripts

Auto merge of #4033 - integer32llc:fix-sys-docs, r=alexcrichton

Clear up Linking to Systems Libraries docs

Fixes #2191.

Clear up Linking to Systems Libraries docs

Fixes #2191.

Auto merge of #4026 - alexcrichton:bare-registry, r=matklad

Don't check out the crates.io index locally

This commit moves working with the crates.io index to operating on the git
object layers rather than actually literally checking out the index. This is
aimed at two different goals:

* Improving the on-disk file size of the registry
* Improving cloning times for the registry as the index doesn't need to be
  checked out

The on disk size of my `registry` folder of a fresh check out of the index went
form 124M to 48M, saving a good chunk of space! The entire operation took about
0.6s less on a Unix machine (out of 4.7s total for current Cargo). On Windows,
however, the clone operation went from 11s to 6.7s, a much larger improvement!

Closes #4015

Don't check out the crates.io index locally

This commit moves working with the crates.io index to operating on the git
object layers rather than actually literally checking out the index. This is
aimed at two different goals:

* Improving the on-disk file size of the registry
* Improving cloning times for the registry as the index doesn't need to be
  checked out

The on disk size of my `registry` folder of a fresh check out of the index went
form 124M to 48M, saving a good chunk of space! The entire operation took about
0.6s less on a Unix machine (out of 4.7s total for current Cargo). On Windows,
however, the clone operation went from 11s to 6.7s, a much larger improvement!

Closes #4015

Auto merge of #4032 - alexcrichton:retry-500, r=matklad

Automatically retry HTTP requests returning 5xx

This commit implements auto-retry for downloading crates from crates.io whenever
a 5xx response is returned. This should help assist with automatic retries
whenever Cargo attempts to download directly from S3 but S3 returns a 500 error,
which is defined as "please retry again".

This logic may be a little eager to retry *all* 500 errors, but there's a
maximum cap on all retries regardless, so hopefully it doesn't result in too
many problems.

Closes #3962

Automatically retry HTTP requests returning 5xx

This commit implements auto-retry for downloading crates from crates.io whenever
a 5xx response is returned. This should help assist with automatic retries
whenever Cargo attempts to download directly from S3 but S3 returns a 500 error,
which is defined as "please retry again".

This logic may be a little eager to retry *all* 500 errors, but there's a
maximum cap on all retries regardless, so hopefully it doesn't result in too
many problems.

Closes #3962

Auto merge of #4024 - rsertelon:fix-4016-fetch-only-master, r=alexcrichton

Fetch only master branch of the registry index

Should close #4016

Fetch only master branch of the registry index

Should close #4016

Auto merge of #4022 - sfackler:metadata-target-dir, r=matklad

Expose the target directory in cargo metadata

Closes #4017

Expose the target directory in cargo metadata

Closes #4017

fix - remove unwrap

Auto merge of #4006 - mcgoo:cargo_test_dylib, r=alexcrichton

fix `cargo test` of dylib projects for end user runs too

Fixes running `cargo test` and `cargo test --target <target>` for dylib projects.

Moves the logic just landed in https://github.com/rust-lang/cargo/pull/3996 into cargo itself, so cargo sets the dylib path for anyone running `cargo test` or `cargo run`. Current master sets the dylib path only for  `cargo test` on cargo itself.

This PR pins to rustup 1.2.0 for the purposes of testing. If https://github.com/rust-lang-nursery/rustup.rs/pull/1093 ends up working out, then this PR would only be important for non-rustup users and people doing cross testing, `cargo test --target <target>`.

Arguably https://github.com/mcgoo/cargo/blob/ed273851f8bc76f726eda4a2e2a7bb470c3718bc/src/cargo/ops/cargo_rustc/context.rs#L249-L253 should point to lib/rustlib/\<host triple\>/lib instead of sysroot/lib, because I think if the libs are different, you will never be able to compile a working plugin anyway, and for the host=target case you get the  lib/rustlib/\<host triple\>/lib anyhow. Is there ever a case where the lib/rustlib/\<host triple\>/lib and sysroot/lib versions of the libs would be expected to differ?

This is not a huge deal for me one way or the other - it doesn't impact my workflow at all. I nearly dropped it when I saw @alexcrichton had made it all work in 3996, but I think it's worth doing because it removes a surprise. It certainly would have saved me a couple of days of confusion. Either way, thanks for looking it over.

Auto merge of #4010 - jonhoo:better-incremental-nightly-test, r=alexcrichton

Bring test of nightly in line with tests

#4000 passes `-Zincremental` to `rustc` only on nightly, but uses a different mechanism for detecting nightly than [cargotest does](https://github.com/rust-lang/cargo/blob/9bf9bddd9297cfb5098be6146d85be551c6d4eff/tests/cargotest/lib.rs#L37). This PR brings the two in line, which should hopefully fix the build failure observed in https://github.com/rust-lang/rust/pull/41830#issuecomment-300052969.

Bring test of nightly in line with tests

fixes

- fix glob missing members test to use proper expectations
- update code to handle case where glob does not match anything

Auto merge of #3974 - mcgoo:build_rs_native_path, r=alexcrichton

fix dynamic search path for build scripts

fixes https://github.com/rust-lang/cargo/issues/3957

fix dynamic library search path for build scripts

Make dynamic library search path handling for build scripts mirror the
behaviour for cargo run etc. -L paths are taken and stripped of the
native= and similar prefixes and added to the dynamic library search
path if they are inside the target dir.
Resolves https://github.com/rust-lang/cargo/issues/3957

use latest rustup again (undo pin to 1.2.0)

avoid an extra cargo invocation

Auto merge of #4008 - alexcrichton:update-ssh, r=alexcrichton

Update libssh2-sys

It now has an updated initialization routine to hopefully get ssh working on
Windows, with a fix for alexcrichton/git2-rs#202

Update libssh2-sys

It now has an updated initialization routine to hopefully get ssh working on
Windows, with a fix for alexcrichton/git2-rs#202

Auto merge of #3998 - fantoine:patch-1, r=alexcrichton

Ignore malformed manifests on git dependencies

Fix for #3935

set dylib path correctly for target when running `cargo test` etc

Auto merge of #3999 - kureuil:cratesio-676, r=alexcrichton

Document new behavior of crates.io with the documentation field of the manifest

[crates.io](https://crates.io/) now automatically links a crate with its [docs.rs](https://docs.rs/) page if no documentation link was specified in the manifest.

See rust-lang/crates.io#676

Auto merge of #4000 - jonhoo:only-incremental-on-nightly, r=alexcrichton

Only pass -Zincremental to nightly rustc.

`-Z` can only be used on nightly builds; other builds complain loudly. Since incremental builds only work on nightly anyway, we should silently ignore `CARGO_INCREMENTAL` on anything but nightly. This allows users to always have `CARGO_INCREMENTAL` set without getting unexpected errors on stable/beta builds.

Fixes #3835.

Add test with workspace path that has no Cargo.toml

Update workspace docs to include globs

Only pass -Zincremental to nightly rustc.

Fixes #3835

Added test

Refactorized code

Auto merge of #3996 - alexcrichton:rustup-up, r=alexcrichton

Upgrade rustup used on AppVeyor

Document new behavior of crates.io with the documentation field of the manifest

Upgrade rustup used on AppVeyor

Ignore malformed manifests on git dependencies

Auto merge of #3994 - matklad:blacklist, r=alexcrichton

Blacklist some binary names in `cargo new`

r? @alexcrichton

closes #3990

Blacklist some binary names in `cargo new`

Auto merge of #3991 - alexcrichton:better-errors, r=matklad

Improve configuration load errors

Add some more context information on the backtrace

Improve configuration load errors

Add some more context information on the backtrace