Avoid buffering large amounts of rustc output.

Replace `std::sync::mpsc` with a much simpler queue

We don't need the complexity of most channels since this is not a
performance sensitive part of Cargo, nor is it likely to be so any time
soon. Coupled with recent bugs (#7840) we believe in `std::sync::mpsc`,
let's just not use that and use a custom queue type locally which should
be amenable to a blocking push soon too.

Auto merge of #7965 - jiegec:master, r=alexcrichton

Don't create hardlink for library test and integrations tests, fixing #7960

Related issue: #7960

Problem:

Tests are run under deps, but it is still copied to its parent directory. It leads to separation between the executable and its debug symbols (.dSYM directory).

Solution:

Set hardlink to None.

Auto merge of #7970 - ehuss:revert-debug-assert-filter, r=alexcrichton

Partially revert change to filter debug_assertions.

This partially reverts the changes from #7943. It caused a regression with the rocket_contrib crate. I knew that was the only crate that had a `cfg(debug_assertions)` dependency, and I saw that it had been fixed, but I did not realize the fix hadn't been published (and will be in a semver incompatible release).

This retains the old behavior for `cfg(debug_assertions)` of issuing a warning. I kept the filter for `CARGO_CFG_DEBUG_ASSERTIONS` for build scripts because that was the original intent for the change, and I don't see anyone using that.

Closes #7966.

Partially revert change to filter debug_assertions.

Don't create hardlink for library test, integrations tests and benches, fixing #7960

Auto merge of #7959 - ehuss:restricted-crate-names, r=alexcrichton

Try to better handle restricted crate names.

This attempts to improve handling of restricted crate names, particularly for `cargo new` and `cargo init`. Hopefully the code is straightforward to follow, but in summary the changes are:

**General changes**

* Add more details to the error messages about why a name is not allowed, and what is allowed.
* Change the valid package name check to be restricted to Unicode XID. This brings it in line with non_ascii_idents support in rustc. For the most part, this is pretty much the same as before. Note: this is used for the package name, and registry names. The differences are:
    * Package names cannot start with numbers. Previously this was only rejected in `cargo new`. crates.io also rejects numbers. Numbers are also not valid crate names.
    * Package names cannot start with dash `-`. This is a somewhat arbitrary change, but seems like it would stem problems. crates.io also rejects this.
    * Package names cannot start with these characters that were previously allowed: https://gist.github.com/ehuss/804a797950001b5226e1264b6f65211f#file-not_start_but_alphanumeric-txt
        * Most of these are wacky numbers or other strange things.
    * Package names cannot contain these characters that were previously allowed: https://gist.github.com/ehuss/804a797950001b5226e1264b6f65211f#file-not_continue_but_alphanumeric-txt
        * These are mostly odd things that for whatever reason the Unicode people decided not to include. It seems unlikely to me that someone would want to use one of these.
* Display a warning on Windows if a Cargo target is a special Windows filename. The build error tends to be hard to understand, so the hope is the warning will make it evident.
* `cargo package/publish`: Warn if a special Windows name is in the package.

**cargo new/init specific changes**

* Update keyword list to 2018 edition.
* Add warning if creating a library that has one of the conflicting names (deps/examples/build/incremental).
* Warn about conflicting std names (core/std/alloc/proc-macro).
* Windows reserved names: Rejected on windows, warned on other platforms.
* Warn about non-ASCII package names.
* Only print the `--name` suggestion for `cargo init`. I found the suggestion confusing, and I feel like it doesn't really make sense for `cargo new` (since it would only affect the directory name).

Auto merge of #7962 - ehuss:features2-required-feature-inactive, r=alexcrichton

Fix bug with new feature resolver and required-features.

If required-features are used, then the code for checking those features would crash if a dependency was not activated.  The solution here is to not be strict about only requesting activated packages.

For context, the reason this can panic is to check for any bugs in the resolver or places that make bad assumptions.  I missed this particular case, though.

Fix bug with new feature resolver and required-features.

Warn when packaging files with Windows special names.

Warn on Windows about reserved target names.

Try to better handle restricted crate names.

Auto merge of #7956 - ehuss:fix-collision-test, r=alexcrichton

Fix rare failure in collision_export test.

Seen once on CI in #7952 (https://dev.azure.com/rust-lang/cargo/_build/results?buildId=22112&view=logs&j=a5e52b91-c83f-5429-4a68-c246fc63a4f7&t=d4864165-4be3-5e34-b483-a6b05303aa68). I was able to reproduce it locally, though it is rare. There seems to be some kind of race issue on macOS with two processes trying to symlink the same directory at the same time. The solution is to serialize the build so they don't run at the same time.

Fix rare failure in collision_export test.

Auto merge of #7947 - quark-zju:ignore-broken-git, r=ehuss

Ignore broken Cargo.toml in git sources

Commit 3d6de4177489a5d450f35e92288512be85492678 (#3998) made cargo
ignore Cargo.toml files that are invalid TOML in a git source.
This change further ignores Cargo.toml files that are valid TOML but
cannot really be loaded in a git source.

This is potentially an alternative fix for #6822.

Auto merge of #7952 - ehuss:fingerprint-mtime-debug-extra, r=alexcrichton

Add more fingerprint mtime debug logging.

Adding some more debug logging on top of #7888.

There was a mistake in the original PR, where `dep.pkg_id` should have been `dep.name`.

Auto merge of #7955 - ehuss:fix-plugin-syntax-rename, r=alexcrichton

Fix plugin tests for latest nightly.

Crate was renamed in https://github.com/rust-lang/rust/pull/69592.

Fix plugin tests for latest nightly.

Add more fingerprint mtime debug logging.

Ignore broken Cargo.toml in git sources

Commit 3d6de4177489a5d450f35e92288512be85492678 (#3998) made cargo
ignore Cargo.toml files that are invalid TOML in a git source.
This change further ignores Cargo.toml files that are valid TOML but
cannot really be loaded.

This is potentially an alternative fix for #6822.

Auto merge of #7945 - hbina:small_change_to_siphasher, r=alexcrichton

Simplified usage code of SipHasher

SipHasher::new_with_keys(0,0) is just a longer version of just _::new()
i.e. the latter is an alias for the former.

Just a bit of a nothing burger I noticed while debugging some other issue.

Auto merge of #7944 - aleksator:7469_git_config_discovery, r=ehuss

Add a special case for git config discovery inside tests

Fixes #7469: Some tests will fail if one have a local git config user.name/user.email

Auto merge of #7946 - hbina:add_stream_hashu64, r=alexcrichton

Fixes issue #7543

Added a helper function for `util::hex::hash_64` that uses streams
the content instead of reading through the entire content in one
go.

Edit: Should I add test cases for this?

Edit2: Per #7543

Add a special case for git config discovery inside tests

Fixes #7469: Some tests will fail if one have a local git config user.name/user.email

hash_u64_file now returns an Error instead of panicking.

Fix erronous error with call to write

Fixes issue #7543

Added a helper function for util::hex::hash_64 that uses streams
the content instead of reading through the entire content in one
go.

Simplified usage code of SipHasher

SipHasher::new_with_keys(0,0) is just a longer version of just _::new()
i.e. the latter is an alias for the former.

Auto merge of #7943 - aleksator:7933_cargo_cfgs, r=ehuss

Filter out cfgs which should not be used during build

Fixes #7933: Filter invalid CARGO_CFG_ in build scripts

Auto merge of #7934 - ehuss:query-error-context, r=Eh2406

Provide extra context on a query failure.

This adds error context when a query fails, primarily to tell you which parent package included the dependency that failed. For example, imagine deep within your dependency graph you have a `git` dependency, and it fails to download. The current error doesn't tell you where in the graph that `git` dependency was included.

I also slightly tweaked the `failed to load source` error message. I felt like the existing wording could be misinterpreted that it was an error loading the dependency *for* the given package. I felt like there were multiple ways to interpret it, so I tried to simplify it to avoid that possibility.

Add path to the failure to load a dependency.

Filter out cfgs which should not be used during build

Fixes #7933: Filter invalid CARGO_CFG_ in build scripts

Auto merge of #7927 - ehuss:metadata-docs-clarify, r=alexcrichton

Try to clarify `cargo metadata`'s relationship with the workspace.

Closes #7893

Auto merge of #7939 - alexcrichton:update-libgit2, r=Eh2406

Update libgit2 dependency

Brings in a few CVE fixes and such for libgit2, bringing libgit to
0.99.0

Update libgit2 dependency

Brings in a few CVE fixes and such for libgit2, bringing libgit to
0.99.0

Auto merge of #7936 - giraffate:fix_link, r=alexcrichton

Fix link in comment

https://doc.rust-lang.org/grammar.html#keywords seems to move to https://doc.rust-lang.org/reference/keywords.html.

Fix link in comment

This link seems to move to https://doc.rust-lang.org/reference/keywords.html.

Auto merge of #7932 - ehuss:enable-doc-open-macos, r=alexcrichton

Enable `cargo doc --open` tests on macos.

Now that #7576 is merged, these tests should work fine on macos.

Auto merge of #7931 - ehuss:build-std-no-sysroot-probe, r=alexcrichton

build-std: remove sysroot probe

Now that RustcTargetData is computed earlier, running `rustc` again is no longer necessary.

Provide extra context on a query failure.

Enable `cargo doc --open` tests on macos.

build-std: remove sysroot probe

Auto merge of #7928 - ehuss:features-current-doc, r=alexcrichton

Try to clarify how feature flags work on the "current" package.

It's a bit confusing, even with an explanation, but maybe it will help.  Hopefully some day in the future feature selection won't be so wonky.

Try to clarify how feature flags work on the "current" package.

Try to clarify `cargo metadata`'s relationship with the workspace.

Auto merge of #7918 - ehuss:features-doc-comment, r=Eh2406

Add extra details in the new feature resolver doc comment.

Some extra details about how the new feature resolver fits in the picture.

Add extra details in the new feature resolver doc comment.

Auto merge of #7912 - matthiaskrgr:clippy_v11, r=ehuss

fix most remaining clippy findings (mostly redundant imports)

Auto merge of #7917 - ehuss:features-tracking-issues, r=alexcrichton

Add -Zfeatures tracking issues.

Auto merge of #7913 - ehuss:linkcheck-script, r=alexcrichton

Use rust-lang/rust linkchecker on CI.

This can help ensure submodule updates go smoothly.

Add -Zfeatures tracking issues.

Use rust-lang/rust linkchecker on CI.

fix most remaining clippy findings (mostly redundant imports)

Auto merge of #7911 - aleksator:run_through_clippy, r=ehuss

Clean up code mostly based on clippy suggestions

Auto merge of #7903 - aleksator:1681_doc_crate_version, r=ehuss

Add an option to include crate versions to the generated docs

Fixes https://github.com/rust-lang/cargo/issues/1681

Auto merge of #7905 - ehuss:license-file-updates, r=alexcrichton

Better support for license-file.

This adds some changes to how `cargo package` and `cargo publish` handle the `license-file` field. This also incorporates some refactoring which hopefully makes the code a little clearer and straightforward, but which also resulted in some minor behavior changes.

* Warn if license-file points to a non-existent file.
* Automatically include license-file, even if it is not listed in the `package.include` list (similar to how Cargo.toml/lock are automatically included).
* If license-file points outside of the package root, copy the file to the package root (and rewrite the field in Cargo.toml).
* Files are now sorted when archived.
* `Archiving: Cargo.toml.orig` is explicitly printed where before it did not report that.
* `cargo package --list` now shows `Cargo.toml.orig` where before it was not reported.

Closes #3537
Closes #7830

Run through nightly clippy

Document unstable 'crate-versions' flag

https://github.com/rust-lang/cargo/issues/7907

Add an option to include crate versions to the generated docs

Fixes https://github.com/rust-lang/cargo/issues/1681

Copy license-file into package if outside of root.

Add a warning if license-file points to a file that does not exist.

Remove unused imports

Auto merge of #7820 - ehuss:features2-split, r=alexcrichton

Add new feature resolver.

This adds a new resolver which handles feature unification independently of the main resolver. This can be enabled with the `-Zfeatures` flag which takes a comma-separated list of options to enable new behaviors. See `unstable.md` docs for details.

There are two significant behavior changes:

1. Ignore targets that are not enabled.
2. Do not unify features between build_deps, dev_deps, and normal deps.

The "forks" in the unit graph are handled by adding `DepKind` to `UnitFor`. The feature resolver tracks features independently for the different dependency kinds.

Unfortunately this currently does not support decoupling proc_macro dependencies. This is because at resolve time it does not know which dependencies are proc_macros. Moving feature resolution to after the packages are downloaded would require massive changes, and would make the unit computation much more complex. Nobody to my knowledge has requested this capability, presumably because proc_macros are relatively new, and they tend not to have very many dependencies, and those dependencies tend to be proc-macro specific (like syn/quote). I'd like to lean towards adding proc-macro to the index so that it can be known during resolve time, which would be much easier to implement, but with the downside of needing to add a new field to the index.

I did not update `cargo metadata`, yet. It's not really clear how it should behave. I think I'll need to investigate how people are currently using the feature information and figure out how it should work. Perhaps adding features to "dep_kinds" will be the solution, but I'm not sure.

The goal is to try to gather feedback about how well this new resolver works. There are two important things to check: whether it breaks a project, and how much does it increases compile time (since packages can be built multiple times with different features). I'd like to stabilize it one piece at a time assuming the disruption is not too great. If a project breaks or builds slower, the user can implement a backwards-compatible workaround of sprinkling additional features into `Cargo.toml` dependencies. I think `itarget` is a good candidate to try to stabilize first, since it is less likely to break things or change how things are built. If it does cause too much disruption, then I think we'll need to consider making it optional, enabled *somehow*.

There is an environment variable that can be set which forces Cargo to use the new feature resolver. This can be used in Cargo's own testsuite to explore which tests behave differently with the different features set.

Fix bug where an optional dependency is disabled in one fork, and enabled in another.

Add comment on relationship of RunCustomBuild and UnitFor::host.

Add comment trying to explain recursion and optional dependencies.

Try to clarify some things about UnitFor build flags.

Try to remove some rightwards drift.

Compute dep_for_build in one place.

Change for_build_dep from a bool to enum FeaturesFor for clarity.

Change have_dev_units from a bool to enum HasDevUnits for clarity.

Fix bug where required-features didn't work with -Zfeatures=build_dep correctly.

Fix `cargo clean -p` crashing with -Zfeatures.

Rewrite new feature resolver to simplify DepKind handling.

Now that dev-dependencies are a global setting, only build-dependencies
matter. This is maybe a little simpler to understand?

Add comment explaining dep_kind in compute_deps_custom_build.

Add `-Zfeatures=all` option.

Add a cyclical dev-dep test.

Consolidate -Zpackage-features member iteration logic.

Add test for build script being run multiple times.

Add some comments to help clarify some features stuff from review.

Do not store `requested_features` in FeatureResolver.

This isn't really needed "globally", just at the beginning.

Ensure dev-dep features are unified if any are used.

There is a complex issue where `cargo test -Zfeatures=dev_dep` was
building things incorrectly if there was a binary executable. The issue
is that lib.rs needed to be built twice (once linked against normal
dependencies, once against dev dependencies), but the current Unit
structure can't distinguish between the two, and thus it was picking the
wrong one.

Instead of allowing `cargo test` to build binaries without
dev-dependency features, just link main.rs against the
dev-dependency-unified versions.

We may need to revisit this in the future, but for now it is not clear
what people want or how this should work. Fixing this would require
substantial changes to how unit dependencies are computed (to properly
handle deduplication), so for now we'll use a simpler solution. It would
also mean `cargo test` would take longer on some projects (because it
would need to build the library 3 times instead of twice).

Add new feature resolver.

Add a RequestedFeatures struct to hold cli features.

The RequestedFeatures struct holds the features requested on the command
line.

Move rustc target collection out of bcx.

This allows querying it earlier, and independently of the rest of stuff in BuildContext.

Auto merge of #7906 - ehuss:macos-10.15, r=alexcrichton

Switch azure to macOS 10.15.

Switches CI to the macOS 10.15 image.  Since 32-bit support is no longer available, this changes how cross-compile testing works.  I decided to use `x86_64-apple-ios` as a cross target, since it can easily build/link on macOS.  `cargo run` won't work without a simulator, so some of the tests are restructured to check if `cargo run` is allowed.  If you do have a simulator, it should Just Work.  CI doesn't seem to be configured with a simulator installed, and I didn't bother to look if that would be possible (the simulators tend to be several gigabytes in size).

An alternative approach would be to use wasm as a cross target, which is also fairly easy to support.  But wasm is a sufficiently different target that it can cause some issues in some tests, and is a bit harder to run as an executable.

This also adds some more help text on how to configure cross-compile tests.

Rustup is now installed on macOS by default, so no need to install it.  Unfortunately self-updates are not allowed, but hopefully that won't be an issue.

Closes #7821

Work-around macOS 10.15 Gatekeeper issue.

Switch azure to macOS 10.15.

Auto merge of #7892 - KaneGreen:rustc-about-text, r=ehuss

Modified the help information of cargo-rustc

### Motivation
The original help information for `cargo build` is
> Compile a local package and all of its dependencies

And the original help information for `cargo rustc` is
> Compile a package and all of its dependencies

These messages are **too similar** to make it difficult to distinguish the differences between the two commands.

According to the [cargo book](https://doc.rust-lang.org/cargo/commands/cargo-rustc.html), `cargo rustc` is characterized by
> pass extra options to the compiler

I think this should be written into the help text of the command.

In addition, the `<args> ...` parameters of `cargo rustc` lack help text and need to be added.
### Modification
See the commit files.

### Problems
Maybe some words in my modification are not accurate enough. If you have better wording, welcome to point out. Thanks.

Auto merge of #7904 - ehuss:rustfmt-1.4.12-fix, r=alexcrichton

Update for nightly rustfmt.

Most recently nightly seems to have slightly different behavior.

Update for nightly rustfmt.

Auto merge of #7901 - ehuss:config-cli-path, r=alexcrichton

Support `--config path_to_config.toml` cli syntax.

Updates the `--config` flag so that if the argument appears to be a file, it will load the file.

cc #7722, #7723

Support `--config path_to_config.toml` cli syntax.

Auto merge of #7697 - ehuss:bin-test-env, r=alexcrichton

Set an environment variable for tests to find executables.

This adds the environment variable `CARGO_BIN_EXE_<name>` so that integration tests can find binaries to execute, instead of doing things like inspecting `env::current_exe()`.

The use of uppercase is primarily motivated by Windows whose Rust implementation behaves in a strange way.  It always ascii-upper-cases keys to implement case-insensitive matching (which loses the original case).  Seems less likely to result in confusion?

Closes #5758.

Auto merge of #7896 - ehuss:internal-errors, r=alexcrichton

Rework internal errors.

This changes the behavior of "internal" errors, which were previously hidden and only displayed with `--verbose`. The changes here:

- `internal` now means "a cargo bug", and is always displayed and requests that the user file a bug report.
- Added `VerboseError` to signify an error that should only be displayed with `--verbose`. This is only used in one place, to display the `rustc` compiler command if the compiler exited with a normal error code (i.e. not a crash).
- Audited the uses of internal errors, and promoted some to normal errors, as they seemed to contain useful information, but weren't necessarily bugs in cargo.
- Added some details to some errors.
- Sometimes the "run with --verbose" message wasn't being printed when I think it should. This happened when rustc failed while other rustc processes were running. Another case was with `cargo install` installing multiple packages, and one of them fails.

Rework internal errors.

Modified the help information of cargo-rustc

Auto merge of #7891 - ehuss:stringlist-fixes, r=Eh2406

Improvements to StringList config handling.

`StringList` was using an untagged enum to deserialize a string or list.  Unfortunately, serde does not handle untagged enums very well.  The error messages are not very good, and it doesn't interact with untyped deserializers (like our environment variables).  This switches it to a newtype struct, and then has hard-coded support for it in the deserializer.  This fixes some deserialization errors (like treating `true` as a boolean) and provides better error messages.

`StringList` is currently used for `build.rustflags`, `target.*.rustflags`, and `target.*.runner`.

Fixes #7780
Fixes #7781

Improvements to StringList config handling.

Auto merge of #7890 - ehuss:fingerprint-log-rustflags, r=Eh2406

Add new/old rustflags to fingerprint log.

Follow up to #7888. Due to a conversation with someone I had with Discord who was having trouble determining why something was rebuilding.