Auto merge of #8040 - ehuss:remove-git-checkout, r=alexcrichton

Remove the `git-checkout` subcommand.

This command has been broken for almost a year (since #6880), and nobody has mentioned it. The command isn't very useful (it checks out into cargo's `db` directory, which can also be accomplished with `cargo fetch`).  Since it doesn't have much utility, I don't see much reason to keep it around.

Remove the `git-checkout` subcommand.

Auto merge of #8028 - ehuss:new-proc-macro-decouple, r=alexcrichton

Re-implement proc-macro feature decoupling.

This is essentially a rewrite of #8003. Instead of adding proc-macro to the index, it uses a strategy of downloading all packages before doing feature resolution. Then the package can be inspected for the proc-macro field.

This is a fairly major change. A brief overview:
- `PackageSet` now has a `download_accessible` method which tries to download a minimal set of every accessible package. This isn't very smart right now, and errs on downloading too much. In most cases it should be the same (or nearly the same) as before. It downloads extra in the following cases:
    - The check for `[target]` dependencies checks both host and target for every dependency. I could tighten that up a little so build dependencies only check for the host, but it would add some complexity and I wanted to get feedback first.
    - Optional dependencies disabled by the new feature resolver will get downloaded.
- Removed the loop in computing unit dependencies where downloading used to reside.
- When downloading starts, it should now show a more accurate count of how many crates are to be downloaded. Previously the count would fluctuate while the graph is being built.

Auto merge of #8023 - aleksator:8019_remove_adler32_dependency, r=alexcrichton

Remove unused transitive dependencies: miniz_oxide, adler32

Fixes #8019

Remove unused transitive dependencies: miniz_oxide, adler32

Fixes #8019

Auto merge of #8027 - ehuss:fix-features-dev_dep-check-test, r=alexcrichton

Fix bug with -Zfeatures=dev_dep and `check --profile=test`.

`-Zfeatures=dev_dep` with `cargo check --profile=test` would crash because the check of whether or not dev dependencies are needed erroneously ignored the "test" flag of `CompileMode::Check`.  The feature resolver needs to correctly know whether or not dev-dependencies are needed.

Re-implement proc-macro feature decoupling.

Fix bug with -Zfeatures=dev_dep and `check --profile=test`.

Auto merge of #8021 - ehuss:remove-cfg-from-options, r=alexcrichton

Remove Config from CompileOptions.

This removes Config from CompileOptions. This removes the lifetime parameters, which I think simplifies things slightly (with the drawback that Config now needs to be passed as a parameter to a few functions).

Remove Config from CompileOptions.

Auto merge of #7922 - XAMPPRocky:patch-1, r=ehuss

Add `rustless.org` to documented blocklist.

Sibling PR to rust-lang/crates.io#2202, don't merge or close until the sibling PR is resolved first.

Remove note

Auto merge of #8017 - aleksator:3672_color_build_script_warnings_on_panic, r=ehuss

Print colored warnings when build script panics

Fixes #3672

Auto merge of #8014 - aleksator:crate_version_in_rustdocflags, r=ehuss

Do not supply --crate-version flag to rustdoc if present in RUSTDOCFLAGS

Checks for the flag in extra compiler arguments as well

Print colored warnings when build script panics

Fixes #3672

Do not supply --crate-version flag to rustdoc if present in RUSTDOCFLAGS or extra compiler arguments

Auto merge of #8003 - ehuss:proc-macro-index, r=alexcrichton

Add proc-macro to index, and new feature resolver.

This adds the "pm" field to the index so that Cargo can detect which packages contain a proc-macro without downloading the package.

The second commit builds on that to support proc-macros in the new "de-unification" of the new feature resolver. This prevents dependencies shared between proc-macros and other dependency kinds from having features unified.

cc #7915

Update registry documentation with new proc-macro field.

Auto merge of #8015 - aleksator:run_through_clippy, r=alexcrichton

Run through clippy

Run through clippy

Auto merge of #8012 - ehuss:fix-config-profile-test, r=alexcrichton

Fix config profiles using "dev" in `cargo test`.

Fix a bug where the "dev" profile was not loaded from config when running `cargo test` when "dev" is not listed in `Cargo.toml`.

There was a mistake in #7750 where it did not consider implicit profiles. Config profiles need to be loaded explicitly in order to properly handle environment variables. However, it was only looking at the profile requested on the command-line and those listed in `Cargo.toml`. `cargo test` also implicitly uses the "dev" profile for dependencies, so make sure those are loaded from config as well.

Fix config profiles using "dev" in `cargo test`.

Auto merge of #8011 - ehuss:pr-ci, r=alexcrichton

Run CI on all PRs.

I think we want PRs to be tested on all branches (such as beta branches). This is the default for Azure, so there's no need to specify the PR trigger.

Run CI on all PRs.

Auto merge of #7977 - ehuss:unit-graph, r=alexcrichton

Add unit-graph JSON output.

This adds a `--unit-graph` flag that will emit a JSON object of Cargo's internal build graph.  See unstable.md for more details.

The primary motivator is to provide an accurate picture of which features are set. With the new feature resolver it is not possible to properly represent the features in the `cargo metadata` structure, because features are no longer unified.  Also, features selected depend on the command, and exactly which packages are being built.  To handle that in `cargo metadata`, it would need to add a "mode" flag, and a superset of flags for all build commands (test, check, build, etc.). To me that seemed like a difficult path to take.

This may also be helpful for making visualizations of the true dependencies.  `cargo metadata` doesn't show the intra-package dependencies like build scripts or test units, and walking the `cargo metadata` graph correctly isn't always obvious.

This initial concept exposes almost all of the fields. That may be a little too much, but I imagine we could always trim it before stabilizing.  This structure also has a high risk of being unstable, since it has a good chance of changing form in the future.  I figure that can be addressed with documentation emphasizing that it may change and we may not always provide backwards-compatibility (though we will try if it is not too much burden).

This could also potentially be extended in the future to include things like artifact paths, or "freshness", if we'd like to.

Auto merge of #8008 - aleksator:refactor_workspace_validate, r=ehuss

Split workspace/validate() into multiple functions

Split workspace/validate() into multiple functions

Auto merge of #8005 - ehuss:as_deref, r=Eh2406

Use Option::as_deref

[`Option::as_deref`](https://doc.rust-lang.org/std/option/enum.Option.html#method.as_deref) was stabilized in 1.40.  I think it is slightly cleaner looking (though it requires the reader to know what the method does).

Use Option::as_deref

Auto merge of #7993 - Eh2406:deduplicate-eges, r=ehuss

De-duplicate edges

This is a quick fix for #7985. It is possible to have more than one dependency that connects two packages, if one is a dev and one a regular. The code has use a `Vec` to represent that potential multiplicity. This switches it to a `HashSet` to fix #7985. But if there is only a handful of ways we can have more than one then perhaps we can do something with less indirection/allocations.

Note that #7168 (which was already abandoned) will need to be redesigned for whatever we do for this.

Elaborate on motivation of --unit-graph.

-Zfeatures=host_dep: Support decoupling proc-macro features.

Add unit-graph JSON output.

Add proc-macro to the index.

Auto merge of #7935 - cwndrws:revert-removal-of-mtime-preservation, r=ehuss

Revert "Disable preserving mtimes on archives"

This reverts commit 8c92e88765817877f53a9cfb70c3e39853456868.

Fixes #7590

Auto merge of #7533 - yaahc:clippy-banishment, r=ehuss

Close the front door for clippy but open the back

Auto merge of #7999 - aleksator:fix_changelog_typos, r=ehuss

Fix CHANGELOG.md typos

Fixed `pacakges` typo and reworded another sentence since `expressioned` isn't a word.

Fix CHANGELOG.md typos

Auto merge of #7998 - rust-lang:ehuss-patch-1, r=Eh2406

Update changelog note about crate-versions flag.

Update changelog note about crate-versions flag.

Auto merge of #7997 - ehuss:version-bump, r=alexcrichton

Bump to 0.45.0, update changelog

Bump to 0.45.0.

Update changelog for 1.43.

fix unix cfg on include

rustfmt

switch from bash script to rust program

Auto merge of #7996 - alexcrichton:update-git2, r=Eh2406

Bump libgit2 dependencies

Brings in rust-lang/git2-rs#527

Closes #7466
Closes #7988

Bump libgit2 dependencies

Brings in rust-lang/git2-rs#527

Closes #7466
Closes #7988

Close the front door for clippy but open the back

cargo +stable fmt

Auto merge of #7838 - ehuss:fix-memory-rustc-output, r=alexcrichton

Avoid buffering large amounts of rustc output.

If `rustc` prints out a lot of information (such as with `RUSTC_LOG`, or a huge number of diagnostics), cargo would buffer up large amounts of that in memory.  For normal builds, this would happen if the terminal does not print fast enough. For "fresh" replay, *everything* was being buffered.

There are two issues:
1. There is no back-pressure on the mpsc queue.  If messages come in faster than they can be processed, it grows without bounds.
2. The cache-replay code runs in the "fresh" code path which does not spawn a thread. Thus the main thread was blocked and unable to process `Message`s while the replay is happening.

The solution here is to use a bounded queue, and to always spawn a thread for the "fresh" case.

The main concern here is performance.  Previously the "fresh" jobs avoided spawning a thread to improve performance.  I did a fair bit of profiling to understand the impact, using projects with anywhere from 100 to 500 units.  On my macOS machine, I found spawning a thread to be slightly faster (1-5%).  On Linux and Windows, it was generally about 0 to 5% slower.  It might be helpful for others to profile it on their own system.

I'm on the fence for the cost/benefit here.  It seems generally good to reduce memory usage, but the slight performance hit is disappointing.  I tried several other approaches to fix this, all with worse trade offs (I can discuss them if interested).

Fixes #6197

graph can use HashSet

parents can use a HashSet

Auto merge of #7989 - ehuss:git-submodule-updating, r=alexcrichton

Add "Updating" status for git submodules.

This adds a status message when updating a git submodule.  Downloading these can be very slow (often submodules are much larger than their parents).  I think it is helpful to provide some more feedback as to what it is doing.

Auto merge of #7990 - ehuss:workspace-resolve-lifetime, r=alexcrichton

WorkspaceResolve: Use descriptive lifetime label.

I find it helpful to have descriptive lifetime names.

WorkspaceResolve: Use descriptive lifetime label.

Add "Updating" status for git submodules.

Auto merge of #7983 - ehuss:fix-old-manifest-anchors, r=alexcrichton

Support old html anchors in manifest chapter.

#7733 unintentionally broke some old HTML anchors in the manifest chapter.  This would cause any links out in the wild to not scroll to the correct position.

Unfortunately it is too late for the 1.42 release.  However, I'd like to backport this for 1.43.

Support old html anchors in manifest chapter.

Use wait_while for Condvar in Queue to simplify code.

Add test for caching large output.

Avoid buffering large amounts of rustc output.

Replace `std::sync::mpsc` with a much simpler queue

We don't need the complexity of most channels since this is not a
performance sensitive part of Cargo, nor is it likely to be so any time
soon. Coupled with recent bugs (#7840) we believe in `std::sync::mpsc`,
let's just not use that and use a custom queue type locally which should
be amenable to a blocking push soon too.

Auto merge of #7965 - jiegec:master, r=alexcrichton

Don't create hardlink for library test and integrations tests, fixing #7960

Related issue: #7960

Problem:

Tests are run under deps, but it is still copied to its parent directory. It leads to separation between the executable and its debug symbols (.dSYM directory).

Solution:

Set hardlink to None.

Auto merge of #7970 - ehuss:revert-debug-assert-filter, r=alexcrichton

Partially revert change to filter debug_assertions.

This partially reverts the changes from #7943. It caused a regression with the rocket_contrib crate. I knew that was the only crate that had a `cfg(debug_assertions)` dependency, and I saw that it had been fixed, but I did not realize the fix hadn't been published (and will be in a semver incompatible release).

This retains the old behavior for `cfg(debug_assertions)` of issuing a warning. I kept the filter for `CARGO_CFG_DEBUG_ASSERTIONS` for build scripts because that was the original intent for the change, and I don't see anyone using that.

Closes #7966.

Partially revert change to filter debug_assertions.

Revert "Disable preserving mtimes on archives"

This reverts commit 8c92e88765817877f53a9cfb70c3e39853456868.

Don't create hardlink for library test, integrations tests and benches, fixing #7960

Auto merge of #7959 - ehuss:restricted-crate-names, r=alexcrichton

Try to better handle restricted crate names.

This attempts to improve handling of restricted crate names, particularly for `cargo new` and `cargo init`. Hopefully the code is straightforward to follow, but in summary the changes are:

**General changes**

* Add more details to the error messages about why a name is not allowed, and what is allowed.
* Change the valid package name check to be restricted to Unicode XID. This brings it in line with non_ascii_idents support in rustc. For the most part, this is pretty much the same as before. Note: this is used for the package name, and registry names. The differences are:
    * Package names cannot start with numbers. Previously this was only rejected in `cargo new`. crates.io also rejects numbers. Numbers are also not valid crate names.
    * Package names cannot start with dash `-`. This is a somewhat arbitrary change, but seems like it would stem problems. crates.io also rejects this.
    * Package names cannot start with these characters that were previously allowed: https://gist.github.com/ehuss/804a797950001b5226e1264b6f65211f#file-not_start_but_alphanumeric-txt
        * Most of these are wacky numbers or other strange things.
    * Package names cannot contain these characters that were previously allowed: https://gist.github.com/ehuss/804a797950001b5226e1264b6f65211f#file-not_continue_but_alphanumeric-txt
        * These are mostly odd things that for whatever reason the Unicode people decided not to include. It seems unlikely to me that someone would want to use one of these.
* Display a warning on Windows if a Cargo target is a special Windows filename. The build error tends to be hard to understand, so the hope is the warning will make it evident.
* `cargo package/publish`: Warn if a special Windows name is in the package.

**cargo new/init specific changes**

* Update keyword list to 2018 edition.
* Add warning if creating a library that has one of the conflicting names (deps/examples/build/incremental).
* Warn about conflicting std names (core/std/alloc/proc-macro).
* Windows reserved names: Rejected on windows, warned on other platforms.
* Warn about non-ASCII package names.
* Only print the `--name` suggestion for `cargo init`. I found the suggestion confusing, and I feel like it doesn't really make sense for `cargo new` (since it would only affect the directory name).

Auto merge of #7962 - ehuss:features2-required-feature-inactive, r=alexcrichton

Fix bug with new feature resolver and required-features.

If required-features are used, then the code for checking those features would crash if a dependency was not activated.  The solution here is to not be strict about only requesting activated packages.

For context, the reason this can panic is to check for any bugs in the resolver or places that make bad assumptions.  I missed this particular case, though.

Fix bug with new feature resolver and required-features.

Warn when packaging files with Windows special names.

Warn on Windows about reserved target names.

Try to better handle restricted crate names.

Auto merge of #7956 - ehuss:fix-collision-test, r=alexcrichton

Fix rare failure in collision_export test.

Seen once on CI in #7952 (https://dev.azure.com/rust-lang/cargo/_build/results?buildId=22112&view=logs&j=a5e52b91-c83f-5429-4a68-c246fc63a4f7&t=d4864165-4be3-5e34-b483-a6b05303aa68). I was able to reproduce it locally, though it is rare. There seems to be some kind of race issue on macOS with two processes trying to symlink the same directory at the same time. The solution is to serialize the build so they don't run at the same time.

Fix rare failure in collision_export test.

Auto merge of #7947 - quark-zju:ignore-broken-git, r=ehuss

Ignore broken Cargo.toml in git sources

Commit 3d6de4177489a5d450f35e92288512be85492678 (#3998) made cargo
ignore Cargo.toml files that are invalid TOML in a git source.
This change further ignores Cargo.toml files that are valid TOML but
cannot really be loaded in a git source.

This is potentially an alternative fix for #6822.

Auto merge of #7952 - ehuss:fingerprint-mtime-debug-extra, r=alexcrichton

Add more fingerprint mtime debug logging.

Adding some more debug logging on top of #7888.

There was a mistake in the original PR, where `dep.pkg_id` should have been `dep.name`.

Auto merge of #7955 - ehuss:fix-plugin-syntax-rename, r=alexcrichton

Fix plugin tests for latest nightly.

Crate was renamed in https://github.com/rust-lang/rust/pull/69592.

Fix plugin tests for latest nightly.

Add more fingerprint mtime debug logging.

Ignore broken Cargo.toml in git sources

Commit 3d6de4177489a5d450f35e92288512be85492678 (#3998) made cargo
ignore Cargo.toml files that are invalid TOML in a git source.
This change further ignores Cargo.toml files that are valid TOML but
cannot really be loaded.

This is potentially an alternative fix for #6822.

Auto merge of #7945 - hbina:small_change_to_siphasher, r=alexcrichton

Simplified usage code of SipHasher

SipHasher::new_with_keys(0,0) is just a longer version of just _::new()
i.e. the latter is an alias for the former.

Just a bit of a nothing burger I noticed while debugging some other issue.

Auto merge of #7944 - aleksator:7469_git_config_discovery, r=ehuss

Add a special case for git config discovery inside tests

Fixes #7469: Some tests will fail if one have a local git config user.name/user.email

Auto merge of #7946 - hbina:add_stream_hashu64, r=alexcrichton

Fixes issue #7543

Added a helper function for `util::hex::hash_64` that uses streams
the content instead of reading through the entire content in one
go.

Edit: Should I add test cases for this?

Edit2: Per #7543

Add a special case for git config discovery inside tests

Fixes #7469: Some tests will fail if one have a local git config user.name/user.email

hash_u64_file now returns an Error instead of panicking.

Fix erronous error with call to write

Fixes issue #7543

Added a helper function for util::hex::hash_64 that uses streams
the content instead of reading through the entire content in one
go.

Simplified usage code of SipHasher

SipHasher::new_with_keys(0,0) is just a longer version of just _::new()
i.e. the latter is an alias for the former.

Auto merge of #7943 - aleksator:7933_cargo_cfgs, r=ehuss

Filter out cfgs which should not be used during build

Fixes #7933: Filter invalid CARGO_CFG_ in build scripts

Auto merge of #7934 - ehuss:query-error-context, r=Eh2406

Provide extra context on a query failure.

This adds error context when a query fails, primarily to tell you which parent package included the dependency that failed. For example, imagine deep within your dependency graph you have a `git` dependency, and it fails to download. The current error doesn't tell you where in the graph that `git` dependency was included.

I also slightly tweaked the `failed to load source` error message. I felt like the existing wording could be misinterpreted that it was an error loading the dependency *for* the given package. I felt like there were multiple ways to interpret it, so I tried to simplify it to avoid that possibility.

Add path to the failure to load a dependency.

Filter out cfgs which should not be used during build

Fixes #7933: Filter invalid CARGO_CFG_ in build scripts

Auto merge of #7927 - ehuss:metadata-docs-clarify, r=alexcrichton

Try to clarify `cargo metadata`'s relationship with the workspace.

Closes #7893

Auto merge of #7939 - alexcrichton:update-libgit2, r=Eh2406

Update libgit2 dependency

Brings in a few CVE fixes and such for libgit2, bringing libgit to
0.99.0

Update libgit2 dependency

Brings in a few CVE fixes and such for libgit2, bringing libgit to
0.99.0

Auto merge of #7936 - giraffate:fix_link, r=alexcrichton

Fix link in comment

https://doc.rust-lang.org/grammar.html#keywords seems to move to https://doc.rust-lang.org/reference/keywords.html.

Fix link in comment

This link seems to move to https://doc.rust-lang.org/reference/keywords.html.

Auto merge of #7932 - ehuss:enable-doc-open-macos, r=alexcrichton

Enable `cargo doc --open` tests on macos.

Now that #7576 is merged, these tests should work fine on macos.