Fix upperiface check when ifdown is run with -a

Ticket: CM-3007
Reviewed By: shm + patch was pasted in the bug for review
Testing Done: ran precommit + maliks test + malik ran his test on his
box

When -a is specified ifupdown2 works on all interfaces and since the the
upperiface check is a bit expensive i had a "skip" on that.
And so far all the user commands i have seen only work on the $IFACE and
not its dependents. So, never hit this case.

prefix ethtool attributes with "link-" to be compatible with
native ifupdown + documentation fixes

Ticket: CM-3000
Reviewed By: trivial + doc related
Testing Done: Ran precommit

Add close_fds=True in ifupdownbase class

Ticket: CM-2899
Reviewed By:
Testing Done: Tested ifupdown sanity

Just closing all the places where we could leak fds.

Fix typo

Ticket: CM-2911
Reviewed By: pbendale
Testing Done:

Fix bash completion for sudo users (mostly cosmetic) + man page and
example fixes

Ticket: CM-2911
Reviewed By: CCR-1637
Testing Done: tested ifupdown2 sanity and bash completion

The python argcomplete module that i use for ifupdown2 has a limitation
that it does not work with sudo when used in the global mode. But there is
a workaround for it online (long story short...instead of enabling the global
argparse complete ...the author recommends registering argparse complete bash
completion individually for your script). This patch does just that.

This patch also moves the udev overrides to their respective packages.
Two of them are owned by ifupdown2.

Conflicts:
rootconf/default/home/cumulus/sysroot-complete

Use closefds=True and shell=True when executing usercmds

Ticket: CM-1438
Reviewed By: reported by purna
Testing Done: Tested with purna's l2 l3 lag test

problem fixed by this patch:
In some cases the child processes executing user cmds seem to hold on to
the lock file fd for a lil longer, preventing another instance of
ifupdown from running immediately after. Seen with two immediate
instances of service networking restarts from scripts when the
interfaces file has many user cmds.

Fix query-check object for interfaces with multiple iface sections

Ticket: CM-1438
Reviewed By:
Testing Done: ifupdown2 sanity

remove native ifupdown support from bridge-utils, vlan, ifenslave and
mstpctl + some ifupdown2 documentation cleanup

Ticket: CM-1438
Reviewed By:
Testing Done: ifupdown2 sanity testing

Conflicts:
patches/bridge-utils/series

Fix bug during handling multiple iface sections for same interface

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifupdown2 sanity + multiple iface sections for an
interface

- This patch fixes a few shortcomings in the multiple iface sections
for same interface (partly because i was only covering
backward compatibility cases earlier)
- Since this is a very common configuration pattern, this patch cleans
  it up
- also restructures some code
- main change is:
    before:
        for iface in ifaces:
            for op in ops:
                run op on iface

    after:
        for op in ops:
            for iface in ifaces:
                run op on iface

Update/add copyright files for Cumulus .debs.

Move interfaces example generation script to under
/usr/share/python-ifupdown2

Ticket: CM-2643
Reviewed By:
Testing Done: Tested ifupdown2 sanity

Add examples and script to generate sample interfaces file

Ticket: CM-2643
Reviewed By:
Testing Done: Tested build/install

This also pulls in python-gvgen package from wheezy sid into our
upstream dir. Previously i had packaged the gvgen module directly
into the ifupdown package

make a few things configurable (check output err/success string +
warnings on ifupdown)

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifupdown2 sanity

Some of the above mentioned configurable items can be specified in
ifupdown2.conf

make a copy of the indegrees dict in the graph module

Ticket: CM-2731
Reviewed By:
Testing Done: Tested ifupdown sanity

The graph module modifies the indegrees array and so introduce a copy
of the dict before modifying it.

Fix stray call to dict which was converting my ordered dict to an unordered dict

Ticket: CM-2731
Reviewed By:
Testing Done:

This was resulting in eth0 missing its first spot during interface
bringup

Change mstpctl show output parsing code (Use mstpctl show using
param-id). Its less prone to problems.

Ticket: CM-1438
Reviewed By:
Testing Done:

- Also add bpdufilter support
- This also gets rid of caching for mstpctl output

include only interfaces with no config in the upperiface check

Ticket: CM-1438
Reviewed By:
Testing Done: sanity and ifdown on bridges with vlans that dont have
user config

Bring back upperiface check during down (One of my recent checkins had
removed it)

Ticket: CM-2671
Reviewed By:
Testing Done: Tested test case in CM-2671 and ifupdown2 sanity

support json input + multiple instance running check

Ticket: CM-1438
Reviewed By:
Testing Done: Tested sanity and interfaces file in json format

man page cleanup + cleanup + minor fixes

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifupdown sanity

Fix ifupdown2 dpkg-configure error during build

Ticket:
Reviewed By: sergey
Testing Done:

dpkg-configure during build seems to be picking up python2.6 and
python2.6 was complaining about the syntax. Fixed with syntax
compatible with python2.6

Cosmetic - register level names

Ticket:
Reviewed By:
Testing Done: Tested sanity

Check addr_family and addr_method validity

Ticket: CM-2302
Reviewed By: trivial
Testing Done: Tested addr family and addr method syntax check

Use json.dumps() with 'separator attribute' to separate json object list
dumps + some cosmetic fixes + refactoring

Ticket: CM-2642
Reviewed By: sergey
Testing Done: Tested json output + sanity test

Fix build error

Ticket: CM-1438
Reviewed By:
Testing Done:

Fixes to some corner cases + support for some missing 'options and
attributes' for backward compatibility

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifupdown sanity and new functionality

support for:
- -i <interface file>
- template lookup path and move all template handling to a separate
  module template.py
- new ifupdown2 config file /etc/network/ifupdown2/ifupdown2.conf
- bridge_waitport and bridge_maxwait
- moved addons.conf to /var/lib/ifupdownaddons/

Fix PATH env for boot environment

Ticket: CM-2602
Reviewed By: trivial
Testing Done: Tested with pre-up script during boot

Link ifdown manpage

Ticket: CM-1438
Reviewed By:
Testing Done:

Fix manpage formatting

Ticket: CM-1438
Reviewed By:
Testing Done: Checked man page

Fix a few syntax checker bugs

Ticket: CM-2302
Reviewed By:
Testing Done: Tested ifupdown syntax checker + sanity

Also includes fixes to some of the sytax checker problems mentioned in
CM-2509

Make ifupdown2 insensitive to '-' and '_' in interface attribute names.

Ticket: CM-2501
Reviewed By:
Testing Done: Tested ifupdown sanity

cleanup + fix some reload caching issues

Ticket: CM-2508
Reviewed By:
Testing Done: ifreload and ifupdown sanity testing

Fix statemanager update flag condition + some debug print cleanup

Ticket: CM-1438
Reviewed By:
Testing Done: ifupdown2 sanity

Cleanup saved state for down objects on ifdown

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifup/ifdown sanity

This was a pending cleanup activity.

Check for duplicate interfaces

Ticket: CM-2509
Reviewed By:
Testing Done: Tested interfaces file with duplicate entries

Old ifupdown allowed multiple stanza's for the same interface.
To support older files ifupdown2 will continue to support duplicate interfaces.
However this check will warn on interfaces with same config more than
once. The check is done at a higher level during parsing and hence only
does a string compare of the iface section.

Fix print methods to not follow dependents when -a is set (-a already
covers all dependents)

Ticket: CM-2505
Reviewed By:
Testing Done: Tested ifquery

warn on template rendering errors and continue + --syntax-check option to ifup +
minor parser cleanups

Ticket: CM-2488
Reviewed By:
Testing Done: Tested ifupdown sanity and also the interfaces file in CM-2488

state manager test

Ticket:
Reviewed By:
Testing Done:

Remove batch support when deleting addresses. batching code does not
update the cache yet and that can cause problems during add

Ticket: CM-2491
Reviewed By:
Testing Done:

Still working on the cache update support during batching.

Remove upper device check warnings + implicitly follow upperifaces when
a logical interface comes up

Ticket: CM-2493
Reviewed By:
Testing Done: Tested ifup, ifdown in bond bridge setup

Also, implicitly pick up the upperifaces (even when user has not
specified --with-depends) for logical interfaces.
This is because when a logical interface goes down/deleted, kernel
impilicity deletes its upperifaces. so its better to implicitly bring
up upperifaces.

example

bridge name    bridge id        STP enabled    interfaces
br0        8000.7072cf8c2fca    yes        bond1
                            bond2
br2000        8000.7072cf8c2fca    yes        bond1.2000
                            bond2.2000
br2001        8000.7072cf8c2fca    yes        bond1.2001
                            bond2.2001

bridge name    bridge id        STP enabled    interfaces
br0        8000.000000000000    yes
br2000        8000.000000000000    yes
br2001        8000.000000000000    yes

bridge name    bridge id        STP enabled    interfaces
br0        8000.7072cf8c2fca    yes        bond1
                            bond2
br2000        8000.7072cf8c2fca    yes        bond1.2000
                            bond2.2000
br2001        8000.7072cf8c2fca    yes        bond1.2001
                            bond2.2001

cleanup + fixes

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifupdown sanity

Only warn on ifdown of an interface who has upperifaces still around +
cleanup

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifup/ifdown sanity

cleanup (mostly cosmetic)

Ticket: CM-1438
Reviewed By:
Testing Done: sanity test

execute 'up' on upper devices if ifup is called with --with-depends

Ticket: CM-1438
Reviewed By: review pending
Testing Done: Tested ifup/ifdown

Before this patch, `ifup --with-depends <iface>` only brought up
lowerdevices. Because those were enough for iface to function.

And if ifaces above it (upperdevices) needed fixing, user could just
execute `ifup --with-depends <ifaceupper>`.

But in a recent, bond under a bridge bug in 2.0, got me thinking that
its probably better to up the upperdevices which might be impacted as
well. and this patch does just that.

The patch includes changes to make ifupdown generate dependency
information for all interfaces even if the user requested to operate
on a single interface. This is to get a full view of the interfaces file.
This might add some overhead. Should not change anything during boot.
Still looking at ways to optimize.

Remove dead code

Ticket: CM-1438
Reviewed By: trivial
Testing Done: Tested ifup/ifdown

Add bash completion support using python-argcomplete

Ticket:
Reviewed By:
Testing Done: Tested bash completeion for cl-acltool and ifupdown

Caveat: It also completes hidden options.

Fix upperiface check to not barf when --force is used

Ticket: CM-2366
Reviewed By: trivial
Testing Done: Tested ifup/ifdown with bonds and bridges

Also refactored some code.

A few state manager optimizations + and some other fixes

Ticket: CM-1438
Reviewed By:
Testing Done:

This also fixes a bug with address handling:
- If the user changed a primary address, flush all the addresses and
  re-add them. Previously, if user added a new primary address, it would
ust get appended to the end of the address list as a secondary address.

ip batch support for mstp bridges + add support for multiple globs in a
single port expression + cleanup

Ticket: CM-1438
Reviewed By:
Testing Done:

This has left some dead code in. cleanup comming in subsequent patches.
ip batch support is not complete. It currently works only for mstpctl
bridges. more coming ..

ifudown --no-scripts support

Ticket: CM-1438
Reviewed By:
Testing Done:

revert accidental checkin: ifup with debug option in
/etc/init.d/networking

Ticket: CM-1438
Reviewed By:
Testing Done:

cleanup state manager + remove some dead code

Ticket: CM-1438
Reviewed By:
Testing Done:

workaround to fix dhcp delay at bootup

Ticket: CM-2317
Reviewed By:
Testing Done:

still investigating the iproute delay.

Disable exec of legacy /etc/network/<scripts> for now because of the
overhead

Ticket: CM-1438
Reviewed By:
Testing Done:

These are executed with shell=True and python subprocess performance
with shell=True sucks. This seems to have improved in python3. Will try
that out next. And also plan to make this controllable via an option.

This reduces time to ifup by half.

remove dhclient -nw option + cleanup

Ticket: CM-1438
Reviewed By:
Testing Done:

Fixes for some corner cases + cleanup

Ticket: CM-1438
Reviewed By:
Testing Done:

Also includes fix for CM-2307 and some other fixes for primary/secondary
address handling.

Support for manual method + rearrange some code

Ticket: CM-1438
Reviewed By:
Testing Done:

- Moved link config to base ifupdown. I had been debating about this,
  this is need to support manual and also the --no-scripts option.
- helps executing only link up/down operations if needed on an interface
- While at it, i also moved the scheduler methods to be classmethods
  instead of instance methods (which again was a pending cleanup task)

minor fixes + cleanup + update manpage

Ticket: CM-1438
Reviewed By:
Testing Done:

- simplified the dot generator

Fix build failure

Ticket: CM-1438
Reviewed By:
Testing Done:

cleanup, documentation and enable ifupdown2 by default

Ticket: CM-1438
Reviewed By:
Testing Done:

There are a few known issues listed in the TODO and KNOWN_ISSUES files

cleanup and some documentation

Ticket: CM-1438
Reviewed By:
Testing Done:

Fix l3 lag test failure

Ticket: CM-1438
Reviewed By:
Testing Done: l3 lag test with help from purna

- THe down sequence in the new ifupdown was causing switchd some grief
  (wilson is looking at it). readded the topological sort which i had
removed in favor of only walking the tree. With the fix,i dont see the
switchd problem anymore.
- And another down bug was causing the bond to go away prematurely (only
  with the all depends option). Added a upperdevice list to track upperdev references

Merge branch 'CumulusLinux-2.0_br'

Conflicts:
build-config/conf/snapshot-manifest-powerpc
build-config/make/kernel.make
modules/accton_as5610_52x_cpld.c
packages/cl-platform-config/usr/share/platform-config/accton/as5610_52x/etc/bcm.d/default_config_values
packages/cl-platform-config/usr/share/platform-config/accton/as5610_52x/hw_init.d/S10gpio_init.sh
packages/cl-utilities/dist-packages/cumulus/platformdb.py
packages/cl-utilities/dist-packages/cumulus/platforms/accton.py
packages/ifupdown2-addons/addons/bridge.py
packages/ifupdown2-addons/addons/ifenslave.py
packages/ifupdown2-addons/addons/inet.py
packages/ifupdown2-addons/addons/inet6.py
packages/ifupdown2-addons/addons/mstpctl.py
packages/ifupdown2-addons/addons/vlan.py
packages/ifupdown2-addons/pkg/base.py
packages/ifupdown2-addons/pkg/bridgeutils.py
packages/ifupdown2-addons/pkg/cache.py
packages/ifupdown2-addons/pkg/ifenslaveutil.py
packages/ifupdown2-addons/pkg/iproute2.py
packages/ifupdown2-addons/pkg/modulebase.py
packages/ifupdown2-addons/pkg/mstpctlutil.py
packages/ifupdown2/TODO
packages/ifupdown2/init.d/networking
packages/ifupdown2/pkg/graph.py
packages/ifupdown2/pkg/iface.py
packages/ifupdown2/pkg/ifupdownmain.py
packages/ifupdown2/pkg/networkinterfaces.py
packages/ifupdown2/pkg/scheduler.py
packages/ifupdown2/sbin/ifupdown
patches/kernel/driver-ds100df410-retimer.patch
patches/kernel/platform-accton-as5610_52x.patch
patches/kernel/platform-cel-p2020.patch
patches/kernel/platform-powerpc-85xx-Makefile.patch
patches/kernel/platform-quanta-ly6-p2020.patch
patches/kernel/series
patches/mstpd/igmp_snooop_ifupdown.patch
patches/mstpd/series
patches/quagga/series
switchd/debian/switchd.default
switchd/hal_acl_bcm.c
switchd/hal_bcm.h
switchd/switchd.c

rename a few options

Ticket: CM-1438
Reviewed By:
Testing Done:

minor ifquery print fixes

Ticket: CM-1438
Reviewed By:
Testing Done:

Some compat fixes + some stp precommit test fixes

Ticket: CM-1438
Reviewed By:
Testing Done:

More fixes and cleanup

Ticket: CM-1438
Reviewed By:
Testing Done:

More fixes and changes

Ticket: CM-1438
Reviewed By:
Testing Done: unit tested with all kinds of interfaces

some high level changes
- moved ipv4/ipv6 address handling in a single module. dhcp
into a separate module.
- new link 'up' module
- igmp fixes
- many other fixes

minor init.d fixes

Ticket: CM-1438
Reviewed By:
Testing Done:

some ifquery fixes + make the default to not follow dependents (
added a --with-depends option)

Ticket: CM-1438
Reviewed By:
Testing Done:

still debating on the default behaviour for following dependents.
for now not following dependents might be better.
When all interfaces are selected, it always follows dependents

A whole lot of fixes and some new code (needs some cleanup which will be
part of subsequent checkins)

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifup, ifdown and ifquery

Conflicts:
packages/ifupdown2-addons/addons/ifenslave.py

Update TODO lists

Ticket:
Reviewed By:
Testing Done:

Conflicts:
packages/ifupdown2/TODO

Update TODO lists

Ticket:
Reviewed By:
Testing Done:

Conflicts:
packages/ifupdown2/TODO

Update TODO

Ticket: CM-1438
Reviewed By:
Testing Done:

Update examples file

Ticket: CM-1438
Reviewed By:
Testing Done:

Update TODO lists

Ticket:
Reviewed By:
Testing Done:

minor init.d fixes

Ticket: CM-1438
Reviewed By:
Testing Done:

some ifquery fixes + make the default to not follow dependents (
added a --with-depends option)

Ticket: CM-1438
Reviewed By:
Testing Done:

still debating on the default behaviour for following dependents.
for now not following dependents might be better.
When all interfaces are selected, it always follows dependents

A whole lot of fixes and some new code (needs some cleanup which will be
part of subsequent checkins)

Ticket: CM-1438
Reviewed By:
Testing Done: Tested ifup, ifdown and ifquery

Update TODO

Ticket: CM-1438
Reviewed By:
Testing Done:

Update examples file

Ticket: CM-1438
Reviewed By:
Testing Done:

Update TODO lists

Ticket:
Reviewed By:
Testing Done:

Merge branch 'CumulusLinux-2.0_br'

Conflicts:
build-config/conf/linux.vci.config
build-config/conf/snapshot-manifest-powerpc
build-config/make/images.make
build-config/make/kernel.make
packages/cl-utilities/dist-packages/cumulus/platformdb.py
packages/cl-utilities/dist-packages/cumulus/platforms/accton.py
packages/ifupdown2/pkg/ifupdownmain.py
packages/mstpd/debian/mstpd.postinst
packages/mstpd/debian/mstpd.postrm
packages/mstpd/debian/mstpd.preinst
packages/mstpd/debian/mstpd.prerm
patches/bridge-utils/igmp_snoop_support.patch
patches/bridge-utils/series
patches/kernel/network-bridge-igmp-ifupdown-fixes.patch
patches/kernel/platform-cel-p2020.patch
patches/kernel/platform-powerpc-85xx-Makefile.patch
patches/kernel/platform-quanta-ly6.patch
patches/kernel/series
patches/mstpd/igmp_snooop_ifupdown.patch
patches/mstpd/series
tests/portconfig/test_vectors/cel,redstone@None/default/portsbcm
utilities/packages/autolib/netobjects.py

some fixes + template support

Ticket: CM-1438
Reviewed By:
Testing Done:

This patch adds support for mako style templates.

Example:
% for v in [20,30,40]:
auto vlan${v}
    iface vlan${v} inet static
    address 10.20.${v}.3/24
    mstpctl_ports  glob swp1-52.${v}
    mstpctl_stp on
% endfor

open items:
    - currently templates will only work if python-mako is installed
      (Its apt-gettable from debian wheezy).

Some fixes in dependency handling

Ticket: CM-1438
Reviewed By:
Testing Done: tested with configs involving vlan devices and bridges

- fix dependency handling which i had broken recently with my last
  checkin (nat reported this one)
- In inet pluggins, dont issue ip addr get unless required (saw cpu
  spike up because of CM-1889)
- and some other minor changes lying in my tree

Merge remote-tracking branch 'origin/CumulusLinux-2.0_br'

Conflicts:
packages/ifupdown2-addons/addons/bridge.py
packages/ifupdown2-addons/addons/cmdhooks.py
packages/ifupdown2-addons/addons/hooks.py
packages/ifupdown2-addons/addons/ifenslave.py
packages/ifupdown2-addons/addons/inet.py
packages/ifupdown2-addons/addons/inet6.py
packages/ifupdown2-addons/addons/usercmds.py
packages/ifupdown2/KNOWN_ISSUES
packages/ifupdown2/sbin/ifupdown
packages/ifupdown2/setup.py
patches/quagga/vtysh-fix-ipv6-afi-node.patch

cleanup ifquery for interfaces that were configured but got deleted or
went away

Ticket: CM-1438
Reviewed By:
Testing Done:

more fixes + cleanup + support for --exclude argument

Ticket: CM-1438
Reviewed By:
Testing Done:

Some fixes + enhancements

Ticket: CM-1438
Reviewed By:
Testing Done: Tested installing new ifupdown on the box

- fixed a few things in ifquery
- added new perfmode to skip some of the checks (useful during boot when there is
  no previous state)
- updated doc dir with example
- Added README, TODO and KNOWN_ISSUES file

Some fixes + enhancements

Ticket: CM-1438
Reviewed By:
Testing Done: Tested installing new ifupdown on the box

- fixed a few things in ifquery
- added new perfmode to skip some of the checks (useful during boot when there is
  no previous state)
- updated doc dir with example
- Added README, TODO and KNOWN_ISSUES file

python-ifupdown initial checkin

Ticket: CM-1438
Reviewed By: TBD
Testing Done:

- Will checkin build files after some more testing and performance
  numbers. It will go into the testing repo for 2.0

- All TODO items are part of the checked in TODO file