]> git.proxmox.com Git - mirror_edk2.git/commit
MdeModulePkg/UsbBotPei: Fix undefined behavior in signed left shift
authorHao Wu <hao.a.wu@intel.com>
Wed, 12 Apr 2017 01:06:36 +0000 (09:06 +0800)
committerHao Wu <hao.a.wu@intel.com>
Thu, 13 Apr 2017 00:59:07 +0000 (08:59 +0800)
commita2617ed6277aeb62fbde3e428c582912cf9980e2
treec8e5f84701ce51ea4773a2179f04c5e6ea46e92b
parentda117dda23955250e63052d3504edfb38439f12c
MdeModulePkg/UsbBotPei: Fix undefined behavior in signed left shift

In function PeiUsbReadCapacity(), the following expression:
LastBlock = (Data.LastLba3 << 24) |
  (Data.LastLba2 << 16) |
  (Data.LastLba1 << 8) |
  Data.LastLba0;

(There is also a similar case in function PeiUsbReadFormattedCapacity().)

will involve undefined behavior in signed left shift operations.

Since Data.LastLbaX is of type UINT8, they will be promoted to int (32
bits, signed) first, and then perform the left shift operation.

According to the C11 spec, Section 6.5.7:
4 The result of E1 << E2 is E1 left-shifted E2 bit positions; vacated
  bits are filled with zeros. If E1 has an unsigned type, the value
  of the result is E1 * 2^E2 , reduced modulo one more than the
  maximum value representable in the result type. If E1 has a signed
  type and nonnegative value, and E1 * 2^E2 is representable in the
  result type, then that is the resulting value; otherwise, the
  behavior is undefined.

So if bit 7 of Data.LastLba3 is 1, (Data.LastLba3 << 24) will be out of
the range within int type. The undefined behavior of the signed left shift
might incur potential issues.

This commit will add an explicit UINT32 type cast for Data.LastLba3 to
refine the codes.

Contributed-under: TianoCore Contribution Agreement 1.0
Signed-off-by: Hao Wu <hao.a.wu@intel.com>
Reviewed-by: Feng Tian <feng.tian@intel.com>
MdeModulePkg/Bus/Usb/UsbBotPei/PeiAtapi.c