]> git.proxmox.com Git - mirror_edk2.git/blobdiff - UefiCpuPkg/Library/MpInitLib/MpLib.c
UefiCpuPkg: Move GetProcessorLocation() to LocalApicLib library
[mirror_edk2.git] / UefiCpuPkg / Library / MpInitLib / MpLib.c
index 3ac79b6a9031b9bbf8e8f7569dbc952d59fc0687..f205b6bad4ccff9018a593f9d4c78e03d69530c8 100644 (file)
 \r
 #include "MpLib.h"\r
 \r
+EFI_GUID mCpuInitMpLibHobGuid = CPU_INIT_MP_LIB_HOB_GUID;\r
+\r
+/**\r
+  The function will check if BSP Execute Disable is enabled.\r
+  DxeIpl may have enabled Execute Disable for BSP,\r
+  APs need to get the status and sync up the settings.\r
+\r
+  @retval TRUE      BSP Execute Disable is enabled.\r
+  @retval FALSE     BSP Execute Disable is not enabled.\r
+**/\r
+BOOLEAN\r
+IsBspExecuteDisableEnabled (\r
+  VOID\r
+  )\r
+{\r
+  UINT32                      Eax;\r
+  CPUID_EXTENDED_CPU_SIG_EDX  Edx;\r
+  MSR_IA32_EFER_REGISTER      EferMsr;\r
+  BOOLEAN                     Enabled;\r
+\r
+  Enabled = FALSE;\r
+  AsmCpuid (CPUID_EXTENDED_FUNCTION, &Eax, NULL, NULL, NULL);\r
+  if (Eax >= CPUID_EXTENDED_CPU_SIG) {\r
+    AsmCpuid (CPUID_EXTENDED_CPU_SIG, NULL, NULL, NULL, &Edx.Uint32);\r
+    //\r
+    // CPUID 0x80000001\r
+    // Bit 20: Execute Disable Bit available.\r
+    //\r
+    if (Edx.Bits.NX != 0) {\r
+      EferMsr.Uint64 = AsmReadMsr64 (MSR_IA32_EFER);\r
+      //\r
+      // MSR 0xC0000080\r
+      // Bit 11: Execute Disable Bit enable.\r
+      //\r
+      if (EferMsr.Bits.NXE != 0) {\r
+        Enabled = TRUE;\r
+      }\r
+    }\r
+  }\r
+\r
+  return Enabled;\r
+}\r
+\r
+/**\r
+  Worker function for SwitchBSP().\r
+\r
+  Worker function for SwitchBSP(), assigned to the AP which is intended\r
+  to become BSP.\r
+\r
+  @param[in] Buffer   Pointer to CPU MP Data\r
+**/\r
+VOID\r
+EFIAPI\r
+FutureBSPProc (\r
+  IN  VOID            *Buffer\r
+  )\r
+{\r
+  CPU_MP_DATA         *DataInHob;\r
+\r
+  DataInHob = (CPU_MP_DATA *) Buffer;\r
+  AsmExchangeRole (&DataInHob->APInfo, &DataInHob->BSPInfo);\r
+}\r
+\r
+/**\r
+  Get the Application Processors state.\r
+\r
+  @param[in]  CpuData    The pointer to CPU_AP_DATA of specified AP\r
+\r
+  @return  The AP status\r
+**/\r
+CPU_STATE\r
+GetApState (\r
+  IN  CPU_AP_DATA     *CpuData\r
+  )\r
+{\r
+  return CpuData->State;\r
+}\r
+\r
+/**\r
+  Set the Application Processors state.\r
+\r
+  @param[in]   CpuData    The pointer to CPU_AP_DATA of specified AP\r
+  @param[in]   State      The AP status\r
+**/\r
+VOID\r
+SetApState (\r
+  IN  CPU_AP_DATA     *CpuData,\r
+  IN  CPU_STATE       State\r
+  )\r
+{\r
+  AcquireSpinLock (&CpuData->ApLock);\r
+  CpuData->State = State;\r
+  ReleaseSpinLock (&CpuData->ApLock);\r
+}\r
+\r
+/**\r
+  Save the volatile registers required to be restored following INIT IPI.\r
+\r
+  @param[out]  VolatileRegisters    Returns buffer saved the volatile resisters\r
+**/\r
+VOID\r
+SaveVolatileRegisters (\r
+  OUT CPU_VOLATILE_REGISTERS    *VolatileRegisters\r
+  )\r
+{\r
+  CPUID_VERSION_INFO_EDX        VersionInfoEdx;\r
+\r
+  VolatileRegisters->Cr0 = AsmReadCr0 ();\r
+  VolatileRegisters->Cr3 = AsmReadCr3 ();\r
+  VolatileRegisters->Cr4 = AsmReadCr4 ();\r
+\r
+  AsmCpuid (CPUID_VERSION_INFO, NULL, NULL, NULL, &VersionInfoEdx.Uint32);\r
+  if (VersionInfoEdx.Bits.DE != 0) {\r
+    //\r
+    // If processor supports Debugging Extensions feature\r
+    // by CPUID.[EAX=01H]:EDX.BIT2\r
+    //\r
+    VolatileRegisters->Dr0 = AsmReadDr0 ();\r
+    VolatileRegisters->Dr1 = AsmReadDr1 ();\r
+    VolatileRegisters->Dr2 = AsmReadDr2 ();\r
+    VolatileRegisters->Dr3 = AsmReadDr3 ();\r
+    VolatileRegisters->Dr6 = AsmReadDr6 ();\r
+    VolatileRegisters->Dr7 = AsmReadDr7 ();\r
+  }\r
+}\r
+\r
+/**\r
+  Restore the volatile registers following INIT IPI.\r
+\r
+  @param[in]  VolatileRegisters   Pointer to volatile resisters\r
+  @param[in]  IsRestoreDr         TRUE:  Restore DRx if supported\r
+                                  FALSE: Do not restore DRx\r
+**/\r
+VOID\r
+RestoreVolatileRegisters (\r
+  IN CPU_VOLATILE_REGISTERS    *VolatileRegisters,\r
+  IN BOOLEAN                   IsRestoreDr\r
+  )\r
+{\r
+  CPUID_VERSION_INFO_EDX        VersionInfoEdx;\r
+\r
+  AsmWriteCr0 (VolatileRegisters->Cr0);\r
+  AsmWriteCr3 (VolatileRegisters->Cr3);\r
+  AsmWriteCr4 (VolatileRegisters->Cr4);\r
+\r
+  if (IsRestoreDr) {\r
+    AsmCpuid (CPUID_VERSION_INFO, NULL, NULL, NULL, &VersionInfoEdx.Uint32);\r
+    if (VersionInfoEdx.Bits.DE != 0) {\r
+      //\r
+      // If processor supports Debugging Extensions feature\r
+      // by CPUID.[EAX=01H]:EDX.BIT2\r
+      //\r
+      AsmWriteDr0 (VolatileRegisters->Dr0);\r
+      AsmWriteDr1 (VolatileRegisters->Dr1);\r
+      AsmWriteDr2 (VolatileRegisters->Dr2);\r
+      AsmWriteDr3 (VolatileRegisters->Dr3);\r
+      AsmWriteDr6 (VolatileRegisters->Dr6);\r
+      AsmWriteDr7 (VolatileRegisters->Dr7);\r
+    }\r
+  }\r
+}\r
+\r
+/**\r
+  Detect whether Mwait-monitor feature is supported.\r
+\r
+  @retval TRUE    Mwait-monitor feature is supported.\r
+  @retval FALSE   Mwait-monitor feature is not supported.\r
+**/\r
+BOOLEAN\r
+IsMwaitSupport (\r
+  VOID\r
+  )\r
+{\r
+  CPUID_VERSION_INFO_ECX        VersionInfoEcx;\r
+\r
+  AsmCpuid (CPUID_VERSION_INFO, NULL, NULL, &VersionInfoEcx.Uint32, NULL);\r
+  return (VersionInfoEcx.Bits.MONITOR == 1) ? TRUE : FALSE;\r
+}\r
+\r
+/**\r
+  Get AP loop mode.\r
+\r
+  @param[out] MonitorFilterSize  Returns the largest monitor-line size in bytes.\r
+\r
+  @return The AP loop mode.\r
+**/\r
+UINT8\r
+GetApLoopMode (\r
+  OUT UINT32     *MonitorFilterSize\r
+  )\r
+{\r
+  UINT8                         ApLoopMode;\r
+  CPUID_MONITOR_MWAIT_EBX       MonitorMwaitEbx;\r
+\r
+  ASSERT (MonitorFilterSize != NULL);\r
+\r
+  ApLoopMode = PcdGet8 (PcdCpuApLoopMode);\r
+  ASSERT (ApLoopMode >= ApInHltLoop && ApLoopMode <= ApInRunLoop);\r
+  if (ApLoopMode == ApInMwaitLoop) {\r
+    if (!IsMwaitSupport ()) {\r
+      //\r
+      // If processor does not support MONITOR/MWAIT feature,\r
+      // force AP in Hlt-loop mode\r
+      //\r
+      ApLoopMode = ApInHltLoop;\r
+    }\r
+  }\r
+\r
+  if (ApLoopMode != ApInMwaitLoop) {\r
+    *MonitorFilterSize = sizeof (UINT32);\r
+  } else {\r
+    //\r
+    // CPUID.[EAX=05H]:EBX.BIT0-15: Largest monitor-line size in bytes\r
+    // CPUID.[EAX=05H].EDX: C-states supported using MWAIT\r
+    //\r
+    AsmCpuid (CPUID_MONITOR_MWAIT, NULL, &MonitorMwaitEbx.Uint32, NULL, NULL);\r
+    *MonitorFilterSize = MonitorMwaitEbx.Bits.LargestMonitorLineSize;\r
+  }\r
+\r
+  return ApLoopMode;\r
+}\r
+\r
+/**\r
+  Sort the APIC ID of all processors.\r
+\r
+  This function sorts the APIC ID of all processors so that processor number is\r
+  assigned in the ascending order of APIC ID which eases MP debugging.\r
+\r
+  @param[in] CpuMpData        Pointer to PEI CPU MP Data\r
+**/\r
+VOID\r
+SortApicId (\r
+  IN CPU_MP_DATA   *CpuMpData\r
+  )\r
+{\r
+  UINTN             Index1;\r
+  UINTN             Index2;\r
+  UINTN             Index3;\r
+  UINT32            ApicId;\r
+  CPU_AP_DATA       CpuData;\r
+  UINT32            ApCount;\r
+  CPU_INFO_IN_HOB   *CpuInfoInHob;\r
+\r
+  ApCount = CpuMpData->CpuCount - 1;\r
+\r
+  if (ApCount != 0) {\r
+    for (Index1 = 0; Index1 < ApCount; Index1++) {\r
+      Index3 = Index1;\r
+      //\r
+      // Sort key is the hardware default APIC ID\r
+      //\r
+      ApicId = CpuMpData->CpuData[Index1].ApicId;\r
+      for (Index2 = Index1 + 1; Index2 <= ApCount; Index2++) {\r
+        if (ApicId > CpuMpData->CpuData[Index2].ApicId) {\r
+          Index3 = Index2;\r
+          ApicId = CpuMpData->CpuData[Index2].ApicId;\r
+        }\r
+      }\r
+      if (Index3 != Index1) {\r
+        CopyMem (&CpuData, &CpuMpData->CpuData[Index3], sizeof (CPU_AP_DATA));\r
+        CopyMem (\r
+          &CpuMpData->CpuData[Index3],\r
+          &CpuMpData->CpuData[Index1],\r
+          sizeof (CPU_AP_DATA)\r
+          );\r
+        CopyMem (&CpuMpData->CpuData[Index1], &CpuData, sizeof (CPU_AP_DATA));\r
+      }\r
+    }\r
+\r
+    //\r
+    // Get the processor number for the BSP\r
+    //\r
+    ApicId = GetInitialApicId ();\r
+    for (Index1 = 0; Index1 < CpuMpData->CpuCount; Index1++) {\r
+      if (CpuMpData->CpuData[Index1].ApicId == ApicId) {\r
+        CpuMpData->BspNumber = (UINT32) Index1;\r
+        break;\r
+      }\r
+    }\r
+\r
+    CpuInfoInHob = (CPU_INFO_IN_HOB *) (UINTN) CpuMpData->CpuInfoInHob;\r
+    for (Index1 = 0; Index1 < CpuMpData->CpuCount; Index1++) {\r
+      CpuInfoInHob[Index1].InitialApicId = CpuMpData->CpuData[Index1].InitialApicId;\r
+      CpuInfoInHob[Index1].ApicId        = CpuMpData->CpuData[Index1].ApicId;\r
+      CpuInfoInHob[Index1].Health        = CpuMpData->CpuData[Index1].Health;\r
+    }\r
+  }\r
+}\r
+\r
+/**\r
+  Enable x2APIC mode on APs.\r
+\r
+  @param[in, out] Buffer  Pointer to private data buffer.\r
+**/\r
+VOID\r
+EFIAPI\r
+ApFuncEnableX2Apic (\r
+  IN OUT VOID  *Buffer\r
+  )\r
+{\r
+  SetApicMode (LOCAL_APIC_MODE_X2APIC);\r
+}\r
+\r
+/**\r
+  Do sync on APs.\r
+\r
+  @param[in, out] Buffer  Pointer to private data buffer.\r
+**/\r
+VOID\r
+EFIAPI\r
+ApInitializeSync (\r
+  IN OUT VOID  *Buffer\r
+  )\r
+{\r
+  CPU_MP_DATA  *CpuMpData;\r
+\r
+  CpuMpData = (CPU_MP_DATA *) Buffer;\r
+  //\r
+  // Sync BSP's MTRR table to AP\r
+  //\r
+  MtrrSetAllMtrrs (&CpuMpData->MtrrTable);\r
+  //\r
+  // Load microcode on AP\r
+  //\r
+  MicrocodeDetect (CpuMpData);\r
+}\r
+\r
+/**\r
+  Find the current Processor number by APIC ID.\r
+\r
+  @param[in] CpuMpData         Pointer to PEI CPU MP Data\r
+  @param[in] ProcessorNumber   Return the pocessor number found\r
+\r
+  @retval EFI_SUCCESS          ProcessorNumber is found and returned.\r
+  @retval EFI_NOT_FOUND        ProcessorNumber is not found.\r
+**/\r
+EFI_STATUS\r
+GetProcessorNumber (\r
+  IN CPU_MP_DATA               *CpuMpData,\r
+  OUT UINTN                    *ProcessorNumber\r
+  )\r
+{\r
+  UINTN                   TotalProcessorNumber;\r
+  UINTN                   Index;\r
+\r
+  TotalProcessorNumber = CpuMpData->CpuCount;\r
+  for (Index = 0; Index < TotalProcessorNumber; Index ++) {\r
+    if (CpuMpData->CpuData[Index].ApicId == GetApicId ()) {\r
+      *ProcessorNumber = Index;\r
+      return EFI_SUCCESS;\r
+    }\r
+  }\r
+  return EFI_NOT_FOUND;\r
+}\r
+\r
+/**\r
+  This function will get CPU count in the system.\r
+\r
+  @param[in] CpuMpData        Pointer to PEI CPU MP Data\r
+\r
+  @return  CPU count detected\r
+**/\r
+UINTN\r
+CollectProcessorCount (\r
+  IN CPU_MP_DATA         *CpuMpData\r
+  )\r
+{\r
+  //\r
+  // Send 1st broadcast IPI to APs to wakeup APs\r
+  //\r
+  CpuMpData->InitFlag     = ApInitConfig;\r
+  CpuMpData->X2ApicEnable = FALSE;\r
+  WakeUpAP (CpuMpData, TRUE, 0, NULL, NULL);\r
+  CpuMpData->InitFlag = ApInitDone;\r
+  ASSERT (CpuMpData->CpuCount <= PcdGet32 (PcdCpuMaxLogicalProcessorNumber));\r
+  //\r
+  // Wait for all APs finished the initialization\r
+  //\r
+  while (CpuMpData->FinishedCount < (CpuMpData->CpuCount - 1)) {\r
+    CpuPause ();\r
+  }\r
+\r
+  if (CpuMpData->X2ApicEnable) {\r
+    DEBUG ((DEBUG_INFO, "Force x2APIC mode!\n"));\r
+    //\r
+    // Wakeup all APs to enable x2APIC mode\r
+    //\r
+    WakeUpAP (CpuMpData, TRUE, 0, ApFuncEnableX2Apic, NULL);\r
+    //\r
+    // Wait for all known APs finished\r
+    //\r
+    while (CpuMpData->FinishedCount < (CpuMpData->CpuCount - 1)) {\r
+      CpuPause ();\r
+    }\r
+    //\r
+    // Enable x2APIC on BSP\r
+    //\r
+    SetApicMode (LOCAL_APIC_MODE_X2APIC);\r
+  }\r
+  DEBUG ((DEBUG_INFO, "APIC MODE is %d\n", GetApicMode ()));\r
+  //\r
+  // Sort BSP/Aps by CPU APIC ID in ascending order\r
+  //\r
+  SortApicId (CpuMpData);\r
+\r
+  DEBUG ((DEBUG_INFO, "MpInitLib: Find %d processors in system.\n", CpuMpData->CpuCount));\r
+\r
+  return CpuMpData->CpuCount;\r
+}\r
+\r
+/*\r
+  Initialize CPU AP Data when AP is wakeup at the first time.\r
+\r
+  @param[in, out] CpuMpData        Pointer to PEI CPU MP Data\r
+  @param[in]      ProcessorNumber  The handle number of processor\r
+  @param[in]      BistData         Processor BIST data\r
+\r
+**/\r
+VOID\r
+InitializeApData (\r
+  IN OUT CPU_MP_DATA      *CpuMpData,\r
+  IN     UINTN            ProcessorNumber,\r
+  IN     UINT32           BistData\r
+  )\r
+{\r
+  CpuMpData->CpuData[ProcessorNumber].Waiting    = FALSE;\r
+  CpuMpData->CpuData[ProcessorNumber].Health     = BistData;\r
+  CpuMpData->CpuData[ProcessorNumber].CpuHealthy = (BistData == 0) ? TRUE : FALSE;\r
+  CpuMpData->CpuData[ProcessorNumber].ApicId     = GetApicId ();\r
+  CpuMpData->CpuData[ProcessorNumber].InitialApicId = GetInitialApicId ();\r
+  if (CpuMpData->CpuData[ProcessorNumber].InitialApicId >= 0xFF) {\r
+    //\r
+    // Set x2APIC mode if there are any logical processor reporting\r
+    // an Initial APIC ID of 255 or greater.\r
+    //\r
+    AcquireSpinLock(&CpuMpData->MpLock);\r
+    CpuMpData->X2ApicEnable = TRUE;\r
+    ReleaseSpinLock(&CpuMpData->MpLock);\r
+  }\r
+\r
+  InitializeSpinLock(&CpuMpData->CpuData[ProcessorNumber].ApLock);\r
+  SetApState (&CpuMpData->CpuData[ProcessorNumber], CpuStateIdle);\r
+}\r
+\r
+/**\r
+  This function will be called from AP reset code if BSP uses WakeUpAP.\r
+\r
+  @param[in] ExchangeInfo     Pointer to the MP exchange info buffer\r
+  @param[in] NumApsExecuting  Number of current executing AP\r
+**/\r
+VOID\r
+EFIAPI\r
+ApWakeupFunction (\r
+  IN MP_CPU_EXCHANGE_INFO      *ExchangeInfo,\r
+  IN UINTN                     NumApsExecuting\r
+  )\r
+{\r
+  CPU_MP_DATA                *CpuMpData;\r
+  UINTN                      ProcessorNumber;\r
+  EFI_AP_PROCEDURE           Procedure;\r
+  VOID                       *Parameter;\r
+  UINT32                     BistData;\r
+  volatile UINT32            *ApStartupSignalBuffer;\r
+\r
+  //\r
+  // AP finished assembly code and begin to execute C code\r
+  //\r
+  CpuMpData = ExchangeInfo->CpuMpData;\r
+\r
+  ProgramVirtualWireMode (); \r
+\r
+  while (TRUE) {\r
+    if (CpuMpData->InitFlag == ApInitConfig) {\r
+      //\r
+      // Add CPU number\r
+      //\r
+      InterlockedIncrement ((UINT32 *) &CpuMpData->CpuCount);\r
+      ProcessorNumber = NumApsExecuting;\r
+      //\r
+      // This is first time AP wakeup, get BIST information from AP stack\r
+      //\r
+      BistData = *(UINT32 *) (CpuMpData->Buffer + ProcessorNumber * CpuMpData->CpuApStackSize - sizeof (UINTN));\r
+      //\r
+      // Do some AP initialize sync\r
+      //\r
+      ApInitializeSync (CpuMpData);\r
+      //\r
+      // Sync BSP's Control registers to APs\r
+      //\r
+      RestoreVolatileRegisters (&CpuMpData->CpuData[0].VolatileRegisters, FALSE);\r
+      InitializeApData (CpuMpData, ProcessorNumber, BistData);\r
+      ApStartupSignalBuffer = CpuMpData->CpuData[ProcessorNumber].StartupApSignal;\r
+    } else {\r
+      //\r
+      // Execute AP function if AP is ready\r
+      //\r
+      GetProcessorNumber (CpuMpData, &ProcessorNumber);\r
+      //\r
+      // Clear AP start-up signal when AP waken up\r
+      //\r
+      ApStartupSignalBuffer = CpuMpData->CpuData[ProcessorNumber].StartupApSignal;\r
+      InterlockedCompareExchange32 (\r
+        (UINT32 *) ApStartupSignalBuffer,\r
+        WAKEUP_AP_SIGNAL,\r
+        0\r
+        );\r
+      if (CpuMpData->ApLoopMode == ApInHltLoop) {\r
+        //\r
+        // Restore AP's volatile registers saved\r
+        //\r
+        RestoreVolatileRegisters (&CpuMpData->CpuData[ProcessorNumber].VolatileRegisters, TRUE);\r
+      }\r
+\r
+      if (GetApState (&CpuMpData->CpuData[ProcessorNumber]) == CpuStateReady) {\r
+        Procedure = (EFI_AP_PROCEDURE)CpuMpData->CpuData[ProcessorNumber].ApFunction;\r
+        Parameter = (VOID *) CpuMpData->CpuData[ProcessorNumber].ApFunctionArgument;\r
+        if (Procedure != NULL) {\r
+          SetApState (&CpuMpData->CpuData[ProcessorNumber], CpuStateBusy);\r
+          //\r
+          // Invoke AP function here\r
+          //\r
+          Procedure (Parameter);\r
+          if (CpuMpData->SwitchBspFlag) {\r
+            //\r
+            // Re-get the processor number due to BSP/AP maybe exchange in AP function\r
+            //\r
+            GetProcessorNumber (CpuMpData, &ProcessorNumber);\r
+            CpuMpData->CpuData[ProcessorNumber].ApFunction = 0;\r
+            CpuMpData->CpuData[ProcessorNumber].ApFunctionArgument = 0;\r
+          } else {\r
+            //\r
+            // Re-get the CPU APICID and Initial APICID\r
+            //\r
+            CpuMpData->CpuData[ProcessorNumber].ApicId        = GetApicId ();\r
+            CpuMpData->CpuData[ProcessorNumber].InitialApicId = GetInitialApicId ();\r
+          }\r
+        }\r
+        SetApState (&CpuMpData->CpuData[ProcessorNumber], CpuStateFinished);\r
+      }\r
+    }\r
+\r
+    //\r
+    // AP finished executing C code\r
+    //\r
+    InterlockedIncrement ((UINT32 *) &CpuMpData->FinishedCount);\r
+\r
+    //\r
+    // Place AP is specified loop mode\r
+    //\r
+    if (CpuMpData->ApLoopMode == ApInHltLoop) {\r
+      //\r
+      // Save AP volatile registers\r
+      //\r
+      SaveVolatileRegisters (&CpuMpData->CpuData[ProcessorNumber].VolatileRegisters);\r
+      //\r
+      // Place AP in HLT-loop\r
+      //\r
+      while (TRUE) {\r
+        DisableInterrupts ();\r
+        CpuSleep ();\r
+        CpuPause ();\r
+      }\r
+    }\r
+    while (TRUE) {\r
+      DisableInterrupts ();\r
+      if (CpuMpData->ApLoopMode == ApInMwaitLoop) {\r
+        //\r
+        // Place AP in MWAIT-loop\r
+        //\r
+        AsmMonitor ((UINTN) ApStartupSignalBuffer, 0, 0);\r
+        if (*ApStartupSignalBuffer != WAKEUP_AP_SIGNAL) {\r
+          //\r
+          // Check AP start-up signal again.\r
+          // If AP start-up signal is not set, place AP into\r
+          // the specified C-state\r
+          //\r
+          AsmMwait (CpuMpData->ApTargetCState << 4, 0);\r
+        }\r
+      } else if (CpuMpData->ApLoopMode == ApInRunLoop) {\r
+        //\r
+        // Place AP in Run-loop\r
+        //\r
+        CpuPause ();\r
+      } else {\r
+        ASSERT (FALSE);\r
+      }\r
+\r
+      //\r
+      // If AP start-up signal is written, AP is waken up\r
+      // otherwise place AP in loop again\r
+      //\r
+      if (*ApStartupSignalBuffer == WAKEUP_AP_SIGNAL) {\r
+        break;\r
+      }\r
+    }\r
+  }\r
+}\r
+\r
+/**\r
+  Wait for AP wakeup and write AP start-up signal till AP is waken up.\r
+\r
+  @param[in] ApStartupSignalBuffer  Pointer to AP wakeup signal\r
+**/\r
+VOID\r
+WaitApWakeup (\r
+  IN volatile UINT32        *ApStartupSignalBuffer\r
+  )\r
+{\r
+  //\r
+  // If AP is waken up, StartupApSignal should be cleared.\r
+  // Otherwise, write StartupApSignal again till AP waken up.\r
+  //\r
+  while (InterlockedCompareExchange32 (\r
+          (UINT32 *) ApStartupSignalBuffer,\r
+          WAKEUP_AP_SIGNAL,\r
+          WAKEUP_AP_SIGNAL\r
+          ) != 0) {\r
+    CpuPause ();\r
+  }\r
+}\r
+\r
+/**\r
+  This function will fill the exchange info structure.\r
+\r
+  @param[in] CpuMpData          Pointer to CPU MP Data\r
+\r
+**/\r
+VOID\r
+FillExchangeInfoData (\r
+  IN CPU_MP_DATA               *CpuMpData\r
+  )\r
+{\r
+  volatile MP_CPU_EXCHANGE_INFO    *ExchangeInfo;\r
+\r
+  ExchangeInfo                  = CpuMpData->MpCpuExchangeInfo;\r
+  ExchangeInfo->Lock            = 0;\r
+  ExchangeInfo->StackStart      = CpuMpData->Buffer;\r
+  ExchangeInfo->StackSize       = CpuMpData->CpuApStackSize;\r
+  ExchangeInfo->BufferStart     = CpuMpData->WakeupBuffer;\r
+  ExchangeInfo->ModeOffset      = CpuMpData->AddressMap.ModeEntryOffset;\r
+\r
+  ExchangeInfo->CodeSegment     = AsmReadCs ();\r
+  ExchangeInfo->DataSegment     = AsmReadDs ();\r
+\r
+  ExchangeInfo->Cr3             = AsmReadCr3 ();\r
+\r
+  ExchangeInfo->CFunction       = (UINTN) ApWakeupFunction;\r
+  ExchangeInfo->NumApsExecuting = 0;\r
+  ExchangeInfo->CpuMpData       = CpuMpData;\r
+\r
+  ExchangeInfo->EnableExecuteDisable = IsBspExecuteDisableEnabled ();\r
+\r
+  //\r
+  // Get the BSP's data of GDT and IDT\r
+  //\r
+  AsmReadGdtr ((IA32_DESCRIPTOR *) &ExchangeInfo->GdtrProfile);\r
+  AsmReadIdtr ((IA32_DESCRIPTOR *) &ExchangeInfo->IdtrProfile);\r
+}\r
+\r
+/**\r
+  This function will be called by BSP to wakeup AP.\r
+\r
+  @param[in] CpuMpData          Pointer to CPU MP Data\r
+  @param[in] Broadcast          TRUE:  Send broadcast IPI to all APs\r
+                                FALSE: Send IPI to AP by ApicId\r
+  @param[in] ProcessorNumber    The handle number of specified processor\r
+  @param[in] Procedure          The function to be invoked by AP\r
+  @param[in] ProcedureArgument  The argument to be passed into AP function\r
+**/\r
+VOID\r
+WakeUpAP (\r
+  IN CPU_MP_DATA               *CpuMpData,\r
+  IN BOOLEAN                   Broadcast,\r
+  IN UINTN                     ProcessorNumber,\r
+  IN EFI_AP_PROCEDURE          Procedure,              OPTIONAL\r
+  IN VOID                      *ProcedureArgument      OPTIONAL\r
+  )\r
+{\r
+  volatile MP_CPU_EXCHANGE_INFO    *ExchangeInfo;\r
+  UINTN                            Index;\r
+  CPU_AP_DATA                      *CpuData;\r
+  BOOLEAN                          ResetVectorRequired;\r
+\r
+  CpuMpData->FinishedCount = 0;\r
+  ResetVectorRequired = FALSE;\r
+\r
+  if (CpuMpData->ApLoopMode == ApInHltLoop ||\r
+      CpuMpData->InitFlag   != ApInitDone) {\r
+    ResetVectorRequired = TRUE;\r
+    AllocateResetVector (CpuMpData);\r
+    FillExchangeInfoData (CpuMpData);\r
+  } else if (CpuMpData->ApLoopMode == ApInMwaitLoop) {\r
+    //\r
+    // Get AP target C-state each time when waking up AP,\r
+    // for it maybe updated by platform again\r
+    //\r
+    CpuMpData->ApTargetCState = PcdGet8 (PcdCpuApTargetCstate);\r
+  }\r
+\r
+  ExchangeInfo = CpuMpData->MpCpuExchangeInfo;\r
+\r
+  if (Broadcast) {\r
+    for (Index = 0; Index < CpuMpData->CpuCount; Index++) {\r
+      if (Index != CpuMpData->BspNumber) {\r
+        CpuData = &CpuMpData->CpuData[Index];\r
+        CpuData->ApFunction         = (UINTN) Procedure;\r
+        CpuData->ApFunctionArgument = (UINTN) ProcedureArgument;\r
+        SetApState (CpuData, CpuStateReady);\r
+        if (CpuMpData->InitFlag != ApInitConfig) {\r
+          *(UINT32 *) CpuData->StartupApSignal = WAKEUP_AP_SIGNAL;\r
+        }\r
+      }\r
+    }\r
+    if (ResetVectorRequired) {\r
+      //\r
+      // Wakeup all APs\r
+      //\r
+      SendInitSipiSipiAllExcludingSelf ((UINT32) ExchangeInfo->BufferStart);\r
+    }\r
+    if (CpuMpData->InitFlag == ApInitConfig) {\r
+      //\r
+      // Wait for all potential APs waken up in one specified period\r
+      //\r
+      MicroSecondDelay (PcdGet32(PcdCpuApInitTimeOutInMicroSeconds));\r
+    } else {\r
+      //\r
+      // Wait all APs waken up if this is not the 1st broadcast of SIPI\r
+      //\r
+      for (Index = 0; Index < CpuMpData->CpuCount; Index++) {\r
+        CpuData = &CpuMpData->CpuData[Index];\r
+        if (Index != CpuMpData->BspNumber) {\r
+          WaitApWakeup (CpuData->StartupApSignal);\r
+        }\r
+      }\r
+    }\r
+  } else {\r
+    CpuData = &CpuMpData->CpuData[ProcessorNumber];\r
+    CpuData->ApFunction         = (UINTN) Procedure;\r
+    CpuData->ApFunctionArgument = (UINTN) ProcedureArgument;\r
+    SetApState (CpuData, CpuStateReady);\r
+    //\r
+    // Wakeup specified AP\r
+    //\r
+    ASSERT (CpuMpData->InitFlag != ApInitConfig);\r
+    *(UINT32 *) CpuData->StartupApSignal = WAKEUP_AP_SIGNAL;\r
+    if (ResetVectorRequired) {\r
+      SendInitSipiSipi (\r
+        CpuData->ApicId,\r
+        (UINT32) ExchangeInfo->BufferStart\r
+        );\r
+    }\r
+    //\r
+    // Wait specified AP waken up\r
+    //\r
+    WaitApWakeup (CpuData->StartupApSignal);\r
+  }\r
+\r
+  if (ResetVectorRequired) {\r
+    FreeResetVector (CpuMpData);\r
+  }\r
+}\r
+\r
+/**\r
+  Calculate timeout value and return the current performance counter value.\r
+\r
+  Calculate the number of performance counter ticks required for a timeout.\r
+  If TimeoutInMicroseconds is 0, return value is also 0, which is recognized\r
+  as infinity.\r
+\r
+  @param[in]  TimeoutInMicroseconds   Timeout value in microseconds.\r
+  @param[out] CurrentTime             Returns the current value of the performance counter.\r
+\r
+  @return Expected time stamp counter for timeout.\r
+          If TimeoutInMicroseconds is 0, return value is also 0, which is recognized\r
+          as infinity.\r
+\r
+**/\r
+UINT64\r
+CalculateTimeout (\r
+  IN  UINTN   TimeoutInMicroseconds,\r
+  OUT UINT64  *CurrentTime\r
+  )\r
+{\r
+  //\r
+  // Read the current value of the performance counter\r
+  //\r
+  *CurrentTime = GetPerformanceCounter ();\r
+\r
+  //\r
+  // If TimeoutInMicroseconds is 0, return value is also 0, which is recognized\r
+  // as infinity.\r
+  //\r
+  if (TimeoutInMicroseconds == 0) {\r
+    return 0;\r
+  }\r
+\r
+  //\r
+  // GetPerformanceCounterProperties () returns the timestamp counter's frequency\r
+  // in Hz. So multiply the return value with TimeoutInMicroseconds and then divide\r
+  // it by 1,000,000, to get the number of ticks for the timeout value.\r
+  //\r
+  return DivU64x32 (\r
+           MultU64x64 (\r
+             GetPerformanceCounterProperties (NULL, NULL),\r
+             TimeoutInMicroseconds\r
+             ),\r
+           1000000\r
+           );\r
+}\r
+\r
+/**\r
+  Checks whether timeout expires.\r
+\r
+  Check whether the number of elapsed performance counter ticks required for\r
+  a timeout condition has been reached.\r
+  If Timeout is zero, which means infinity, return value is always FALSE.\r
+\r
+  @param[in, out]  PreviousTime   On input,  the value of the performance counter\r
+                                  when it was last read.\r
+                                  On output, the current value of the performance\r
+                                  counter\r
+  @param[in]       TotalTime      The total amount of elapsed time in performance\r
+                                  counter ticks.\r
+  @param[in]       Timeout        The number of performance counter ticks required\r
+                                  to reach a timeout condition.\r
+\r
+  @retval TRUE                    A timeout condition has been reached.\r
+  @retval FALSE                   A timeout condition has not been reached.\r
+\r
+**/\r
+BOOLEAN\r
+CheckTimeout (\r
+  IN OUT UINT64  *PreviousTime,\r
+  IN     UINT64  *TotalTime,\r
+  IN     UINT64  Timeout\r
+  )\r
+{\r
+  UINT64  Start;\r
+  UINT64  End;\r
+  UINT64  CurrentTime;\r
+  INT64   Delta;\r
+  INT64   Cycle;\r
+\r
+  if (Timeout == 0) {\r
+    return FALSE;\r
+  }\r
+  GetPerformanceCounterProperties (&Start, &End);\r
+  Cycle = End - Start;\r
+  if (Cycle < 0) {\r
+    Cycle = -Cycle;\r
+  }\r
+  Cycle++;\r
+  CurrentTime = GetPerformanceCounter();\r
+  Delta = (INT64) (CurrentTime - *PreviousTime);\r
+  if (Start > End) {\r
+    Delta = -Delta;\r
+  }\r
+  if (Delta < 0) {\r
+    Delta += Cycle;\r
+  }\r
+  *TotalTime += Delta;\r
+  *PreviousTime = CurrentTime;\r
+  if (*TotalTime > Timeout) {\r
+    return TRUE;\r
+  }\r
+  return FALSE;\r
+}\r
+\r
+/**\r
+  Reset an AP to Idle state.\r
+\r
+  Any task being executed by the AP will be aborted and the AP\r
+  will be waiting for a new task in Wait-For-SIPI state.\r
+\r
+  @param[in] ProcessorNumber  The handle number of processor.\r
+**/\r
+VOID\r
+ResetProcessorToIdleState (\r
+  IN UINTN                     ProcessorNumber\r
+  )\r
+{\r
+  CPU_MP_DATA           *CpuMpData;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  WakeUpAP (CpuMpData, FALSE, ProcessorNumber, NULL, NULL);\r
+\r
+  SetApState (&CpuMpData->CpuData[ProcessorNumber], CpuStateIdle);\r
+}\r
+\r
+/**\r
+  Searches for the next waiting AP.\r
+\r
+  Search for the next AP that is put in waiting state by single-threaded StartupAllAPs().\r
+\r
+  @param[out]  NextProcessorNumber  Pointer to the processor number of the next waiting AP.\r
+\r
+  @retval EFI_SUCCESS          The next waiting AP has been found.\r
+  @retval EFI_NOT_FOUND        No waiting AP exists.\r
+\r
+**/\r
+EFI_STATUS\r
+GetNextWaitingProcessorNumber (\r
+  OUT UINTN                    *NextProcessorNumber\r
+  )\r
+{\r
+  UINTN           ProcessorNumber;\r
+  CPU_MP_DATA     *CpuMpData;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  for (ProcessorNumber = 0; ProcessorNumber < CpuMpData->CpuCount; ProcessorNumber++) {\r
+    if (CpuMpData->CpuData[ProcessorNumber].Waiting) {\r
+      *NextProcessorNumber = ProcessorNumber;\r
+      return EFI_SUCCESS;\r
+    }\r
+  }\r
+\r
+  return EFI_NOT_FOUND;\r
+}\r
+\r
+/** Checks status of specified AP.\r
+\r
+  This function checks whether the specified AP has finished the task assigned\r
+  by StartupThisAP(), and whether timeout expires.\r
+\r
+  @param[in]  ProcessorNumber       The handle number of processor.\r
+\r
+  @retval EFI_SUCCESS           Specified AP has finished task assigned by StartupThisAPs().\r
+  @retval EFI_TIMEOUT           The timeout expires.\r
+  @retval EFI_NOT_READY         Specified AP has not finished task and timeout has not expired.\r
+**/\r
+EFI_STATUS\r
+CheckThisAP (\r
+  IN UINTN        ProcessorNumber\r
+  )\r
+{\r
+  CPU_MP_DATA     *CpuMpData;\r
+  CPU_AP_DATA     *CpuData;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+  CpuData   = &CpuMpData->CpuData[ProcessorNumber];\r
+\r
+  //\r
+  //  Check the CPU state of AP. If it is CpuStateFinished, then the AP has finished its task.\r
+  //  Only BSP and corresponding AP access this unit of CPU Data. This means the AP will not modify the\r
+  //  value of state after setting the it to CpuStateFinished, so BSP can safely make use of its value.\r
+  //\r
+  //\r
+  // If the AP finishes for StartupThisAP(), return EFI_SUCCESS.\r
+  //\r
+  if (GetApState(CpuData) == CpuStateFinished) {\r
+    if (CpuData->Finished != NULL) {\r
+      *(CpuData->Finished) = TRUE;\r
+    }\r
+    SetApState (CpuData, CpuStateIdle);\r
+    return EFI_SUCCESS;\r
+  } else {\r
+    //\r
+    // If timeout expires for StartupThisAP(), report timeout.\r
+    //\r
+    if (CheckTimeout (&CpuData->CurrentTime, &CpuData->TotalTime, CpuData->ExpectedTime)) {\r
+      if (CpuData->Finished != NULL) {\r
+        *(CpuData->Finished) = FALSE;\r
+      }\r
+      //\r
+      // Reset failed AP to idle state\r
+      //\r
+      ResetProcessorToIdleState (ProcessorNumber);\r
+\r
+      return EFI_TIMEOUT;\r
+    }\r
+  }\r
+  return EFI_NOT_READY;\r
+}\r
+\r
+/**\r
+  Checks status of all APs.\r
+\r
+  This function checks whether all APs have finished task assigned by StartupAllAPs(),\r
+  and whether timeout expires.\r
+\r
+  @retval EFI_SUCCESS           All APs have finished task assigned by StartupAllAPs().\r
+  @retval EFI_TIMEOUT           The timeout expires.\r
+  @retval EFI_NOT_READY         APs have not finished task and timeout has not expired.\r
+**/\r
+EFI_STATUS\r
+CheckAllAPs (\r
+  VOID\r
+  )\r
+{\r
+  UINTN           ProcessorNumber;\r
+  UINTN           NextProcessorNumber;\r
+  UINTN           ListIndex;\r
+  EFI_STATUS      Status;\r
+  CPU_MP_DATA     *CpuMpData;\r
+  CPU_AP_DATA     *CpuData;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  NextProcessorNumber = 0;\r
+\r
+  //\r
+  // Go through all APs that are responsible for the StartupAllAPs().\r
+  //\r
+  for (ProcessorNumber = 0; ProcessorNumber < CpuMpData->CpuCount; ProcessorNumber++) {\r
+    if (!CpuMpData->CpuData[ProcessorNumber].Waiting) {\r
+      continue;\r
+    }\r
+\r
+    CpuData = &CpuMpData->CpuData[ProcessorNumber];\r
+    //\r
+    // Check the CPU state of AP. If it is CpuStateFinished, then the AP has finished its task.\r
+    // Only BSP and corresponding AP access this unit of CPU Data. This means the AP will not modify the\r
+    // value of state after setting the it to CpuStateFinished, so BSP can safely make use of its value.\r
+    //\r
+    if (GetApState(CpuData) == CpuStateFinished) {\r
+      CpuMpData->RunningCount ++;\r
+      CpuMpData->CpuData[ProcessorNumber].Waiting = FALSE;\r
+      SetApState(CpuData, CpuStateIdle);\r
+\r
+      //\r
+      // If in Single Thread mode, then search for the next waiting AP for execution.\r
+      //\r
+      if (CpuMpData->SingleThread) {\r
+        Status = GetNextWaitingProcessorNumber (&NextProcessorNumber);\r
+\r
+        if (!EFI_ERROR (Status)) {\r
+          WakeUpAP (\r
+            CpuMpData,\r
+            FALSE,\r
+            (UINT32) NextProcessorNumber,\r
+            CpuMpData->Procedure,\r
+            CpuMpData->ProcArguments\r
+            );\r
+         }\r
+      }\r
+    }\r
+  }\r
+\r
+  //\r
+  // If all APs finish, return EFI_SUCCESS.\r
+  //\r
+  if (CpuMpData->RunningCount == CpuMpData->StartCount) {\r
+    return EFI_SUCCESS;\r
+  }\r
+\r
+  //\r
+  // If timeout expires, report timeout.\r
+  //\r
+  if (CheckTimeout (\r
+       &CpuMpData->CurrentTime,\r
+       &CpuMpData->TotalTime,\r
+       CpuMpData->ExpectedTime)\r
+       ) {\r
+    //\r
+    // If FailedCpuList is not NULL, record all failed APs in it.\r
+    //\r
+    if (CpuMpData->FailedCpuList != NULL) {\r
+      *CpuMpData->FailedCpuList =\r
+         AllocatePool ((CpuMpData->StartCount - CpuMpData->FinishedCount + 1) * sizeof (UINTN));\r
+      ASSERT (*CpuMpData->FailedCpuList != NULL);\r
+    }\r
+    ListIndex = 0;\r
+\r
+    for (ProcessorNumber = 0; ProcessorNumber < CpuMpData->CpuCount; ProcessorNumber++) {\r
+      //\r
+      // Check whether this processor is responsible for StartupAllAPs().\r
+      //\r
+      if (CpuMpData->CpuData[ProcessorNumber].Waiting) {\r
+        //\r
+        // Reset failed APs to idle state\r
+        //\r
+        ResetProcessorToIdleState (ProcessorNumber);\r
+        CpuMpData->CpuData[ProcessorNumber].Waiting = FALSE;\r
+        if (CpuMpData->FailedCpuList != NULL) {\r
+          (*CpuMpData->FailedCpuList)[ListIndex++] = ProcessorNumber;\r
+        }\r
+      }\r
+    }\r
+    if (CpuMpData->FailedCpuList != NULL) {\r
+      (*CpuMpData->FailedCpuList)[ListIndex] = END_OF_CPU_LIST;\r
+    }\r
+    return EFI_TIMEOUT;\r
+  }\r
+  return EFI_NOT_READY;\r
+}\r
 \r
 /**\r
   MP Initialize Library initialization.\r
@@ -34,11 +1121,144 @@ MpInitLibInitialize (
   VOID\r
   )\r
 {\r
+  CPU_MP_DATA              *OldCpuMpData;\r
+  CPU_INFO_IN_HOB          *CpuInfoInHob;\r
+  UINT32                   MaxLogicalProcessorNumber;\r
+  UINT32                   ApStackSize;\r
   MP_ASSEMBLY_ADDRESS_MAP  AddressMap;\r
+  UINTN                    BufferSize;\r
+  UINT32                   MonitorFilterSize;\r
+  VOID                     *MpBuffer;\r
+  UINTN                    Buffer;\r
+  CPU_MP_DATA              *CpuMpData;\r
+  UINT8                    ApLoopMode;\r
+  UINT8                    *MonitorBuffer;\r
+  UINTN                    Index;\r
   UINTN                    ApResetVectorSize;\r
+  UINTN                    BackupBufferAddr;\r
+\r
+  OldCpuMpData = GetCpuMpDataFromGuidedHob ();\r
+  if (OldCpuMpData == NULL) {\r
+    MaxLogicalProcessorNumber = PcdGet32(PcdCpuMaxLogicalProcessorNumber);\r
+  } else {\r
+    MaxLogicalProcessorNumber = OldCpuMpData->CpuCount;\r
+  }\r
 \r
   AsmGetAddressMap (&AddressMap);\r
   ApResetVectorSize = AddressMap.RendezvousFunnelSize + sizeof (MP_CPU_EXCHANGE_INFO);\r
+  ApStackSize = PcdGet32(PcdCpuApStackSize);\r
+  ApLoopMode  = GetApLoopMode (&MonitorFilterSize);\r
+\r
+  BufferSize  = ApStackSize * MaxLogicalProcessorNumber;\r
+  BufferSize += MonitorFilterSize * MaxLogicalProcessorNumber;\r
+  BufferSize += sizeof (CPU_MP_DATA);\r
+  BufferSize += ApResetVectorSize;\r
+  BufferSize += (sizeof (CPU_AP_DATA) + sizeof (CPU_INFO_IN_HOB))* MaxLogicalProcessorNumber;\r
+  MpBuffer    = AllocatePages (EFI_SIZE_TO_PAGES (BufferSize));\r
+  ASSERT (MpBuffer != NULL);\r
+  ZeroMem (MpBuffer, BufferSize);\r
+  Buffer = (UINTN) MpBuffer;\r
+\r
+  MonitorBuffer    = (UINT8 *) (Buffer + ApStackSize * MaxLogicalProcessorNumber);\r
+  BackupBufferAddr = (UINTN) MonitorBuffer + MonitorFilterSize * MaxLogicalProcessorNumber;\r
+  CpuMpData = (CPU_MP_DATA *) (BackupBufferAddr + ApResetVectorSize);\r
+  CpuMpData->Buffer           = Buffer;\r
+  CpuMpData->CpuApStackSize   = ApStackSize;\r
+  CpuMpData->BackupBuffer     = BackupBufferAddr;\r
+  CpuMpData->BackupBufferSize = ApResetVectorSize;\r
+  CpuMpData->SaveRestoreFlag  = FALSE;\r
+  CpuMpData->WakeupBuffer     = (UINTN) -1;\r
+  CpuMpData->CpuCount         = 1;\r
+  CpuMpData->BspNumber        = 0;\r
+  CpuMpData->WaitEvent        = NULL;\r
+  CpuMpData->SwitchBspFlag    = FALSE;\r
+  CpuMpData->CpuData          = (CPU_AP_DATA *) (CpuMpData + 1);\r
+  CpuMpData->CpuInfoInHob     = (UINT64) (UINTN) (CpuMpData->CpuData + MaxLogicalProcessorNumber);\r
+  InitializeSpinLock(&CpuMpData->MpLock);\r
+  //\r
+  // Save BSP's Control registers to APs\r
+  //\r
+  SaveVolatileRegisters (&CpuMpData->CpuData[0].VolatileRegisters);\r
+  //\r
+  // Set BSP basic information\r
+  //\r
+  InitializeApData (CpuMpData, 0, 0);\r
+  //\r
+  // Save assembly code information\r
+  //\r
+  CopyMem (&CpuMpData->AddressMap, &AddressMap, sizeof (MP_ASSEMBLY_ADDRESS_MAP));\r
+  //\r
+  // Finally set AP loop mode\r
+  //\r
+  CpuMpData->ApLoopMode = ApLoopMode;\r
+  DEBUG ((DEBUG_INFO, "AP Loop Mode is %d\n", CpuMpData->ApLoopMode));\r
+  //\r
+  // Set up APs wakeup signal buffer\r
+  //\r
+  for (Index = 0; Index < MaxLogicalProcessorNumber; Index++) {\r
+    CpuMpData->CpuData[Index].StartupApSignal =\r
+      (UINT32 *)(MonitorBuffer + MonitorFilterSize * Index);\r
+  }\r
+  //\r
+  // Load Microcode on BSP\r
+  //\r
+  MicrocodeDetect (CpuMpData);\r
+  //\r
+  // Store BSP's MTRR setting\r
+  //\r
+  MtrrGetAllMtrrs (&CpuMpData->MtrrTable);\r
+\r
+  if (OldCpuMpData == NULL) {\r
+    //\r
+    // Wakeup all APs and calculate the processor count in system\r
+    //\r
+    CollectProcessorCount (CpuMpData);\r
+  } else {\r
+    //\r
+    // APs have been wakeup before, just get the CPU Information\r
+    // from HOB\r
+    //\r
+    CpuMpData->CpuCount  = OldCpuMpData->CpuCount;\r
+    CpuMpData->BspNumber = OldCpuMpData->BspNumber;\r
+    CpuMpData->InitFlag  = ApInitReconfig;\r
+    CpuInfoInHob = (CPU_INFO_IN_HOB *) (UINTN) OldCpuMpData->CpuInfoInHob;\r
+    for (Index = 0; Index < CpuMpData->CpuCount; Index++) {\r
+      InitializeSpinLock(&CpuMpData->CpuData[Index].ApLock);\r
+      CpuMpData->CpuData[Index].ApicId        = CpuInfoInHob[Index].ApicId;\r
+      CpuMpData->CpuData[Index].InitialApicId = CpuInfoInHob[Index].InitialApicId;\r
+      if (CpuMpData->CpuData[Index].InitialApicId >= 255) {\r
+        CpuMpData->X2ApicEnable = TRUE;\r
+      }\r
+      CpuMpData->CpuData[Index].Health     = CpuInfoInHob[Index].Health;\r
+      CpuMpData->CpuData[Index].CpuHealthy = (CpuMpData->CpuData[Index].Health == 0)? TRUE:FALSE;\r
+      CpuMpData->CpuData[Index].ApFunction = 0;\r
+      CopyMem (\r
+        &CpuMpData->CpuData[Index].VolatileRegisters,\r
+        &CpuMpData->CpuData[0].VolatileRegisters,\r
+        sizeof (CPU_VOLATILE_REGISTERS)\r
+        );\r
+    }\r
+    //\r
+    // Wakeup APs to do some AP initialize sync\r
+    //\r
+    WakeUpAP (CpuMpData, TRUE, 0, ApInitializeSync, CpuMpData);\r
+    //\r
+    // Wait for all APs finished initialization\r
+    //\r
+    while (CpuMpData->FinishedCount < (CpuMpData->CpuCount - 1)) {\r
+      CpuPause ();\r
+    }\r
+    CpuMpData->InitFlag = ApInitDone;\r
+    for (Index = 0; Index < CpuMpData->CpuCount; Index++) {\r
+      SetApState (&CpuMpData->CpuData[Index], CpuStateIdle);\r
+    }\r
+  }\r
+\r
+  //\r
+  // Initialize global data for MP support\r
+  //\r
+  InitMpGlobalData (CpuMpData);\r
+\r
   return EFI_SUCCESS;\r
 }\r
 \r
@@ -67,8 +1287,219 @@ MpInitLibGetProcessorInfo (
   OUT EFI_HEALTH_FLAGS           *HealthData  OPTIONAL\r
   )\r
 {\r
-  return EFI_UNSUPPORTED;\r
+  CPU_MP_DATA            *CpuMpData;\r
+  UINTN                  CallerNumber;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  //\r
+  // Check whether caller processor is BSP\r
+  //\r
+  MpInitLibWhoAmI (&CallerNumber);\r
+  if (CallerNumber != CpuMpData->BspNumber) {\r
+    return EFI_DEVICE_ERROR;\r
+  }\r
+\r
+  if (ProcessorInfoBuffer == NULL) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  if (ProcessorNumber >= CpuMpData->CpuCount) {\r
+    return EFI_NOT_FOUND;\r
+  }\r
+\r
+  ProcessorInfoBuffer->ProcessorId = (UINT64) CpuMpData->CpuData[ProcessorNumber].ApicId;\r
+  ProcessorInfoBuffer->StatusFlag  = 0;\r
+  if (ProcessorNumber == CpuMpData->BspNumber) {\r
+    ProcessorInfoBuffer->StatusFlag |= PROCESSOR_AS_BSP_BIT;\r
+  }\r
+  if (CpuMpData->CpuData[ProcessorNumber].CpuHealthy) {\r
+    ProcessorInfoBuffer->StatusFlag |= PROCESSOR_HEALTH_STATUS_BIT;\r
+  }\r
+  if (GetApState (&CpuMpData->CpuData[ProcessorNumber]) == CpuStateDisabled) {\r
+    ProcessorInfoBuffer->StatusFlag &= ~PROCESSOR_ENABLED_BIT;\r
+  } else {\r
+    ProcessorInfoBuffer->StatusFlag |= PROCESSOR_ENABLED_BIT;\r
+  }\r
+\r
+  //\r
+  // Get processor location information\r
+  //\r
+  GetProcessorLocation (\r
+    CpuMpData->CpuData[ProcessorNumber].ApicId,\r
+    &ProcessorInfoBuffer->Location.Package,\r
+    &ProcessorInfoBuffer->Location.Core,\r
+    &ProcessorInfoBuffer->Location.Thread\r
+    );\r
+\r
+  if (HealthData != NULL) {\r
+    HealthData->Uint32 = CpuMpData->CpuData[ProcessorNumber].Health;\r
+  }\r
+\r
+  return EFI_SUCCESS;\r
+}\r
+\r
+/**\r
+  Worker function to switch the requested AP to be the BSP from that point onward.\r
+\r
+  @param[in] ProcessorNumber   The handle number of AP that is to become the new BSP.\r
+  @param[in] EnableOldBSP      If TRUE, then the old BSP will be listed as an\r
+                               enabled AP. Otherwise, it will be disabled.\r
+\r
+  @retval EFI_SUCCESS          BSP successfully switched.\r
+  @retval others               Failed to switch BSP. \r
+\r
+**/\r
+EFI_STATUS\r
+SwitchBSPWorker (\r
+  IN UINTN                     ProcessorNumber,\r
+  IN BOOLEAN                   EnableOldBSP\r
+  )\r
+{\r
+  CPU_MP_DATA                  *CpuMpData;\r
+  UINTN                        CallerNumber;\r
+  CPU_STATE                    State;\r
+  MSR_IA32_APIC_BASE_REGISTER  ApicBaseMsr;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  //\r
+  // Check whether caller processor is BSP\r
+  //\r
+  MpInitLibWhoAmI (&CallerNumber);\r
+  if (CallerNumber != CpuMpData->BspNumber) {\r
+    return EFI_SUCCESS;\r
+  }\r
+\r
+  if (ProcessorNumber >= CpuMpData->CpuCount) {\r
+    return EFI_NOT_FOUND;\r
+  }\r
+\r
+  //\r
+  // Check whether specified AP is disabled\r
+  //\r
+  State = GetApState (&CpuMpData->CpuData[ProcessorNumber]);\r
+  if (State == CpuStateDisabled) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  //\r
+  // Check whether ProcessorNumber specifies the current BSP\r
+  //\r
+  if (ProcessorNumber == CpuMpData->BspNumber) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  //\r
+  // Check whether specified AP is busy\r
+  //\r
+  if (State == CpuStateBusy) {\r
+    return EFI_NOT_READY;\r
+  }\r
+\r
+  CpuMpData->BSPInfo.State = CPU_SWITCH_STATE_IDLE;\r
+  CpuMpData->APInfo.State  = CPU_SWITCH_STATE_IDLE;\r
+  CpuMpData->SwitchBspFlag = TRUE;\r
+\r
+  //\r
+  // Clear the BSP bit of MSR_IA32_APIC_BASE\r
+  //\r
+  ApicBaseMsr.Uint64 = AsmReadMsr64 (MSR_IA32_APIC_BASE);\r
+  ApicBaseMsr.Bits.BSP = 0;\r
+  AsmWriteMsr64 (MSR_IA32_APIC_BASE, ApicBaseMsr.Uint64);\r
+\r
+  //\r
+  // Need to wakeUp AP (future BSP).\r
+  //\r
+  WakeUpAP (CpuMpData, FALSE, ProcessorNumber, FutureBSPProc, CpuMpData);\r
+\r
+  AsmExchangeRole (&CpuMpData->BSPInfo, &CpuMpData->APInfo);\r
+\r
+  //\r
+  // Set the BSP bit of MSR_IA32_APIC_BASE on new BSP\r
+  //\r
+  ApicBaseMsr.Uint64 = AsmReadMsr64 (MSR_IA32_APIC_BASE);\r
+  ApicBaseMsr.Bits.BSP = 1;\r
+  AsmWriteMsr64 (MSR_IA32_APIC_BASE, ApicBaseMsr.Uint64);\r
+\r
+  //\r
+  // Wait for old BSP finished AP task\r
+  //\r
+  while (GetApState (&CpuMpData->CpuData[CallerNumber]) != CpuStateFinished) {\r
+    CpuPause ();\r
+  }\r
+\r
+  CpuMpData->SwitchBspFlag = FALSE;\r
+  //\r
+  // Set old BSP enable state\r
+  //\r
+  if (!EnableOldBSP) {\r
+    SetApState (&CpuMpData->CpuData[CallerNumber], CpuStateDisabled);\r
+  }\r
+  //\r
+  // Save new BSP number\r
+  //\r
+  CpuMpData->BspNumber = (UINT32) ProcessorNumber;\r
+\r
+  return EFI_SUCCESS;\r
+}\r
+\r
+/**\r
+  Worker function to let the caller enable or disable an AP from this point onward.\r
+  This service may only be called from the BSP.\r
+\r
+  @param[in] ProcessorNumber   The handle number of AP.\r
+  @param[in] EnableAP          Specifies the new state for the processor for\r
+                               enabled, FALSE for disabled.\r
+  @param[in] HealthFlag        If not NULL, a pointer to a value that specifies\r
+                               the new health status of the AP.\r
+\r
+  @retval EFI_SUCCESS          The specified AP was enabled or disabled successfully.\r
+  @retval others               Failed to Enable/Disable AP.\r
+\r
+**/\r
+EFI_STATUS\r
+EnableDisableApWorker (\r
+  IN  UINTN                     ProcessorNumber,\r
+  IN  BOOLEAN                   EnableAP,\r
+  IN  UINT32                    *HealthFlag OPTIONAL\r
+  )\r
+{\r
+  CPU_MP_DATA               *CpuMpData;\r
+  UINTN                     CallerNumber;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  //\r
+  // Check whether caller processor is BSP\r
+  //\r
+  MpInitLibWhoAmI (&CallerNumber);\r
+  if (CallerNumber != CpuMpData->BspNumber) {\r
+    return EFI_DEVICE_ERROR;\r
+  }\r
+\r
+  if (ProcessorNumber == CpuMpData->BspNumber) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  if (ProcessorNumber >= CpuMpData->CpuCount) {\r
+    return EFI_NOT_FOUND;\r
+  }\r
+\r
+  if (!EnableAP) {\r
+    SetApState (&CpuMpData->CpuData[ProcessorNumber], CpuStateDisabled);\r
+  } else {\r
+    SetApState (&CpuMpData->CpuData[ProcessorNumber], CpuStateIdle);\r
+  }\r
+\r
+  if (HealthFlag != NULL) {\r
+    CpuMpData->CpuData[ProcessorNumber].CpuHealthy =\r
+          (BOOLEAN) ((*HealthFlag & PROCESSOR_HEALTH_STATUS_BIT) != 0);\r
+  }\r
+\r
+  return EFI_SUCCESS;\r
 }\r
+\r
 /**\r
   This return the handle number for the calling processor.  This service may be\r
   called from the BSP and APs.\r
@@ -91,8 +1522,17 @@ MpInitLibWhoAmI (
   OUT UINTN                    *ProcessorNumber\r
   )\r
 {\r
-  return EFI_UNSUPPORTED;\r
+  CPU_MP_DATA           *CpuMpData;\r
+\r
+  if (ProcessorNumber == NULL) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  return GetProcessorNumber (CpuMpData, ProcessorNumber);\r
 }\r
+\r
 /**\r
   Retrieves the number of logical processor in the platform and the number of\r
   those logical processors that are enabled on this boot. This service may only\r
@@ -120,5 +1560,373 @@ MpInitLibGetNumberOfProcessors (
   OUT UINTN                     *NumberOfEnabledProcessors OPTIONAL\r
   )\r
 {\r
-  return EFI_UNSUPPORTED;\r
+  CPU_MP_DATA             *CpuMpData;\r
+  UINTN                   CallerNumber;\r
+  UINTN                   ProcessorNumber;\r
+  UINTN                   EnabledProcessorNumber;\r
+  UINTN                   Index;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  if ((NumberOfProcessors == NULL) && (NumberOfEnabledProcessors == NULL)) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  //\r
+  // Check whether caller processor is BSP\r
+  //\r
+  MpInitLibWhoAmI (&CallerNumber);\r
+  if (CallerNumber != CpuMpData->BspNumber) {\r
+    return EFI_DEVICE_ERROR;\r
+  }\r
+\r
+  ProcessorNumber        = CpuMpData->CpuCount;\r
+  EnabledProcessorNumber = 0;\r
+  for (Index = 0; Index < ProcessorNumber; Index++) {\r
+    if (GetApState (&CpuMpData->CpuData[Index]) != CpuStateDisabled) {\r
+      EnabledProcessorNumber ++;\r
+    }\r
+  }\r
+\r
+  if (NumberOfProcessors != NULL) {\r
+    *NumberOfProcessors = ProcessorNumber;\r
+  }\r
+  if (NumberOfEnabledProcessors != NULL) {\r
+    *NumberOfEnabledProcessors = EnabledProcessorNumber;\r
+  }\r
+\r
+  return EFI_SUCCESS;\r
+}\r
+\r
+\r
+/**\r
+  Worker function to execute a caller provided function on all enabled APs.\r
+\r
+  @param[in]  Procedure               A pointer to the function to be run on\r
+                                      enabled APs of the system.\r
+  @param[in]  SingleThread            If TRUE, then all the enabled APs execute\r
+                                      the function specified by Procedure one by\r
+                                      one, in ascending order of processor handle\r
+                                      number.  If FALSE, then all the enabled APs\r
+                                      execute the function specified by Procedure\r
+                                      simultaneously.\r
+  @param[in]  WaitEvent               The event created by the caller with CreateEvent()\r
+                                      service.\r
+  @param[in]  TimeoutInMicrosecsond   Indicates the time limit in microseconds for\r
+                                      APs to return from Procedure, either for\r
+                                      blocking or non-blocking mode.\r
+  @param[in]  ProcedureArgument       The parameter passed into Procedure for\r
+                                      all APs.\r
+  @param[out] FailedCpuList           If all APs finish successfully, then its\r
+                                      content is set to NULL. If not all APs\r
+                                      finish before timeout expires, then its\r
+                                      content is set to address of the buffer\r
+                                      holding handle numbers of the failed APs.\r
+\r
+  @retval EFI_SUCCESS             In blocking mode, all APs have finished before\r
+                                  the timeout expired.\r
+  @retval EFI_SUCCESS             In non-blocking mode, function has been dispatched\r
+                                  to all enabled APs.\r
+  @retval others                  Failed to Startup all APs.\r
+\r
+**/\r
+EFI_STATUS\r
+StartupAllAPsWorker (\r
+  IN  EFI_AP_PROCEDURE          Procedure,\r
+  IN  BOOLEAN                   SingleThread,\r
+  IN  EFI_EVENT                 WaitEvent               OPTIONAL,\r
+  IN  UINTN                     TimeoutInMicroseconds,\r
+  IN  VOID                      *ProcedureArgument      OPTIONAL,\r
+  OUT UINTN                     **FailedCpuList         OPTIONAL\r
+  )\r
+{\r
+  EFI_STATUS              Status;\r
+  CPU_MP_DATA             *CpuMpData;\r
+  UINTN                   ProcessorCount;\r
+  UINTN                   ProcessorNumber;\r
+  UINTN                   CallerNumber;\r
+  CPU_AP_DATA             *CpuData;\r
+  BOOLEAN                 HasEnabledAp;\r
+  CPU_STATE               ApState;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  if (FailedCpuList != NULL) {\r
+    *FailedCpuList = NULL;\r
+  }\r
+\r
+  if (CpuMpData->CpuCount == 1) {\r
+    return EFI_NOT_STARTED;\r
+  }\r
+\r
+  if (Procedure == NULL) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  //\r
+  // Check whether caller processor is BSP\r
+  //\r
+  MpInitLibWhoAmI (&CallerNumber);\r
+  if (CallerNumber != CpuMpData->BspNumber) {\r
+    return EFI_DEVICE_ERROR;\r
+  }\r
+\r
+  //\r
+  // Update AP state\r
+  //\r
+  CheckAndUpdateApsStatus ();\r
+\r
+  ProcessorCount = CpuMpData->CpuCount;\r
+  HasEnabledAp   = FALSE;\r
+  //\r
+  // Check whether all enabled APs are idle.\r
+  // If any enabled AP is not idle, return EFI_NOT_READY.\r
+  //\r
+  for (ProcessorNumber = 0; ProcessorNumber < ProcessorCount; ProcessorNumber++) {\r
+    CpuData = &CpuMpData->CpuData[ProcessorNumber];\r
+    if (ProcessorNumber != CpuMpData->BspNumber) {\r
+      ApState = GetApState (CpuData);\r
+      if (ApState != CpuStateDisabled) {\r
+        HasEnabledAp = TRUE;\r
+        if (ApState != CpuStateIdle) {\r
+          //\r
+          // If any enabled APs are busy, return EFI_NOT_READY.\r
+          //\r
+          return EFI_NOT_READY;\r
+        }\r
+      }\r
+    }\r
+  }\r
+\r
+  if (!HasEnabledAp) {\r
+    //\r
+    // If no enabled AP exists, return EFI_NOT_STARTED.\r
+    //\r
+    return EFI_NOT_STARTED;\r
+  }\r
+\r
+  CpuMpData->StartCount = 0;\r
+  for (ProcessorNumber = 0; ProcessorNumber < ProcessorCount; ProcessorNumber++) {\r
+    CpuData = &CpuMpData->CpuData[ProcessorNumber];\r
+    CpuData->Waiting = FALSE;\r
+    if (ProcessorNumber != CpuMpData->BspNumber) {\r
+      if (CpuData->State == CpuStateIdle) {\r
+        //\r
+        // Mark this processor as responsible for current calling.\r
+        //\r
+        CpuData->Waiting = TRUE;\r
+        CpuMpData->StartCount++;\r
+      }\r
+    }\r
+  }\r
+\r
+  CpuMpData->Procedure     = Procedure;\r
+  CpuMpData->ProcArguments = ProcedureArgument;\r
+  CpuMpData->SingleThread  = SingleThread;\r
+  CpuMpData->FinishedCount = 0;\r
+  CpuMpData->RunningCount  = 0;\r
+  CpuMpData->FailedCpuList = FailedCpuList;\r
+  CpuMpData->ExpectedTime  = CalculateTimeout (\r
+                               TimeoutInMicroseconds,\r
+                               &CpuMpData->CurrentTime\r
+                               );\r
+  CpuMpData->TotalTime     = 0;\r
+  CpuMpData->WaitEvent     = WaitEvent;\r
+\r
+  if (!SingleThread) {\r
+    WakeUpAP (CpuMpData, TRUE, 0, Procedure, ProcedureArgument);\r
+  } else {\r
+    for (ProcessorNumber = 0; ProcessorNumber < ProcessorCount; ProcessorNumber++) {\r
+      if (ProcessorNumber == CallerNumber) {\r
+        continue;\r
+      }\r
+      if (CpuMpData->CpuData[ProcessorNumber].Waiting) {\r
+        WakeUpAP (CpuMpData, FALSE, ProcessorNumber, Procedure, ProcedureArgument);\r
+        break;\r
+      }\r
+    }\r
+  }\r
+\r
+  Status = EFI_SUCCESS;\r
+  if (WaitEvent == NULL) {\r
+    do {\r
+      Status = CheckAllAPs ();\r
+    } while (Status == EFI_NOT_READY);\r
+  }\r
+\r
+  return Status;\r
+}\r
+\r
+/**\r
+  Worker function to let the caller get one enabled AP to execute a caller-provided\r
+  function.\r
+\r
+  @param[in]  Procedure               A pointer to the function to be run on\r
+                                      enabled APs of the system.\r
+  @param[in]  ProcessorNumber         The handle number of the AP.\r
+  @param[in]  WaitEvent               The event created by the caller with CreateEvent()\r
+                                      service.\r
+  @param[in]  TimeoutInMicrosecsond   Indicates the time limit in microseconds for\r
+                                      APs to return from Procedure, either for\r
+                                      blocking or non-blocking mode.\r
+  @param[in]  ProcedureArgument       The parameter passed into Procedure for\r
+                                      all APs.\r
+  @param[out] Finished                If AP returns from Procedure before the\r
+                                      timeout expires, its content is set to TRUE.\r
+                                      Otherwise, the value is set to FALSE.\r
+\r
+  @retval EFI_SUCCESS             In blocking mode, specified AP finished before\r
+                                  the timeout expires.\r
+  @retval others                  Failed to Startup AP.\r
+\r
+**/\r
+EFI_STATUS\r
+StartupThisAPWorker (\r
+  IN  EFI_AP_PROCEDURE          Procedure,\r
+  IN  UINTN                     ProcessorNumber,\r
+  IN  EFI_EVENT                 WaitEvent               OPTIONAL,\r
+  IN  UINTN                     TimeoutInMicroseconds,\r
+  IN  VOID                      *ProcedureArgument      OPTIONAL,\r
+  OUT BOOLEAN                   *Finished               OPTIONAL\r
+  )\r
+{\r
+  EFI_STATUS              Status;\r
+  CPU_MP_DATA             *CpuMpData;\r
+  CPU_AP_DATA             *CpuData;\r
+  UINTN                   CallerNumber;\r
+\r
+  CpuMpData = GetCpuMpData ();\r
+\r
+  if (Finished != NULL) {\r
+    *Finished = FALSE;\r
+  }\r
+\r
+  //\r
+  // Check whether caller processor is BSP\r
+  //\r
+  MpInitLibWhoAmI (&CallerNumber);\r
+  if (CallerNumber != CpuMpData->BspNumber) {\r
+    return EFI_DEVICE_ERROR;\r
+  }\r
+\r
+  //\r
+  // Check whether processor with the handle specified by ProcessorNumber exists\r
+  //\r
+  if (ProcessorNumber >= CpuMpData->CpuCount) {\r
+    return EFI_NOT_FOUND;\r
+  }\r
+\r
+  //\r
+  // Check whether specified processor is BSP\r
+  //\r
+  if (ProcessorNumber == CpuMpData->BspNumber) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  //\r
+  // Check parameter Procedure\r
+  //\r
+  if (Procedure == NULL) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  //\r
+  // Update AP state\r
+  //\r
+  CheckAndUpdateApsStatus ();\r
+\r
+  //\r
+  // Check whether specified AP is disabled\r
+  //\r
+  if (GetApState (&CpuMpData->CpuData[ProcessorNumber]) == CpuStateDisabled) {\r
+    return EFI_INVALID_PARAMETER;\r
+  }\r
+\r
+  //\r
+  // If WaitEvent is not NULL, execute in non-blocking mode.\r
+  // BSP saves data for CheckAPsStatus(), and returns EFI_SUCCESS.\r
+  // CheckAPsStatus() will check completion and timeout periodically.\r
+  //\r
+  CpuData = &CpuMpData->CpuData[ProcessorNumber];\r
+  CpuData->WaitEvent    = WaitEvent;\r
+  CpuData->Finished     = Finished;\r
+  CpuData->ExpectedTime = CalculateTimeout (TimeoutInMicroseconds, &CpuData->CurrentTime);\r
+  CpuData->TotalTime    = 0;\r
+\r
+  WakeUpAP (CpuMpData, FALSE, ProcessorNumber, Procedure, ProcedureArgument);\r
+\r
+  //\r
+  // If WaitEvent is NULL, execute in blocking mode.\r
+  // BSP checks AP's state until it finishes or TimeoutInMicrosecsond expires.\r
+  //\r
+  Status = EFI_SUCCESS;\r
+  if (WaitEvent == NULL) {\r
+    do {\r
+      Status = CheckThisAP (ProcessorNumber);\r
+    } while (Status == EFI_NOT_READY);\r
+  }\r
+\r
+  return Status;\r
+}\r
+\r
+/**\r
+  Get pointer to CPU MP Data structure from GUIDed HOB.\r
+\r
+  @return  The pointer to CPU MP Data structure.\r
+**/\r
+CPU_MP_DATA *\r
+GetCpuMpDataFromGuidedHob (\r
+  VOID\r
+  )\r
+{\r
+  EFI_HOB_GUID_TYPE       *GuidHob;\r
+  VOID                    *DataInHob;\r
+  CPU_MP_DATA             *CpuMpData;\r
+\r
+  CpuMpData = NULL;\r
+  GuidHob = GetFirstGuidHob (&mCpuInitMpLibHobGuid);\r
+  if (GuidHob != NULL) {\r
+    DataInHob = GET_GUID_HOB_DATA (GuidHob);\r
+    CpuMpData = (CPU_MP_DATA *) (*(UINTN *) DataInHob);\r
+  }\r
+  return CpuMpData;\r
+}\r
+\r
+/**\r
+  Get available system memory below 1MB by specified size.\r
+\r
+  @param[in]  CpuMpData  The pointer to CPU MP Data structure.\r
+**/\r
+VOID\r
+BackupAndPrepareWakeupBuffer(\r
+  IN CPU_MP_DATA              *CpuMpData\r
+  )\r
+{\r
+  CopyMem (\r
+    (VOID *) CpuMpData->BackupBuffer,\r
+    (VOID *) CpuMpData->WakeupBuffer,\r
+    CpuMpData->BackupBufferSize\r
+    );\r
+  CopyMem (\r
+    (VOID *) CpuMpData->WakeupBuffer,\r
+    (VOID *) CpuMpData->AddressMap.RendezvousFunnelAddress,\r
+    CpuMpData->AddressMap.RendezvousFunnelSize\r
+    );\r
+}\r
+\r
+/**\r
+  Restore wakeup buffer data.\r
+\r
+  @param[in]  CpuMpData  The pointer to CPU MP Data structure.\r
+**/\r
+VOID\r
+RestoreWakeupBuffer(\r
+  IN CPU_MP_DATA              *CpuMpData\r
+  )\r
+{\r
+  CopyMem (\r
+    (VOID *) CpuMpData->WakeupBuffer,\r
+    (VOID *) CpuMpData->BackupBuffer,\r
+    CpuMpData->BackupBufferSize\r
+    );\r
 }\r