]> git.proxmox.com Git - mirror_qemu.git/commitdiff
Merge remote-tracking branch 'remotes/agraf/tags/signed-ppc-for-upstream' into staging
authorPeter Maydell <peter.maydell@linaro.org>
Mon, 16 Jun 2014 17:26:21 +0000 (18:26 +0100)
committerPeter Maydell <peter.maydell@linaro.org>
Mon, 16 Jun 2014 17:26:21 +0000 (18:26 +0100)
Patch queue for ppc - 2014-06-16

This pull request brings a lot of fun things. Among others we have

  - e500: u-boot firmware support
  - sPAPR: magic page enablement
  - sPAPR: add "compat" CPU option to support older guests
  - sPAPR: refactorings in preparation for VFIO
  - POWER8 live migration
  - mac99: expose bus frequency
  - little endian core dump, gdb and disas support
  - new ppc64le-linux-user target
  - DFP emulation
  - bug fixes

# gpg: Signature made Mon 16 Jun 2014 12:28:32 BST using RSA key ID 03FEDC60
# gpg: Can't check signature: public key not found

* remotes/agraf/tags/signed-ppc-for-upstream: (156 commits)
  spapr_pci: Advertise MSI quota
  PPC: KVM: Make pv hcall endian agnostic
  powerpc: use float64 for frsqrte
  spapr: Add kvm-type property
  spapr: Create SPAPRMachine struct
  linux-user: Tell guest about big host page sizes
  spapr_hcall: Add address-translation-mode-on-interrupt resource in H_SET_MODE
  spapr_hcall: Split h_set_mode()
  target-ppc: Enable DABRX SPR and limit it to <=POWER7
  target-ppc: Enable PPR and VRSAVE SPRs migration
  target-ppc: Add POWER8's Event Based Branch (EBB) control SPRs
  KVM: target-ppc: Enable TM state migration
  target-ppc: Add POWER8's TM SPRs
  target-ppc: Add POWER8's MMCR2/MMCRS SPRs
  target-ppc: Enable FSCR facility check for TAR
  target-ppc: Add POWER8's FSCR SPR
  target-ppc: Add POWER8's TIR SPR
  target-ppc: Refactor class init for POWER7/8
  target-ppc: Switch POWER7/8 classes to use correct PMU SPRs
  target-ppc: Make use of gen_spr_power5p_lpar() for POWER7/8
  ...

Signed-off-by: Peter Maydell <peter.maydell@linaro.org>
94 files changed:
.gitmodules
Makefile.target
configure
default-configs/ppc-linux-user.mak
default-configs/ppc-softmmu.mak
default-configs/ppc64-linux-user.mak
default-configs/ppc64-softmmu.mak
default-configs/ppc64abi32-linux-user.mak
default-configs/ppc64le-linux-user.mak [new file with mode: 0644]
default-configs/ppcemb-softmmu.mak
disas.c
dump.c
hw/ide/macio.c
hw/intc/openpic.c
hw/intc/openpic_kvm.c
hw/misc/macio/mac_dbdma.c
hw/misc/macio/macio.c
hw/net/fsl_etsec/rings.c
hw/nvram/spapr_nvram.c
hw/pci-host/ppce500.c
hw/ppc/e500.c
hw/ppc/mac_newworld.c
hw/ppc/mac_oldworld.c
hw/ppc/ppc.c
hw/ppc/spapr.c
hw/ppc/spapr_hcall.c
hw/ppc/spapr_iommu.c
hw/ppc/spapr_pci.c
hw/ppc/spapr_vio.c
include/elf.h
include/hw/pci-host/spapr.h
include/hw/ppc/mac_dbdma.h
include/hw/ppc/ppc.h
include/hw/ppc/spapr.h
include/hw/ppc/xics.h
include/libdecnumber/dconfig.h [new file with mode: 0644]
include/libdecnumber/decContext.h [new file with mode: 0644]
include/libdecnumber/decDPD.h [new file with mode: 0644]
include/libdecnumber/decNumber.h [new file with mode: 0644]
include/libdecnumber/decNumberLocal.h [new file with mode: 0644]
include/libdecnumber/dpd/decimal128.h [new file with mode: 0644]
include/libdecnumber/dpd/decimal128Local.h [new file with mode: 0644]
include/libdecnumber/dpd/decimal32.h [new file with mode: 0644]
include/libdecnumber/dpd/decimal64.h [new file with mode: 0644]
include/qemu/aes.h
include/sysemu/dump-arch.h [new file with mode: 0644]
include/sysemu/dump.h
libdecnumber/decContext.c [new file with mode: 0644]
libdecnumber/decNumber.c [new file with mode: 0644]
libdecnumber/dpd/decimal128.c [new file with mode: 0644]
libdecnumber/dpd/decimal128Local.h [new file with mode: 0644]
libdecnumber/dpd/decimal32.c [new file with mode: 0644]
libdecnumber/dpd/decimal64.c [new file with mode: 0644]
linux-headers/asm-arm/kvm.h
linux-headers/asm-arm64/kvm.h
linux-headers/asm-mips/kvm.h
linux-headers/asm-powerpc/kvm.h
linux-headers/asm-powerpc/kvm_para.h
linux-headers/linux/kvm.h
linux-headers/linux/psci.h [new file with mode: 0644]
linux-user/elfload.c
linux-user/main.c
linux-user/ppc/syscall.h
monitor.c
pc-bios/README
pc-bios/u-boot.e500 [new file with mode: 0755]
roms/Makefile
roms/u-boot [new submodule]
scripts/update-linux-headers.sh
stubs/dump.c
target-arm/crypto_helper.c
target-i386/ops_sse.h
target-ppc/Makefile.objs
target-ppc/arch_dump.c
target-ppc/cpu-models.c
target-ppc/cpu-models.h
target-ppc/cpu-qom.h
target-ppc/cpu.h
target-ppc/dfp_helper.c [new file with mode: 0644]
target-ppc/excp_helper.c
target-ppc/fpu_helper.c
target-ppc/gdbstub.c
target-ppc/helper.h
target-ppc/int_helper.c
target-ppc/kvm.c
target-ppc/kvm_ppc.h
target-ppc/machine.c
target-ppc/mem_helper.c
target-ppc/misc_helper.c
target-ppc/mmu_helper.c
target-ppc/translate.c
target-ppc/translate_init.c
trace-events
util/aes.c

index 444c24a993fadfb3e9c323ea6a04f77b94b0e47c..9da9ede26161bc5c6f12552b55bc54f55bb1e839 100644 (file)
@@ -28,3 +28,6 @@
 [submodule "dtc"]
        path = dtc
        url = git://git.qemu-project.org/dtc.git
+[submodule "roms/u-boot"]
+       path = roms/u-boot
+       url = git://git.qemu-project.org/u-boot.git
index 422328314aeebe8c6b531f6802ae6a4169aa2afa..06c1e59bc4930a9449ac291b0aee579470f00ac1 100644 (file)
@@ -85,6 +85,12 @@ obj-y += disas.o
 obj-$(call notempty,$(TARGET_XML_FILES)) += gdbstub-xml.o
 obj-$(call lnot,$(CONFIG_KVM)) += kvm-stub.o
 
+obj-$(CONFIG_LIBDECNUMBER) += libdecnumber/decContext.o
+obj-$(CONFIG_LIBDECNUMBER) += libdecnumber/decNumber.o
+obj-$(CONFIG_LIBDECNUMBER) += libdecnumber/dpd/decimal32.o
+obj-$(CONFIG_LIBDECNUMBER) += libdecnumber/dpd/decimal64.o
+obj-$(CONFIG_LIBDECNUMBER) += libdecnumber/dpd/decimal128.o
+
 #########################################################
 # Linux user emulator target
 
index 57d3ad89d7621988c83b4e73834948701065ffa0..27d84d9fdbe4c53eae216c610e2ede8bddb29143 100755 (executable)
--- a/configure
+++ b/configure
@@ -4955,6 +4955,12 @@ case "$target_name" in
     TARGET_ABI_DIR=ppc
     gdb_xml_files="power64-core.xml power-fpu.xml power-altivec.xml power-spe.xml"
   ;;
+  ppc64le)
+    TARGET_ARCH=ppc64
+    TARGET_BASE_ARCH=ppc
+    TARGET_ABI_DIR=ppc
+    gdb_xml_files="power64-core.xml power-fpu.xml power-altivec.xml power-spe.xml"
+  ;;
   ppc64abi32)
     TARGET_ARCH=ppc64
     TARGET_BASE_ARCH=ppc
@@ -5222,6 +5228,7 @@ for bios_file in \
     $source_path/pc-bios/*.dtb \
     $source_path/pc-bios/*.img \
     $source_path/pc-bios/openbios-* \
+    $source_path/pc-bios/u-boot.* \
     $source_path/pc-bios/palcode-*
 do
     FILES="$FILES pc-bios/`basename $bios_file`"
index 6273df2930250e4921fac15f6efc81f757d91882..260ba4183669a413ff6402ce3f0d2e7071e520ef 100644 (file)
@@ -1 +1,2 @@
 # Default configuration for ppc-linux-user
+CONFIG_LIBDECNUMBER=y
index 07c51ced1f024377e91caba9903442d79d7fd811..33f8d84e6875b44765f0cfc064be82a3790ba6c6 100644 (file)
@@ -49,3 +49,4 @@ CONFIG_OPENPIC_KVM=$(and $(CONFIG_E500),$(CONFIG_KVM))
 CONFIG_MC146818RTC=y
 CONFIG_ETSEC=y
 CONFIG_ISA_TESTDEV=y
+CONFIG_LIBDECNUMBER=y
index 422d3fbaeb87fd477c093a06ba7b810b56e0e392..e731ce016eed6ccc827f19592de33373d0b6b113 100644 (file)
@@ -1 +1,2 @@
 # Default configuration for ppc64-linux-user
+CONFIG_LIBDECNUMBER=y
index e2beac6df18786c0d25220a5d367a8abae549cfb..37a15b7ce2c7e941475ad918aa77b312ee0136d6 100644 (file)
@@ -58,3 +58,4 @@ CONFIG_I82374=y
 CONFIG_I8257=y
 CONFIG_MC146818RTC=y
 CONFIG_ISA_TESTDEV=y
+CONFIG_LIBDECNUMBER=y
index 1c657ec9bb29d0723d30f1e7583f381d21d29f97..c244d07d56a64ff25844e3973726dcfd044f57b3 100644 (file)
@@ -1 +1,2 @@
 # Default configuration for ppc64abi32-linux-user
+CONFIG_LIBDECNUMBER=y
diff --git a/default-configs/ppc64le-linux-user.mak b/default-configs/ppc64le-linux-user.mak
new file mode 100644 (file)
index 0000000..4ba4eae
--- /dev/null
@@ -0,0 +1,2 @@
+# Default configuration for ppc64le-linux-user
+CONFIG_LIBDECNUMBER=y
index 1e4fde2190bfc15434c893491e4a3f65951318bf..e0327614573bf009b78982a5d3fa5675a802b295 100644 (file)
@@ -16,3 +16,4 @@ CONFIG_I8259=y
 CONFIG_XILINX=y
 CONFIG_XILINX_ETHLITE=y
 CONFIG_OPENPIC=y
+CONFIG_LIBDECNUMBER=y
diff --git a/disas.c b/disas.c
index 79e694483cdb8288b752276866ebd69533cbd423..44a019a2e768bae17cb2bb1426d18b2923493776 100644 (file)
--- a/disas.c
+++ b/disas.c
@@ -191,7 +191,8 @@ static int print_insn_od_target(bfd_vma pc, disassemble_info *info)
    values:
     i386 - 1 means 16 bit code, 2 means 64 bit code
     arm  - bit 0 = thumb, bit 1 = reverse endian, bit 2 = A64
-    ppc  - nonzero means little endian
+    ppc  - bits 0:15 specify (optionally) the machine instruction set;
+           bit 16 indicates little endian.
     other targets - unused
  */
 void target_disas(FILE *out, CPUArchState *env, target_ulong code,
@@ -251,11 +252,11 @@ void target_disas(FILE *out, CPUArchState *env, target_ulong code,
     s.info.mach = bfd_mach_sparc_v9b;
 #endif
 #elif defined(TARGET_PPC)
-    if (flags >> 16) {
+    if ((flags >> 16) & 1) {
         s.info.endian = BFD_ENDIAN_LITTLE;
     }
     if (flags & 0xFFFF) {
-        /* If we have a precise definitions of the instructions set, use it */
+        /* If we have a precise definition of the instruction set, use it. */
         s.info.mach = flags & 0xFFFF;
     } else {
 #ifdef TARGET_PPC64
@@ -444,6 +445,8 @@ monitor_fprintf(FILE *stream, const char *fmt, ...)
     return 0;
 }
 
+/* Disassembler for the monitor.
+   See target_disas for a description of flags. */
 void monitor_disas(Monitor *mon, CPUArchState *env,
                    target_ulong pc, int nb_insn, int is_physical, int flags)
 {
@@ -484,11 +487,19 @@ void monitor_disas(Monitor *mon, CPUArchState *env,
     s.info.mach = bfd_mach_sparc_v9b;
 #endif
 #elif defined(TARGET_PPC)
+    if (flags & 0xFFFF) {
+        /* If we have a precise definition of the instruction set, use it. */
+        s.info.mach = flags & 0xFFFF;
+    } else {
 #ifdef TARGET_PPC64
-    s.info.mach = bfd_mach_ppc64;
+        s.info.mach = bfd_mach_ppc64;
 #else
-    s.info.mach = bfd_mach_ppc;
+        s.info.mach = bfd_mach_ppc;
 #endif
+    }
+    if ((flags >> 16) & 1) {
+        s.info.endian = BFD_ENDIAN_LITTLE;
+    }
     print_insn = print_insn_ppc;
 #elif defined(TARGET_M68K)
     print_insn = print_insn_m68k;
diff --git a/dump.c b/dump.c
index 97d2c8dcefa6250ec7c6e337627fe250ebaa91d1..ce646bcc5159b2c0b9b54ff8740c1c9aaa68bf26 100644 (file)
--- a/dump.c
+++ b/dump.c
@@ -36,9 +36,9 @@
 #define ELF_MACHINE_UNAME "Unknown"
 #endif
 
-static uint16_t cpu_convert_to_target16(uint16_t val, int endian)
+uint16_t cpu_to_dump16(DumpState *s, uint16_t val)
 {
-    if (endian == ELFDATA2LSB) {
+    if (s->dump_info.d_endian == ELFDATA2LSB) {
         val = cpu_to_le16(val);
     } else {
         val = cpu_to_be16(val);
@@ -47,9 +47,9 @@ static uint16_t cpu_convert_to_target16(uint16_t val, int endian)
     return val;
 }
 
-static uint32_t cpu_convert_to_target32(uint32_t val, int endian)
+uint32_t cpu_to_dump32(DumpState *s, uint32_t val)
 {
-    if (endian == ELFDATA2LSB) {
+    if (s->dump_info.d_endian == ELFDATA2LSB) {
         val = cpu_to_le32(val);
     } else {
         val = cpu_to_be32(val);
@@ -58,9 +58,9 @@ static uint32_t cpu_convert_to_target32(uint32_t val, int endian)
     return val;
 }
 
-static uint64_t cpu_convert_to_target64(uint64_t val, int endian)
+uint64_t cpu_to_dump64(DumpState *s, uint64_t val)
 {
-    if (endian == ELFDATA2LSB) {
+    if (s->dump_info.d_endian == ELFDATA2LSB) {
         val = cpu_to_le64(val);
     } else {
         val = cpu_to_be64(val);
@@ -69,36 +69,6 @@ static uint64_t cpu_convert_to_target64(uint64_t val, int endian)
     return val;
 }
 
-typedef struct DumpState {
-    GuestPhysBlockList guest_phys_blocks;
-    ArchDumpInfo dump_info;
-    MemoryMappingList list;
-    uint16_t phdr_num;
-    uint32_t sh_info;
-    bool have_section;
-    bool resume;
-    ssize_t note_size;
-    hwaddr memory_offset;
-    int fd;
-
-    GuestPhysBlock *next_block;
-    ram_addr_t start;
-    bool has_filter;
-    int64_t begin;
-    int64_t length;
-
-    uint8_t *note_buf;          /* buffer for notes */
-    size_t note_buf_offset;     /* the writing place in note_buf */
-    uint32_t nr_cpus;           /* number of guest's cpu */
-    uint64_t max_mapnr;         /* the biggest guest's phys-mem's number */
-    size_t len_dump_bitmap;     /* the size of the place used to store
-                                   dump_bitmap in vmcore */
-    off_t offset_dump_bitmap;   /* offset of dump_bitmap part in vmcore */
-    off_t offset_page;          /* offset of page part in vmcore */
-    size_t num_dumpable;        /* number of page that can be dumped */
-    uint32_t flag_compress;     /* indicate the compression format */
-} DumpState;
-
 static int dump_cleanup(DumpState *s)
 {
     int ret = 0;
@@ -137,29 +107,25 @@ static int write_elf64_header(DumpState *s)
 {
     Elf64_Ehdr elf_header;
     int ret;
-    int endian = s->dump_info.d_endian;
 
     memset(&elf_header, 0, sizeof(Elf64_Ehdr));
     memcpy(&elf_header, ELFMAG, SELFMAG);
     elf_header.e_ident[EI_CLASS] = ELFCLASS64;
     elf_header.e_ident[EI_DATA] = s->dump_info.d_endian;
     elf_header.e_ident[EI_VERSION] = EV_CURRENT;
-    elf_header.e_type = cpu_convert_to_target16(ET_CORE, endian);
-    elf_header.e_machine = cpu_convert_to_target16(s->dump_info.d_machine,
-                                                   endian);
-    elf_header.e_version = cpu_convert_to_target32(EV_CURRENT, endian);
-    elf_header.e_ehsize = cpu_convert_to_target16(sizeof(elf_header), endian);
-    elf_header.e_phoff = cpu_convert_to_target64(sizeof(Elf64_Ehdr), endian);
-    elf_header.e_phentsize = cpu_convert_to_target16(sizeof(Elf64_Phdr),
-                                                     endian);
-    elf_header.e_phnum = cpu_convert_to_target16(s->phdr_num, endian);
+    elf_header.e_type = cpu_to_dump16(s, ET_CORE);
+    elf_header.e_machine = cpu_to_dump16(s, s->dump_info.d_machine);
+    elf_header.e_version = cpu_to_dump32(s, EV_CURRENT);
+    elf_header.e_ehsize = cpu_to_dump16(s, sizeof(elf_header));
+    elf_header.e_phoff = cpu_to_dump64(s, sizeof(Elf64_Ehdr));
+    elf_header.e_phentsize = cpu_to_dump16(s, sizeof(Elf64_Phdr));
+    elf_header.e_phnum = cpu_to_dump16(s, s->phdr_num);
     if (s->have_section) {
         uint64_t shoff = sizeof(Elf64_Ehdr) + sizeof(Elf64_Phdr) * s->sh_info;
 
-        elf_header.e_shoff = cpu_convert_to_target64(shoff, endian);
-        elf_header.e_shentsize = cpu_convert_to_target16(sizeof(Elf64_Shdr),
-                                                         endian);
-        elf_header.e_shnum = cpu_convert_to_target16(1, endian);
+        elf_header.e_shoff = cpu_to_dump64(s, shoff);
+        elf_header.e_shentsize = cpu_to_dump16(s, sizeof(Elf64_Shdr));
+        elf_header.e_shnum = cpu_to_dump16(s, 1);
     }
 
     ret = fd_write_vmcore(&elf_header, sizeof(elf_header), s);
@@ -175,29 +141,25 @@ static int write_elf32_header(DumpState *s)
 {
     Elf32_Ehdr elf_header;
     int ret;
-    int endian = s->dump_info.d_endian;
 
     memset(&elf_header, 0, sizeof(Elf32_Ehdr));
     memcpy(&elf_header, ELFMAG, SELFMAG);
     elf_header.e_ident[EI_CLASS] = ELFCLASS32;
-    elf_header.e_ident[EI_DATA] = endian;
+    elf_header.e_ident[EI_DATA] = s->dump_info.d_endian;
     elf_header.e_ident[EI_VERSION] = EV_CURRENT;
-    elf_header.e_type = cpu_convert_to_target16(ET_CORE, endian);
-    elf_header.e_machine = cpu_convert_to_target16(s->dump_info.d_machine,
-                                                   endian);
-    elf_header.e_version = cpu_convert_to_target32(EV_CURRENT, endian);
-    elf_header.e_ehsize = cpu_convert_to_target16(sizeof(elf_header), endian);
-    elf_header.e_phoff = cpu_convert_to_target32(sizeof(Elf32_Ehdr), endian);
-    elf_header.e_phentsize = cpu_convert_to_target16(sizeof(Elf32_Phdr),
-                                                     endian);
-    elf_header.e_phnum = cpu_convert_to_target16(s->phdr_num, endian);
+    elf_header.e_type = cpu_to_dump16(s, ET_CORE);
+    elf_header.e_machine = cpu_to_dump16(s, s->dump_info.d_machine);
+    elf_header.e_version = cpu_to_dump32(s, EV_CURRENT);
+    elf_header.e_ehsize = cpu_to_dump16(s, sizeof(elf_header));
+    elf_header.e_phoff = cpu_to_dump32(s, sizeof(Elf32_Ehdr));
+    elf_header.e_phentsize = cpu_to_dump16(s, sizeof(Elf32_Phdr));
+    elf_header.e_phnum = cpu_to_dump16(s, s->phdr_num);
     if (s->have_section) {
         uint32_t shoff = sizeof(Elf32_Ehdr) + sizeof(Elf32_Phdr) * s->sh_info;
 
-        elf_header.e_shoff = cpu_convert_to_target32(shoff, endian);
-        elf_header.e_shentsize = cpu_convert_to_target16(sizeof(Elf32_Shdr),
-                                                         endian);
-        elf_header.e_shnum = cpu_convert_to_target16(1, endian);
+        elf_header.e_shoff = cpu_to_dump32(s, shoff);
+        elf_header.e_shentsize = cpu_to_dump16(s, sizeof(Elf32_Shdr));
+        elf_header.e_shnum = cpu_to_dump16(s, 1);
     }
 
     ret = fd_write_vmcore(&elf_header, sizeof(elf_header), s);
@@ -215,15 +177,14 @@ static int write_elf64_load(DumpState *s, MemoryMapping *memory_mapping,
 {
     Elf64_Phdr phdr;
     int ret;
-    int endian = s->dump_info.d_endian;
 
     memset(&phdr, 0, sizeof(Elf64_Phdr));
-    phdr.p_type = cpu_convert_to_target32(PT_LOAD, endian);
-    phdr.p_offset = cpu_convert_to_target64(offset, endian);
-    phdr.p_paddr = cpu_convert_to_target64(memory_mapping->phys_addr, endian);
-    phdr.p_filesz = cpu_convert_to_target64(filesz, endian);
-    phdr.p_memsz = cpu_convert_to_target64(memory_mapping->length, endian);
-    phdr.p_vaddr = cpu_convert_to_target64(memory_mapping->virt_addr, endian);
+    phdr.p_type = cpu_to_dump32(s, PT_LOAD);
+    phdr.p_offset = cpu_to_dump64(s, offset);
+    phdr.p_paddr = cpu_to_dump64(s, memory_mapping->phys_addr);
+    phdr.p_filesz = cpu_to_dump64(s, filesz);
+    phdr.p_memsz = cpu_to_dump64(s, memory_mapping->length);
+    phdr.p_vaddr = cpu_to_dump64(s, memory_mapping->virt_addr);
 
     assert(memory_mapping->length >= filesz);
 
@@ -242,15 +203,14 @@ static int write_elf32_load(DumpState *s, MemoryMapping *memory_mapping,
 {
     Elf32_Phdr phdr;
     int ret;
-    int endian = s->dump_info.d_endian;
 
     memset(&phdr, 0, sizeof(Elf32_Phdr));
-    phdr.p_type = cpu_convert_to_target32(PT_LOAD, endian);
-    phdr.p_offset = cpu_convert_to_target32(offset, endian);
-    phdr.p_paddr = cpu_convert_to_target32(memory_mapping->phys_addr, endian);
-    phdr.p_filesz = cpu_convert_to_target32(filesz, endian);
-    phdr.p_memsz = cpu_convert_to_target32(memory_mapping->length, endian);
-    phdr.p_vaddr = cpu_convert_to_target32(memory_mapping->virt_addr, endian);
+    phdr.p_type = cpu_to_dump32(s, PT_LOAD);
+    phdr.p_offset = cpu_to_dump32(s, offset);
+    phdr.p_paddr = cpu_to_dump32(s, memory_mapping->phys_addr);
+    phdr.p_filesz = cpu_to_dump32(s, filesz);
+    phdr.p_memsz = cpu_to_dump32(s, memory_mapping->length);
+    phdr.p_vaddr = cpu_to_dump32(s, memory_mapping->virt_addr);
 
     assert(memory_mapping->length >= filesz);
 
@@ -266,16 +226,15 @@ static int write_elf32_load(DumpState *s, MemoryMapping *memory_mapping,
 static int write_elf64_note(DumpState *s)
 {
     Elf64_Phdr phdr;
-    int endian = s->dump_info.d_endian;
     hwaddr begin = s->memory_offset - s->note_size;
     int ret;
 
     memset(&phdr, 0, sizeof(Elf64_Phdr));
-    phdr.p_type = cpu_convert_to_target32(PT_NOTE, endian);
-    phdr.p_offset = cpu_convert_to_target64(begin, endian);
+    phdr.p_type = cpu_to_dump32(s, PT_NOTE);
+    phdr.p_offset = cpu_to_dump64(s, begin);
     phdr.p_paddr = 0;
-    phdr.p_filesz = cpu_convert_to_target64(s->note_size, endian);
-    phdr.p_memsz = cpu_convert_to_target64(s->note_size, endian);
+    phdr.p_filesz = cpu_to_dump64(s, s->note_size);
+    phdr.p_memsz = cpu_to_dump64(s, s->note_size);
     phdr.p_vaddr = 0;
 
     ret = fd_write_vmcore(&phdr, sizeof(Elf64_Phdr), s);
@@ -322,15 +281,14 @@ static int write_elf32_note(DumpState *s)
 {
     hwaddr begin = s->memory_offset - s->note_size;
     Elf32_Phdr phdr;
-    int endian = s->dump_info.d_endian;
     int ret;
 
     memset(&phdr, 0, sizeof(Elf32_Phdr));
-    phdr.p_type = cpu_convert_to_target32(PT_NOTE, endian);
-    phdr.p_offset = cpu_convert_to_target32(begin, endian);
+    phdr.p_type = cpu_to_dump32(s, PT_NOTE);
+    phdr.p_offset = cpu_to_dump32(s, begin);
     phdr.p_paddr = 0;
-    phdr.p_filesz = cpu_convert_to_target32(s->note_size, endian);
-    phdr.p_memsz = cpu_convert_to_target32(s->note_size, endian);
+    phdr.p_filesz = cpu_to_dump32(s, s->note_size);
+    phdr.p_memsz = cpu_to_dump32(s, s->note_size);
     phdr.p_vaddr = 0;
 
     ret = fd_write_vmcore(&phdr, sizeof(Elf32_Phdr), s);
@@ -372,7 +330,6 @@ static int write_elf_section(DumpState *s, int type)
 {
     Elf32_Shdr shdr32;
     Elf64_Shdr shdr64;
-    int endian = s->dump_info.d_endian;
     int shdr_size;
     void *shdr;
     int ret;
@@ -380,12 +337,12 @@ static int write_elf_section(DumpState *s, int type)
     if (type == 0) {
         shdr_size = sizeof(Elf32_Shdr);
         memset(&shdr32, 0, shdr_size);
-        shdr32.sh_info = cpu_convert_to_target32(s->sh_info, endian);
+        shdr32.sh_info = cpu_to_dump32(s, s->sh_info);
         shdr = &shdr32;
     } else {
         shdr_size = sizeof(Elf64_Shdr);
         memset(&shdr64, 0, shdr_size);
-        shdr64.sh_info = cpu_convert_to_target32(s->sh_info, endian);
+        shdr64.sh_info = cpu_to_dump32(s, s->sh_info);
         shdr = &shdr64;
     }
 
@@ -791,7 +748,6 @@ static int create_header32(DumpState *s)
     DiskDumpHeader32 *dh = NULL;
     KdumpSubHeader32 *kh = NULL;
     size_t size;
-    int endian = s->dump_info.d_endian;
     uint32_t block_size;
     uint32_t sub_hdr_size;
     uint32_t bitmap_blocks;
@@ -803,18 +759,17 @@ static int create_header32(DumpState *s)
     dh = g_malloc0(size);
 
     strncpy(dh->signature, KDUMP_SIGNATURE, strlen(KDUMP_SIGNATURE));
-    dh->header_version = cpu_convert_to_target32(6, endian);
+    dh->header_version = cpu_to_dump32(s, 6);
     block_size = TARGET_PAGE_SIZE;
-    dh->block_size = cpu_convert_to_target32(block_size, endian);
+    dh->block_size = cpu_to_dump32(s, block_size);
     sub_hdr_size = sizeof(struct KdumpSubHeader32) + s->note_size;
     sub_hdr_size = DIV_ROUND_UP(sub_hdr_size, block_size);
-    dh->sub_hdr_size = cpu_convert_to_target32(sub_hdr_size, endian);
+    dh->sub_hdr_size = cpu_to_dump32(s, sub_hdr_size);
     /* dh->max_mapnr may be truncated, full 64bit is in kh.max_mapnr_64 */
-    dh->max_mapnr = cpu_convert_to_target32(MIN(s->max_mapnr, UINT_MAX),
-                                            endian);
-    dh->nr_cpus = cpu_convert_to_target32(s->nr_cpus, endian);
+    dh->max_mapnr = cpu_to_dump32(s, MIN(s->max_mapnr, UINT_MAX));
+    dh->nr_cpus = cpu_to_dump32(s, s->nr_cpus);
     bitmap_blocks = DIV_ROUND_UP(s->len_dump_bitmap, block_size) * 2;
-    dh->bitmap_blocks = cpu_convert_to_target32(bitmap_blocks, endian);
+    dh->bitmap_blocks = cpu_to_dump32(s, bitmap_blocks);
     strncpy(dh->utsname.machine, ELF_MACHINE_UNAME, sizeof(dh->utsname.machine));
 
     if (s->flag_compress & DUMP_DH_COMPRESSED_ZLIB) {
@@ -830,7 +785,7 @@ static int create_header32(DumpState *s)
         status |= DUMP_DH_COMPRESSED_SNAPPY;
     }
 #endif
-    dh->status = cpu_convert_to_target32(status, endian);
+    dh->status = cpu_to_dump32(s, status);
 
     if (write_buffer(s->fd, 0, dh, size) < 0) {
         dump_error(s, "dump: failed to write disk dump header.\n");
@@ -843,13 +798,13 @@ static int create_header32(DumpState *s)
     kh = g_malloc0(size);
 
     /* 64bit max_mapnr_64 */
-    kh->max_mapnr_64 = cpu_convert_to_target64(s->max_mapnr, endian);
-    kh->phys_base = cpu_convert_to_target32(PHYS_BASE, endian);
-    kh->dump_level = cpu_convert_to_target32(DUMP_LEVEL, endian);
+    kh->max_mapnr_64 = cpu_to_dump64(s, s->max_mapnr);
+    kh->phys_base = cpu_to_dump32(s, PHYS_BASE);
+    kh->dump_level = cpu_to_dump32(s, DUMP_LEVEL);
 
     offset_note = DISKDUMP_HEADER_BLOCKS * block_size + size;
-    kh->offset_note = cpu_convert_to_target64(offset_note, endian);
-    kh->note_size = cpu_convert_to_target32(s->note_size, endian);
+    kh->offset_note = cpu_to_dump64(s, offset_note);
+    kh->note_size = cpu_to_dump32(s, s->note_size);
 
     if (write_buffer(s->fd, DISKDUMP_HEADER_BLOCKS *
                      block_size, kh, size) < 0) {
@@ -898,7 +853,6 @@ static int create_header64(DumpState *s)
     DiskDumpHeader64 *dh = NULL;
     KdumpSubHeader64 *kh = NULL;
     size_t size;
-    int endian = s->dump_info.d_endian;
     uint32_t block_size;
     uint32_t sub_hdr_size;
     uint32_t bitmap_blocks;
@@ -910,18 +864,17 @@ static int create_header64(DumpState *s)
     dh = g_malloc0(size);
 
     strncpy(dh->signature, KDUMP_SIGNATURE, strlen(KDUMP_SIGNATURE));
-    dh->header_version = cpu_convert_to_target32(6, endian);
+    dh->header_version = cpu_to_dump32(s, 6);
     block_size = TARGET_PAGE_SIZE;
-    dh->block_size = cpu_convert_to_target32(block_size, endian);
+    dh->block_size = cpu_to_dump32(s, block_size);
     sub_hdr_size = sizeof(struct KdumpSubHeader64) + s->note_size;
     sub_hdr_size = DIV_ROUND_UP(sub_hdr_size, block_size);
-    dh->sub_hdr_size = cpu_convert_to_target32(sub_hdr_size, endian);
+    dh->sub_hdr_size = cpu_to_dump32(s, sub_hdr_size);
     /* dh->max_mapnr may be truncated, full 64bit is in kh.max_mapnr_64 */
-    dh->max_mapnr = cpu_convert_to_target32(MIN(s->max_mapnr, UINT_MAX),
-                                            endian);
-    dh->nr_cpus = cpu_convert_to_target32(s->nr_cpus, endian);
+    dh->max_mapnr = cpu_to_dump32(s, MIN(s->max_mapnr, UINT_MAX));
+    dh->nr_cpus = cpu_to_dump32(s, s->nr_cpus);
     bitmap_blocks = DIV_ROUND_UP(s->len_dump_bitmap, block_size) * 2;
-    dh->bitmap_blocks = cpu_convert_to_target32(bitmap_blocks, endian);
+    dh->bitmap_blocks = cpu_to_dump32(s, bitmap_blocks);
     strncpy(dh->utsname.machine, ELF_MACHINE_UNAME, sizeof(dh->utsname.machine));
 
     if (s->flag_compress & DUMP_DH_COMPRESSED_ZLIB) {
@@ -937,7 +890,7 @@ static int create_header64(DumpState *s)
         status |= DUMP_DH_COMPRESSED_SNAPPY;
     }
 #endif
-    dh->status = cpu_convert_to_target32(status, endian);
+    dh->status = cpu_to_dump32(s, status);
 
     if (write_buffer(s->fd, 0, dh, size) < 0) {
         dump_error(s, "dump: failed to write disk dump header.\n");
@@ -950,13 +903,13 @@ static int create_header64(DumpState *s)
     kh = g_malloc0(size);
 
     /* 64bit max_mapnr_64 */
-    kh->max_mapnr_64 = cpu_convert_to_target64(s->max_mapnr, endian);
-    kh->phys_base = cpu_convert_to_target64(PHYS_BASE, endian);
-    kh->dump_level = cpu_convert_to_target32(DUMP_LEVEL, endian);
+    kh->max_mapnr_64 = cpu_to_dump64(s, s->max_mapnr);
+    kh->phys_base = cpu_to_dump64(s, PHYS_BASE);
+    kh->dump_level = cpu_to_dump32(s, DUMP_LEVEL);
 
     offset_note = DISKDUMP_HEADER_BLOCKS * block_size + size;
-    kh->offset_note = cpu_convert_to_target64(offset_note, endian);
-    kh->note_size = cpu_convert_to_target64(s->note_size, endian);
+    kh->offset_note = cpu_to_dump64(s, offset_note);
+    kh->note_size = cpu_to_dump64(s, s->note_size);
 
     if (write_buffer(s->fd, DISKDUMP_HEADER_BLOCKS *
                      block_size, kh, size) < 0) {
@@ -1260,7 +1213,6 @@ static int write_dump_pages(DumpState *s)
     off_t offset_desc, offset_data;
     PageDescriptor pd, pd_zero;
     uint8_t *buf;
-    int endian = s->dump_info.d_endian;
     GuestPhysBlock *block_iter = NULL;
     uint64_t pfn_iter;
 
@@ -1285,10 +1237,10 @@ static int write_dump_pages(DumpState *s)
      * init zero page's page_desc and page_data, because every zero page
      * uses the same page_data
      */
-    pd_zero.size = cpu_convert_to_target32(TARGET_PAGE_SIZE, endian);
-    pd_zero.flags = cpu_convert_to_target32(0, endian);
-    pd_zero.offset = cpu_convert_to_target64(offset_data, endian);
-    pd_zero.page_flags = cpu_convert_to_target64(0, endian);
+    pd_zero.size = cpu_to_dump32(s, TARGET_PAGE_SIZE);
+    pd_zero.flags = cpu_to_dump32(s, 0);
+    pd_zero.offset = cpu_to_dump64(s, offset_data);
+    pd_zero.page_flags = cpu_to_dump64(s, 0);
     buf = g_malloc0(TARGET_PAGE_SIZE);
     ret = write_cache(&page_data, buf, TARGET_PAGE_SIZE, false);
     g_free(buf);
@@ -1326,12 +1278,11 @@ static int write_dump_pages(DumpState *s)
              */
              size_out = len_buf_out;
              if ((s->flag_compress & DUMP_DH_COMPRESSED_ZLIB) &&
-                 (compress2(buf_out, (uLongf *)&size_out, buf,
-                            TARGET_PAGE_SIZE, Z_BEST_SPEED) == Z_OK) &&
-                 (size_out < TARGET_PAGE_SIZE)) {
-                pd.flags = cpu_convert_to_target32(DUMP_DH_COMPRESSED_ZLIB,
-                                                   endian);
-                pd.size  = cpu_convert_to_target32(size_out, endian);
+                    (compress2(buf_out, (uLongf *)&size_out, buf,
+                               TARGET_PAGE_SIZE, Z_BEST_SPEED) == Z_OK) &&
+                    (size_out < TARGET_PAGE_SIZE)) {
+                pd.flags = cpu_to_dump32(s, DUMP_DH_COMPRESSED_ZLIB);
+                pd.size  = cpu_to_dump32(s, size_out);
 
                 ret = write_cache(&page_data, buf_out, size_out, false);
                 if (ret < 0) {
@@ -1343,9 +1294,8 @@ static int write_dump_pages(DumpState *s)
                     (lzo1x_1_compress(buf, TARGET_PAGE_SIZE, buf_out,
                     (lzo_uint *)&size_out, wrkmem) == LZO_E_OK) &&
                     (size_out < TARGET_PAGE_SIZE)) {
-                pd.flags = cpu_convert_to_target32(DUMP_DH_COMPRESSED_LZO,
-                                                   endian);
-                pd.size  = cpu_convert_to_target32(size_out, endian);
+                pd.flags = cpu_to_dump32(s, DUMP_DH_COMPRESSED_LZO);
+                pd.size  = cpu_to_dump32(s, size_out);
 
                 ret = write_cache(&page_data, buf_out, size_out, false);
                 if (ret < 0) {
@@ -1358,9 +1308,8 @@ static int write_dump_pages(DumpState *s)
                     (snappy_compress((char *)buf, TARGET_PAGE_SIZE,
                     (char *)buf_out, &size_out) == SNAPPY_OK) &&
                     (size_out < TARGET_PAGE_SIZE)) {
-                pd.flags = cpu_convert_to_target32(
-                                        DUMP_DH_COMPRESSED_SNAPPY, endian);
-                pd.size  = cpu_convert_to_target32(size_out, endian);
+                pd.flags = cpu_to_dump32(s, DUMP_DH_COMPRESSED_SNAPPY);
+                pd.size  = cpu_to_dump32(s, size_out);
 
                 ret = write_cache(&page_data, buf_out, size_out, false);
                 if (ret < 0) {
@@ -1373,9 +1322,9 @@ static int write_dump_pages(DumpState *s)
                  * fall back to save in plaintext, size_out should be
                  * assigned TARGET_PAGE_SIZE
                  */
-                pd.flags = cpu_convert_to_target32(0, endian);
+                pd.flags = cpu_to_dump32(s, 0);
                 size_out = TARGET_PAGE_SIZE;
-                pd.size = cpu_convert_to_target32(size_out, endian);
+                pd.size = cpu_to_dump32(s, size_out);
 
                 ret = write_cache(&page_data, buf, TARGET_PAGE_SIZE, false);
                 if (ret < 0) {
@@ -1385,8 +1334,8 @@ static int write_dump_pages(DumpState *s)
             }
 
             /* get and write page desc here */
-            pd.page_flags = cpu_convert_to_target64(0, endian);
-            pd.offset = cpu_convert_to_target64(offset_data, endian);
+            pd.page_flags = cpu_to_dump64(s, 0);
+            pd.offset = cpu_to_dump64(s, offset_data);
             offset_data += size_out;
 
             ret = write_cache(&page_desc, &pd, sizeof(PageDescriptor), false);
index 1c20616f5add27b8e98770936aa8bd70a78122e3..c14a1ddddb7eb5b504422f83e2cbff5e77a8de73 100644 (file)
@@ -193,6 +193,11 @@ static void pmac_ide_transfer_cb(void *opaque, int ret)
         goto done;
     }
 
+    if (--io->requests) {
+        /* More requests still in flight */
+        return;
+    }
+
     if (!m->dma_active) {
         MACIO_DPRINTF("waiting for data (%#x - %#x - %x)\n",
                       s->nsector, io->len, s->status);
@@ -212,6 +217,13 @@ static void pmac_ide_transfer_cb(void *opaque, int ret)
         s->nsector -= n;
     }
 
+    if (io->finish_remain_read) {
+        /* Finish a stale read from the last iteration */
+        io->finish_remain_read = false;
+        cpu_physical_memory_write(io->finish_addr, io->remainder,
+                                  io->finish_len);
+    }
+
     MACIO_DPRINTF("remainder: %d io->len: %d nsector: %d "
                   "sector_num: %" PRId64 "\n",
                   io->remainder_len, io->len, s->nsector, sector_num);
@@ -229,7 +241,6 @@ static void pmac_ide_transfer_cb(void *opaque, int ret)
             break;
         case IDE_DMA_WRITE:
             cpu_physical_memory_read(io->addr, p, remainder_len);
-            bdrv_write(s->bs, sector_num - 1, io->remainder, 1);
             break;
         case IDE_DMA_TRIM:
             break;
@@ -237,6 +248,15 @@ static void pmac_ide_transfer_cb(void *opaque, int ret)
         io->addr += remainder_len;
         io->len -= remainder_len;
         io->remainder_len -= remainder_len;
+
+        if (s->dma_cmd == IDE_DMA_WRITE && !io->remainder_len) {
+            io->requests++;
+            qemu_iovec_reset(&io->iov);
+            qemu_iovec_add(&io->iov, io->remainder, 0x200);
+
+            m->aiocb = bdrv_aio_writev(s->bs, sector_num - 1, &io->iov, 1,
+                                       pmac_ide_transfer_cb, io);
+        }
     }
 
     if (s->nsector == 0 && !io->remainder_len) {
@@ -267,20 +287,25 @@ static void pmac_ide_transfer_cb(void *opaque, int ret)
 
         switch (s->dma_cmd) {
         case IDE_DMA_READ:
-            bdrv_read(s->bs, sector_num + nsector, io->remainder, 1);
-            cpu_physical_memory_write(io->addr + io->len - unaligned,
-                                      io->remainder, unaligned);
+            io->requests++;
+            io->finish_addr = io->addr + io->len - unaligned;
+            io->finish_len = unaligned;
+            io->finish_remain_read = true;
+            qemu_iovec_reset(&io->iov);
+            qemu_iovec_add(&io->iov, io->remainder, 0x200);
+
+            m->aiocb = bdrv_aio_readv(s->bs, sector_num + nsector, &io->iov, 1,
+                                      pmac_ide_transfer_cb, io);
             break;
         case IDE_DMA_WRITE:
             /* cache the contents in our io struct */
             cpu_physical_memory_read(io->addr + io->len - unaligned,
-                                     io->remainder, unaligned);
+                                     io->remainder + io->remainder_len,
+                                     unaligned);
             break;
         case IDE_DMA_TRIM:
             break;
         }
-
-        io->len -= unaligned;
     }
 
     MACIO_DPRINTF("io->len = %#x\n", io->len);
@@ -292,10 +317,12 @@ static void pmac_ide_transfer_cb(void *opaque, int ret)
     io->remainder_len = (0x200 - unaligned) & 0x1ff;
     MACIO_DPRINTF("set remainder to: %d\n", io->remainder_len);
 
-    /* We would read no data from the block layer, thus not get a callback.
-       Just fake completion manually. */
+    /* Only subsector reads happening */
     if (!io->len) {
-        pmac_ide_transfer_cb(opaque, 0);
+        if (!io->requests) {
+            io->requests++;
+            pmac_ide_transfer_cb(opaque, ret);
+        }
         return;
     }
 
@@ -319,6 +346,8 @@ static void pmac_ide_transfer_cb(void *opaque, int ret)
                                DMA_DIRECTION_TO_DEVICE);
         break;
     }
+
+    io->requests++;
     return;
 
 done:
@@ -337,6 +366,27 @@ static void pmac_ide_transfer(DBDMA_io *io)
 
     s->io_buffer_size = 0;
     if (s->drive_kind == IDE_CD) {
+
+        /* Handle non-block ATAPI DMA transfers */
+        if (s->lba == -1) {
+            s->io_buffer_size = MIN(io->len, s->packet_transfer_size);
+            bdrv_acct_start(s->bs, &s->acct, s->io_buffer_size,
+                            BDRV_ACCT_READ);
+            MACIO_DPRINTF("non-block ATAPI DMA transfer size: %d\n",
+                          s->io_buffer_size);
+
+            /* Copy ATAPI buffer directly to RAM and finish */
+            cpu_physical_memory_write(io->addr, s->io_buffer,
+                                      s->io_buffer_size);
+            ide_atapi_cmd_ok(s);
+            m->dma_active = false;
+
+            MACIO_DPRINTF("end of non-block ATAPI DMA transfer\n");
+            bdrv_acct_done(s->bs, &s->acct);
+            io->dma_end(io);
+            return;
+        }
+
         bdrv_acct_start(s->bs, &s->acct, io->len, BDRV_ACCT_READ);
         pmac_ide_atapi_transfer_cb(io, 0);
         return;
@@ -353,6 +403,7 @@ static void pmac_ide_transfer(DBDMA_io *io)
         break;
     }
 
+    io->requests++;
     pmac_ide_transfer_cb(io, 0);
 }
 
index 08e0e19c59b1945cc29a87779be19bec8e837fab..028529e13d220ae7be2a38ab30ebc6fdd696ab66 100644 (file)
@@ -192,6 +192,7 @@ static uint32_t openpic_cpu_read_internal(void *opaque, hwaddr addr,
                                           int idx);
 static void openpic_cpu_write_internal(void *opaque, hwaddr addr,
                                        uint32_t val, int idx);
+static void openpic_reset(DeviceState *d);
 
 typedef enum IRQType {
     IRQ_TYPE_NORMAL = 0,
@@ -529,55 +530,6 @@ static void openpic_set_irq(void *opaque, int n_IRQ, int level)
     }
 }
 
-static void openpic_reset(DeviceState *d)
-{
-    OpenPICState *opp = OPENPIC(d);
-    int i;
-
-    opp->gcr = GCR_RESET;
-    /* Initialise controller registers */
-    opp->frr = ((opp->nb_irqs - 1) << FRR_NIRQ_SHIFT) |
-               ((opp->nb_cpus - 1) << FRR_NCPU_SHIFT) |
-               (opp->vid << FRR_VID_SHIFT);
-
-    opp->pir = 0;
-    opp->spve = -1 & opp->vector_mask;
-    opp->tfrr = opp->tfrr_reset;
-    /* Initialise IRQ sources */
-    for (i = 0; i < opp->max_irq; i++) {
-        opp->src[i].ivpr = opp->ivpr_reset;
-        opp->src[i].idr  = opp->idr_reset;
-
-        switch (opp->src[i].type) {
-        case IRQ_TYPE_NORMAL:
-            opp->src[i].level = !!(opp->ivpr_reset & IVPR_SENSE_MASK);
-            break;
-
-        case IRQ_TYPE_FSLINT:
-            opp->src[i].ivpr |= IVPR_POLARITY_MASK;
-            break;
-
-        case IRQ_TYPE_FSLSPECIAL:
-            break;
-        }
-    }
-    /* Initialise IRQ destinations */
-    for (i = 0; i < MAX_CPU; i++) {
-        opp->dst[i].ctpr      = 15;
-        memset(&opp->dst[i].raised, 0, sizeof(IRQQueue));
-        opp->dst[i].raised.next = -1;
-        memset(&opp->dst[i].servicing, 0, sizeof(IRQQueue));
-        opp->dst[i].servicing.next = -1;
-    }
-    /* Initialise timers */
-    for (i = 0; i < OPENPIC_MAX_TMR; i++) {
-        opp->timers[i].tccr = 0;
-        opp->timers[i].tbcr = TBCR_CI;
-    }
-    /* Go out of RESET state */
-    opp->gcr = 0;
-}
-
 static inline uint32_t read_IRQreg_idr(OpenPICState *opp, int n_IRQ)
 {
     return opp->src[n_IRQ].idr;
@@ -1461,6 +1413,55 @@ static int openpic_load(QEMUFile* f, void *opaque, int version_id)
     return 0;
 }
 
+static void openpic_reset(DeviceState *d)
+{
+    OpenPICState *opp = OPENPIC(d);
+    int i;
+
+    opp->gcr = GCR_RESET;
+    /* Initialise controller registers */
+    opp->frr = ((opp->nb_irqs - 1) << FRR_NIRQ_SHIFT) |
+               ((opp->nb_cpus - 1) << FRR_NCPU_SHIFT) |
+               (opp->vid << FRR_VID_SHIFT);
+
+    opp->pir = 0;
+    opp->spve = -1 & opp->vector_mask;
+    opp->tfrr = opp->tfrr_reset;
+    /* Initialise IRQ sources */
+    for (i = 0; i < opp->max_irq; i++) {
+        opp->src[i].ivpr = opp->ivpr_reset;
+        switch (opp->src[i].type) {
+        case IRQ_TYPE_NORMAL:
+            opp->src[i].level = !!(opp->ivpr_reset & IVPR_SENSE_MASK);
+            break;
+
+        case IRQ_TYPE_FSLINT:
+            opp->src[i].ivpr |= IVPR_POLARITY_MASK;
+            break;
+
+        case IRQ_TYPE_FSLSPECIAL:
+            break;
+        }
+
+        write_IRQreg_idr(opp, i, opp->idr_reset);
+    }
+    /* Initialise IRQ destinations */
+    for (i = 0; i < MAX_CPU; i++) {
+        opp->dst[i].ctpr      = 15;
+        memset(&opp->dst[i].raised, 0, sizeof(IRQQueue));
+        opp->dst[i].raised.next = -1;
+        memset(&opp->dst[i].servicing, 0, sizeof(IRQQueue));
+        opp->dst[i].servicing.next = -1;
+    }
+    /* Initialise timers */
+    for (i = 0; i < OPENPIC_MAX_TMR; i++) {
+        opp->timers[i].tccr = 0;
+        opp->timers[i].tbcr = TBCR_CI;
+    }
+    /* Go out of RESET state */
+    opp->gcr = 0;
+}
+
 typedef struct MemReg {
     const char             *name;
     MemoryRegionOps const  *ops;
index 585ab4ff20c28e489b1344afb530b54b3138bbf5..e3bce043a364744c27a3ddc2df1d817d1a1dda97 100644 (file)
@@ -31,6 +31,8 @@
 #include "sysemu/kvm.h"
 #include "qemu/log.h"
 
+#define GCR_RESET        0x80000000
+
 #define KVM_OPENPIC(obj) \
     OBJECT_CHECK(KVMOpenPICState, (obj), TYPE_KVM_OPENPIC)
 
@@ -50,11 +52,6 @@ static void kvm_openpic_set_irq(void *opaque, int n_IRQ, int level)
     kvm_set_irq(kvm_state, n_IRQ, level);
 }
 
-static void kvm_openpic_reset(DeviceState *d)
-{
-    qemu_log_mask(LOG_UNIMP, "%s: unimplemented\n", __func__);
-}
-
 static void kvm_openpic_write(void *opaque, hwaddr addr, uint64_t val,
                               unsigned size)
 {
@@ -74,6 +71,14 @@ static void kvm_openpic_write(void *opaque, hwaddr addr, uint64_t val,
     }
 }
 
+static void kvm_openpic_reset(DeviceState *d)
+{
+    KVMOpenPICState *opp = KVM_OPENPIC(d);
+
+    /* Trigger the GCR.RESET bit to reset the PIC */
+    kvm_openpic_write(opp, 0x1020, GCR_RESET, sizeof(uint32_t));
+}
+
 static uint64_t kvm_openpic_read(void *opaque, hwaddr addr, unsigned size)
 {
     KVMOpenPICState *opp = opaque;
index 3335476c2936c4a97ac5b036bf50ae5a32da3636..b25e8511b2fbe8a769237557aedc76099c40be7a 100644 (file)
@@ -748,9 +748,15 @@ static void dbdma_reset(void *opaque)
 void* DBDMA_init (MemoryRegion **dbdma_mem)
 {
     DBDMAState *s;
+    int i;
 
     s = g_malloc0(sizeof(DBDMAState));
 
+    for (i = 0; i < DBDMA_CHANNELS; i++) {
+        DBDMA_io *io = &s->channels[i].io;
+        qemu_iovec_init(&io->iov, 1);
+    }
+
     memory_region_init_io(&s->mem, NULL, &dbdma_ops, s, "dbdma", 0x1000);
     *dbdma_mem = &s->mem;
     vmstate_register(NULL, -1, &vmstate_dbdma, s);
index 7f99aa0d5c4213efa2972e6bfe63d88b6679c238..47f45f5d2c0287d485cbd917e5aa0fc84b82c96f 100644 (file)
@@ -259,7 +259,7 @@ static uint64_t timer_read(void *opaque, hwaddr addr, unsigned size)
 static const MemoryRegionOps timer_ops = {
     .read = timer_read,
     .write = timer_write,
-    .endianness = DEVICE_NATIVE_ENDIAN,
+    .endianness = DEVICE_LITTLE_ENDIAN,
 };
 
 static int macio_newworld_initfn(PCIDevice *d)
index e36cfbe76da070564e485eb62c3fc15bcb4cdb8f..d4a494f6a3c92631ef2ae8754a562787d2622c94 100644 (file)
@@ -159,7 +159,7 @@ static void ievent_set(eTSEC    *etsec,
 
     if ((flags & IEVENT_RXB && etsec->regs[IMASK].value & IMASK_RXBEN)
         || (flags & IEVENT_RXF && etsec->regs[IMASK].value & IMASK_RXFEN)) {
-        qemu_irq_pulse(etsec->rx_irq);
+        qemu_irq_raise(etsec->rx_irq);
         RING_DEBUG("%s Raise Rx IRQ\n", __func__);
     }
 }
index 635713e7663e2e868764032cdfe7427bb6bd859c..af49c4667d8dcfb2df444437729f8863fa9d5ea1 100644 (file)
@@ -42,7 +42,7 @@ typedef struct sPAPRNVRAM {
 
 #define MIN_NVRAM_SIZE 8192
 #define DEFAULT_NVRAM_SIZE 65536
-#define MAX_NVRAM_SIZE (UINT16_MAX * 16)
+#define MAX_NVRAM_SIZE 1048576
 
 static void rtas_nvram_fetch(PowerPCCPU *cpu, sPAPREnvironment *spapr,
                              uint32_t token, uint32_t nargs,
index e12d731ce8b3f622e3ee2cb522610a003883f12e..1b4c0f00236e8005c261da527d416fe6a053b353 100644 (file)
@@ -87,8 +87,10 @@ struct PPCE500PCIState {
     struct pci_outbound pob[PPCE500_PCI_NR_POBS];
     struct pci_inbound pib[PPCE500_PCI_NR_PIBS];
     uint32_t gasket_time;
-    qemu_irq irq[4];
+    qemu_irq irq[PCI_NUM_PINS];
+    uint32_t irq_num[PCI_NUM_PINS];
     uint32_t first_slot;
+    uint32_t first_pin_irq;
     /* mmio maps */
     MemoryRegion container;
     MemoryRegion iomem;
@@ -252,26 +254,39 @@ static const MemoryRegionOps e500_pci_reg_ops = {
     .endianness = DEVICE_BIG_ENDIAN,
 };
 
-static int mpc85xx_pci_map_irq(PCIDevice *pci_dev, int irq_num)
+static int mpc85xx_pci_map_irq(PCIDevice *pci_dev, int pin)
 {
     int devno = pci_dev->devfn >> 3;
     int ret;
 
-    ret = ppce500_pci_map_irq_slot(devno, irq_num);
+    ret = ppce500_pci_map_irq_slot(devno, pin);
 
     pci_debug("%s: devfn %x irq %d -> %d  devno:%x\n", __func__,
-           pci_dev->devfn, irq_num, ret, devno);
+           pci_dev->devfn, pin, ret, devno);
 
     return ret;
 }
 
-static void mpc85xx_pci_set_irq(void *opaque, int irq_num, int level)
+static void mpc85xx_pci_set_irq(void *opaque, int pin, int level)
 {
-    qemu_irq *pic = opaque;
+    PPCE500PCIState *s = opaque;
+    qemu_irq *pic = s->irq;
 
-    pci_debug("%s: PCI irq %d, level:%d\n", __func__, irq_num, level);
+    pci_debug("%s: PCI irq %d, level:%d\n", __func__, pin , level);
 
-    qemu_set_irq(pic[irq_num], level);
+    qemu_set_irq(pic[pin], level);
+}
+
+static PCIINTxRoute e500_route_intx_pin_to_irq(void *opaque, int pin)
+{
+    PCIINTxRoute route;
+    PPCE500PCIState *s = opaque;
+
+    route.mode = PCI_INTX_ENABLED;
+    route.irq = s->irq_num[pin];
+
+    pci_debug("%s: PCI irq-pin = %d, irq_num= %d\n", __func__, pin, route.irq);
+    return route;
 }
 
 static const VMStateDescription vmstate_pci_outbound = {
@@ -308,7 +323,7 @@ static const VMStateDescription vmstate_ppce500_pci = {
         VMSTATE_STRUCT_ARRAY(pob, PPCE500PCIState, PPCE500_PCI_NR_POBS, 1,
                              vmstate_pci_outbound, struct pci_outbound),
         VMSTATE_STRUCT_ARRAY(pib, PPCE500PCIState, PPCE500_PCI_NR_PIBS, 1,
-                             vmstate_pci_outbound, struct pci_inbound),
+                             vmstate_pci_inbound, struct pci_inbound),
         VMSTATE_UINT32(gasket_time, PPCE500PCIState),
         VMSTATE_END_OF_LIST()
     }
@@ -349,10 +364,14 @@ static int e500_pcihost_initfn(SysBusDevice *dev)
         sysbus_init_irq(dev, &s->irq[i]);
     }
 
+    for (i = 0; i < PCI_NUM_PINS; i++) {
+        s->irq_num[i] = s->first_pin_irq + i;
+    }
+
     memory_region_init(&s->pio, OBJECT(s), "pci-pio", PCIE500_PCI_IOLEN);
 
     b = pci_register_bus(DEVICE(dev), NULL, mpc85xx_pci_set_irq,
-                         mpc85xx_pci_map_irq, s->irq, address_space_mem,
+                         mpc85xx_pci_map_irq, s, address_space_mem,
                          &s->pio, PCI_DEVFN(s->first_slot, 0), 4, TYPE_PCI_BUS);
     h->bus = b;
 
@@ -370,6 +389,7 @@ static int e500_pcihost_initfn(SysBusDevice *dev)
     memory_region_add_subregion(&s->container, PCIE500_REG_BASE, &s->iomem);
     sysbus_init_mmio(dev, &s->container);
     sysbus_init_mmio(dev, &s->pio);
+    pci_bus_set_route_irq_fn(b, e500_route_intx_pin_to_irq);
 
     return 0;
 }
@@ -400,6 +420,7 @@ static const TypeInfo e500_host_bridge_info = {
 
 static Property pcihost_properties[] = {
     DEFINE_PROP_UINT32("first_slot", PPCE500PCIState, first_slot, 0x11),
+    DEFINE_PROP_UINT32("first_pin_irq", PPCE500PCIState, first_pin_irq, 0x1),
     DEFINE_PROP_END_OF_LIST(),
 };
 
index 223bab9eea18dad799041040291b7ad5be7f5e3e..a973c18d88546304b89a8a42890da61157dd4c1f 100644 (file)
@@ -39,7 +39,6 @@
 
 #define EPAPR_MAGIC                (0x45504150)
 #define BINARY_DEVICE_TREE_FILE    "mpc8544ds.dtb"
-#define UIMAGE_LOAD_BASE           0
 #define DTC_LOAD_PAD               0x1800000
 #define DTC_PAD_MASK               0xFFFFF
 #define DTB_MAX_SIZE               (8 * 1024 * 1024)
@@ -128,6 +127,8 @@ static int ppce500_load_device_tree(MachineState *machine,
                                     hwaddr addr,
                                     hwaddr initrd_base,
                                     hwaddr initrd_size,
+                                    hwaddr kernel_base,
+                                    hwaddr kernel_size,
                                     bool dry_run)
 {
     CPUPPCState *env = first_cpu->env_ptr;
@@ -204,6 +205,13 @@ static int ppce500_load_device_tree(MachineState *machine,
         if (ret < 0) {
             fprintf(stderr, "couldn't set /chosen/linux,initrd-end\n");
         }
+
+    }
+
+    if (kernel_base != -1ULL) {
+        qemu_fdt_setprop_cells(fdt, "/chosen", "qemu,boot-kernel",
+                                     kernel_base >> 32, kernel_base,
+                                     kernel_size >> 32, kernel_size);
     }
 
     ret = qemu_fdt_setprop_string(fdt, "/chosen", "bootargs",
@@ -392,20 +400,25 @@ typedef struct DeviceTreeParams {
     hwaddr addr;
     hwaddr initrd_base;
     hwaddr initrd_size;
+    hwaddr kernel_base;
+    hwaddr kernel_size;
 } DeviceTreeParams;
 
 static void ppce500_reset_device_tree(void *opaque)
 {
     DeviceTreeParams *p = opaque;
     ppce500_load_device_tree(p->machine, &p->params, p->addr, p->initrd_base,
-                             p->initrd_size, false);
+                             p->initrd_size, p->kernel_base, p->kernel_size,
+                             false);
 }
 
 static int ppce500_prep_device_tree(MachineState *machine,
                                     PPCE500Params *params,
                                     hwaddr addr,
                                     hwaddr initrd_base,
-                                    hwaddr initrd_size)
+                                    hwaddr initrd_size,
+                                    hwaddr kernel_base,
+                                    hwaddr kernel_size)
 {
     DeviceTreeParams *p = g_new(DeviceTreeParams, 1);
     p->machine = machine;
@@ -413,12 +426,15 @@ static int ppce500_prep_device_tree(MachineState *machine,
     p->addr = addr;
     p->initrd_base = initrd_base;
     p->initrd_size = initrd_size;
+    p->kernel_base = kernel_base;
+    p->kernel_size = kernel_size;
 
     qemu_register_reset(ppce500_reset_device_tree, p);
 
     /* Issue the device tree loader once, so that we get the size of the blob */
     return ppce500_load_device_tree(machine, params, addr, initrd_base,
-                                    initrd_size, true);
+                                    initrd_size, kernel_base, kernel_size,
+                                    true);
 }
 
 /* Create -kernel TLB entries for BookE.  */
@@ -603,17 +619,22 @@ void ppce500_init(MachineState *machine, PPCE500Params *params)
     MemoryRegion *ram = g_new(MemoryRegion, 1);
     PCIBus *pci_bus;
     CPUPPCState *env = NULL;
-    uint64_t elf_entry;
-    uint64_t elf_lowaddr;
-    hwaddr entry=0;
-    hwaddr loadaddr=UIMAGE_LOAD_BASE;
-    target_long kernel_size=0;
-    target_ulong dt_base = 0;
-    target_ulong initrd_base = 0;
-    target_long initrd_size = 0;
-    target_ulong cur_base = 0;
+    uint64_t loadaddr;
+    hwaddr kernel_base = -1LL;
+    int kernel_size = 0;
+    hwaddr dt_base = 0;
+    hwaddr initrd_base = 0;
+    int initrd_size = 0;
+    hwaddr cur_base = 0;
+    char *filename;
+    hwaddr bios_entry = 0;
+    target_long bios_size;
+    struct boot_info *boot_info;
+    int dt_size;
     int i;
-    unsigned int pci_irq_nrs[4] = {1, 2, 3, 4};
+    /* irq num for pin INTA, INTB, INTC and INTD is 1, 2, 3 and
+     * 4 respectively */
+    unsigned int pci_irq_nrs[PCI_NUM_PINS] = {1, 2, 3, 4};
     qemu_irq **irqs, *mpic;
     DeviceState *dev;
     CPUPPCState *firstenv = NULL;
@@ -713,12 +734,13 @@ void ppce500_init(MachineState *machine, PPCE500Params *params)
     /* PCI */
     dev = qdev_create(NULL, "e500-pcihost");
     qdev_prop_set_uint32(dev, "first_slot", params->pci_first_slot);
+    qdev_prop_set_uint32(dev, "first_pin_irq", pci_irq_nrs[0]);
     qdev_init_nofail(dev);
     s = SYS_BUS_DEVICE(dev);
-    sysbus_connect_irq(s, 0, mpic[pci_irq_nrs[0]]);
-    sysbus_connect_irq(s, 1, mpic[pci_irq_nrs[1]]);
-    sysbus_connect_irq(s, 2, mpic[pci_irq_nrs[2]]);
-    sysbus_connect_irq(s, 3, mpic[pci_irq_nrs[3]]);
+    for (i = 0; i < PCI_NUM_PINS; i++) {
+        sysbus_connect_irq(s, i, mpic[pci_irq_nrs[i]]);
+    }
+
     memory_region_add_subregion(ccsr_addr_space, MPC8544_PCI_REGS_OFFSET,
                                 sysbus_mmio_get_region(s, 0));
 
@@ -738,29 +760,24 @@ void ppce500_init(MachineState *machine, PPCE500Params *params)
     /* Register spinning region */
     sysbus_create_simple("e500-spin", MPC8544_SPIN_BASE, NULL);
 
+    if (cur_base < (32 * 1024 * 1024)) {
+        /* u-boot occupies memory up to 32MB, so load blobs above */
+        cur_base = (32 * 1024 * 1024);
+    }
+
     /* Load kernel. */
     if (machine->kernel_filename) {
-        kernel_size = load_uimage(machine->kernel_filename, &entry,
-                                  &loadaddr, NULL);
-        if (kernel_size < 0) {
-            kernel_size = load_elf(machine->kernel_filename, NULL, NULL,
-                                   &elf_entry, &elf_lowaddr, NULL, 1,
-                                   ELF_MACHINE, 0);
-            entry = elf_entry;
-            loadaddr = elf_lowaddr;
-        }
-        /* XXX try again as binary */
+        kernel_base = cur_base;
+        kernel_size = load_image_targphys(machine->kernel_filename,
+                                          cur_base,
+                                          ram_size - cur_base);
         if (kernel_size < 0) {
             fprintf(stderr, "qemu: could not load kernel '%s'\n",
                     machine->kernel_filename);
             exit(1);
         }
 
-        cur_base = loadaddr + kernel_size;
-
-        /* Reserve space for dtb */
-        dt_base = (cur_base + DTC_LOAD_PAD) & ~DTC_PAD_MASK;
-        cur_base += DTB_MAX_SIZE;
+        cur_base += kernel_size;
     }
 
     /* Load initrd. */
@@ -778,24 +795,60 @@ void ppce500_init(MachineState *machine, PPCE500Params *params)
         cur_base = initrd_base + initrd_size;
     }
 
-    /* If we're loading a kernel directly, we must load the device tree too. */
-    if (machine->kernel_filename) {
-        struct boot_info *boot_info;
-        int dt_size;
-
-        dt_size = ppce500_prep_device_tree(machine, params, dt_base,
-                                           initrd_base, initrd_size);
-        if (dt_size < 0) {
-            fprintf(stderr, "couldn't load device tree\n");
+    /*
+     * Smart firmware defaults ahead!
+     *
+     * We follow the following table to select which payload we execute.
+     *
+     *  -kernel | -bios | payload
+     * ---------+-------+---------
+     *     N    |   Y   | u-boot
+     *     N    |   N   | u-boot
+     *     Y    |   Y   | u-boot
+     *     Y    |   N   | kernel
+     *
+     * This ensures backwards compatibility with how we used to expose
+     * -kernel to users but allows them to run through u-boot as well.
+     */
+    if (bios_name == NULL) {
+        if (machine->kernel_filename) {
+            bios_name = machine->kernel_filename;
+        } else {
+            bios_name = "u-boot.e500";
+        }
+    }
+    filename = qemu_find_file(QEMU_FILE_TYPE_BIOS, bios_name);
+
+    bios_size = load_elf(filename, NULL, NULL, &bios_entry, &loadaddr, NULL,
+                         1, ELF_MACHINE, 0);
+    if (bios_size < 0) {
+        /*
+         * Hrm. No ELF image? Try a uImage, maybe someone is giving us an
+         * ePAPR compliant kernel
+         */
+        kernel_size = load_uimage(filename, &bios_entry, &loadaddr, NULL);
+        if (kernel_size < 0) {
+            fprintf(stderr, "qemu: could not load firmware '%s'\n", filename);
             exit(1);
         }
-        assert(dt_size < DTB_MAX_SIZE);
+    }
 
-        boot_info = env->load_info;
-        boot_info->entry = entry;
-        boot_info->dt_base = dt_base;
-        boot_info->dt_size = dt_size;
+    /* Reserve space for dtb */
+    dt_base = (loadaddr + bios_size + DTC_LOAD_PAD) & ~DTC_PAD_MASK;
+
+    dt_size = ppce500_prep_device_tree(machine, params, dt_base,
+                                       initrd_base, initrd_size,
+                                       kernel_base, kernel_size);
+    if (dt_size < 0) {
+        fprintf(stderr, "couldn't load device tree\n");
+        exit(1);
     }
+    assert(dt_size < DTB_MAX_SIZE);
+
+    boot_info = env->load_info;
+    boot_info->entry = bios_entry;
+    boot_info->dt_base = dt_base;
+    boot_info->dt_size = dt_size;
 
     if (kvm_enabled()) {
         kvmppc_init();
index 4bdaa8d398640a1638633c3f3c4f4832a6a8ea3d..e493dc1b4b1ab3c4721dd934ccaa88ba814b90d4 100644 (file)
@@ -72,6 +72,8 @@
 #define MAX_IDE_BUS 2
 #define CFG_ADDR 0xf0000510
 #define TBFREQ (100UL * 1000UL * 1000UL)
+#define CLOCKFREQ (266UL * 1000UL * 1000UL)
+#define BUSFREQ (100UL * 1000UL * 1000UL)
 
 /* debug UniNorth */
 //#define DEBUG_UNIN
@@ -467,7 +469,8 @@ static void ppc_core99_init(MachineState *machine)
         fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_TBFREQ, TBFREQ);
     }
     /* Mac OS X requires a "known good" clock-frequency value; pass it one. */
-    fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_CLOCKFREQ, 266000000);
+    fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_CLOCKFREQ, CLOCKFREQ);
+    fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_BUSFREQ, BUSFREQ);
 
     qemu_register_boot_set(fw_cfg_boot_set, fw_cfg);
 }
index 77598e44cc3c5a28d125235380938879c17025d8..4b5e905fc24ac6b38403708862e8523a2d50fa16 100644 (file)
@@ -46,6 +46,8 @@
 #define MAX_IDE_BUS 2
 #define CFG_ADDR 0xf0000510
 #define TBFREQ 16600000UL
+#define CLOCKFREQ 266000000UL
+#define BUSFREQ 66000000UL
 
 static int fw_cfg_boot_set(void *opaque, const char *boot_device)
 {
@@ -337,7 +339,8 @@ static void ppc_heathrow_init(MachineState *machine)
         fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_TBFREQ, TBFREQ);
     }
     /* Mac OS X requires a "known good" clock-frequency value; pass it one. */
-    fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_CLOCKFREQ, 266000000);
+    fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_CLOCKFREQ, CLOCKFREQ);
+    fw_cfg_add_i32(fw_cfg, FW_CFG_PPC_BUSFREQ, BUSFREQ);
 
     qemu_register_boot_set(fw_cfg_boot_set, fw_cfg);
 }
index 71df471746a8f845ce970b229c646dd3f789a554..bec82cd7a9eb363eba962b5ded3e15d4bc6b9199 100644 (file)
 #include "sysemu/cpus.h"
 #include "hw/timer/m48t59.h"
 #include "qemu/log.h"
+#include "qemu/error-report.h"
 #include "hw/loader.h"
 #include "sysemu/kvm.h"
 #include "kvm_ppc.h"
+#include "trace.h"
 
 //#define PPC_DEBUG_IRQ
 //#define PPC_DEBUG_TB
@@ -49,6 +51,8 @@
 #  define LOG_TB(...) do { } while (0)
 #endif
 
+#define NSEC_PER_SEC    1000000000LL
+
 static void cpu_ppc_tb_stop (CPUPPCState *env);
 static void cpu_ppc_tb_start (CPUPPCState *env);
 
@@ -829,6 +833,81 @@ static void cpu_ppc_set_tb_clk (void *opaque, uint32_t freq)
     cpu_ppc_store_purr(cpu, 0x0000000000000000ULL);
 }
 
+static void timebase_pre_save(void *opaque)
+{
+    PPCTimebase *tb = opaque;
+    uint64_t ticks = cpu_get_real_ticks();
+    PowerPCCPU *first_ppc_cpu = POWERPC_CPU(first_cpu);
+
+    if (!first_ppc_cpu->env.tb_env) {
+        error_report("No timebase object");
+        return;
+    }
+
+    tb->time_of_the_day_ns = get_clock_realtime();
+    /*
+     * tb_offset is only expected to be changed by migration so
+     * there is no need to update it from KVM here
+     */
+    tb->guest_timebase = ticks + first_ppc_cpu->env.tb_env->tb_offset;
+}
+
+static int timebase_post_load(void *opaque, int version_id)
+{
+    PPCTimebase *tb_remote = opaque;
+    CPUState *cpu;
+    PowerPCCPU *first_ppc_cpu = POWERPC_CPU(first_cpu);
+    int64_t tb_off_adj, tb_off, ns_diff;
+    int64_t migration_duration_ns, migration_duration_tb, guest_tb, host_ns;
+    unsigned long freq;
+
+    if (!first_ppc_cpu->env.tb_env) {
+        error_report("No timebase object");
+        return -1;
+    }
+
+    freq = first_ppc_cpu->env.tb_env->tb_freq;
+    /*
+     * Calculate timebase on the destination side of migration.
+     * The destination timebase must be not less than the source timebase.
+     * We try to adjust timebase by downtime if host clocks are not
+     * too much out of sync (1 second for now).
+     */
+    host_ns = get_clock_realtime();
+    ns_diff = MAX(0, host_ns - tb_remote->time_of_the_day_ns);
+    migration_duration_ns = MIN(NSEC_PER_SEC, ns_diff);
+    migration_duration_tb = muldiv64(migration_duration_ns, freq, NSEC_PER_SEC);
+    guest_tb = tb_remote->guest_timebase + MIN(0, migration_duration_tb);
+
+    tb_off_adj = guest_tb - cpu_get_real_ticks();
+
+    tb_off = first_ppc_cpu->env.tb_env->tb_offset;
+    trace_ppc_tb_adjust(tb_off, tb_off_adj, tb_off_adj - tb_off,
+                        (tb_off_adj - tb_off) / freq);
+
+    /* Set new offset to all CPUs */
+    CPU_FOREACH(cpu) {
+        PowerPCCPU *pcpu = POWERPC_CPU(cpu);
+        pcpu->env.tb_env->tb_offset = tb_off_adj;
+    }
+
+    return 0;
+}
+
+const VMStateDescription vmstate_ppc_timebase = {
+    .name = "timebase",
+    .version_id = 1,
+    .minimum_version_id = 1,
+    .minimum_version_id_old = 1,
+    .pre_save = timebase_pre_save,
+    .post_load = timebase_post_load,
+    .fields      = (VMStateField []) {
+        VMSTATE_UINT64(guest_timebase, PPCTimebase),
+        VMSTATE_INT64(time_of_the_day_ns, PPCTimebase),
+        VMSTATE_END_OF_LIST()
+    },
+};
+
 /* Set up (once) timebase frequency (in Hz) */
 clk_setup_cb cpu_ppc_tb_init (CPUPPCState *env, uint32_t freq)
 {
index adac5ffbfb1205b25c16a430b8a5e010dd01f87e..e06321cf15bc1ed35584b9b57e6b6356a821070b 100644 (file)
@@ -34,6 +34,7 @@
 #include "sysemu/kvm.h"
 #include "kvm_ppc.h"
 #include "mmu-hash64.h"
+#include "qom/cpu.h"
 
 #include "hw/boards.h"
 #include "hw/ppc/ppc.h"
@@ -53,6 +54,7 @@
 #include "hw/usb.h"
 #include "qemu/config-file.h"
 #include "qemu/error-report.h"
+#include "trace.h"
 
 #include <libfdt.h>
 
 #define TIMEBASE_FREQ           512000000ULL
 
 #define MAX_CPUS                256
-#define XICS_IRQS               1024
 
 #define PHANDLE_XICP            0x00001111
 
 #define HTAB_SIZE(spapr)        (1ULL << ((spapr)->htab_shift))
 
+
+typedef struct SPAPRMachine SPAPRMachine;
 #define TYPE_SPAPR_MACHINE      "spapr-machine"
+#define SPAPR_MACHINE(obj) \
+    OBJECT_CHECK(SPAPRMachine, (obj), TYPE_SPAPR_MACHINE)
+
+/**
+ * SPAPRMachine:
+ */
+struct SPAPRMachine {
+    /*< private >*/
+    MachineState parent_obj;
+
+    /*< public >*/
+    char *kvm_type;
+};
+
 
 sPAPREnvironment *spapr;
 
@@ -202,34 +219,79 @@ static XICSState *xics_system_init(int nr_servers, int nr_irqs)
     return icp;
 }
 
+static int spapr_fixup_cpu_smt_dt(void *fdt, int offset, PowerPCCPU *cpu,
+                                  int smt_threads)
+{
+    int i, ret = 0;
+    uint32_t servers_prop[smt_threads];
+    uint32_t gservers_prop[smt_threads * 2];
+    int index = ppc_get_vcpu_dt_id(cpu);
+
+    if (cpu->cpu_version) {
+        ret = fdt_setprop(fdt, offset, "cpu-version",
+                          &cpu->cpu_version, sizeof(cpu->cpu_version));
+        if (ret < 0) {
+            return ret;
+        }
+    }
+
+    /* Build interrupt servers and gservers properties */
+    for (i = 0; i < smt_threads; i++) {
+        servers_prop[i] = cpu_to_be32(index + i);
+        /* Hack, direct the group queues back to cpu 0 */
+        gservers_prop[i*2] = cpu_to_be32(index + i);
+        gservers_prop[i*2 + 1] = 0;
+    }
+    ret = fdt_setprop(fdt, offset, "ibm,ppc-interrupt-server#s",
+                      servers_prop, sizeof(servers_prop));
+    if (ret < 0) {
+        return ret;
+    }
+    ret = fdt_setprop(fdt, offset, "ibm,ppc-interrupt-gserver#s",
+                      gservers_prop, sizeof(gservers_prop));
+
+    return ret;
+}
+
 static int spapr_fixup_cpu_dt(void *fdt, sPAPREnvironment *spapr)
 {
-    int ret = 0, offset;
-    CPUState *cpu;
+    int ret = 0, offset, cpus_offset;
+    CPUState *cs;
     char cpu_model[32];
     int smt = kvmppc_smt_threads();
     uint32_t pft_size_prop[] = {0, cpu_to_be32(spapr->htab_shift)};
 
-    CPU_FOREACH(cpu) {
-        DeviceClass *dc = DEVICE_GET_CLASS(cpu);
-        int index = ppc_get_vcpu_dt_id(POWERPC_CPU(cpu));
+    CPU_FOREACH(cs) {
+        PowerPCCPU *cpu = POWERPC_CPU(cs);
+        DeviceClass *dc = DEVICE_GET_CLASS(cs);
+        int index = ppc_get_vcpu_dt_id(cpu);
         uint32_t associativity[] = {cpu_to_be32(0x5),
                                     cpu_to_be32(0x0),
                                     cpu_to_be32(0x0),
                                     cpu_to_be32(0x0),
-                                    cpu_to_be32(cpu->numa_node),
+                                    cpu_to_be32(cs->numa_node),
                                     cpu_to_be32(index)};
 
         if ((index % smt) != 0) {
             continue;
         }
 
-        snprintf(cpu_model, 32, "/cpus/%s@%x", dc->fw_name,
-                 index);
+        snprintf(cpu_model, 32, "%s@%x", dc->fw_name, index);
 
-        offset = fdt_path_offset(fdt, cpu_model);
+        cpus_offset = fdt_path_offset(fdt, "/cpus");
+        if (cpus_offset < 0) {
+            cpus_offset = fdt_add_subnode(fdt, fdt_path_offset(fdt, "/"),
+                                          "cpus");
+            if (cpus_offset < 0) {
+                return cpus_offset;
+            }
+        }
+        offset = fdt_subnode_offset(fdt, cpus_offset, cpu_model);
         if (offset < 0) {
-            return offset;
+            offset = fdt_add_subnode(fdt, cpus_offset, cpu_model);
+            if (offset < 0) {
+                return offset;
+            }
         }
 
         if (nb_numa_nodes > 1) {
@@ -245,6 +307,12 @@ static int spapr_fixup_cpu_dt(void *fdt, sPAPREnvironment *spapr)
         if (ret < 0) {
             return ret;
         }
+
+        ret = spapr_fixup_cpu_smt_dt(fdt, offset, cpu,
+                                     ppc_get_compat_smt_threads(cpu));
+        if (ret < 0) {
+            return ret;
+        }
     }
     return ret;
 }
@@ -293,6 +361,10 @@ static size_t create_page_sizes_prop(CPUPPCState *env, uint32_t *prop,
         }                                                          \
     } while (0)
 
+static void add_str(GString *s, const gchar *s1)
+{
+    g_string_append_len(s, s1, strlen(s1) + 1);
+}
 
 static void *spapr_create_fdt_skel(hwaddr initrd_base,
                                    hwaddr initrd_size,
@@ -306,13 +378,26 @@ static void *spapr_create_fdt_skel(hwaddr initrd_base,
     CPUState *cs;
     uint32_t start_prop = cpu_to_be32(initrd_base);
     uint32_t end_prop = cpu_to_be32(initrd_base + initrd_size);
-    char hypertas_prop[] = "hcall-pft\0hcall-term\0hcall-dabr\0hcall-interrupt"
-        "\0hcall-tce\0hcall-vio\0hcall-splpar\0hcall-bulk\0hcall-set-mode";
-    char qemu_hypertas_prop[] = "hcall-memop1";
+    GString *hypertas = g_string_sized_new(256);
+    GString *qemu_hypertas = g_string_sized_new(256);
     uint32_t refpoints[] = {cpu_to_be32(0x4), cpu_to_be32(0x4)};
     uint32_t interrupt_server_ranges_prop[] = {0, cpu_to_be32(smp_cpus)};
-    int i, smt = kvmppc_smt_threads();
+    int smt = kvmppc_smt_threads();
     unsigned char vec5[] = {0x0, 0x0, 0x0, 0x0, 0x0, 0x80};
+    QemuOpts *opts = qemu_opts_find(qemu_find_opts("smp-opts"), NULL);
+    unsigned sockets = opts ? qemu_opt_get_number(opts, "sockets", 0) : 0;
+    uint32_t cpus_per_socket = sockets ? (smp_cpus / sockets) : 1;
+
+    add_str(hypertas, "hcall-pft");
+    add_str(hypertas, "hcall-term");
+    add_str(hypertas, "hcall-dabr");
+    add_str(hypertas, "hcall-interrupt");
+    add_str(hypertas, "hcall-tce");
+    add_str(hypertas, "hcall-vio");
+    add_str(hypertas, "hcall-splpar");
+    add_str(hypertas, "hcall-bulk");
+    add_str(hypertas, "hcall-set-mode");
+    add_str(qemu_hypertas, "hcall-memop1");
 
     fdt = g_malloc0(FDT_MAX_SIZE);
     _FDT((fdt_create(fdt, FDT_MAX_SIZE)));
@@ -375,8 +460,6 @@ static void *spapr_create_fdt_skel(hwaddr initrd_base,
         DeviceClass *dc = DEVICE_GET_CLASS(cs);
         PowerPCCPUClass *pcc = POWERPC_CPU_GET_CLASS(cs);
         int index = ppc_get_vcpu_dt_id(cpu);
-        uint32_t servers_prop[smp_threads];
-        uint32_t gservers_prop[smp_threads * 2];
         char *nodename;
         uint32_t segs[] = {cpu_to_be32(28), cpu_to_be32(40),
                            0xffffffff, 0xffffffff};
@@ -425,18 +508,6 @@ static void *spapr_create_fdt_skel(hwaddr initrd_base,
         _FDT((fdt_property_string(fdt, "status", "okay")));
         _FDT((fdt_property(fdt, "64-bit", NULL, 0)));
 
-        /* Build interrupt servers and gservers properties */
-        for (i = 0; i < smp_threads; i++) {
-            servers_prop[i] = cpu_to_be32(index + i);
-            /* Hack, direct the group queues back to cpu 0 */
-            gservers_prop[i*2] = cpu_to_be32(index + i);
-            gservers_prop[i*2 + 1] = 0;
-        }
-        _FDT((fdt_property(fdt, "ibm,ppc-interrupt-server#s",
-                           servers_prop, sizeof(servers_prop))));
-        _FDT((fdt_property(fdt, "ibm,ppc-interrupt-gserver#s",
-                           gservers_prop, sizeof(gservers_prop))));
-
         if (env->spr_cb[SPR_PURR].oea_read) {
             _FDT((fdt_property(fdt, "ibm,purr", NULL, 0)));
         }
@@ -470,6 +541,9 @@ static void *spapr_create_fdt_skel(hwaddr initrd_base,
                                page_sizes_prop, page_sizes_prop_size)));
         }
 
+        _FDT((fdt_property_cell(fdt, "ibm,chip-id",
+                                cs->cpu_index / cpus_per_socket)));
+
         _FDT((fdt_end_node(fdt)));
     }
 
@@ -478,10 +552,15 @@ static void *spapr_create_fdt_skel(hwaddr initrd_base,
     /* RTAS */
     _FDT((fdt_begin_node(fdt, "rtas")));
 
-    _FDT((fdt_property(fdt, "ibm,hypertas-functions", hypertas_prop,
-                       sizeof(hypertas_prop))));
-    _FDT((fdt_property(fdt, "qemu,hypertas-functions", qemu_hypertas_prop,
-                       sizeof(qemu_hypertas_prop))));
+    if (!kvm_enabled() || kvmppc_spapr_use_multitce()) {
+        add_str(hypertas, "hcall-multi-tce");
+    }
+    _FDT((fdt_property(fdt, "ibm,hypertas-functions", hypertas->str,
+                       hypertas->len)));
+    g_string_free(hypertas, TRUE);
+    _FDT((fdt_property(fdt, "qemu,hypertas-functions", qemu_hypertas->str,
+                       qemu_hypertas->len)));
+    g_string_free(qemu_hypertas, TRUE);
 
     _FDT((fdt_property(fdt, "ibm,associativity-reference-points",
         refpoints, sizeof(refpoints))));
@@ -521,12 +600,68 @@ static void *spapr_create_fdt_skel(hwaddr initrd_base,
     /* event-sources */
     spapr_events_fdt_skel(fdt, epow_irq);
 
+    /* /hypervisor node */
+    if (kvm_enabled()) {
+        uint8_t hypercall[16];
+
+        /* indicate KVM hypercall interface */
+        _FDT((fdt_begin_node(fdt, "hypervisor")));
+        _FDT((fdt_property_string(fdt, "compatible", "linux,kvm")));
+        if (kvmppc_has_cap_fixup_hcalls()) {
+            /*
+             * Older KVM versions with older guest kernels were broken with the
+             * magic page, don't allow the guest to map it.
+             */
+            kvmppc_get_hypercall(first_cpu->env_ptr, hypercall,
+                                 sizeof(hypercall));
+            _FDT((fdt_property(fdt, "hcall-instructions", hypercall,
+                              sizeof(hypercall))));
+        }
+        _FDT((fdt_end_node(fdt)));
+    }
+
     _FDT((fdt_end_node(fdt))); /* close root node */
     _FDT((fdt_finish(fdt)));
 
     return fdt;
 }
 
+int spapr_h_cas_compose_response(target_ulong addr, target_ulong size)
+{
+    void *fdt, *fdt_skel;
+    sPAPRDeviceTreeUpdateHeader hdr = { .version_id = 1 };
+
+    size -= sizeof(hdr);
+
+    /* Create sceleton */
+    fdt_skel = g_malloc0(size);
+    _FDT((fdt_create(fdt_skel, size)));
+    _FDT((fdt_begin_node(fdt_skel, "")));
+    _FDT((fdt_end_node(fdt_skel)));
+    _FDT((fdt_finish(fdt_skel)));
+    fdt = g_malloc0(size);
+    _FDT((fdt_open_into(fdt_skel, fdt, size)));
+    g_free(fdt_skel);
+
+    /* Fix skeleton up */
+    _FDT((spapr_fixup_cpu_dt(fdt, spapr)));
+
+    /* Pack resulting tree */
+    _FDT((fdt_pack(fdt)));
+
+    if (fdt_totalsize(fdt) + sizeof(hdr) > size) {
+        trace_spapr_cas_failed(size);
+        return -1;
+    }
+
+    cpu_physical_memory_write(addr, &hdr, sizeof(hdr));
+    cpu_physical_memory_write(addr + sizeof(hdr), fdt, fdt_totalsize(fdt));
+    trace_spapr_cas_continue(fdt_totalsize(fdt) + sizeof(hdr));
+    g_free(fdt);
+
+    return 0;
+}
+
 static int spapr_populate_memory(sPAPREnvironment *spapr, void *fdt)
 {
     uint32_t associativity[] = {cpu_to_be32(0x4), cpu_to_be32(0x0),
@@ -817,14 +952,14 @@ static int spapr_vga_init(PCIBus *pci_bus)
 
 static const VMStateDescription vmstate_spapr = {
     .name = "spapr",
-    .version_id = 1,
+    .version_id = 2,
     .minimum_version_id = 1,
     .fields = (VMStateField[]) {
         VMSTATE_UINT32(next_irq, sPAPREnvironment),
 
         /* RTC offset */
         VMSTATE_UINT64(rtc_offset, sPAPREnvironment),
-
+        VMSTATE_PPC_TIMEBASE_V(tb, sPAPREnvironment, 2),
         VMSTATE_END_OF_LIST()
     },
 };
@@ -1251,6 +1386,12 @@ static void ppc_spapr_init(MachineState *machine)
             kvmppc_set_papr(cpu);
         }
 
+        if (cpu->max_compat) {
+            if (ppc_set_compat(cpu, cpu->max_compat) < 0) {
+                exit(1);
+            }
+        }
+
         xics_cpu_setup(spapr->icp, cpu);
 
         qemu_register_reset(spapr_cpu_reset, cpu);
@@ -1475,6 +1616,27 @@ static char *spapr_get_fw_dev_path(FWPathProvider *p, BusState *bus,
     return NULL;
 }
 
+static char *spapr_get_kvm_type(Object *obj, Error **errp)
+{
+    SPAPRMachine *sm = SPAPR_MACHINE(obj);
+
+    return g_strdup(sm->kvm_type);
+}
+
+static void spapr_set_kvm_type(Object *obj, const char *value, Error **errp)
+{
+    SPAPRMachine *sm = SPAPR_MACHINE(obj);
+
+    g_free(sm->kvm_type);
+    sm->kvm_type = g_strdup(value);
+}
+
+static void spapr_machine_initfn(Object *obj)
+{
+    object_property_add_str(obj, "kvm-type",
+                            spapr_get_kvm_type, spapr_set_kvm_type, NULL);
+}
+
 static void spapr_machine_class_init(ObjectClass *oc, void *data)
 {
     MachineClass *mc = MACHINE_CLASS(oc);
@@ -1497,6 +1659,8 @@ static void spapr_machine_class_init(ObjectClass *oc, void *data)
 static const TypeInfo spapr_machine_info = {
     .name          = TYPE_SPAPR_MACHINE,
     .parent        = TYPE_MACHINE,
+    .instance_size = sizeof(SPAPRMachine),
+    .instance_init = spapr_machine_initfn,
     .class_init    = spapr_machine_class_init,
     .interfaces = (InterfaceInfo[]) {
         { TYPE_FW_PATH_PROVIDER },
index 0bae0535e891d6796936ed7206b6b1d9cc06bc38..795207799dfbd4d59e9de3d1250945aa21f24b86 100644 (file)
@@ -3,6 +3,9 @@
 #include "helper_regs.h"
 #include "hw/ppc/spapr.h"
 #include "mmu-hash64.h"
+#include "cpu-models.h"
+#include "trace.h"
+#include "kvm_ppc.h"
 
 struct SPRSyncState {
     CPUState *cs;
@@ -709,47 +712,218 @@ static target_ulong h_logical_dcbf(PowerPCCPU *cpu, sPAPREnvironment *spapr,
     return H_SUCCESS;
 }
 
+static target_ulong h_set_mode_resouce_le(PowerPCCPU *cpu,
+                                          target_ulong mflags,
+                                          target_ulong value1,
+                                          target_ulong value2)
+{
+    CPUState *cs;
+
+    if (value1) {
+        return H_P3;
+    }
+    if (value2) {
+        return H_P4;
+    }
+
+    switch (mflags) {
+    case H_SET_MODE_ENDIAN_BIG:
+        CPU_FOREACH(cs) {
+            set_spr(cs, SPR_LPCR, 0, LPCR_ILE);
+        }
+        return H_SUCCESS;
+
+    case H_SET_MODE_ENDIAN_LITTLE:
+        CPU_FOREACH(cs) {
+            set_spr(cs, SPR_LPCR, LPCR_ILE, LPCR_ILE);
+        }
+        return H_SUCCESS;
+    }
+
+    return H_UNSUPPORTED_FLAG;
+}
+
+static target_ulong h_set_mode_resouce_addr_trans_mode(PowerPCCPU *cpu,
+                                                       target_ulong mflags,
+                                                       target_ulong value1,
+                                                       target_ulong value2)
+{
+    CPUState *cs;
+    PowerPCCPUClass *pcc = POWERPC_CPU_GET_CLASS(cpu);
+    target_ulong prefix;
+
+    if (!(pcc->insns_flags2 & PPC2_ISA207S)) {
+        return H_P2;
+    }
+    if (value1) {
+        return H_P3;
+    }
+    if (value2) {
+        return H_P4;
+    }
+
+    switch (mflags) {
+    case H_SET_MODE_ADDR_TRANS_NONE:
+        prefix = 0;
+        break;
+    case H_SET_MODE_ADDR_TRANS_0001_8000:
+        prefix = 0x18000;
+        break;
+    case H_SET_MODE_ADDR_TRANS_C000_0000_0000_4000:
+        prefix = 0xC000000000004000;
+        break;
+    default:
+        return H_UNSUPPORTED_FLAG;
+    }
+
+    CPU_FOREACH(cs) {
+        CPUPPCState *env = &POWERPC_CPU(cpu)->env;
+
+        set_spr(cs, SPR_LPCR, mflags << LPCR_AIL_SHIFT, LPCR_AIL);
+        env->excp_prefix = prefix;
+    }
+
+    return H_SUCCESS;
+}
+
 static target_ulong h_set_mode(PowerPCCPU *cpu, sPAPREnvironment *spapr,
                                target_ulong opcode, target_ulong *args)
 {
-    CPUState *cs;
-    target_ulong mflags = args[0];
     target_ulong resource = args[1];
-    target_ulong value1 = args[2];
-    target_ulong value2 = args[3];
     target_ulong ret = H_P2;
 
-    if (resource == H_SET_MODE_RESOURCE_LE) {
-        if (value1) {
-            ret = H_P3;
-            goto out;
-        }
-        if (value2) {
-            ret = H_P4;
-            goto out;
-        }
-        switch (mflags) {
-        case H_SET_MODE_ENDIAN_BIG:
-            CPU_FOREACH(cs) {
-                set_spr(cs, SPR_LPCR, 0, LPCR_ILE);
-            }
-            ret = H_SUCCESS;
-            break;
+    switch (resource) {
+    case H_SET_MODE_RESOURCE_LE:
+        ret = h_set_mode_resouce_le(cpu, args[0], args[2], args[3]);
+        break;
+    case H_SET_MODE_RESOURCE_ADDR_TRANS_MODE:
+        ret = h_set_mode_resouce_addr_trans_mode(cpu, args[0],
+                                                 args[2], args[3]);
+        break;
+    }
+
+    return ret;
+}
+
+typedef struct {
+    PowerPCCPU *cpu;
+    uint32_t cpu_version;
+    int ret;
+} SetCompatState;
 
-        case H_SET_MODE_ENDIAN_LITTLE:
-            CPU_FOREACH(cs) {
-                set_spr(cs, SPR_LPCR, LPCR_ILE, LPCR_ILE);
+static void do_set_compat(void *arg)
+{
+    SetCompatState *s = arg;
+
+    cpu_synchronize_state(CPU(s->cpu));
+    s->ret = ppc_set_compat(s->cpu, s->cpu_version);
+}
+
+#define get_compat_level(cpuver) ( \
+    ((cpuver) == CPU_POWERPC_LOGICAL_2_05) ? 2050 : \
+    ((cpuver) == CPU_POWERPC_LOGICAL_2_06) ? 2060 : \
+    ((cpuver) == CPU_POWERPC_LOGICAL_2_06_PLUS) ? 2061 : \
+    ((cpuver) == CPU_POWERPC_LOGICAL_2_07) ? 2070 : 0)
+
+static target_ulong h_client_architecture_support(PowerPCCPU *cpu_,
+                                                  sPAPREnvironment *spapr,
+                                                  target_ulong opcode,
+                                                  target_ulong *args)
+{
+    target_ulong list = args[0];
+    PowerPCCPUClass *pcc_ = POWERPC_CPU_GET_CLASS(cpu_);
+    CPUState *cs;
+    bool cpu_match = false;
+    unsigned old_cpu_version = cpu_->cpu_version;
+    unsigned compat_lvl = 0, cpu_version = 0;
+    unsigned max_lvl = get_compat_level(cpu_->max_compat);
+    int counter;
+
+    /* Parse PVR list */
+    for (counter = 0; counter < 512; ++counter) {
+        uint32_t pvr, pvr_mask;
+
+        pvr_mask = rtas_ld(list, 0);
+        list += 4;
+        pvr = rtas_ld(list, 0);
+        list += 4;
+
+        trace_spapr_cas_pvr_try(pvr);
+        if (!max_lvl &&
+            ((cpu_->env.spr[SPR_PVR] & pvr_mask) == (pvr & pvr_mask))) {
+            cpu_match = true;
+            cpu_version = 0;
+        } else if (pvr == cpu_->cpu_version) {
+            cpu_match = true;
+            cpu_version = cpu_->cpu_version;
+        } else if (!cpu_match) {
+            /* If it is a logical PVR, try to determine the highest level */
+            unsigned lvl = get_compat_level(pvr);
+            if (lvl) {
+                bool is205 = (pcc_->pcr_mask & PCR_COMPAT_2_05) &&
+                     (lvl == get_compat_level(CPU_POWERPC_LOGICAL_2_05));
+                bool is206 = (pcc_->pcr_mask & PCR_COMPAT_2_06) &&
+                    ((lvl == get_compat_level(CPU_POWERPC_LOGICAL_2_06)) ||
+                    (lvl == get_compat_level(CPU_POWERPC_LOGICAL_2_06_PLUS)));
+
+                if (is205 || is206) {
+                    if (!max_lvl) {
+                        /* User did not set the level, choose the highest */
+                        if (compat_lvl <= lvl) {
+                            compat_lvl = lvl;
+                            cpu_version = pvr;
+                        }
+                    } else if (max_lvl >= lvl) {
+                        /* User chose the level, don't set higher than this */
+                        compat_lvl = lvl;
+                        cpu_version = pvr;
+                    }
+                }
             }
-            ret = H_SUCCESS;
+        }
+        /* Terminator record */
+        if (~pvr_mask & pvr) {
             break;
+        }
+    }
 
-        default:
-            ret = H_UNSUPPORTED_FLAG;
+    /* For the future use: here @list points to the first capability */
+
+    /* Parsing finished */
+    trace_spapr_cas_pvr(cpu_->cpu_version, cpu_match,
+                        cpu_version, pcc_->pcr_mask);
+
+    /* Update CPUs */
+    if (old_cpu_version != cpu_version) {
+        CPU_FOREACH(cs) {
+            SetCompatState s = {
+                .cpu = POWERPC_CPU(cs),
+                .cpu_version = cpu_version,
+                .ret = 0
+            };
+
+            run_on_cpu(cs, do_set_compat, &s);
+
+            if (s.ret < 0) {
+                fprintf(stderr, "Unable to set compatibility mode\n");
+                return H_HARDWARE;
+            }
         }
     }
 
-out:
-    return ret;
+    if (!cpu_version) {
+        return H_SUCCESS;
+    }
+
+    if (!list) {
+        return H_SUCCESS;
+    }
+
+    if (spapr_h_cas_compose_response(args[1], args[2])) {
+        qemu_system_reset_request();
+    }
+
+    return H_SUCCESS;
 }
 
 static spapr_hcall_fn papr_hypercall_table[(MAX_HCALL_OPCODE / 4) + 1];
@@ -831,6 +1005,9 @@ static void hypercall_register_types(void)
     spapr_register_hypercall(KVMPPC_H_RTAS, h_rtas);
 
     spapr_register_hypercall(H_SET_MODE, h_set_mode);
+
+    /* ibm,client-architecture-support support */
+    spapr_register_hypercall(KVMPPC_H_CAS, h_client_architecture_support);
 }
 
 type_init(hypercall_register_types)
index 2887ad482747f1d76eaf882555b89873566f9fcd..9e49ec4a5c9715476d2bf7624a20d855500e4911 100644 (file)
@@ -35,6 +35,9 @@ enum sPAPRTCEAccess {
     SPAPR_TCE_RW = 3,
 };
 
+#define IOMMU_PAGE_SIZE(shift)      (1ULL << (shift))
+#define IOMMU_PAGE_MASK(shift)      (~(IOMMU_PAGE_SIZE(shift) - 1))
+
 static QLIST_HEAD(spapr_tce_tables, sPAPRTCETable) spapr_tce_tables;
 
 static sPAPRTCETable *spapr_tce_find_by_liobn(uint32_t liobn)
@@ -70,12 +73,14 @@ static IOMMUTLBEntry spapr_tce_translate_iommu(MemoryRegion *iommu, hwaddr addr)
 
     if (tcet->bypass) {
         ret.perm = IOMMU_RW;
-    } else if (addr < tcet->window_size) {
+    } else if ((addr >> tcet->page_shift) < tcet->nb_table) {
         /* Check if we are in bound */
-        tce = tcet->table[addr >> SPAPR_TCE_PAGE_SHIFT];
-        ret.iova = addr & ~SPAPR_TCE_PAGE_MASK;
-        ret.translated_addr = tce & ~SPAPR_TCE_PAGE_MASK;
-        ret.addr_mask = SPAPR_TCE_PAGE_MASK;
+        hwaddr page_mask = IOMMU_PAGE_MASK(tcet->page_shift);
+
+        tce = tcet->table[addr >> tcet->page_shift];
+        ret.iova = addr & page_mask;
+        ret.translated_addr = tce & page_mask;
+        ret.addr_mask = ~page_mask;
         ret.perm = tce;
     }
     trace_spapr_iommu_xlate(tcet->liobn, addr, ret.iova, ret.perm,
@@ -84,24 +89,14 @@ static IOMMUTLBEntry spapr_tce_translate_iommu(MemoryRegion *iommu, hwaddr addr)
     return ret;
 }
 
-static int spapr_tce_table_pre_load(void *opaque)
-{
-    sPAPRTCETable *tcet = SPAPR_TCE_TABLE(opaque);
-
-    tcet->nb_table = tcet->window_size >> SPAPR_TCE_PAGE_SHIFT;
-
-    return 0;
-}
-
 static const VMStateDescription vmstate_spapr_tce_table = {
     .name = "spapr_iommu",
-    .version_id = 1,
-    .minimum_version_id = 1,
-    .pre_load = spapr_tce_table_pre_load,
-    .fields = (VMStateField[]) {
+    .version_id = 2,
+    .minimum_version_id = 2,
+    .fields      = (VMStateField []) {
         /* Sanity check */
         VMSTATE_UINT32_EQUAL(liobn, sPAPRTCETable),
-        VMSTATE_UINT32_EQUAL(window_size, sPAPRTCETable),
+        VMSTATE_UINT32_EQUAL(nb_table, sPAPRTCETable),
 
         /* IOMMU state */
         VMSTATE_BOOL(bypass, sPAPRTCETable),
@@ -121,28 +116,33 @@ static int spapr_tce_table_realize(DeviceState *dev)
 
     if (kvm_enabled()) {
         tcet->table = kvmppc_create_spapr_tce(tcet->liobn,
-                                              tcet->window_size,
+                                              tcet->nb_table <<
+                                              tcet->page_shift,
                                               &tcet->fd);
     }
 
     if (!tcet->table) {
-        size_t table_size = (tcet->window_size >> SPAPR_TCE_PAGE_SHIFT)
-            * sizeof(uint64_t);
+        size_t table_size = tcet->nb_table * sizeof(uint64_t);
         tcet->table = g_malloc0(table_size);
     }
-    tcet->nb_table = tcet->window_size >> SPAPR_TCE_PAGE_SHIFT;
 
     trace_spapr_iommu_new_table(tcet->liobn, tcet, tcet->table, tcet->fd);
 
     memory_region_init_iommu(&tcet->iommu, OBJECT(dev), &spapr_iommu_ops,
-                             "iommu-spapr", UINT64_MAX);
+                             "iommu-spapr", ram_size);
 
     QLIST_INSERT_HEAD(&spapr_tce_tables, tcet, list);
 
+    vmstate_register(DEVICE(tcet), tcet->liobn, &vmstate_spapr_tce_table,
+                     tcet);
+
     return 0;
 }
 
-sPAPRTCETable *spapr_tce_new_table(DeviceState *owner, uint32_t liobn, size_t window_size)
+sPAPRTCETable *spapr_tce_new_table(DeviceState *owner, uint32_t liobn,
+                                   uint64_t bus_offset,
+                                   uint32_t page_shift,
+                                   uint32_t nb_table)
 {
     sPAPRTCETable *tcet;
 
@@ -152,17 +152,19 @@ sPAPRTCETable *spapr_tce_new_table(DeviceState *owner, uint32_t liobn, size_t wi
         return NULL;
     }
 
-    if (!window_size) {
+    if (!nb_table) {
         return NULL;
     }
 
     tcet = SPAPR_TCE_TABLE(object_new(TYPE_SPAPR_TCE_TABLE));
     tcet->liobn = liobn;
-    tcet->window_size = window_size;
+    tcet->bus_offset = bus_offset;
+    tcet->page_shift = page_shift;
+    tcet->nb_table = nb_table;
 
     object_property_add_child(OBJECT(owner), "tce-table", OBJECT(tcet), NULL);
 
-    qdev_init_nofail(DEVICE(tcet));
+    object_property_set_bool(OBJECT(tcet), true, "realized", NULL);
 
     return tcet;
 }
@@ -175,7 +177,7 @@ static void spapr_tce_table_finalize(Object *obj)
 
     if (!kvm_enabled() ||
         (kvmppc_remove_spapr_tce(tcet->table, tcet->fd,
-                                 tcet->window_size) != 0)) {
+                                 tcet->nb_table) != 0)) {
         g_free(tcet->table);
     }
 }
@@ -193,8 +195,7 @@ void spapr_tce_set_bypass(sPAPRTCETable *tcet, bool bypass)
 static void spapr_tce_reset(DeviceState *dev)
 {
     sPAPRTCETable *tcet = SPAPR_TCE_TABLE(dev);
-    size_t table_size = (tcet->window_size >> SPAPR_TCE_PAGE_SHIFT)
-        * sizeof(uint64_t);
+    size_t table_size = tcet->nb_table * sizeof(uint64_t);
 
     tcet->bypass = false;
     memset(tcet->table, 0, table_size);
@@ -204,25 +205,110 @@ static target_ulong put_tce_emu(sPAPRTCETable *tcet, target_ulong ioba,
                                 target_ulong tce)
 {
     IOMMUTLBEntry entry;
+    hwaddr page_mask = IOMMU_PAGE_MASK(tcet->page_shift);
+    unsigned long index = (ioba - tcet->bus_offset) >> tcet->page_shift;
 
-    if (ioba >= tcet->window_size) {
+    if (index >= tcet->nb_table) {
         hcall_dprintf("spapr_vio_put_tce on out-of-bounds IOBA 0x"
                       TARGET_FMT_lx "\n", ioba);
         return H_PARAMETER;
     }
 
-    tcet->table[ioba >> SPAPR_TCE_PAGE_SHIFT] = tce;
+    tcet->table[index] = tce;
 
     entry.target_as = &address_space_memory,
-    entry.iova = ioba & ~SPAPR_TCE_PAGE_MASK;
-    entry.translated_addr = tce & ~SPAPR_TCE_PAGE_MASK;
-    entry.addr_mask = SPAPR_TCE_PAGE_MASK;
+    entry.iova = ioba & page_mask;
+    entry.translated_addr = tce & page_mask;
+    entry.addr_mask = ~page_mask;
     entry.perm = tce;
     memory_region_notify_iommu(&tcet->iommu, entry);
 
     return H_SUCCESS;
 }
 
+static target_ulong h_put_tce_indirect(PowerPCCPU *cpu,
+                                       sPAPREnvironment *spapr,
+                                       target_ulong opcode, target_ulong *args)
+{
+    int i;
+    target_ulong liobn = args[0];
+    target_ulong ioba = args[1];
+    target_ulong ioba1 = ioba;
+    target_ulong tce_list = args[2];
+    target_ulong npages = args[3];
+    target_ulong ret = H_PARAMETER;
+    sPAPRTCETable *tcet = spapr_tce_find_by_liobn(liobn);
+    CPUState *cs = CPU(cpu);
+    hwaddr page_mask, page_size;
+
+    if (!tcet) {
+        return H_PARAMETER;
+    }
+
+    if ((npages > 512) || (tce_list & SPAPR_TCE_PAGE_MASK)) {
+        return H_PARAMETER;
+    }
+
+    page_mask = IOMMU_PAGE_MASK(tcet->page_shift);
+    page_size = IOMMU_PAGE_SIZE(tcet->page_shift);
+    ioba &= page_mask;
+
+    for (i = 0; i < npages; ++i, ioba += page_size) {
+        target_ulong off = (tce_list & ~SPAPR_TCE_RW) +
+                                i * sizeof(target_ulong);
+        target_ulong tce = ldq_phys(cs->as, off);
+
+        ret = put_tce_emu(tcet, ioba, tce);
+        if (ret) {
+            break;
+        }
+    }
+
+    /* Trace last successful or the first problematic entry */
+    i = i ? (i - 1) : 0;
+    trace_spapr_iommu_indirect(liobn, ioba1, tce_list, i,
+                               ldq_phys(cs->as,
+                               tce_list + i * sizeof(target_ulong)),
+                               ret);
+
+    return ret;
+}
+
+static target_ulong h_stuff_tce(PowerPCCPU *cpu, sPAPREnvironment *spapr,
+                              target_ulong opcode, target_ulong *args)
+{
+    int i;
+    target_ulong liobn = args[0];
+    target_ulong ioba = args[1];
+    target_ulong tce_value = args[2];
+    target_ulong npages = args[3];
+    target_ulong ret = H_PARAMETER;
+    sPAPRTCETable *tcet = spapr_tce_find_by_liobn(liobn);
+    hwaddr page_mask, page_size;
+
+    if (!tcet) {
+        return H_PARAMETER;
+    }
+
+    if (npages > tcet->nb_table) {
+        return H_PARAMETER;
+    }
+
+    page_mask = IOMMU_PAGE_MASK(tcet->page_shift);
+    page_size = IOMMU_PAGE_SIZE(tcet->page_shift);
+    ioba &= page_mask;
+
+    for (i = 0; i < npages; ++i, ioba += page_size) {
+        ret = put_tce_emu(tcet, ioba, tce_value);
+        if (ret) {
+            break;
+        }
+    }
+    trace_spapr_iommu_stuff(liobn, ioba, tce_value, npages, ret);
+
+    return ret;
+}
+
 static target_ulong h_put_tce(PowerPCCPU *cpu, sPAPREnvironment *spapr,
                               target_ulong opcode, target_ulong *args)
 {
@@ -232,9 +318,11 @@ static target_ulong h_put_tce(PowerPCCPU *cpu, sPAPREnvironment *spapr,
     target_ulong ret = H_PARAMETER;
     sPAPRTCETable *tcet = spapr_tce_find_by_liobn(liobn);
 
-    ioba &= ~(SPAPR_TCE_PAGE_SIZE - 1);
-
     if (tcet) {
+        hwaddr page_mask = IOMMU_PAGE_MASK(tcet->page_shift);
+
+        ioba &= page_mask;
+
         ret = put_tce_emu(tcet, ioba, tce);
     }
     trace_spapr_iommu_put(liobn, ioba, tce, ret);
@@ -245,13 +333,15 @@ static target_ulong h_put_tce(PowerPCCPU *cpu, sPAPREnvironment *spapr,
 static target_ulong get_tce_emu(sPAPRTCETable *tcet, target_ulong ioba,
                                 target_ulong *tce)
 {
-    if (ioba >= tcet->window_size) {
+    unsigned long index = (ioba - tcet->bus_offset) >> tcet->page_shift;
+
+    if (index >= tcet->nb_table) {
         hcall_dprintf("spapr_iommu_get_tce on out-of-bounds IOBA 0x"
                       TARGET_FMT_lx "\n", ioba);
         return H_PARAMETER;
     }
 
-    *tce = tcet->table[ioba >> SPAPR_TCE_PAGE_SHIFT];
+    *tce = tcet->table[index];
 
     return H_SUCCESS;
 }
@@ -265,9 +355,11 @@ static target_ulong h_get_tce(PowerPCCPU *cpu, sPAPREnvironment *spapr,
     target_ulong ret = H_PARAMETER;
     sPAPRTCETable *tcet = spapr_tce_find_by_liobn(liobn);
 
-    ioba &= ~(SPAPR_TCE_PAGE_SIZE - 1);
-
     if (tcet) {
+        hwaddr page_mask = IOMMU_PAGE_MASK(tcet->page_shift);
+
+        ioba &= page_mask;
+
         ret = get_tce_emu(tcet, ioba, &tce);
         if (!ret) {
             args[0] = tce;
@@ -316,13 +408,12 @@ int spapr_tcet_dma_dt(void *fdt, int node_off, const char *propname,
     }
 
     return spapr_dma_dt(fdt, node_off, propname,
-                        tcet->liobn, 0, tcet->window_size);
+                        tcet->liobn, 0, tcet->nb_table << tcet->page_shift);
 }
 
 static void spapr_tce_table_class_init(ObjectClass *klass, void *data)
 {
     DeviceClass *dc = DEVICE_CLASS(klass);
-    dc->vmsd = &vmstate_spapr_tce_table;
     dc->init = spapr_tce_table_realize;
     dc->reset = spapr_tce_reset;
 
@@ -331,6 +422,8 @@ static void spapr_tce_table_class_init(ObjectClass *klass, void *data)
     /* hcall-tce */
     spapr_register_hypercall(H_PUT_TCE, h_put_tce);
     spapr_register_hypercall(H_GET_TCE, h_get_tce);
+    spapr_register_hypercall(H_PUT_TCE_INDIRECT, h_put_tce_indirect);
+    spapr_register_hypercall(H_STUFF_TCE, h_stuff_tce);
 }
 
 static TypeInfo spapr_tce_table_info = {
index a4a51d499031fd8f4264fad96c6edc7769ac267a..988f8cb858a109a1cc90df7a5bb72fc5eece4fb5 100644 (file)
@@ -280,7 +280,7 @@ static void rtas_ibm_change_msi(PowerPCCPU *cpu, sPAPREnvironment *spapr,
     unsigned int req_num = rtas_ld(args, 4); /* 0 == remove all */
     unsigned int seq_num = rtas_ld(args, 5);
     unsigned int ret_intr_type;
-    int ndev, irq;
+    int ndev, irq, max_irqs = 0;
     sPAPRPHBState *phb = NULL;
     PCIDevice *pdev = NULL;
 
@@ -333,6 +333,23 @@ static void rtas_ibm_change_msi(PowerPCCPU *cpu, sPAPREnvironment *spapr,
     }
     trace_spapr_pci_msi("Configuring MSI", ndev, config_addr);
 
+    /* Check if the device supports as many IRQs as requested */
+    if (ret_intr_type == RTAS_TYPE_MSI) {
+        max_irqs = msi_nr_vectors_allocated(pdev);
+    } else if (ret_intr_type == RTAS_TYPE_MSIX) {
+        max_irqs = pdev->msix_entries_nr;
+    }
+    if (!max_irqs) {
+        error_report("Requested interrupt type %d is not enabled for device#%d",
+                     ret_intr_type, ndev);
+        rtas_st(rets, 0, -1); /* Hardware error */
+        return;
+    }
+    /* Correct the number if the guest asked for too many */
+    if (req_num > max_irqs) {
+        req_num = max_irqs;
+    }
+
     /* Check if there is an old config and MSI number has not changed */
     if (phb->msi_table[ndev].nvec && (req_num != phb->msi_table[ndev].nvec)) {
         /* Unexpected behaviour */
@@ -511,6 +528,7 @@ static void spapr_phb_realize(DeviceState *dev, Error **errp)
     SysBusDevice *s = SYS_BUS_DEVICE(dev);
     sPAPRPHBState *sphb = SPAPR_PCI_HOST_BRIDGE(s);
     PCIHostState *phb = PCI_HOST_BRIDGE(s);
+    sPAPRPHBClass *info = SPAPR_PCI_HOST_BRIDGE_GET_CLASS(s);
     char *namebuf;
     int i;
     PCIBus *bus;
@@ -575,23 +593,14 @@ static void spapr_phb_realize(DeviceState *dev, Error **errp)
     memory_region_add_subregion(get_system_memory(), sphb->mem_win_addr,
                                 &sphb->memwindow);
 
-    /* On ppc, we only have MMIO no specific IO space from the CPU
-     * perspective.  In theory we ought to be able to embed the PCI IO
-     * memory region direction in the system memory space.  However,
-     * if any of the IO BAR subregions use the old_portio mechanism,
-     * that won't be processed properly unless accessed from the
-     * system io address space.  This hack to bounce things via
-     * system_io works around the problem until all the users of
-     * old_portion are updated */
+    /* Initialize IO regions */
     sprintf(namebuf, "%s.io", sphb->dtbusname);
     memory_region_init(&sphb->iospace, OBJECT(sphb),
                        namebuf, SPAPR_PCI_IO_WIN_SIZE);
-    /* FIXME: fix to support multiple PHBs */
-    memory_region_add_subregion(get_system_io(), 0, &sphb->iospace);
 
     sprintf(namebuf, "%s.io-alias", sphb->dtbusname);
     memory_region_init_alias(&sphb->iowindow, OBJECT(sphb), namebuf,
-                             get_system_io(), 0, SPAPR_PCI_IO_WIN_SIZE);
+                             &sphb->iospace, 0, SPAPR_PCI_IO_WIN_SIZE);
     memory_region_add_subregion(get_system_memory(), sphb->io_win_addr,
                                 &sphb->iowindow);
 
@@ -601,16 +610,18 @@ static void spapr_phb_realize(DeviceState *dev, Error **errp)
                            PCI_DEVFN(0, 0), PCI_NUM_PINS, TYPE_PCI_BUS);
     phb->bus = bus;
 
-    sphb->dma_window_start = 0;
-    sphb->dma_window_size = 0x40000000;
-    sphb->tcet = spapr_tce_new_table(dev, sphb->dma_liobn,
-                                     sphb->dma_window_size);
-    if (!sphb->tcet) {
-        error_setg(errp, "Unable to create TCE table for %s",
-                   sphb->dtbusname);
-        return;
-    }
-    address_space_init(&sphb->iommu_as, spapr_tce_get_iommu(sphb->tcet),
+    /*
+     * Initialize PHB address space.
+     * By default there will be at least one subregion for default
+     * 32bit DMA window.
+     * Later the guest might want to create another DMA window
+     * which will become another memory subregion.
+     */
+    sprintf(namebuf, "%s.iommu-root", sphb->dtbusname);
+
+    memory_region_init(&sphb->iommu_root, OBJECT(sphb),
+                       namebuf, UINT64_MAX);
+    address_space_init(&sphb->iommu_as, &sphb->iommu_root,
                        sphb->dtbusname);
 
     pci_setup_iommu(bus, spapr_pci_dma_iommu, sphb);
@@ -631,15 +642,49 @@ static void spapr_phb_realize(DeviceState *dev, Error **errp)
 
         sphb->lsi_table[i].irq = irq;
     }
+
+    if (!info->finish_realize) {
+        error_setg(errp, "finish_realize not defined");
+        return;
+    }
+
+    info->finish_realize(sphb, errp);
 }
 
-static void spapr_phb_reset(DeviceState *qdev)
+static void spapr_phb_finish_realize(sPAPRPHBState *sphb, Error **errp)
 {
-    SysBusDevice *s = SYS_BUS_DEVICE(qdev);
-    sPAPRPHBState *sphb = SPAPR_PCI_HOST_BRIDGE(s);
+    sPAPRTCETable *tcet;
 
+    tcet = spapr_tce_new_table(DEVICE(sphb), sphb->dma_liobn,
+                               0,
+                               SPAPR_TCE_PAGE_SHIFT,
+                               0x40000000 >> SPAPR_TCE_PAGE_SHIFT);
+    if (!tcet) {
+        error_setg(errp, "Unable to create TCE table for %s",
+                   sphb->dtbusname);
+        return ;
+    }
+
+    /* Register default 32bit DMA window */
+    memory_region_add_subregion(&sphb->iommu_root, 0,
+                                spapr_tce_get_iommu(tcet));
+}
+
+static int spapr_phb_children_reset(Object *child, void *opaque)
+{
+    DeviceState *dev = (DeviceState *) object_dynamic_cast(child, TYPE_DEVICE);
+
+    if (dev) {
+        device_reset(dev);
+    }
+
+    return 0;
+}
+
+static void spapr_phb_reset(DeviceState *qdev)
+{
     /* Reset the IOMMU state */
-    device_reset(DEVICE(sphb->tcet));
+    object_child_foreach(OBJECT(qdev), spapr_phb_children_reset, NULL);
 }
 
 static Property spapr_phb_properties[] = {
@@ -711,6 +756,7 @@ static void spapr_phb_class_init(ObjectClass *klass, void *data)
 {
     PCIHostBridgeClass *hc = PCI_HOST_BRIDGE_CLASS(klass);
     DeviceClass *dc = DEVICE_CLASS(klass);
+    sPAPRPHBClass *spc = SPAPR_PCI_HOST_BRIDGE_CLASS(klass);
 
     hc->root_bus_path = spapr_phb_root_bus_path;
     dc->realize = spapr_phb_realize;
@@ -719,6 +765,7 @@ static void spapr_phb_class_init(ObjectClass *klass, void *data)
     dc->vmsd = &vmstate_spapr_pci;
     set_bit(DEVICE_CATEGORY_BRIDGE, dc->categories);
     dc->cannot_instantiate_with_device_add_yet = false;
+    spc->finish_realize = spapr_phb_finish_realize;
 }
 
 static const TypeInfo spapr_phb_info = {
@@ -726,6 +773,7 @@ static const TypeInfo spapr_phb_info = {
     .parent        = TYPE_PCI_HOST_BRIDGE,
     .instance_size = sizeof(sPAPRPHBState),
     .class_init    = spapr_phb_class_init,
+    .class_size    = sizeof(sPAPRPHBClass),
 };
 
 PCIHostState *spapr_create_phb(sPAPREnvironment *spapr, int index)
@@ -750,6 +798,29 @@ PCIHostState *spapr_create_phb(sPAPREnvironment *spapr, int index)
 #define b_fff(x)        b_x((x), 8, 3)  /* function number */
 #define b_rrrrrrrr(x)   b_x((x), 0, 8)  /* register number */
 
+typedef struct sPAPRTCEDT {
+    void *fdt;
+    int node_off;
+} sPAPRTCEDT;
+
+static int spapr_phb_children_dt(Object *child, void *opaque)
+{
+    sPAPRTCEDT *p = opaque;
+    sPAPRTCETable *tcet;
+
+    tcet = (sPAPRTCETable *) object_dynamic_cast(child, TYPE_SPAPR_TCE_TABLE);
+    if (!tcet) {
+        return 0;
+    }
+
+    spapr_dma_dt(p->fdt, p->node_off, "ibm,dma-window",
+                 tcet->liobn, tcet->bus_offset,
+                 tcet->nb_table << tcet->page_shift);
+    /* Stop after the first window */
+
+    return 1;
+}
+
 int spapr_populate_pci_dt(sPAPRPHBState *phb,
                           uint32_t xics_phandle,
                           void *fdt)
@@ -805,6 +876,7 @@ int spapr_populate_pci_dt(sPAPRPHBState *phb,
     _FDT(fdt_setprop(fdt, bus_off, "ranges", &ranges, sizeof(ranges)));
     _FDT(fdt_setprop(fdt, bus_off, "reg", &bus_reg, sizeof(bus_reg)));
     _FDT(fdt_setprop_cell(fdt, bus_off, "ibm,pci-config-space-type", 0x1));
+    _FDT(fdt_setprop_cell(fdt, bus_off, "ibm,pe-total-#msi", XICS_IRQS));
 
     /* Build the interrupt-map, this must matches what is done
      * in pci_spapr_map_irq
@@ -829,9 +901,8 @@ int spapr_populate_pci_dt(sPAPRPHBState *phb,
     _FDT(fdt_setprop(fdt, bus_off, "interrupt-map", &interrupt_map,
                      sizeof(interrupt_map)));
 
-    spapr_dma_dt(fdt, bus_off, "ibm,dma-window",
-                 phb->dma_liobn, phb->dma_window_start,
-                 phb->dma_window_size);
+    object_child_foreach(OBJECT(phb), spapr_phb_children_dt,
+                         &((sPAPRTCEDT){ .fdt = fdt, .node_off = bus_off }));
 
     return 0;
 }
index bce8d7f4e0467e4b1380672891e02a8b5e3dabb9..04e16ae04dd9f534201f6540c98cdddc19b7829d 100644 (file)
@@ -456,7 +456,11 @@ static int spapr_vio_busdev_init(DeviceState *qdev)
 
     if (pc->rtce_window_size) {
         uint32_t liobn = SPAPR_VIO_BASE_LIOBN | dev->reg;
-        dev->tcet = spapr_tce_new_table(qdev, liobn, pc->rtce_window_size);
+        dev->tcet = spapr_tce_new_table(qdev, liobn,
+                                        0,
+                                        SPAPR_TCE_PAGE_SHIFT,
+                                        pc->rtce_window_size >>
+                                        SPAPR_TCE_PAGE_SHIFT);
         address_space_init(&dev->as, spapr_tce_get_iommu(dev->tcet), qdev->id);
     }
 
index 1599ab22d8b4347acefc35ff63b1ab5ffa9797ec..e88d52fd76d76a70e69c6780bbbd2889c25eb375 100644 (file)
@@ -561,6 +561,11 @@ typedef struct {
 #define SHF_ALPHA_GPREL                0x10000000
 
 
+/* PowerPC specific definitions.  */
+
+/* Processor specific flags for the ELF header e_flags field.  */
+#define EF_PPC64_ABI           0x3
+
 /* PowerPC relocations defined by the ABIs */
 #define R_PPC_NONE             0
 #define R_PPC_ADDR32           1       /* 32bit absolute address */
index 970b4a9e4af9d8f65e3d20898af5a9e24404aba6..0934518bbd6ea59a2e4bd6d769cdead52404f612 100644 (file)
 #define SPAPR_PCI_HOST_BRIDGE(obj) \
     OBJECT_CHECK(sPAPRPHBState, (obj), TYPE_SPAPR_PCI_HOST_BRIDGE)
 
-typedef struct sPAPRPHBState {
+#define SPAPR_PCI_HOST_BRIDGE_CLASS(klass) \
+     OBJECT_CLASS_CHECK(sPAPRPHBClass, (klass), TYPE_SPAPR_PCI_HOST_BRIDGE)
+#define SPAPR_PCI_HOST_BRIDGE_GET_CLASS(obj) \
+     OBJECT_GET_CLASS(sPAPRPHBClass, (obj), TYPE_SPAPR_PCI_HOST_BRIDGE)
+
+typedef struct sPAPRPHBClass sPAPRPHBClass;
+typedef struct sPAPRPHBState sPAPRPHBState;
+
+struct sPAPRPHBClass {
+    PCIHostBridgeClass parent_class;
+
+    void (*finish_realize)(sPAPRPHBState *sphb, Error **errp);
+};
+
+struct sPAPRPHBState {
     PCIHostState parent_obj;
 
     int32_t index;
@@ -46,10 +60,8 @@ typedef struct sPAPRPHBState {
     MemoryRegion memwindow, iowindow;
 
     uint32_t dma_liobn;
-    uint64_t dma_window_start;
-    uint64_t dma_window_size;
-    sPAPRTCETable *tcet;
     AddressSpace iommu_as;
+    MemoryRegion iommu_root;
 
     struct spapr_pci_lsi {
         uint32_t irq;
@@ -62,7 +74,7 @@ typedef struct sPAPRPHBState {
     } msi_table[SPAPR_MSIX_MAX_DEVS];
 
     QLIST_ENTRY(sPAPRPHBState) list;
-} sPAPRPHBState;
+};
 
 #define SPAPR_PCI_BASE_BUID          0x800000020000000ULL
 
index 90efd277e4c6e7fcc63f3e2862c54e91a9e34d6c..d7db06c031284d5b574f43abf7fd91c62cafd6ea 100644 (file)
@@ -42,6 +42,11 @@ struct DBDMA_io {
     /* unaligned last sector of a request */
     uint8_t remainder[0x200];
     int remainder_len;
+    QEMUIOVector iov;
+    bool finish_remain_read;
+    hwaddr finish_addr;
+    hwaddr finish_len;
+    int requests;
 };
 
 /*
index d71bd07497059ca7ac31de90412561165eb73c0b..7e16e2e06caf9e1bc7314595c4865936b5c78534 100644 (file)
@@ -92,6 +92,8 @@ enum {
 #define FW_CFG_PPC_IS_KVM       (FW_CFG_ARCH_LOCAL + 0x05)
 #define FW_CFG_PPC_KVM_HC       (FW_CFG_ARCH_LOCAL + 0x06)
 #define FW_CFG_PPC_KVM_PID      (FW_CFG_ARCH_LOCAL + 0x07)
+/* OpenBIOS has FW_CFG_PPC_NVRAM_ADDR as +0x08 */
+#define FW_CFG_PPC_BUSFREQ      (FW_CFG_ARCH_LOCAL + 0x09)
 
 #define PPC_SERIAL_MM_BAUDBASE 399193
 
index 5fdac1e0097b0a54e6c193149e73d69d5c305bdc..08c301f38dca912b05fc2f5956f9feac65503117 100644 (file)
@@ -29,6 +29,7 @@ typedef struct sPAPREnvironment {
     target_ulong entry_point;
     uint32_t next_irq;
     uint64_t rtc_offset;
+    struct PPCTimebase tb;
     bool has_graphics;
 
     uint32_t epow_irq;
@@ -163,6 +164,11 @@ typedef struct sPAPREnvironment {
 #define H_SET_MODE_ENDIAN_BIG    0
 #define H_SET_MODE_ENDIAN_LITTLE 1
 
+/* Flags for H_SET_MODE_RESOURCE_ADDR_TRANS_MODE */
+#define H_SET_MODE_ADDR_TRANS_NONE                  0
+#define H_SET_MODE_ADDR_TRANS_0001_8000             2
+#define H_SET_MODE_ADDR_TRANS_C000_0000_0000_4000   3
+
 /* VASI States */
 #define H_VASI_INVALID    0
 #define H_VASI_ENABLED    1
@@ -302,10 +308,16 @@ typedef struct sPAPREnvironment {
 #define KVMPPC_HCALL_BASE       0xf000
 #define KVMPPC_H_RTAS           (KVMPPC_HCALL_BASE + 0x0)
 #define KVMPPC_H_LOGICAL_MEMOP  (KVMPPC_HCALL_BASE + 0x1)
-#define KVMPPC_HCALL_MAX        KVMPPC_H_LOGICAL_MEMOP
+/* Client Architecture support */
+#define KVMPPC_H_CAS            (KVMPPC_HCALL_BASE + 0x2)
+#define KVMPPC_HCALL_MAX        KVMPPC_H_CAS
 
 extern sPAPREnvironment *spapr;
 
+typedef struct sPAPRDeviceTreeUpdateHeader {
+    uint32_t version_id;
+} sPAPRDeviceTreeUpdateHeader;
+
 /*#define DEBUG_SPAPR_HCALLS*/
 
 #ifdef DEBUG_SPAPR_HCALLS
@@ -390,8 +402,9 @@ typedef struct sPAPRTCETable sPAPRTCETable;
 struct sPAPRTCETable {
     DeviceState parent;
     uint32_t liobn;
-    uint32_t window_size;
     uint32_t nb_table;
+    uint64_t bus_offset;
+    uint32_t page_shift;
     uint64_t *table;
     bool bypass;
     int fd;
@@ -401,8 +414,11 @@ struct sPAPRTCETable {
 
 void spapr_events_init(sPAPREnvironment *spapr);
 void spapr_events_fdt_skel(void *fdt, uint32_t epow_irq);
+int spapr_h_cas_compose_response(target_ulong addr, target_ulong size);
 sPAPRTCETable *spapr_tce_new_table(DeviceState *owner, uint32_t liobn,
-                                   size_t window_size);
+                                   uint64_t bus_offset,
+                                   uint32_t page_shift,
+                                   uint32_t nb_table);
 MemoryRegion *spapr_tce_get_iommu(sPAPRTCETable *tcet);
 void spapr_tce_set_bypass(sPAPRTCETable *tcet, bool bypass);
 int spapr_dma_dt(void *fdt, int node_off, const char *propname,
index 0d7673de94e3cf53d738c8633867b48409f76aa8..85e4c8a3dd11c9abd3a3074379b2133790a134fa 100644 (file)
@@ -152,6 +152,8 @@ struct ICSIRQState {
     uint8_t status;
 };
 
+#define XICS_IRQS               1024
+
 qemu_irq xics_get_qirq(XICSState *icp, int irq);
 void xics_set_irq_type(XICSState *icp, int irq, bool lsi);
 
diff --git a/include/libdecnumber/dconfig.h b/include/libdecnumber/dconfig.h
new file mode 100644 (file)
index 0000000..2f0455a
--- /dev/null
@@ -0,0 +1,40 @@
+/* Configure decNumber for either host or target.
+   Copyright (C) 2008 Free Software Foundation, Inc.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+#include "config-host.h"
+
+#if defined(HOST_WORDS_BIGENDIAN)
+#define WORDS_BIGENDIAN 1
+#else
+#define WORDS_BIGENDIAN 0
+#endif
+
+#ifndef DECDPUN
+#define DECDPUN 3
+#endif
diff --git a/include/libdecnumber/decContext.h b/include/libdecnumber/decContext.h
new file mode 100644 (file)
index 0000000..c3e46f4
--- /dev/null
@@ -0,0 +1,257 @@
+/* Decimal context header module for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal Context module header                                     */
+/* ------------------------------------------------------------------ */
+/*                                                                   */
+/* Context variables must always have valid values:                  */
+/*                                                                   */
+/*  status   -- [any bits may be cleared, but not set, by user]              */
+/*  round    -- must be one of the enumerated rounding modes         */
+/*                                                                   */
+/* The following variables are implied for fixed size formats (i.e.,  */
+/* they are ignored) but should still be set correctly in case used   */
+/* with decNumber functions:                                         */
+/*                                                                   */
+/*  clamp    -- must be either 0 or 1                                */
+/*  digits   -- must be in the range 1 through 999999999             */
+/*  emax     -- must be in the range 0 through 999999999             */
+/*  emin     -- must be in the range 0 through -999999999            */
+/*  extended -- must be either 0 or 1 [present only if DECSUBSET]     */
+/*  traps    -- only defined bits may be set                         */
+/*                                                                   */
+/* ------------------------------------------------------------------ */
+
+#if !defined(DECCONTEXT)
+  #define DECCONTEXT
+  #define DECCNAME     "decContext"                    /* Short name */
+  #define DECCFULLNAME "Decimal Context Descriptor"   /* Verbose name */
+  #define DECCAUTHOR   "Mike Cowlishaw"                      /* Who to blame */
+
+  #include <stdint.h>
+  #include <stdio.h>              /* for printf, etc.                */
+  #include <signal.h>             /* for traps                       */
+
+  /* Extended flags setting -- set this to 0 to use only IEEE flags   */
+  #define DECEXTFLAG 1            /* 1=enable extended flags         */
+
+  /* Conditional code flag -- set this to 0 for best performance      */
+  #define DECSUBSET  0            /* 1=enable subset arithmetic      */
+
+  /* Context for operations, with associated constants               */
+  enum rounding {
+    DEC_ROUND_CEILING,            /* round towards +infinity         */
+    DEC_ROUND_UP,                 /* round away from 0               */
+    DEC_ROUND_HALF_UP,            /* 0.5 rounds up                   */
+    DEC_ROUND_HALF_EVEN,          /* 0.5 rounds to nearest even      */
+    DEC_ROUND_HALF_DOWN,          /* 0.5 rounds down                 */
+    DEC_ROUND_DOWN,               /* round towards 0 (truncate)      */
+    DEC_ROUND_FLOOR,              /* round towards -infinity         */
+    DEC_ROUND_05UP,               /* round for reround               */
+    DEC_ROUND_MAX                 /* enum must be less than this     */
+    };
+  #define DEC_ROUND_DEFAULT DEC_ROUND_HALF_EVEN;
+
+  typedef struct {
+    int32_t  digits;              /* working precision               */
+    int32_t  emax;                /* maximum positive exponent       */
+    int32_t  emin;                /* minimum negative exponent       */
+    enum     rounding round;      /* rounding mode                   */
+    uint32_t traps;               /* trap-enabler flags              */
+    uint32_t status;              /* status flags                    */
+    uint8_t  clamp;               /* flag: apply IEEE exponent clamp */
+    #if DECSUBSET
+    uint8_t  extended;            /* flag: special-values allowed    */
+    #endif
+    } decContext;
+
+  /* Maxima and Minima for context settings                          */
+  #define DEC_MAX_DIGITS 999999999
+  #define DEC_MIN_DIGITS        1
+  #define DEC_MAX_EMAX  999999999
+  #define DEC_MIN_EMAX          0
+  #define DEC_MAX_EMIN          0
+  #define DEC_MIN_EMIN -999999999
+  #define DEC_MAX_MATH     999999 /* max emax, etc., for math funcs. */
+
+  /* Classifications for decimal numbers, aligned with 754r (note     */
+  /* that 'normal' and 'subnormal' are meaningful only with a        */
+  /* decContext or a fixed size format).                             */
+  enum decClass {
+    DEC_CLASS_SNAN,
+    DEC_CLASS_QNAN,
+    DEC_CLASS_NEG_INF,
+    DEC_CLASS_NEG_NORMAL,
+    DEC_CLASS_NEG_SUBNORMAL,
+    DEC_CLASS_NEG_ZERO,
+    DEC_CLASS_POS_ZERO,
+    DEC_CLASS_POS_SUBNORMAL,
+    DEC_CLASS_POS_NORMAL,
+    DEC_CLASS_POS_INF
+    };
+  /* Strings for the decClasses */
+  #define DEC_ClassString_SN  "sNaN"
+  #define DEC_ClassString_QN  "NaN"
+  #define DEC_ClassString_NI  "-Infinity"
+  #define DEC_ClassString_NN  "-Normal"
+  #define DEC_ClassString_NS  "-Subnormal"
+  #define DEC_ClassString_NZ  "-Zero"
+  #define DEC_ClassString_PZ  "+Zero"
+  #define DEC_ClassString_PS  "+Subnormal"
+  #define DEC_ClassString_PN  "+Normal"
+  #define DEC_ClassString_PI  "+Infinity"
+  #define DEC_ClassString_UN  "Invalid"
+
+  /* Trap-enabler and Status flags (exceptional conditions), and      */
+  /* their names.  The top byte is reserved for internal use         */
+  #if DECEXTFLAG
+    /* Extended flags */
+    #define DEC_Conversion_syntax    0x00000001
+    #define DEC_Division_by_zero     0x00000002
+    #define DEC_Division_impossible  0x00000004
+    #define DEC_Division_undefined   0x00000008
+    #define DEC_Insufficient_storage 0x00000010 /* [when malloc fails] */
+    #define DEC_Inexact                     0x00000020
+    #define DEC_Invalid_context             0x00000040
+    #define DEC_Invalid_operation    0x00000080
+    #if DECSUBSET
+    #define DEC_Lost_digits         0x00000100
+    #endif
+    #define DEC_Overflow            0x00000200
+    #define DEC_Clamped                     0x00000400
+    #define DEC_Rounded                     0x00000800
+    #define DEC_Subnormal           0x00001000
+    #define DEC_Underflow           0x00002000
+  #else
+    /* IEEE flags only */
+    #define DEC_Conversion_syntax    0x00000010
+    #define DEC_Division_by_zero     0x00000002
+    #define DEC_Division_impossible  0x00000010
+    #define DEC_Division_undefined   0x00000010
+    #define DEC_Insufficient_storage 0x00000010 /* [when malloc fails] */
+    #define DEC_Inexact                     0x00000001
+    #define DEC_Invalid_context             0x00000010
+    #define DEC_Invalid_operation    0x00000010
+    #if DECSUBSET
+    #define DEC_Lost_digits         0x00000000
+    #endif
+    #define DEC_Overflow            0x00000008
+    #define DEC_Clamped                     0x00000000
+    #define DEC_Rounded                     0x00000000
+    #define DEC_Subnormal           0x00000000
+    #define DEC_Underflow           0x00000004
+  #endif
+
+  /* IEEE 854 groupings for the flags                                */
+  /* [DEC_Clamped, DEC_Lost_digits, DEC_Rounded, and DEC_Subnormal    */
+  /* are not in IEEE 854]                                            */
+  #define DEC_IEEE_854_Division_by_zero         (DEC_Division_by_zero)
+  #if DECSUBSET
+  #define DEC_IEEE_854_Inexact          (DEC_Inexact | DEC_Lost_digits)
+  #else
+  #define DEC_IEEE_854_Inexact          (DEC_Inexact)
+  #endif
+  #define DEC_IEEE_854_Invalid_operation (DEC_Conversion_syntax |     \
+                                         DEC_Division_impossible |   \
+                                         DEC_Division_undefined |    \
+                                         DEC_Insufficient_storage |  \
+                                         DEC_Invalid_context |       \
+                                         DEC_Invalid_operation)
+  #define DEC_IEEE_854_Overflow                 (DEC_Overflow)
+  #define DEC_IEEE_854_Underflow        (DEC_Underflow)
+
+  /* flags which are normally errors (result is qNaN, infinite, or 0) */
+  #define DEC_Errors (DEC_IEEE_854_Division_by_zero |                \
+                     DEC_IEEE_854_Invalid_operation |                \
+                     DEC_IEEE_854_Overflow | DEC_IEEE_854_Underflow)
+  /* flags which cause a result to become qNaN                       */
+  #define DEC_NaNs    DEC_IEEE_854_Invalid_operation
+
+  /* flags which are normally for information only (finite results)   */
+  #if DECSUBSET
+  #define DEC_Information (DEC_Clamped | DEC_Rounded | DEC_Inexact    \
+                         | DEC_Lost_digits)
+  #else
+  #define DEC_Information (DEC_Clamped | DEC_Rounded | DEC_Inexact)
+  #endif
+
+  /* Name strings for the exceptional conditions                     */
+  #define DEC_Condition_CS "Conversion syntax"
+  #define DEC_Condition_DZ "Division by zero"
+  #define DEC_Condition_DI "Division impossible"
+  #define DEC_Condition_DU "Division undefined"
+  #define DEC_Condition_IE "Inexact"
+  #define DEC_Condition_IS "Insufficient storage"
+  #define DEC_Condition_IC "Invalid context"
+  #define DEC_Condition_IO "Invalid operation"
+  #if DECSUBSET
+  #define DEC_Condition_LD "Lost digits"
+  #endif
+  #define DEC_Condition_OV "Overflow"
+  #define DEC_Condition_PA "Clamped"
+  #define DEC_Condition_RO "Rounded"
+  #define DEC_Condition_SU "Subnormal"
+  #define DEC_Condition_UN "Underflow"
+  #define DEC_Condition_ZE "No status"
+  #define DEC_Condition_MU "Multiple status"
+  #define DEC_Condition_Length 21  /* length of the longest string,   */
+                                  /* including terminator            */
+
+  /* Initialization descriptors, used by decContextDefault           */
+  #define DEC_INIT_BASE                0
+  #define DEC_INIT_DECIMAL32   32
+  #define DEC_INIT_DECIMAL64   64
+  #define DEC_INIT_DECIMAL128 128
+  /* Synonyms */
+  #define DEC_INIT_DECSINGLE  DEC_INIT_DECIMAL32
+  #define DEC_INIT_DECDOUBLE  DEC_INIT_DECIMAL64
+  #define DEC_INIT_DECQUAD    DEC_INIT_DECIMAL128
+
+  /* decContext routines                                             */
+
+
+  extern decContext  * decContextClearStatus(decContext *, uint32_t);
+  extern decContext  * decContextDefault(decContext *, int32_t);
+  extern enum rounding decContextGetRounding(decContext *);
+  extern uint32_t      decContextGetStatus(decContext *);
+  extern decContext  * decContextRestoreStatus(decContext *, uint32_t, uint32_t);
+  extern uint32_t      decContextSaveStatus(decContext *, uint32_t);
+  extern decContext  * decContextSetRounding(decContext *, enum rounding);
+  extern decContext  * decContextSetStatus(decContext *, uint32_t);
+  extern decContext  * decContextSetStatusFromString(decContext *, const char *);
+  extern decContext  * decContextSetStatusFromStringQuiet(decContext *, const char *);
+  extern decContext  * decContextSetStatusQuiet(decContext *, uint32_t);
+  extern const char  * decContextStatusToString(const decContext *);
+  extern uint32_t      decContextTestSavedStatus(uint32_t, uint32_t);
+  extern uint32_t      decContextTestStatus(decContext *, uint32_t);
+  extern decContext  * decContextZeroStatus(decContext *);
+
+#endif
diff --git a/include/libdecnumber/decDPD.h b/include/libdecnumber/decDPD.h
new file mode 100644 (file)
index 0000000..26a21ec
--- /dev/null
@@ -0,0 +1,1214 @@
+/* Conversion lookup tables for the decNumber C Library.
+   Copyright (C) 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------------ */
+/* Binary Coded Decimal and Densely Packed Decimal conversion lookup tables */
+/* [Automatically generated -- do not edit.  2007.05.05]                   */
+/* ------------------------------------------------------------------------ */
+/* ------------------------------------------------------------------------ */
+/* For details, see: http://www2.hursley.ibm.com/decimal/DPDecimal.html            */
+
+
+/* This include file defines several DPD and BCD conversion tables:        */
+/*                                                                         */
+/*   uint16_t BCD2DPD[2458];    -- BCD -> DPD (0x999 => 2457)              */
+/*   uint16_t BIN2DPD[1000];    -- Bin -> DPD (999 => 2457)                */
+/*   uint8_t  BIN2CHAR[4001];   -- Bin -> CHAR (999 => '\3' '9' '9' '9')   */
+/*   uint8_t  BIN2BCD8[4000];   -- Bin -> bytes (999 => 9 9 9 3)           */
+/*   uint16_t DPD2BCD[1024];    -- DPD -> BCD (0x3FF => 0x999)             */
+/*   uint16_t DPD2BIN[1024];    -- DPD -> BIN (0x3FF => 999)               */
+/*   uint32_t DPD2BINK[1024];   -- DPD -> BIN * 1000 (0x3FF => 999000)     */
+/*   uint32_t DPD2BINM[1024];   -- DPD -> BIN * 1E+6 (0x3FF => 999000000)  */
+/*   uint8_t  DPD2BCD8[4096];   -- DPD -> bytes (x3FF => 9 9 9 3)          */
+/*                                                                         */
+/* In all cases the result (10 bits or 12 bits, or binary) is right-aligned */
+/* in the table entry. BIN2CHAR entries are a single byte length (0 for    */
+/* value 0) followed by three digit characters; a trailing terminator is    */
+/* included to allow 4-char moves always.  BIN2BCD8 and DPD2BCD8 entries    */
+/* are similar with the three BCD8 digits followed by a one-byte length            */
+/* (again, length=0 for value 0).                                          */
+/*                                                                         */
+/* To use a table, its name, prefixed with DEC_, must be defined with a            */
+/* value of 1 before this header file is included.  For example:           */
+/*    #define DEC_BCD2DPD 1                                                */
+/* This mechanism allows software to only include tables that are needed.   */
+/* ------------------------------------------------------------------------ */
+
+#if defined(DEC_BCD2DPD) && DEC_BCD2DPD==1 && !defined(DECBCD2DPD)
+#define DECBCD2DPD
+
+const uint16_t BCD2DPD[2458]={   0,    1,    2,    3,    4,    5,    6,    7,
+    8,   9,    0,    0,    0,    0,    0,    0,   16,   17,   18,   19,   20,
+   21,  22,   23,   24,   25,    0,    0,    0,    0,    0,    0,   32,   33,
+   34,  35,   36,   37,   38,   39,   40,   41,    0,    0,    0,    0,    0,
+    0,  48,   49,   50,   51,   52,   53,   54,   55,   56,   57,    0,    0,
+    0,   0,    0,    0,   64,   65,   66,   67,   68,   69,   70,   71,   72,
+   73,   0,    0,    0,    0,    0,    0,   80,   81,   82,   83,   84,   85,
+   86,  87,   88,   89,    0,    0,    0,    0,    0,    0,   96,   97,   98,
+   99, 100,  101,  102,  103,  104,  105,    0,    0,    0,    0,    0,    0,
+  112, 113,  114,  115,  116,  117,  118,  119,  120,  121,    0,    0,    0,
+    0,   0,    0,   10,   11,   42,   43,   74,   75,  106,  107,   78,   79,
+    0,   0,    0,    0,    0,    0,   26,   27,   58,   59,   90,   91,  122,
+  123,  94,   95,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0, 128,  129,  130,  131,  132,  133,  134,  135,  136,  137,    0,    0,
+    0,   0,    0,    0,  144,  145,  146,  147,  148,  149,  150,  151,  152,
+  153,   0,    0,    0,    0,    0,    0,  160,  161,  162,  163,  164,  165,
+  166, 167,  168,  169,    0,    0,    0,    0,    0,    0,  176,  177,  178,
+  179, 180,  181,  182,  183,  184,  185,    0,    0,    0,    0,    0,    0,
+  192, 193,  194,  195,  196,  197,  198,  199,  200,  201,    0,    0,    0,
+    0,   0,    0,  208,  209,  210,  211,  212,  213,  214,  215,  216,  217,
+    0,   0,    0,    0,    0,    0,  224,  225,  226,  227,  228,  229,  230,
+  231, 232,  233,    0,    0,    0,    0,    0,    0,  240,  241,  242,  243,
+  244, 245,  246,  247,  248,  249,    0,    0,    0,    0,    0,    0,  138,
+  139, 170,  171,  202,  203,  234,  235,  206,  207,    0,    0,    0,    0,
+    0,   0,  154,  155,  186,  187,  218,  219,  250,  251,  222,  223,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,  256,  257,  258,
+  259, 260,  261,  262,  263,  264,  265,    0,    0,    0,    0,    0,    0,
+  272, 273,  274,  275,  276,  277,  278,  279,  280,  281,    0,    0,    0,
+    0,   0,    0,  288,  289,  290,  291,  292,  293,  294,  295,  296,  297,
+    0,   0,    0,    0,    0,    0,  304,  305,  306,  307,  308,  309,  310,
+  311, 312,  313,    0,    0,    0,    0,    0,    0,  320,  321,  322,  323,
+  324, 325,  326,  327,  328,  329,    0,    0,    0,    0,    0,    0,  336,
+  337, 338,  339,  340,  341,  342,  343,  344,  345,    0,    0,    0,    0,
+    0,   0,  352,  353,  354,  355,  356,  357,  358,  359,  360,  361,    0,
+    0,   0,    0,    0,    0,  368,  369,  370,  371,  372,  373,  374,  375,
+  376, 377,    0,    0,    0,    0,    0,    0,  266,  267,  298,  299,  330,
+  331, 362,  363,  334,  335,    0,    0,    0,    0,    0,    0,  282,  283,
+  314, 315,  346,  347,  378,  379,  350,  351,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,  384,  385,  386,  387,  388,  389,  390,
+  391, 392,  393,    0,    0,    0,    0,    0,    0,  400,  401,  402,  403,
+  404, 405,  406,  407,  408,  409,    0,    0,    0,    0,    0,    0,  416,
+  417, 418,  419,  420,  421,  422,  423,  424,  425,    0,    0,    0,    0,
+    0,   0,  432,  433,  434,  435,  436,  437,  438,  439,  440,  441,    0,
+    0,   0,    0,    0,    0,  448,  449,  450,  451,  452,  453,  454,  455,
+  456, 457,    0,    0,    0,    0,    0,    0,  464,  465,  466,  467,  468,
+  469, 470,  471,  472,  473,    0,    0,    0,    0,    0,    0,  480,  481,
+  482, 483,  484,  485,  486,  487,  488,  489,    0,    0,    0,    0,    0,
+    0, 496,  497,  498,  499,  500,  501,  502,  503,  504,  505,    0,    0,
+    0,   0,    0,    0,  394,  395,  426,  427,  458,  459,  490,  491,  462,
+  463,   0,    0,    0,    0,    0,    0,  410,  411,  442,  443,  474,  475,
+  506, 507,  478,  479,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,  512,  513,  514,  515,  516,  517,  518,  519,  520,  521,    0,
+    0,   0,    0,    0,    0,  528,  529,  530,  531,  532,  533,  534,  535,
+  536, 537,    0,    0,    0,    0,    0,    0,  544,  545,  546,  547,  548,
+  549, 550,  551,  552,  553,    0,    0,    0,    0,    0,    0,  560,  561,
+  562, 563,  564,  565,  566,  567,  568,  569,    0,    0,    0,    0,    0,
+    0, 576,  577,  578,  579,  580,  581,  582,  583,  584,  585,    0,    0,
+    0,   0,    0,    0,  592,  593,  594,  595,  596,  597,  598,  599,  600,
+  601,   0,    0,    0,    0,    0,    0,  608,  609,  610,  611,  612,  613,
+  614, 615,  616,  617,    0,    0,    0,    0,    0,    0,  624,  625,  626,
+  627, 628,  629,  630,  631,  632,  633,    0,    0,    0,    0,    0,    0,
+  522, 523,  554,  555,  586,  587,  618,  619,  590,  591,    0,    0,    0,
+    0,   0,    0,  538,  539,  570,  571,  602,  603,  634,  635,  606,  607,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,  640,  641,
+  642, 643,  644,  645,  646,  647,  648,  649,    0,    0,    0,    0,    0,
+    0, 656,  657,  658,  659,  660,  661,  662,  663,  664,  665,    0,    0,
+    0,   0,    0,    0,  672,  673,  674,  675,  676,  677,  678,  679,  680,
+  681,   0,    0,    0,    0,    0,    0,  688,  689,  690,  691,  692,  693,
+  694, 695,  696,  697,    0,    0,    0,    0,    0,    0,  704,  705,  706,
+  707, 708,  709,  710,  711,  712,  713,    0,    0,    0,    0,    0,    0,
+  720, 721,  722,  723,  724,  725,  726,  727,  728,  729,    0,    0,    0,
+    0,   0,    0,  736,  737,  738,  739,  740,  741,  742,  743,  744,  745,
+    0,   0,    0,    0,    0,    0,  752,  753,  754,  755,  756,  757,  758,
+  759, 760,  761,    0,    0,    0,    0,    0,    0,  650,  651,  682,  683,
+  714, 715,  746,  747,  718,  719,    0,    0,    0,    0,    0,    0,  666,
+  667, 698,  699,  730,  731,  762,  763,  734,  735,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,  768,  769,  770,  771,  772,  773,
+  774, 775,  776,  777,    0,    0,    0,    0,    0,    0,  784,  785,  786,
+  787, 788,  789,  790,  791,  792,  793,    0,    0,    0,    0,    0,    0,
+  800, 801,  802,  803,  804,  805,  806,  807,  808,  809,    0,    0,    0,
+    0,   0,    0,  816,  817,  818,  819,  820,  821,  822,  823,  824,  825,
+    0,   0,    0,    0,    0,    0,  832,  833,  834,  835,  836,  837,  838,
+  839, 840,  841,    0,    0,    0,    0,    0,    0,  848,  849,  850,  851,
+  852, 853,  854,  855,  856,  857,    0,    0,    0,    0,    0,    0,  864,
+  865, 866,  867,  868,  869,  870,  871,  872,  873,    0,    0,    0,    0,
+    0,   0,  880,  881,  882,  883,  884,  885,  886,  887,  888,  889,    0,
+    0,   0,    0,    0,    0,  778,  779,  810,  811,  842,  843,  874,  875,
+  846, 847,    0,    0,    0,    0,    0,    0,  794,  795,  826,  827,  858,
+  859, 890,  891,  862,  863,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,  896,  897,  898,  899,  900,  901,  902,  903,  904,  905,
+    0,   0,    0,    0,    0,    0,  912,  913,  914,  915,  916,  917,  918,
+  919, 920,  921,    0,    0,    0,    0,    0,    0,  928,  929,  930,  931,
+  932, 933,  934,  935,  936,  937,    0,    0,    0,    0,    0,    0,  944,
+  945, 946,  947,  948,  949,  950,  951,  952,  953,    0,    0,    0,    0,
+    0,   0,  960,  961,  962,  963,  964,  965,  966,  967,  968,  969,    0,
+    0,   0,    0,    0,    0,  976,  977,  978,  979,  980,  981,  982,  983,
+  984, 985,    0,    0,    0,    0,    0,    0,  992,  993,  994,  995,  996,
+  997, 998,  999, 1000, 1001,    0,    0,    0,    0,    0,    0, 1008, 1009,
+ 1010, 1011, 1012, 1013, 1014, 1015, 1016, 1017,    0,   0,    0,    0,    0,
+    0, 906,  907,  938,  939,  970,  971, 1002, 1003,  974,  975,    0,    0,
+    0,   0,    0,    0,  922,  923,  954,  955,  986,  987, 1018, 1019,  990,
+  991,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,   12,
+   13, 268,  269,  524,  525,  780,  781,   46,   47,    0,    0,    0,    0,
+    0,   0,   28,   29,  284,  285,  540,  541,  796,  797,   62,   63,    0,
+    0,   0,    0,    0,    0,   44,   45,  300,  301,  556,  557,  812,  813,
+  302, 303,    0,    0,    0,    0,    0,    0,   60,   61,  316,  317,  572,
+  573, 828,  829,  318,  319,    0,    0,    0,    0,    0,    0,   76,   77,
+  332, 333,  588,  589,  844,  845,  558,  559,    0,    0,    0,    0,    0,
+    0,  92,   93,  348,  349,  604,  605,  860,  861,  574,  575,    0,    0,
+    0,   0,    0,    0,  108,  109,  364,  365,  620,  621,  876,  877,  814,
+  815,   0,    0,    0,    0,    0,    0,  124,  125,  380,  381,  636,  637,
+  892, 893,  830,  831,    0,    0,    0,    0,    0,    0,   14,   15,  270,
+  271, 526,  527,  782,  783,  110,  111,    0,    0,    0,    0,    0,    0,
+   30,  31,  286,  287,  542,  543,  798,  799,  126,  127,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
+    0,   0,    0,    0,    0,    0,    0,    0,  140,  141,  396,  397,  652,
+  653, 908,  909,  174,  175,    0,    0,    0,    0,    0,    0,  156,  157,
+  412, 413,  668,  669,  924,  925,  190,  191,    0,    0,    0,    0,    0,
+    0, 172,  173,  428,  429,  684,  685,  940,  941,  430,  431,    0,    0,
+    0,   0,    0,    0,  188,  189,  444,  445,  700,  701,  956,  957,  446,
+  447,   0,    0,    0,    0,    0,    0,  204,  205,  460,  461,  716,  717,
+  972, 973,  686,  687,    0,    0,    0,    0,    0,    0,  220,  221,  476,
+  477, 732,  733,  988,  989,  702,  703,    0,    0,    0,    0,    0,    0,
+  236, 237,  492,  493,  748,  749, 1004, 1005,  942,  943,    0,    0,    0,
+    0,   0,    0,  252,  253,  508,  509,  764,  765, 1020, 1021,  958,  959,
+    0,   0,    0,    0,    0,    0,  142,  143,  398,  399,  654,  655,  910,
+  911, 238,  239,    0,    0,    0,    0,    0,    0,  158,  159,  414,  415,
+  670, 671,  926,  927,  254,  255};
+#endif
+
+#if defined(DEC_DPD2BCD) && DEC_DPD2BCD==1 && !defined(DECDPD2BCD)
+#define DECDPD2BCD
+
+const uint16_t DPD2BCD[1024]={   0,    1,    2,    3,    4,    5,    6,    7,
+    8,   9,  128,  129, 2048, 2049, 2176, 2177,   16,   17,   18,   19,   20,
+   21,  22,   23,   24,   25,  144,  145, 2064, 2065, 2192, 2193,   32,   33,
+   34,  35,   36,   37,   38,   39,   40,   41,  130,  131, 2080, 2081, 2056,
+ 2057,  48,   49,   50,   51,   52,   53,   54,   55,   56,   57,  146,  147,
+ 2096, 2097, 2072, 2073,   64,  65,   66,   67,   68,   69,   70,   71,   72,
+   73, 132,  133, 2112, 2113,  136,  137,   80,   81,   82,   83,   84,   85,
+   86,  87,   88,   89,  148,  149, 2128, 2129,  152,  153,   96,   97,   98,
+   99, 100,  101,  102,  103,  104,  105,  134,  135, 2144, 2145, 2184, 2185,
+  112, 113,  114,  115,  116,  117,  118,  119,  120,  121,  150,  151, 2160,
+ 2161, 2200, 2201,  256,  257, 258,  259,  260,  261,  262,  263,  264,  265,
+  384, 385, 2304, 2305, 2432, 2433,  272,  273,  274,  275,  276,  277,  278,
+  279, 280,  281,  400,  401, 2320, 2321, 2448, 2449,  288,  289,  290,  291,
+  292, 293,  294,  295,  296,  297,  386,  387, 2336, 2337, 2312, 2313,  304,
+  305, 306,  307,  308,  309,  310,  311,  312,  313,  402,  403, 2352, 2353,
+ 2328, 2329,  320,  321,  322, 323,  324,  325,  326,  327,  328,  329,  388,
+  389, 2368, 2369,  392,  393, 336,  337,  338,  339,  340,  341,  342,  343,
+  344, 345,  404,  405, 2384, 2385,  408,  409,  352,  353,  354,  355,  356,
+  357, 358,  359,  360,  361,  390,  391, 2400, 2401, 2440, 2441,  368,  369,
+  370, 371,  372,  373,  374,  375,  376,  377,  406,  407, 2416, 2417, 2456,
+ 2457, 512,  513,  514,  515,  516,  517,  518,  519,  520,  521,  640,  641,
+ 2050, 2051, 2178, 2179,  528, 529,  530,  531,  532,  533,  534,  535,  536,
+  537, 656,  657, 2066, 2067, 2194, 2195,  544,  545,  546,  547,  548,  549,
+  550, 551,  552,  553,  642,  643, 2082, 2083, 2088, 2089,  560,  561,  562,
+  563, 564,  565,  566,  567,  568,  569,  658,  659, 2098, 2099, 2104, 2105,
+  576, 577,  578,  579,  580,  581,  582,  583,  584,  585,  644,  645, 2114,
+ 2115, 648,  649,  592,  593,  594,  595,  596,  597,  598,  599,  600,  601,
+  660, 661, 2130, 2131,  664,  665,  608,  609,  610,  611,  612,  613,  614,
+  615, 616,  617,  646,  647, 2146, 2147, 2184, 2185,  624,  625,  626,  627,
+  628, 629,  630,  631,  632,  633,  662,  663, 2162, 2163, 2200, 2201,  768,
+  769, 770,  771,  772,  773,  774,  775,  776,  777,  896,  897, 2306, 2307,
+ 2434, 2435,  784,  785,  786, 787,  788,  789,  790,  791,  792,  793,  912,
+  913, 2322, 2323, 2450, 2451, 800,  801,  802,  803,  804,  805,  806,  807,
+  808, 809,  898,  899, 2338, 2339, 2344, 2345,  816,  817,  818,  819,  820,
+  821, 822,  823,  824,  825,  914,  915, 2354, 2355, 2360, 2361,  832,  833,
+  834, 835,  836,  837,  838,  839,  840,  841,  900,  901, 2370, 2371,  904,
+  905, 848,  849,  850,  851,  852,  853,  854,  855,  856,  857,  916,  917,
+ 2386, 2387,  920,  921,  864, 865,  866,  867,  868,  869,  870,  871,  872,
+  873, 902,  903, 2402, 2403, 2440, 2441,  880,  881,  882,  883,  884,  885,
+  886, 887,  888,  889,  918,  919, 2418, 2419, 2456, 2457, 1024, 1025, 1026,
+ 1027, 1028, 1029, 1030, 1031, 1032, 1033, 1152, 1153, 2052, 2053, 2180, 2181,
+ 1040, 1041, 1042, 1043, 1044, 1045, 1046, 1047, 1048, 1049, 1168, 1169, 2068,
+ 2069, 2196, 2197, 1056, 1057, 1058, 1059, 1060, 1061, 1062, 1063, 1064, 1065,
+ 1154, 1155, 2084, 2085, 2120, 2121, 1072, 1073, 1074, 1075, 1076, 1077, 1078,
+ 1079, 1080, 1081, 1170, 1171, 2100, 2101, 2136, 2137, 1088, 1089, 1090, 1091,
+ 1092, 1093, 1094, 1095, 1096, 1097, 1156, 1157, 2116, 2117, 1160, 1161, 1104,
+ 1105, 1106, 1107, 1108, 1109, 1110, 1111, 1112, 1113, 1172, 1173, 2132, 2133,
+ 1176, 1177, 1120, 1121, 1122, 1123, 1124, 1125, 1126, 1127, 1128, 1129, 1158,
+ 1159, 2148, 2149, 2184, 2185, 1136, 1137, 1138, 1139, 1140, 1141, 1142, 1143,
+ 1144, 1145, 1174, 1175, 2164, 2165, 2200, 2201, 1280, 1281, 1282, 1283, 1284,
+ 1285, 1286, 1287, 1288, 1289, 1408, 1409, 2308, 2309, 2436, 2437, 1296, 1297,
+ 1298, 1299, 1300, 1301, 1302, 1303, 1304, 1305, 1424, 1425, 2324, 2325, 2452,
+ 2453, 1312, 1313, 1314, 1315, 1316, 1317, 1318, 1319, 1320, 1321, 1410, 1411,
+ 2340, 2341, 2376, 2377, 1328, 1329, 1330, 1331, 1332, 1333, 1334, 1335, 1336,
+ 1337, 1426, 1427, 2356, 2357, 2392, 2393, 1344, 1345, 1346, 1347, 1348, 1349,
+ 1350, 1351, 1352, 1353, 1412, 1413, 2372, 2373, 1416, 1417, 1360, 1361, 1362,
+ 1363, 1364, 1365, 1366, 1367, 1368, 1369, 1428, 1429, 2388, 2389, 1432, 1433,
+ 1376, 1377, 1378, 1379, 1380, 1381, 1382, 1383, 1384, 1385, 1414, 1415, 2404,
+ 2405, 2440, 2441, 1392, 1393, 1394, 1395, 1396, 1397, 1398, 1399, 1400, 1401,
+ 1430, 1431, 2420, 2421, 2456, 2457, 1536, 1537, 1538, 1539, 1540, 1541, 1542,
+ 1543, 1544, 1545, 1664, 1665, 2054, 2055, 2182, 2183, 1552, 1553, 1554, 1555,
+ 1556, 1557, 1558, 1559, 1560, 1561, 1680, 1681, 2070, 2071, 2198, 2199, 1568,
+ 1569, 1570, 1571, 1572, 1573, 1574, 1575, 1576, 1577, 1666, 1667, 2086, 2087,
+ 2152, 2153, 1584, 1585, 1586, 1587, 1588, 1589, 1590, 1591, 1592, 1593, 1682,
+ 1683, 2102, 2103, 2168, 2169, 1600, 1601, 1602, 1603, 1604, 1605, 1606, 1607,
+ 1608, 1609, 1668, 1669, 2118, 2119, 1672, 1673, 1616, 1617, 1618, 1619, 1620,
+ 1621, 1622, 1623, 1624, 1625, 1684, 1685, 2134, 2135, 1688, 1689, 1632, 1633,
+ 1634, 1635, 1636, 1637, 1638, 1639, 1640, 1641, 1670, 1671, 2150, 2151, 2184,
+ 2185, 1648, 1649, 1650, 1651, 1652, 1653, 1654, 1655, 1656, 1657, 1686, 1687,
+ 2166, 2167, 2200, 2201, 1792, 1793, 1794, 1795, 1796, 1797, 1798, 1799, 1800,
+ 1801, 1920, 1921, 2310, 2311, 2438, 2439, 1808, 1809, 1810, 1811, 1812, 1813,
+ 1814, 1815, 1816, 1817, 1936, 1937, 2326, 2327, 2454, 2455, 1824, 1825, 1826,
+ 1827, 1828, 1829, 1830, 1831, 1832, 1833, 1922, 1923, 2342, 2343, 2408, 2409,
+ 1840, 1841, 1842, 1843, 1844, 1845, 1846, 1847, 1848, 1849, 1938, 1939, 2358,
+ 2359, 2424, 2425, 1856, 1857, 1858, 1859, 1860, 1861, 1862, 1863, 1864, 1865,
+ 1924, 1925, 2374, 2375, 1928, 1929, 1872, 1873, 1874, 1875, 1876, 1877, 1878,
+ 1879, 1880, 1881, 1940, 1941, 2390, 2391, 1944, 1945, 1888, 1889, 1890, 1891,
+ 1892, 1893, 1894, 1895, 1896, 1897, 1926, 1927, 2406, 2407, 2440, 2441, 1904,
+ 1905, 1906, 1907, 1908, 1909, 1910, 1911, 1912, 1913, 1942, 1943, 2422, 2423,
+ 2456, 2457};
+#endif
+
+#if defined(DEC_BIN2DPD) && DEC_BIN2DPD==1 && !defined(DECBIN2DPD)
+#define DECBIN2DPD
+
+const uint16_t BIN2DPD[1000]={   0,    1,    2,    3,    4,    5,    6,    7,
+    8,   9,   16,   17,   18,   19,   20,   21,   22,   23,   24,   25,   32,
+   33,  34,   35,   36,   37,   38,   39,   40,   41,   48,   49,   50,   51,
+   52,  53,   54,   55,   56,   57,   64,   65,   66,   67,   68,   69,   70,
+   71,  72,   73,   80,   81,   82,   83,   84,   85,   86,   87,   88,   89,
+   96,  97,   98,   99,  100,  101,  102,  103,  104,  105,  112,  113,  114,
+  115, 116,  117,  118,  119,  120,  121,   10,   11,   42,   43,   74,   75,
+  106, 107,   78,   79,   26,   27,   58,   59,   90,   91,  122,  123,   94,
+   95, 128,  129,  130,  131,  132,  133,  134,  135,  136,  137,  144,  145,
+  146, 147,  148,  149,  150,  151,  152,  153,  160,  161,  162,  163,  164,
+  165, 166,  167,  168,  169,  176,  177,  178,  179,  180,  181,  182,  183,
+  184, 185,  192,  193,  194,  195,  196,  197,  198,  199,  200,  201,  208,
+  209, 210,  211,  212,  213,  214,  215,  216,  217,  224,  225,  226,  227,
+  228, 229,  230,  231,  232,  233,  240,  241,  242,  243,  244,  245,  246,
+  247, 248,  249,  138,  139,  170,  171,  202,  203,  234,  235,  206,  207,
+  154, 155,  186,  187,  218,  219,  250,  251,  222,  223,  256,  257,  258,
+  259, 260,  261,  262,  263,  264,  265,  272,  273,  274,  275,  276,  277,
+  278, 279,  280,  281,  288,  289,  290,  291,  292,  293,  294,  295,  296,
+  297, 304,  305,  306,  307,  308,  309,  310,  311,  312,  313,  320,  321,
+  322, 323,  324,  325,  326,  327,  328,  329,  336,  337,  338,  339,  340,
+  341, 342,  343,  344,  345,  352,  353,  354,  355,  356,  357,  358,  359,
+  360, 361,  368,  369,  370,  371,  372,  373,  374,  375,  376,  377,  266,
+  267, 298,  299,  330,  331,  362,  363,  334,  335,  282,  283,  314,  315,
+  346, 347,  378,  379,  350,  351,  384,  385,  386,  387,  388,  389,  390,
+  391, 392,  393,  400,  401,  402,  403,  404,  405,  406,  407,  408,  409,
+  416, 417,  418,  419,  420,  421,  422,  423,  424,  425,  432,  433,  434,
+  435, 436,  437,  438,  439,  440,  441,  448,  449,  450,  451,  452,  453,
+  454, 455,  456,  457,  464,  465,  466,  467,  468,  469,  470,  471,  472,
+  473, 480,  481,  482,  483,  484,  485,  486,  487,  488,  489,  496,  497,
+  498, 499,  500,  501,  502,  503,  504,  505,  394,  395,  426,  427,  458,
+  459, 490,  491,  462,  463,  410,  411,  442,  443,  474,  475,  506,  507,
+  478, 479,  512,  513,  514,  515,  516,  517,  518,  519,  520,  521,  528,
+  529, 530,  531,  532,  533,  534,  535,  536,  537,  544,  545,  546,  547,
+  548, 549,  550,  551,  552,  553,  560,  561,  562,  563,  564,  565,  566,
+  567, 568,  569,  576,  577,  578,  579,  580,  581,  582,  583,  584,  585,
+  592, 593,  594,  595,  596,  597,  598,  599,  600,  601,  608,  609,  610,
+  611, 612,  613,  614,  615,  616,  617,  624,  625,  626,  627,  628,  629,
+  630, 631,  632,  633,  522,  523,  554,  555,  586,  587,  618,  619,  590,
+  591, 538,  539,  570,  571,  602,  603,  634,  635,  606,  607,  640,  641,
+  642, 643,  644,  645,  646,  647,  648,  649,  656,  657,  658,  659,  660,
+  661, 662,  663,  664,  665,  672,  673,  674,  675,  676,  677,  678,  679,
+  680, 681,  688,  689,  690,  691,  692,  693,  694,  695,  696,  697,  704,
+  705, 706,  707,  708,  709,  710,  711,  712,  713,  720,  721,  722,  723,
+  724, 725,  726,  727,  728,  729,  736,  737,  738,  739,  740,  741,  742,
+  743, 744,  745,  752,  753,  754,  755,  756,  757,  758,  759,  760,  761,
+  650, 651,  682,  683,  714,  715,  746,  747,  718,  719,  666,  667,  698,
+  699, 730,  731,  762,  763,  734,  735,  768,  769,  770,  771,  772,  773,
+  774, 775,  776,  777,  784,  785,  786,  787,  788,  789,  790,  791,  792,
+  793, 800,  801,  802,  803,  804,  805,  806,  807,  808,  809,  816,  817,
+  818, 819,  820,  821,  822,  823,  824,  825,  832,  833,  834,  835,  836,
+  837, 838,  839,  840,  841,  848,  849,  850,  851,  852,  853,  854,  855,
+  856, 857,  864,  865,  866,  867,  868,  869,  870,  871,  872,  873,  880,
+  881, 882,  883,  884,  885,  886,  887,  888,  889,  778,  779,  810,  811,
+  842, 843,  874,  875,  846,  847,  794,  795,  826,  827,  858,  859,  890,
+  891, 862,  863,  896,  897,  898,  899,  900,  901,  902,  903,  904,  905,
+  912, 913,  914,  915,  916,  917,  918,  919,  920,  921,  928,  929,  930,
+  931, 932,  933,  934,  935,  936,  937,  944,  945,  946,  947,  948,  949,
+  950, 951,  952,  953,  960,  961,  962,  963,  964,  965,  966,  967,  968,
+  969, 976,  977,  978,  979,  980,  981,  982,  983,  984,  985,  992,  993,
+  994, 995,  996,  997,  998,  999, 1000, 1001, 1008, 1009, 1010, 1011, 1012,
+ 1013, 1014, 1015, 1016, 1017, 906,  907,  938,  939,  970,  971, 1002, 1003,
+  974, 975,  922,  923,  954,  955,  986,  987, 1018, 1019,  990,  991,   12,
+   13, 268,  269,  524,  525,  780,  781,   46,   47,   28,   29,  284,  285,
+  540, 541,  796,  797,   62,   63,   44,   45,  300,  301,  556,  557,  812,
+  813, 302,  303,   60,   61,  316,  317,  572,  573,  828,  829,  318,  319,
+   76,  77,  332,  333,  588,  589,  844,  845,  558,  559,   92,   93,  348,
+  349, 604,  605,  860,  861,  574,  575,  108,  109,  364,  365,  620,  621,
+  876, 877,  814,  815,  124,  125,  380,  381,  636,  637,  892,  893,  830,
+  831,  14,   15,  270,  271,  526,  527,  782,  783,  110,  111,   30,   31,
+  286, 287,  542,  543,  798,  799,  126,  127,  140,  141,  396,  397,  652,
+  653, 908,  909,  174,  175,  156,  157,  412,  413,  668,  669,  924,  925,
+  190, 191,  172,  173,  428,  429,  684,  685,  940,  941,  430,  431,  188,
+  189, 444,  445,  700,  701,  956,  957,  446,  447,  204,  205,  460,  461,
+  716, 717,  972,  973,  686,  687,  220,  221,  476,  477,  732,  733,  988,
+  989, 702,  703,  236,  237,  492,  493,  748,  749, 1004, 1005,  942,  943,
+  252, 253,  508,  509,  764,  765, 1020, 1021,  958,  959,  142,  143,  398,
+  399, 654,  655,  910,  911,  238,  239,  158,  159,  414,  415,  670,  671,
+  926, 927,  254,  255};
+#endif
+
+#if defined(DEC_DPD2BIN) && DEC_DPD2BIN==1 && !defined(DECDPD2BIN)
+#define DECDPD2BIN
+
+const uint16_t DPD2BIN[1024]={   0,    1,    2,    3,    4,    5,    6,    7,
+    8,   9,   80,   81,  800,  801,  880,  881,   10,   11,   12,   13,   14,
+   15,  16,   17,   18,   19,   90,   91,  810,  811,  890,  891,   20,   21,
+   22,  23,   24,   25,   26,   27,   28,   29,   82,   83,  820,  821,  808,
+  809,  30,   31,   32,   33,   34,   35,   36,   37,   38,   39,   92,   93,
+  830, 831,  818,  819,   40,   41,   42,   43,   44,   45,   46,   47,   48,
+   49,  84,   85,  840,  841,   88,   89,   50,   51,   52,   53,   54,   55,
+   56,  57,   58,   59,   94,   95,  850,  851,   98,   99,   60,   61,   62,
+   63,  64,   65,   66,   67,   68,   69,   86,   87,  860,  861,  888,  889,
+   70,  71,   72,   73,   74,   75,   76,   77,   78,   79,   96,   97,  870,
+  871, 898,  899,  100,  101,  102,  103,  104,  105,  106,  107,  108,  109,
+  180, 181,  900,  901,  980,  981,  110,  111,  112,  113,  114,  115,  116,
+  117, 118,  119,  190,  191,  910,  911,  990,  991,  120,  121,  122,  123,
+  124, 125,  126,  127,  128,  129,  182,  183,  920,  921,  908,  909,  130,
+  131, 132,  133,  134,  135,  136,  137,  138,  139,  192,  193,  930,  931,
+  918, 919,  140,  141,  142,  143,  144,  145,  146,  147,  148,  149,  184,
+  185, 940,  941,  188,  189,  150,  151,  152,  153,  154,  155,  156,  157,
+  158, 159,  194,  195,  950,  951,  198,  199,  160,  161,  162,  163,  164,
+  165, 166,  167,  168,  169,  186,  187,  960,  961,  988,  989,  170,  171,
+  172, 173,  174,  175,  176,  177,  178,  179,  196,  197,  970,  971,  998,
+  999, 200,  201,  202,  203,  204,  205,  206,  207,  208,  209,  280,  281,
+  802, 803,  882,  883,  210,  211,  212,  213,  214,  215,  216,  217,  218,
+  219, 290,  291,  812,  813,  892,  893,  220,  221,  222,  223,  224,  225,
+  226, 227,  228,  229,  282,  283,  822,  823,  828,  829,  230,  231,  232,
+  233, 234,  235,  236,  237,  238,  239,  292,  293,  832,  833,  838,  839,
+  240, 241,  242,  243,  244,  245,  246,  247,  248,  249,  284,  285,  842,
+  843, 288,  289,  250,  251,  252,  253,  254,  255,  256,  257,  258,  259,
+  294, 295,  852,  853,  298,  299,  260,  261,  262,  263,  264,  265,  266,
+  267, 268,  269,  286,  287,  862,  863,  888,  889,  270,  271,  272,  273,
+  274, 275,  276,  277,  278,  279,  296,  297,  872,  873,  898,  899,  300,
+  301, 302,  303,  304,  305,  306,  307,  308,  309,  380,  381,  902,  903,
+  982, 983,  310,  311,  312,  313,  314,  315,  316,  317,  318,  319,  390,
+  391, 912,  913,  992,  993,  320,  321,  322,  323,  324,  325,  326,  327,
+  328, 329,  382,  383,  922,  923,  928,  929,  330,  331,  332,  333,  334,
+  335, 336,  337,  338,  339,  392,  393,  932,  933,  938,  939,  340,  341,
+  342, 343,  344,  345,  346,  347,  348,  349,  384,  385,  942,  943,  388,
+  389, 350,  351,  352,  353,  354,  355,  356,  357,  358,  359,  394,  395,
+  952, 953,  398,  399,  360,  361,  362,  363,  364,  365,  366,  367,  368,
+  369, 386,  387,  962,  963,  988,  989,  370,  371,  372,  373,  374,  375,
+  376, 377,  378,  379,  396,  397,  972,  973,  998,  999,  400,  401,  402,
+  403, 404,  405,  406,  407,  408,  409,  480,  481,  804,  805,  884,  885,
+  410, 411,  412,  413,  414,  415,  416,  417,  418,  419,  490,  491,  814,
+  815, 894,  895,  420,  421,  422,  423,  424,  425,  426,  427,  428,  429,
+  482, 483,  824,  825,  848,  849,  430,  431,  432,  433,  434,  435,  436,
+  437, 438,  439,  492,  493,  834,  835,  858,  859,  440,  441,  442,  443,
+  444, 445,  446,  447,  448,  449,  484,  485,  844,  845,  488,  489,  450,
+  451, 452,  453,  454,  455,  456,  457,  458,  459,  494,  495,  854,  855,
+  498, 499,  460,  461,  462,  463,  464,  465,  466,  467,  468,  469,  486,
+  487, 864,  865,  888,  889,  470,  471,  472,  473,  474,  475,  476,  477,
+  478, 479,  496,  497,  874,  875,  898,  899,  500,  501,  502,  503,  504,
+  505, 506,  507,  508,  509,  580,  581,  904,  905,  984,  985,  510,  511,
+  512, 513,  514,  515,  516,  517,  518,  519,  590,  591,  914,  915,  994,
+  995, 520,  521,  522,  523,  524,  525,  526,  527,  528,  529,  582,  583,
+  924, 925,  948,  949,  530,  531,  532,  533,  534,  535,  536,  537,  538,
+  539, 592,  593,  934,  935,  958,  959,  540,  541,  542,  543,  544,  545,
+  546, 547,  548,  549,  584,  585,  944,  945,  588,  589,  550,  551,  552,
+  553, 554,  555,  556,  557,  558,  559,  594,  595,  954,  955,  598,  599,
+  560, 561,  562,  563,  564,  565,  566,  567,  568,  569,  586,  587,  964,
+  965, 988,  989,  570,  571,  572,  573,  574,  575,  576,  577,  578,  579,
+  596, 597,  974,  975,  998,  999,  600,  601,  602,  603,  604,  605,  606,
+  607, 608,  609,  680,  681,  806,  807,  886,  887,  610,  611,  612,  613,
+  614, 615,  616,  617,  618,  619,  690,  691,  816,  817,  896,  897,  620,
+  621, 622,  623,  624,  625,  626,  627,  628,  629,  682,  683,  826,  827,
+  868, 869,  630,  631,  632,  633,  634,  635,  636,  637,  638,  639,  692,
+  693, 836,  837,  878,  879,  640,  641,  642,  643,  644,  645,  646,  647,
+  648, 649,  684,  685,  846,  847,  688,  689,  650,  651,  652,  653,  654,
+  655, 656,  657,  658,  659,  694,  695,  856,  857,  698,  699,  660,  661,
+  662, 663,  664,  665,  666,  667,  668,  669,  686,  687,  866,  867,  888,
+  889, 670,  671,  672,  673,  674,  675,  676,  677,  678,  679,  696,  697,
+  876, 877,  898,  899,  700,  701,  702,  703,  704,  705,  706,  707,  708,
+  709, 780,  781,  906,  907,  986,  987,  710,  711,  712,  713,  714,  715,
+  716, 717,  718,  719,  790,  791,  916,  917,  996,  997,  720,  721,  722,
+  723, 724,  725,  726,  727,  728,  729,  782,  783,  926,  927,  968,  969,
+  730, 731,  732,  733,  734,  735,  736,  737,  738,  739,  792,  793,  936,
+  937, 978,  979,  740,  741,  742,  743,  744,  745,  746,  747,  748,  749,
+  784, 785,  946,  947,  788,  789,  750,  751,  752,  753,  754,  755,  756,
+  757, 758,  759,  794,  795,  956,  957,  798,  799,  760,  761,  762,  763,
+  764, 765,  766,  767,  768,  769,  786,  787,  966,  967,  988,  989,  770,
+  771, 772,  773,  774,  775,  776,  777,  778,  779,  796,  797,  976,  977,
+  998, 999};
+#endif
+
+#if defined(DEC_DPD2BINK) && DEC_DPD2BINK==1 && !defined(DECDPD2BINK)
+#define DECDPD2BINK
+
+const uint32_t DPD2BINK[1024]={              0,   1000,   2000,   3000,   4000,   5000,
+   6000,   7000,   8000,   9000,  80000,  81000, 800000, 801000, 880000, 881000,
+  10000,  11000,  12000,  13000,  14000,  15000,  16000,  17000,  18000,  19000,
+  90000,  91000, 810000, 811000, 890000, 891000,  20000,  21000,  22000,  23000,
+  24000,  25000,  26000,  27000,  28000,  29000,  82000,  83000, 820000, 821000,
+ 808000, 809000,  30000,  31000,  32000,  33000,  34000,  35000,  36000,  37000,
+  38000,  39000,  92000,  93000, 830000, 831000, 818000, 819000,  40000,  41000,
+  42000,  43000,  44000,  45000,  46000,  47000,  48000,  49000,  84000,  85000,
+ 840000, 841000,  88000,  89000,  50000,  51000,  52000,  53000,  54000,  55000,
+  56000,  57000,  58000,  59000,  94000,  95000, 850000, 851000,  98000,  99000,
+  60000,  61000,  62000,  63000,  64000,  65000,  66000,  67000,  68000,  69000,
+  86000,  87000, 860000, 861000, 888000, 889000,  70000,  71000,  72000,  73000,
+  74000,  75000,  76000,  77000,  78000,  79000,  96000,  97000, 870000, 871000,
+ 898000, 899000, 100000, 101000, 102000, 103000, 104000, 105000, 106000, 107000,
+ 108000, 109000, 180000, 181000, 900000, 901000, 980000, 981000, 110000, 111000,
+ 112000, 113000, 114000, 115000, 116000, 117000, 118000, 119000, 190000, 191000,
+ 910000, 911000, 990000, 991000, 120000, 121000, 122000, 123000, 124000, 125000,
+ 126000, 127000, 128000, 129000, 182000, 183000, 920000, 921000, 908000, 909000,
+ 130000, 131000, 132000, 133000, 134000, 135000, 136000, 137000, 138000, 139000,
+ 192000, 193000, 930000, 931000, 918000, 919000, 140000, 141000, 142000, 143000,
+ 144000, 145000, 146000, 147000, 148000, 149000, 184000, 185000, 940000, 941000,
+ 188000, 189000, 150000, 151000, 152000, 153000, 154000, 155000, 156000, 157000,
+ 158000, 159000, 194000, 195000, 950000, 951000, 198000, 199000, 160000, 161000,
+ 162000, 163000, 164000, 165000, 166000, 167000, 168000, 169000, 186000, 187000,
+ 960000, 961000, 988000, 989000, 170000, 171000, 172000, 173000, 174000, 175000,
+ 176000, 177000, 178000, 179000, 196000, 197000, 970000, 971000, 998000, 999000,
+ 200000, 201000, 202000, 203000, 204000, 205000, 206000, 207000, 208000, 209000,
+ 280000, 281000, 802000, 803000, 882000, 883000, 210000, 211000, 212000, 213000,
+ 214000, 215000, 216000, 217000, 218000, 219000, 290000, 291000, 812000, 813000,
+ 892000, 893000, 220000, 221000, 222000, 223000, 224000, 225000, 226000, 227000,
+ 228000, 229000, 282000, 283000, 822000, 823000, 828000, 829000, 230000, 231000,
+ 232000, 233000, 234000, 235000, 236000, 237000, 238000, 239000, 292000, 293000,
+ 832000, 833000, 838000, 839000, 240000, 241000, 242000, 243000, 244000, 245000,
+ 246000, 247000, 248000, 249000, 284000, 285000, 842000, 843000, 288000, 289000,
+ 250000, 251000, 252000, 253000, 254000, 255000, 256000, 257000, 258000, 259000,
+ 294000, 295000, 852000, 853000, 298000, 299000, 260000, 261000, 262000, 263000,
+ 264000, 265000, 266000, 267000, 268000, 269000, 286000, 287000, 862000, 863000,
+ 888000, 889000, 270000, 271000, 272000, 273000, 274000, 275000, 276000, 277000,
+ 278000, 279000, 296000, 297000, 872000, 873000, 898000, 899000, 300000, 301000,
+ 302000, 303000, 304000, 305000, 306000, 307000, 308000, 309000, 380000, 381000,
+ 902000, 903000, 982000, 983000, 310000, 311000, 312000, 313000, 314000, 315000,
+ 316000, 317000, 318000, 319000, 390000, 391000, 912000, 913000, 992000, 993000,
+ 320000, 321000, 322000, 323000, 324000, 325000, 326000, 327000, 328000, 329000,
+ 382000, 383000, 922000, 923000, 928000, 929000, 330000, 331000, 332000, 333000,
+ 334000, 335000, 336000, 337000, 338000, 339000, 392000, 393000, 932000, 933000,
+ 938000, 939000, 340000, 341000, 342000, 343000, 344000, 345000, 346000, 347000,
+ 348000, 349000, 384000, 385000, 942000, 943000, 388000, 389000, 350000, 351000,
+ 352000, 353000, 354000, 355000, 356000, 357000, 358000, 359000, 394000, 395000,
+ 952000, 953000, 398000, 399000, 360000, 361000, 362000, 363000, 364000, 365000,
+ 366000, 367000, 368000, 369000, 386000, 387000, 962000, 963000, 988000, 989000,
+ 370000, 371000, 372000, 373000, 374000, 375000, 376000, 377000, 378000, 379000,
+ 396000, 397000, 972000, 973000, 998000, 999000, 400000, 401000, 402000, 403000,
+ 404000, 405000, 406000, 407000, 408000, 409000, 480000, 481000, 804000, 805000,
+ 884000, 885000, 410000, 411000, 412000, 413000, 414000, 415000, 416000, 417000,
+ 418000, 419000, 490000, 491000, 814000, 815000, 894000, 895000, 420000, 421000,
+ 422000, 423000, 424000, 425000, 426000, 427000, 428000, 429000, 482000, 483000,
+ 824000, 825000, 848000, 849000, 430000, 431000, 432000, 433000, 434000, 435000,
+ 436000, 437000, 438000, 439000, 492000, 493000, 834000, 835000, 858000, 859000,
+ 440000, 441000, 442000, 443000, 444000, 445000, 446000, 447000, 448000, 449000,
+ 484000, 485000, 844000, 845000, 488000, 489000, 450000, 451000, 452000, 453000,
+ 454000, 455000, 456000, 457000, 458000, 459000, 494000, 495000, 854000, 855000,
+ 498000, 499000, 460000, 461000, 462000, 463000, 464000, 465000, 466000, 467000,
+ 468000, 469000, 486000, 487000, 864000, 865000, 888000, 889000, 470000, 471000,
+ 472000, 473000, 474000, 475000, 476000, 477000, 478000, 479000, 496000, 497000,
+ 874000, 875000, 898000, 899000, 500000, 501000, 502000, 503000, 504000, 505000,
+ 506000, 507000, 508000, 509000, 580000, 581000, 904000, 905000, 984000, 985000,
+ 510000, 511000, 512000, 513000, 514000, 515000, 516000, 517000, 518000, 519000,
+ 590000, 591000, 914000, 915000, 994000, 995000, 520000, 521000, 522000, 523000,
+ 524000, 525000, 526000, 527000, 528000, 529000, 582000, 583000, 924000, 925000,
+ 948000, 949000, 530000, 531000, 532000, 533000, 534000, 535000, 536000, 537000,
+ 538000, 539000, 592000, 593000, 934000, 935000, 958000, 959000, 540000, 541000,
+ 542000, 543000, 544000, 545000, 546000, 547000, 548000, 549000, 584000, 585000,
+ 944000, 945000, 588000, 589000, 550000, 551000, 552000, 553000, 554000, 555000,
+ 556000, 557000, 558000, 559000, 594000, 595000, 954000, 955000, 598000, 599000,
+ 560000, 561000, 562000, 563000, 564000, 565000, 566000, 567000, 568000, 569000,
+ 586000, 587000, 964000, 965000, 988000, 989000, 570000, 571000, 572000, 573000,
+ 574000, 575000, 576000, 577000, 578000, 579000, 596000, 597000, 974000, 975000,
+ 998000, 999000, 600000, 601000, 602000, 603000, 604000, 605000, 606000, 607000,
+ 608000, 609000, 680000, 681000, 806000, 807000, 886000, 887000, 610000, 611000,
+ 612000, 613000, 614000, 615000, 616000, 617000, 618000, 619000, 690000, 691000,
+ 816000, 817000, 896000, 897000, 620000, 621000, 622000, 623000, 624000, 625000,
+ 626000, 627000, 628000, 629000, 682000, 683000, 826000, 827000, 868000, 869000,
+ 630000, 631000, 632000, 633000, 634000, 635000, 636000, 637000, 638000, 639000,
+ 692000, 693000, 836000, 837000, 878000, 879000, 640000, 641000, 642000, 643000,
+ 644000, 645000, 646000, 647000, 648000, 649000, 684000, 685000, 846000, 847000,
+ 688000, 689000, 650000, 651000, 652000, 653000, 654000, 655000, 656000, 657000,
+ 658000, 659000, 694000, 695000, 856000, 857000, 698000, 699000, 660000, 661000,
+ 662000, 663000, 664000, 665000, 666000, 667000, 668000, 669000, 686000, 687000,
+ 866000, 867000, 888000, 889000, 670000, 671000, 672000, 673000, 674000, 675000,
+ 676000, 677000, 678000, 679000, 696000, 697000, 876000, 877000, 898000, 899000,
+ 700000, 701000, 702000, 703000, 704000, 705000, 706000, 707000, 708000, 709000,
+ 780000, 781000, 906000, 907000, 986000, 987000, 710000, 711000, 712000, 713000,
+ 714000, 715000, 716000, 717000, 718000, 719000, 790000, 791000, 916000, 917000,
+ 996000, 997000, 720000, 721000, 722000, 723000, 724000, 725000, 726000, 727000,
+ 728000, 729000, 782000, 783000, 926000, 927000, 968000, 969000, 730000, 731000,
+ 732000, 733000, 734000, 735000, 736000, 737000, 738000, 739000, 792000, 793000,
+ 936000, 937000, 978000, 979000, 740000, 741000, 742000, 743000, 744000, 745000,
+ 746000, 747000, 748000, 749000, 784000, 785000, 946000, 947000, 788000, 789000,
+ 750000, 751000, 752000, 753000, 754000, 755000, 756000, 757000, 758000, 759000,
+ 794000, 795000, 956000, 957000, 798000, 799000, 760000, 761000, 762000, 763000,
+ 764000, 765000, 766000, 767000, 768000, 769000, 786000, 787000, 966000, 967000,
+ 988000, 989000, 770000, 771000, 772000, 773000, 774000, 775000, 776000, 777000,
+ 778000, 779000, 796000, 797000, 976000, 977000, 998000, 999000};
+#endif
+
+#if defined(DEC_DPD2BINM) && DEC_DPD2BINM==1 && !defined(DECDPD2BINM)
+#define DECDPD2BINM
+
+const uint32_t DPD2BINM[1024]={0,   1000000,   2000000,          3000000,   4000000,
+   5000000,   6000000,  7000000,   8000000,   9000000,  80000000,  81000000,
+ 800000000, 801000000, 880000000, 881000000,  10000000,         11000000,  12000000,
+  13000000,  14000000, 15000000,  16000000,  17000000,  18000000,  19000000,
+  90000000,  91000000, 810000000, 811000000, 890000000, 891000000,  20000000,
+  21000000,  22000000, 23000000,  24000000,  25000000,  26000000,  27000000,
+  28000000,  29000000, 82000000,  83000000, 820000000, 821000000, 808000000,
+ 809000000,  30000000, 31000000,  32000000,  33000000,  34000000,  35000000,
+  36000000,  37000000, 38000000,  39000000,  92000000,  93000000, 830000000,
+ 831000000, 818000000, 819000000,  40000000,  41000000,         42000000,  43000000,
+  44000000,  45000000, 46000000,  47000000,  48000000,  49000000,  84000000,
+  85000000, 840000000, 841000000,  88000000,  89000000,         50000000,  51000000,
+  52000000,  53000000, 54000000,  55000000,  56000000,  57000000,  58000000,
+  59000000,  94000000, 95000000, 850000000, 851000000,  98000000,  99000000,
+  60000000,  61000000, 62000000,  63000000,  64000000,  65000000,  66000000,
+  67000000,  68000000, 69000000,  86000000,  87000000, 860000000, 861000000,
+ 888000000, 889000000, 70000000,  71000000,  72000000,  73000000,  74000000,
+  75000000,  76000000, 77000000,  78000000,  79000000,  96000000,  97000000,
+ 870000000, 871000000, 898000000, 899000000, 100000000, 101000000, 102000000,
+ 103000000, 104000000, 105000000, 106000000, 107000000, 108000000, 109000000,
+ 180000000, 181000000, 900000000, 901000000, 980000000, 981000000, 110000000,
+ 111000000, 112000000, 113000000, 114000000, 115000000, 116000000, 117000000,
+ 118000000, 119000000, 190000000, 191000000, 910000000, 911000000, 990000000,
+ 991000000, 120000000, 121000000, 122000000, 123000000, 124000000, 125000000,
+ 126000000, 127000000, 128000000, 129000000, 182000000, 183000000, 920000000,
+ 921000000, 908000000, 909000000, 130000000, 131000000, 132000000, 133000000,
+ 134000000, 135000000, 136000000, 137000000, 138000000, 139000000, 192000000,
+ 193000000, 930000000, 931000000, 918000000, 919000000, 140000000, 141000000,
+ 142000000, 143000000, 144000000, 145000000, 146000000, 147000000, 148000000,
+ 149000000, 184000000, 185000000, 940000000, 941000000, 188000000, 189000000,
+ 150000000, 151000000, 152000000, 153000000, 154000000, 155000000, 156000000,
+ 157000000, 158000000, 159000000, 194000000, 195000000, 950000000, 951000000,
+ 198000000, 199000000, 160000000, 161000000, 162000000, 163000000, 164000000,
+ 165000000, 166000000, 167000000, 168000000, 169000000, 186000000, 187000000,
+ 960000000, 961000000, 988000000, 989000000, 170000000, 171000000, 172000000,
+ 173000000, 174000000, 175000000, 176000000, 177000000, 178000000, 179000000,
+ 196000000, 197000000, 970000000, 971000000, 998000000, 999000000, 200000000,
+ 201000000, 202000000, 203000000, 204000000, 205000000, 206000000, 207000000,
+ 208000000, 209000000, 280000000, 281000000, 802000000, 803000000, 882000000,
+ 883000000, 210000000, 211000000, 212000000, 213000000, 214000000, 215000000,
+ 216000000, 217000000, 218000000, 219000000, 290000000, 291000000, 812000000,
+ 813000000, 892000000, 893000000, 220000000, 221000000, 222000000, 223000000,
+ 224000000, 225000000, 226000000, 227000000, 228000000, 229000000, 282000000,
+ 283000000, 822000000, 823000000, 828000000, 829000000, 230000000, 231000000,
+ 232000000, 233000000, 234000000, 235000000, 236000000, 237000000, 238000000,
+ 239000000, 292000000, 293000000, 832000000, 833000000, 838000000, 839000000,
+ 240000000, 241000000, 242000000, 243000000, 244000000, 245000000, 246000000,
+ 247000000, 248000000, 249000000, 284000000, 285000000, 842000000, 843000000,
+ 288000000, 289000000, 250000000, 251000000, 252000000, 253000000, 254000000,
+ 255000000, 256000000, 257000000, 258000000, 259000000, 294000000, 295000000,
+ 852000000, 853000000, 298000000, 299000000, 260000000, 261000000, 262000000,
+ 263000000, 264000000, 265000000, 266000000, 267000000, 268000000, 269000000,
+ 286000000, 287000000, 862000000, 863000000, 888000000, 889000000, 270000000,
+ 271000000, 272000000, 273000000, 274000000, 275000000, 276000000, 277000000,
+ 278000000, 279000000, 296000000, 297000000, 872000000, 873000000, 898000000,
+ 899000000, 300000000, 301000000, 302000000, 303000000, 304000000, 305000000,
+ 306000000, 307000000, 308000000, 309000000, 380000000, 381000000, 902000000,
+ 903000000, 982000000, 983000000, 310000000, 311000000, 312000000, 313000000,
+ 314000000, 315000000, 316000000, 317000000, 318000000, 319000000, 390000000,
+ 391000000, 912000000, 913000000, 992000000, 993000000, 320000000, 321000000,
+ 322000000, 323000000, 324000000, 325000000, 326000000, 327000000, 328000000,
+ 329000000, 382000000, 383000000, 922000000, 923000000, 928000000, 929000000,
+ 330000000, 331000000, 332000000, 333000000, 334000000, 335000000, 336000000,
+ 337000000, 338000000, 339000000, 392000000, 393000000, 932000000, 933000000,
+ 938000000, 939000000, 340000000, 341000000, 342000000, 343000000, 344000000,
+ 345000000, 346000000, 347000000, 348000000, 349000000, 384000000, 385000000,
+ 942000000, 943000000, 388000000, 389000000, 350000000, 351000000, 352000000,
+ 353000000, 354000000, 355000000, 356000000, 357000000, 358000000, 359000000,
+ 394000000, 395000000, 952000000, 953000000, 398000000, 399000000, 360000000,
+ 361000000, 362000000, 363000000, 364000000, 365000000, 366000000, 367000000,
+ 368000000, 369000000, 386000000, 387000000, 962000000, 963000000, 988000000,
+ 989000000, 370000000, 371000000, 372000000, 373000000, 374000000, 375000000,
+ 376000000, 377000000, 378000000, 379000000, 396000000, 397000000, 972000000,
+ 973000000, 998000000, 999000000, 400000000, 401000000, 402000000, 403000000,
+ 404000000, 405000000, 406000000, 407000000, 408000000, 409000000, 480000000,
+ 481000000, 804000000, 805000000, 884000000, 885000000, 410000000, 411000000,
+ 412000000, 413000000, 414000000, 415000000, 416000000, 417000000, 418000000,
+ 419000000, 490000000, 491000000, 814000000, 815000000, 894000000, 895000000,
+ 420000000, 421000000, 422000000, 423000000, 424000000, 425000000, 426000000,
+ 427000000, 428000000, 429000000, 482000000, 483000000, 824000000, 825000000,
+ 848000000, 849000000, 430000000, 431000000, 432000000, 433000000, 434000000,
+ 435000000, 436000000, 437000000, 438000000, 439000000, 492000000, 493000000,
+ 834000000, 835000000, 858000000, 859000000, 440000000, 441000000, 442000000,
+ 443000000, 444000000, 445000000, 446000000, 447000000, 448000000, 449000000,
+ 484000000, 485000000, 844000000, 845000000, 488000000, 489000000, 450000000,
+ 451000000, 452000000, 453000000, 454000000, 455000000, 456000000, 457000000,
+ 458000000, 459000000, 494000000, 495000000, 854000000, 855000000, 498000000,
+ 499000000, 460000000, 461000000, 462000000, 463000000, 464000000, 465000000,
+ 466000000, 467000000, 468000000, 469000000, 486000000, 487000000, 864000000,
+ 865000000, 888000000, 889000000, 470000000, 471000000, 472000000, 473000000,
+ 474000000, 475000000, 476000000, 477000000, 478000000, 479000000, 496000000,
+ 497000000, 874000000, 875000000, 898000000, 899000000, 500000000, 501000000,
+ 502000000, 503000000, 504000000, 505000000, 506000000, 507000000, 508000000,
+ 509000000, 580000000, 581000000, 904000000, 905000000, 984000000, 985000000,
+ 510000000, 511000000, 512000000, 513000000, 514000000, 515000000, 516000000,
+ 517000000, 518000000, 519000000, 590000000, 591000000, 914000000, 915000000,
+ 994000000, 995000000, 520000000, 521000000, 522000000, 523000000, 524000000,
+ 525000000, 526000000, 527000000, 528000000, 529000000, 582000000, 583000000,
+ 924000000, 925000000, 948000000, 949000000, 530000000, 531000000, 532000000,
+ 533000000, 534000000, 535000000, 536000000, 537000000, 538000000, 539000000,
+ 592000000, 593000000, 934000000, 935000000, 958000000, 959000000, 540000000,
+ 541000000, 542000000, 543000000, 544000000, 545000000, 546000000, 547000000,
+ 548000000, 549000000, 584000000, 585000000, 944000000, 945000000, 588000000,
+ 589000000, 550000000, 551000000, 552000000, 553000000, 554000000, 555000000,
+ 556000000, 557000000, 558000000, 559000000, 594000000, 595000000, 954000000,
+ 955000000, 598000000, 599000000, 560000000, 561000000, 562000000, 563000000,
+ 564000000, 565000000, 566000000, 567000000, 568000000, 569000000, 586000000,
+ 587000000, 964000000, 965000000, 988000000, 989000000, 570000000, 571000000,
+ 572000000, 573000000, 574000000, 575000000, 576000000, 577000000, 578000000,
+ 579000000, 596000000, 597000000, 974000000, 975000000, 998000000, 999000000,
+ 600000000, 601000000, 602000000, 603000000, 604000000, 605000000, 606000000,
+ 607000000, 608000000, 609000000, 680000000, 681000000, 806000000, 807000000,
+ 886000000, 887000000, 610000000, 611000000, 612000000, 613000000, 614000000,
+ 615000000, 616000000, 617000000, 618000000, 619000000, 690000000, 691000000,
+ 816000000, 817000000, 896000000, 897000000, 620000000, 621000000, 622000000,
+ 623000000, 624000000, 625000000, 626000000, 627000000, 628000000, 629000000,
+ 682000000, 683000000, 826000000, 827000000, 868000000, 869000000, 630000000,
+ 631000000, 632000000, 633000000, 634000000, 635000000, 636000000, 637000000,
+ 638000000, 639000000, 692000000, 693000000, 836000000, 837000000, 878000000,
+ 879000000, 640000000, 641000000, 642000000, 643000000, 644000000, 645000000,
+ 646000000, 647000000, 648000000, 649000000, 684000000, 685000000, 846000000,
+ 847000000, 688000000, 689000000, 650000000, 651000000, 652000000, 653000000,
+ 654000000, 655000000, 656000000, 657000000, 658000000, 659000000, 694000000,
+ 695000000, 856000000, 857000000, 698000000, 699000000, 660000000, 661000000,
+ 662000000, 663000000, 664000000, 665000000, 666000000, 667000000, 668000000,
+ 669000000, 686000000, 687000000, 866000000, 867000000, 888000000, 889000000,
+ 670000000, 671000000, 672000000, 673000000, 674000000, 675000000, 676000000,
+ 677000000, 678000000, 679000000, 696000000, 697000000, 876000000, 877000000,
+ 898000000, 899000000, 700000000, 701000000, 702000000, 703000000, 704000000,
+ 705000000, 706000000, 707000000, 708000000, 709000000, 780000000, 781000000,
+ 906000000, 907000000, 986000000, 987000000, 710000000, 711000000, 712000000,
+ 713000000, 714000000, 715000000, 716000000, 717000000, 718000000, 719000000,
+ 790000000, 791000000, 916000000, 917000000, 996000000, 997000000, 720000000,
+ 721000000, 722000000, 723000000, 724000000, 725000000, 726000000, 727000000,
+ 728000000, 729000000, 782000000, 783000000, 926000000, 927000000, 968000000,
+ 969000000, 730000000, 731000000, 732000000, 733000000, 734000000, 735000000,
+ 736000000, 737000000, 738000000, 739000000, 792000000, 793000000, 936000000,
+ 937000000, 978000000, 979000000, 740000000, 741000000, 742000000, 743000000,
+ 744000000, 745000000, 746000000, 747000000, 748000000, 749000000, 784000000,
+ 785000000, 946000000, 947000000, 788000000, 789000000, 750000000, 751000000,
+ 752000000, 753000000, 754000000, 755000000, 756000000, 757000000, 758000000,
+ 759000000, 794000000, 795000000, 956000000, 957000000, 798000000, 799000000,
+ 760000000, 761000000, 762000000, 763000000, 764000000, 765000000, 766000000,
+ 767000000, 768000000, 769000000, 786000000, 787000000, 966000000, 967000000,
+ 988000000, 989000000, 770000000, 771000000, 772000000, 773000000, 774000000,
+ 775000000, 776000000, 777000000, 778000000, 779000000, 796000000, 797000000,
+ 976000000, 977000000, 998000000, 999000000};
+#endif
+
+#if defined(DEC_BIN2CHAR) && DEC_BIN2CHAR==1 && !defined(DECBIN2CHAR)
+#define DECBIN2CHAR
+
+const uint8_t BIN2CHAR[4001]={
+ '\0','0','0','0', '\1','0','0','1', '\1','0','0','2', '\1','0','0','3', '\1','0','0','4',
+ '\1','0','0','5', '\1','0','0','6', '\1','0','0','7', '\1','0','0','8', '\1','0','0','9',
+ '\2','0','1','0', '\2','0','1','1', '\2','0','1','2', '\2','0','1','3', '\2','0','1','4',
+ '\2','0','1','5', '\2','0','1','6', '\2','0','1','7', '\2','0','1','8', '\2','0','1','9',
+ '\2','0','2','0', '\2','0','2','1', '\2','0','2','2', '\2','0','2','3', '\2','0','2','4',
+ '\2','0','2','5', '\2','0','2','6', '\2','0','2','7', '\2','0','2','8', '\2','0','2','9',
+ '\2','0','3','0', '\2','0','3','1', '\2','0','3','2', '\2','0','3','3', '\2','0','3','4',
+ '\2','0','3','5', '\2','0','3','6', '\2','0','3','7', '\2','0','3','8', '\2','0','3','9',
+ '\2','0','4','0', '\2','0','4','1', '\2','0','4','2', '\2','0','4','3', '\2','0','4','4',
+ '\2','0','4','5', '\2','0','4','6', '\2','0','4','7', '\2','0','4','8', '\2','0','4','9',
+ '\2','0','5','0', '\2','0','5','1', '\2','0','5','2', '\2','0','5','3', '\2','0','5','4',
+ '\2','0','5','5', '\2','0','5','6', '\2','0','5','7', '\2','0','5','8', '\2','0','5','9',
+ '\2','0','6','0', '\2','0','6','1', '\2','0','6','2', '\2','0','6','3', '\2','0','6','4',
+ '\2','0','6','5', '\2','0','6','6', '\2','0','6','7', '\2','0','6','8', '\2','0','6','9',
+ '\2','0','7','0', '\2','0','7','1', '\2','0','7','2', '\2','0','7','3', '\2','0','7','4',
+ '\2','0','7','5', '\2','0','7','6', '\2','0','7','7', '\2','0','7','8', '\2','0','7','9',
+ '\2','0','8','0', '\2','0','8','1', '\2','0','8','2', '\2','0','8','3', '\2','0','8','4',
+ '\2','0','8','5', '\2','0','8','6', '\2','0','8','7', '\2','0','8','8', '\2','0','8','9',
+ '\2','0','9','0', '\2','0','9','1', '\2','0','9','2', '\2','0','9','3', '\2','0','9','4',
+ '\2','0','9','5', '\2','0','9','6', '\2','0','9','7', '\2','0','9','8', '\2','0','9','9',
+ '\3','1','0','0', '\3','1','0','1', '\3','1','0','2', '\3','1','0','3', '\3','1','0','4',
+ '\3','1','0','5', '\3','1','0','6', '\3','1','0','7', '\3','1','0','8', '\3','1','0','9',
+ '\3','1','1','0', '\3','1','1','1', '\3','1','1','2', '\3','1','1','3', '\3','1','1','4',
+ '\3','1','1','5', '\3','1','1','6', '\3','1','1','7', '\3','1','1','8', '\3','1','1','9',
+ '\3','1','2','0', '\3','1','2','1', '\3','1','2','2', '\3','1','2','3', '\3','1','2','4',
+ '\3','1','2','5', '\3','1','2','6', '\3','1','2','7', '\3','1','2','8', '\3','1','2','9',
+ '\3','1','3','0', '\3','1','3','1', '\3','1','3','2', '\3','1','3','3', '\3','1','3','4',
+ '\3','1','3','5', '\3','1','3','6', '\3','1','3','7', '\3','1','3','8', '\3','1','3','9',
+ '\3','1','4','0', '\3','1','4','1', '\3','1','4','2', '\3','1','4','3', '\3','1','4','4',
+ '\3','1','4','5', '\3','1','4','6', '\3','1','4','7', '\3','1','4','8', '\3','1','4','9',
+ '\3','1','5','0', '\3','1','5','1', '\3','1','5','2', '\3','1','5','3', '\3','1','5','4',
+ '\3','1','5','5', '\3','1','5','6', '\3','1','5','7', '\3','1','5','8', '\3','1','5','9',
+ '\3','1','6','0', '\3','1','6','1', '\3','1','6','2', '\3','1','6','3', '\3','1','6','4',
+ '\3','1','6','5', '\3','1','6','6', '\3','1','6','7', '\3','1','6','8', '\3','1','6','9',
+ '\3','1','7','0', '\3','1','7','1', '\3','1','7','2', '\3','1','7','3', '\3','1','7','4',
+ '\3','1','7','5', '\3','1','7','6', '\3','1','7','7', '\3','1','7','8', '\3','1','7','9',
+ '\3','1','8','0', '\3','1','8','1', '\3','1','8','2', '\3','1','8','3', '\3','1','8','4',
+ '\3','1','8','5', '\3','1','8','6', '\3','1','8','7', '\3','1','8','8', '\3','1','8','9',
+ '\3','1','9','0', '\3','1','9','1', '\3','1','9','2', '\3','1','9','3', '\3','1','9','4',
+ '\3','1','9','5', '\3','1','9','6', '\3','1','9','7', '\3','1','9','8', '\3','1','9','9',
+ '\3','2','0','0', '\3','2','0','1', '\3','2','0','2', '\3','2','0','3', '\3','2','0','4',
+ '\3','2','0','5', '\3','2','0','6', '\3','2','0','7', '\3','2','0','8', '\3','2','0','9',
+ '\3','2','1','0', '\3','2','1','1', '\3','2','1','2', '\3','2','1','3', '\3','2','1','4',
+ '\3','2','1','5', '\3','2','1','6', '\3','2','1','7', '\3','2','1','8', '\3','2','1','9',
+ '\3','2','2','0', '\3','2','2','1', '\3','2','2','2', '\3','2','2','3', '\3','2','2','4',
+ '\3','2','2','5', '\3','2','2','6', '\3','2','2','7', '\3','2','2','8', '\3','2','2','9',
+ '\3','2','3','0', '\3','2','3','1', '\3','2','3','2', '\3','2','3','3', '\3','2','3','4',
+ '\3','2','3','5', '\3','2','3','6', '\3','2','3','7', '\3','2','3','8', '\3','2','3','9',
+ '\3','2','4','0', '\3','2','4','1', '\3','2','4','2', '\3','2','4','3', '\3','2','4','4',
+ '\3','2','4','5', '\3','2','4','6', '\3','2','4','7', '\3','2','4','8', '\3','2','4','9',
+ '\3','2','5','0', '\3','2','5','1', '\3','2','5','2', '\3','2','5','3', '\3','2','5','4',
+ '\3','2','5','5', '\3','2','5','6', '\3','2','5','7', '\3','2','5','8', '\3','2','5','9',
+ '\3','2','6','0', '\3','2','6','1', '\3','2','6','2', '\3','2','6','3', '\3','2','6','4',
+ '\3','2','6','5', '\3','2','6','6', '\3','2','6','7', '\3','2','6','8', '\3','2','6','9',
+ '\3','2','7','0', '\3','2','7','1', '\3','2','7','2', '\3','2','7','3', '\3','2','7','4',
+ '\3','2','7','5', '\3','2','7','6', '\3','2','7','7', '\3','2','7','8', '\3','2','7','9',
+ '\3','2','8','0', '\3','2','8','1', '\3','2','8','2', '\3','2','8','3', '\3','2','8','4',
+ '\3','2','8','5', '\3','2','8','6', '\3','2','8','7', '\3','2','8','8', '\3','2','8','9',
+ '\3','2','9','0', '\3','2','9','1', '\3','2','9','2', '\3','2','9','3', '\3','2','9','4',
+ '\3','2','9','5', '\3','2','9','6', '\3','2','9','7', '\3','2','9','8', '\3','2','9','9',
+ '\3','3','0','0', '\3','3','0','1', '\3','3','0','2', '\3','3','0','3', '\3','3','0','4',
+ '\3','3','0','5', '\3','3','0','6', '\3','3','0','7', '\3','3','0','8', '\3','3','0','9',
+ '\3','3','1','0', '\3','3','1','1', '\3','3','1','2', '\3','3','1','3', '\3','3','1','4',
+ '\3','3','1','5', '\3','3','1','6', '\3','3','1','7', '\3','3','1','8', '\3','3','1','9',
+ '\3','3','2','0', '\3','3','2','1', '\3','3','2','2', '\3','3','2','3', '\3','3','2','4',
+ '\3','3','2','5', '\3','3','2','6', '\3','3','2','7', '\3','3','2','8', '\3','3','2','9',
+ '\3','3','3','0', '\3','3','3','1', '\3','3','3','2', '\3','3','3','3', '\3','3','3','4',
+ '\3','3','3','5', '\3','3','3','6', '\3','3','3','7', '\3','3','3','8', '\3','3','3','9',
+ '\3','3','4','0', '\3','3','4','1', '\3','3','4','2', '\3','3','4','3', '\3','3','4','4',
+ '\3','3','4','5', '\3','3','4','6', '\3','3','4','7', '\3','3','4','8', '\3','3','4','9',
+ '\3','3','5','0', '\3','3','5','1', '\3','3','5','2', '\3','3','5','3', '\3','3','5','4',
+ '\3','3','5','5', '\3','3','5','6', '\3','3','5','7', '\3','3','5','8', '\3','3','5','9',
+ '\3','3','6','0', '\3','3','6','1', '\3','3','6','2', '\3','3','6','3', '\3','3','6','4',
+ '\3','3','6','5', '\3','3','6','6', '\3','3','6','7', '\3','3','6','8', '\3','3','6','9',
+ '\3','3','7','0', '\3','3','7','1', '\3','3','7','2', '\3','3','7','3', '\3','3','7','4',
+ '\3','3','7','5', '\3','3','7','6', '\3','3','7','7', '\3','3','7','8', '\3','3','7','9',
+ '\3','3','8','0', '\3','3','8','1', '\3','3','8','2', '\3','3','8','3', '\3','3','8','4',
+ '\3','3','8','5', '\3','3','8','6', '\3','3','8','7', '\3','3','8','8', '\3','3','8','9',
+ '\3','3','9','0', '\3','3','9','1', '\3','3','9','2', '\3','3','9','3', '\3','3','9','4',
+ '\3','3','9','5', '\3','3','9','6', '\3','3','9','7', '\3','3','9','8', '\3','3','9','9',
+ '\3','4','0','0', '\3','4','0','1', '\3','4','0','2', '\3','4','0','3', '\3','4','0','4',
+ '\3','4','0','5', '\3','4','0','6', '\3','4','0','7', '\3','4','0','8', '\3','4','0','9',
+ '\3','4','1','0', '\3','4','1','1', '\3','4','1','2', '\3','4','1','3', '\3','4','1','4',
+ '\3','4','1','5', '\3','4','1','6', '\3','4','1','7', '\3','4','1','8', '\3','4','1','9',
+ '\3','4','2','0', '\3','4','2','1', '\3','4','2','2', '\3','4','2','3', '\3','4','2','4',
+ '\3','4','2','5', '\3','4','2','6', '\3','4','2','7', '\3','4','2','8', '\3','4','2','9',
+ '\3','4','3','0', '\3','4','3','1', '\3','4','3','2', '\3','4','3','3', '\3','4','3','4',
+ '\3','4','3','5', '\3','4','3','6', '\3','4','3','7', '\3','4','3','8', '\3','4','3','9',
+ '\3','4','4','0', '\3','4','4','1', '\3','4','4','2', '\3','4','4','3', '\3','4','4','4',
+ '\3','4','4','5', '\3','4','4','6', '\3','4','4','7', '\3','4','4','8', '\3','4','4','9',
+ '\3','4','5','0', '\3','4','5','1', '\3','4','5','2', '\3','4','5','3', '\3','4','5','4',
+ '\3','4','5','5', '\3','4','5','6', '\3','4','5','7', '\3','4','5','8', '\3','4','5','9',
+ '\3','4','6','0', '\3','4','6','1', '\3','4','6','2', '\3','4','6','3', '\3','4','6','4',
+ '\3','4','6','5', '\3','4','6','6', '\3','4','6','7', '\3','4','6','8', '\3','4','6','9',
+ '\3','4','7','0', '\3','4','7','1', '\3','4','7','2', '\3','4','7','3', '\3','4','7','4',
+ '\3','4','7','5', '\3','4','7','6', '\3','4','7','7', '\3','4','7','8', '\3','4','7','9',
+ '\3','4','8','0', '\3','4','8','1', '\3','4','8','2', '\3','4','8','3', '\3','4','8','4',
+ '\3','4','8','5', '\3','4','8','6', '\3','4','8','7', '\3','4','8','8', '\3','4','8','9',
+ '\3','4','9','0', '\3','4','9','1', '\3','4','9','2', '\3','4','9','3', '\3','4','9','4',
+ '\3','4','9','5', '\3','4','9','6', '\3','4','9','7', '\3','4','9','8', '\3','4','9','9',
+ '\3','5','0','0', '\3','5','0','1', '\3','5','0','2', '\3','5','0','3', '\3','5','0','4',
+ '\3','5','0','5', '\3','5','0','6', '\3','5','0','7', '\3','5','0','8', '\3','5','0','9',
+ '\3','5','1','0', '\3','5','1','1', '\3','5','1','2', '\3','5','1','3', '\3','5','1','4',
+ '\3','5','1','5', '\3','5','1','6', '\3','5','1','7', '\3','5','1','8', '\3','5','1','9',
+ '\3','5','2','0', '\3','5','2','1', '\3','5','2','2', '\3','5','2','3', '\3','5','2','4',
+ '\3','5','2','5', '\3','5','2','6', '\3','5','2','7', '\3','5','2','8', '\3','5','2','9',
+ '\3','5','3','0', '\3','5','3','1', '\3','5','3','2', '\3','5','3','3', '\3','5','3','4',
+ '\3','5','3','5', '\3','5','3','6', '\3','5','3','7', '\3','5','3','8', '\3','5','3','9',
+ '\3','5','4','0', '\3','5','4','1', '\3','5','4','2', '\3','5','4','3', '\3','5','4','4',
+ '\3','5','4','5', '\3','5','4','6', '\3','5','4','7', '\3','5','4','8', '\3','5','4','9',
+ '\3','5','5','0', '\3','5','5','1', '\3','5','5','2', '\3','5','5','3', '\3','5','5','4',
+ '\3','5','5','5', '\3','5','5','6', '\3','5','5','7', '\3','5','5','8', '\3','5','5','9',
+ '\3','5','6','0', '\3','5','6','1', '\3','5','6','2', '\3','5','6','3', '\3','5','6','4',
+ '\3','5','6','5', '\3','5','6','6', '\3','5','6','7', '\3','5','6','8', '\3','5','6','9',
+ '\3','5','7','0', '\3','5','7','1', '\3','5','7','2', '\3','5','7','3', '\3','5','7','4',
+ '\3','5','7','5', '\3','5','7','6', '\3','5','7','7', '\3','5','7','8', '\3','5','7','9',
+ '\3','5','8','0', '\3','5','8','1', '\3','5','8','2', '\3','5','8','3', '\3','5','8','4',
+ '\3','5','8','5', '\3','5','8','6', '\3','5','8','7', '\3','5','8','8', '\3','5','8','9',
+ '\3','5','9','0', '\3','5','9','1', '\3','5','9','2', '\3','5','9','3', '\3','5','9','4',
+ '\3','5','9','5', '\3','5','9','6', '\3','5','9','7', '\3','5','9','8', '\3','5','9','9',
+ '\3','6','0','0', '\3','6','0','1', '\3','6','0','2', '\3','6','0','3', '\3','6','0','4',
+ '\3','6','0','5', '\3','6','0','6', '\3','6','0','7', '\3','6','0','8', '\3','6','0','9',
+ '\3','6','1','0', '\3','6','1','1', '\3','6','1','2', '\3','6','1','3', '\3','6','1','4',
+ '\3','6','1','5', '\3','6','1','6', '\3','6','1','7', '\3','6','1','8', '\3','6','1','9',
+ '\3','6','2','0', '\3','6','2','1', '\3','6','2','2', '\3','6','2','3', '\3','6','2','4',
+ '\3','6','2','5', '\3','6','2','6', '\3','6','2','7', '\3','6','2','8', '\3','6','2','9',
+ '\3','6','3','0', '\3','6','3','1', '\3','6','3','2', '\3','6','3','3', '\3','6','3','4',
+ '\3','6','3','5', '\3','6','3','6', '\3','6','3','7', '\3','6','3','8', '\3','6','3','9',
+ '\3','6','4','0', '\3','6','4','1', '\3','6','4','2', '\3','6','4','3', '\3','6','4','4',
+ '\3','6','4','5', '\3','6','4','6', '\3','6','4','7', '\3','6','4','8', '\3','6','4','9',
+ '\3','6','5','0', '\3','6','5','1', '\3','6','5','2', '\3','6','5','3', '\3','6','5','4',
+ '\3','6','5','5', '\3','6','5','6', '\3','6','5','7', '\3','6','5','8', '\3','6','5','9',
+ '\3','6','6','0', '\3','6','6','1', '\3','6','6','2', '\3','6','6','3', '\3','6','6','4',
+ '\3','6','6','5', '\3','6','6','6', '\3','6','6','7', '\3','6','6','8', '\3','6','6','9',
+ '\3','6','7','0', '\3','6','7','1', '\3','6','7','2', '\3','6','7','3', '\3','6','7','4',
+ '\3','6','7','5', '\3','6','7','6', '\3','6','7','7', '\3','6','7','8', '\3','6','7','9',
+ '\3','6','8','0', '\3','6','8','1', '\3','6','8','2', '\3','6','8','3', '\3','6','8','4',
+ '\3','6','8','5', '\3','6','8','6', '\3','6','8','7', '\3','6','8','8', '\3','6','8','9',
+ '\3','6','9','0', '\3','6','9','1', '\3','6','9','2', '\3','6','9','3', '\3','6','9','4',
+ '\3','6','9','5', '\3','6','9','6', '\3','6','9','7', '\3','6','9','8', '\3','6','9','9',
+ '\3','7','0','0', '\3','7','0','1', '\3','7','0','2', '\3','7','0','3', '\3','7','0','4',
+ '\3','7','0','5', '\3','7','0','6', '\3','7','0','7', '\3','7','0','8', '\3','7','0','9',
+ '\3','7','1','0', '\3','7','1','1', '\3','7','1','2', '\3','7','1','3', '\3','7','1','4',
+ '\3','7','1','5', '\3','7','1','6', '\3','7','1','7', '\3','7','1','8', '\3','7','1','9',
+ '\3','7','2','0', '\3','7','2','1', '\3','7','2','2', '\3','7','2','3', '\3','7','2','4',
+ '\3','7','2','5', '\3','7','2','6', '\3','7','2','7', '\3','7','2','8', '\3','7','2','9',
+ '\3','7','3','0', '\3','7','3','1', '\3','7','3','2', '\3','7','3','3', '\3','7','3','4',
+ '\3','7','3','5', '\3','7','3','6', '\3','7','3','7', '\3','7','3','8', '\3','7','3','9',
+ '\3','7','4','0', '\3','7','4','1', '\3','7','4','2', '\3','7','4','3', '\3','7','4','4',
+ '\3','7','4','5', '\3','7','4','6', '\3','7','4','7', '\3','7','4','8', '\3','7','4','9',
+ '\3','7','5','0', '\3','7','5','1', '\3','7','5','2', '\3','7','5','3', '\3','7','5','4',
+ '\3','7','5','5', '\3','7','5','6', '\3','7','5','7', '\3','7','5','8', '\3','7','5','9',
+ '\3','7','6','0', '\3','7','6','1', '\3','7','6','2', '\3','7','6','3', '\3','7','6','4',
+ '\3','7','6','5', '\3','7','6','6', '\3','7','6','7', '\3','7','6','8', '\3','7','6','9',
+ '\3','7','7','0', '\3','7','7','1', '\3','7','7','2', '\3','7','7','3', '\3','7','7','4',
+ '\3','7','7','5', '\3','7','7','6', '\3','7','7','7', '\3','7','7','8', '\3','7','7','9',
+ '\3','7','8','0', '\3','7','8','1', '\3','7','8','2', '\3','7','8','3', '\3','7','8','4',
+ '\3','7','8','5', '\3','7','8','6', '\3','7','8','7', '\3','7','8','8', '\3','7','8','9',
+ '\3','7','9','0', '\3','7','9','1', '\3','7','9','2', '\3','7','9','3', '\3','7','9','4',
+ '\3','7','9','5', '\3','7','9','6', '\3','7','9','7', '\3','7','9','8', '\3','7','9','9',
+ '\3','8','0','0', '\3','8','0','1', '\3','8','0','2', '\3','8','0','3', '\3','8','0','4',
+ '\3','8','0','5', '\3','8','0','6', '\3','8','0','7', '\3','8','0','8', '\3','8','0','9',
+ '\3','8','1','0', '\3','8','1','1', '\3','8','1','2', '\3','8','1','3', '\3','8','1','4',
+ '\3','8','1','5', '\3','8','1','6', '\3','8','1','7', '\3','8','1','8', '\3','8','1','9',
+ '\3','8','2','0', '\3','8','2','1', '\3','8','2','2', '\3','8','2','3', '\3','8','2','4',
+ '\3','8','2','5', '\3','8','2','6', '\3','8','2','7', '\3','8','2','8', '\3','8','2','9',
+ '\3','8','3','0', '\3','8','3','1', '\3','8','3','2', '\3','8','3','3', '\3','8','3','4',
+ '\3','8','3','5', '\3','8','3','6', '\3','8','3','7', '\3','8','3','8', '\3','8','3','9',
+ '\3','8','4','0', '\3','8','4','1', '\3','8','4','2', '\3','8','4','3', '\3','8','4','4',
+ '\3','8','4','5', '\3','8','4','6', '\3','8','4','7', '\3','8','4','8', '\3','8','4','9',
+ '\3','8','5','0', '\3','8','5','1', '\3','8','5','2', '\3','8','5','3', '\3','8','5','4',
+ '\3','8','5','5', '\3','8','5','6', '\3','8','5','7', '\3','8','5','8', '\3','8','5','9',
+ '\3','8','6','0', '\3','8','6','1', '\3','8','6','2', '\3','8','6','3', '\3','8','6','4',
+ '\3','8','6','5', '\3','8','6','6', '\3','8','6','7', '\3','8','6','8', '\3','8','6','9',
+ '\3','8','7','0', '\3','8','7','1', '\3','8','7','2', '\3','8','7','3', '\3','8','7','4',
+ '\3','8','7','5', '\3','8','7','6', '\3','8','7','7', '\3','8','7','8', '\3','8','7','9',
+ '\3','8','8','0', '\3','8','8','1', '\3','8','8','2', '\3','8','8','3', '\3','8','8','4',
+ '\3','8','8','5', '\3','8','8','6', '\3','8','8','7', '\3','8','8','8', '\3','8','8','9',
+ '\3','8','9','0', '\3','8','9','1', '\3','8','9','2', '\3','8','9','3', '\3','8','9','4',
+ '\3','8','9','5', '\3','8','9','6', '\3','8','9','7', '\3','8','9','8', '\3','8','9','9',
+ '\3','9','0','0', '\3','9','0','1', '\3','9','0','2', '\3','9','0','3', '\3','9','0','4',
+ '\3','9','0','5', '\3','9','0','6', '\3','9','0','7', '\3','9','0','8', '\3','9','0','9',
+ '\3','9','1','0', '\3','9','1','1', '\3','9','1','2', '\3','9','1','3', '\3','9','1','4',
+ '\3','9','1','5', '\3','9','1','6', '\3','9','1','7', '\3','9','1','8', '\3','9','1','9',
+ '\3','9','2','0', '\3','9','2','1', '\3','9','2','2', '\3','9','2','3', '\3','9','2','4',
+ '\3','9','2','5', '\3','9','2','6', '\3','9','2','7', '\3','9','2','8', '\3','9','2','9',
+ '\3','9','3','0', '\3','9','3','1', '\3','9','3','2', '\3','9','3','3', '\3','9','3','4',
+ '\3','9','3','5', '\3','9','3','6', '\3','9','3','7', '\3','9','3','8', '\3','9','3','9',
+ '\3','9','4','0', '\3','9','4','1', '\3','9','4','2', '\3','9','4','3', '\3','9','4','4',
+ '\3','9','4','5', '\3','9','4','6', '\3','9','4','7', '\3','9','4','8', '\3','9','4','9',
+ '\3','9','5','0', '\3','9','5','1', '\3','9','5','2', '\3','9','5','3', '\3','9','5','4',
+ '\3','9','5','5', '\3','9','5','6', '\3','9','5','7', '\3','9','5','8', '\3','9','5','9',
+ '\3','9','6','0', '\3','9','6','1', '\3','9','6','2', '\3','9','6','3', '\3','9','6','4',
+ '\3','9','6','5', '\3','9','6','6', '\3','9','6','7', '\3','9','6','8', '\3','9','6','9',
+ '\3','9','7','0', '\3','9','7','1', '\3','9','7','2', '\3','9','7','3', '\3','9','7','4',
+ '\3','9','7','5', '\3','9','7','6', '\3','9','7','7', '\3','9','7','8', '\3','9','7','9',
+ '\3','9','8','0', '\3','9','8','1', '\3','9','8','2', '\3','9','8','3', '\3','9','8','4',
+ '\3','9','8','5', '\3','9','8','6', '\3','9','8','7', '\3','9','8','8', '\3','9','8','9',
+ '\3','9','9','0', '\3','9','9','1', '\3','9','9','2', '\3','9','9','3', '\3','9','9','4',
+ '\3','9','9','5', '\3','9','9','6', '\3','9','9','7', '\3','9','9','8', '\3','9','9','9', '\0'};
+#endif
+
+#if defined(DEC_DPD2BCD8) && DEC_DPD2BCD8==1 && !defined(DECDPD2BCD8)
+#define DECDPD2BCD8
+
+const uint8_t DPD2BCD8[4096]={
+ 0,0,0,0, 0,0,1,1, 0,0,2,1, 0,0,3,1, 0,0,4,1, 0,0,5,1, 0,0,6,1, 0,0,7,1, 0,0,8,1,
+ 0,0,9,1, 0,8,0,2, 0,8,1,2, 8,0,0,3, 8,0,1,3, 8,8,0,3, 8,8,1,3, 0,1,0,2, 0,1,1,2,
+ 0,1,2,2, 0,1,3,2, 0,1,4,2, 0,1,5,2, 0,1,6,2, 0,1,7,2, 0,1,8,2, 0,1,9,2, 0,9,0,2,
+ 0,9,1,2, 8,1,0,3, 8,1,1,3, 8,9,0,3, 8,9,1,3, 0,2,0,2, 0,2,1,2, 0,2,2,2, 0,2,3,2,
+ 0,2,4,2, 0,2,5,2, 0,2,6,2, 0,2,7,2, 0,2,8,2, 0,2,9,2, 0,8,2,2, 0,8,3,2, 8,2,0,3,
+ 8,2,1,3, 8,0,8,3, 8,0,9,3, 0,3,0,2, 0,3,1,2, 0,3,2,2, 0,3,3,2, 0,3,4,2, 0,3,5,2,
+ 0,3,6,2, 0,3,7,2, 0,3,8,2, 0,3,9,2, 0,9,2,2, 0,9,3,2, 8,3,0,3, 8,3,1,3, 8,1,8,3,
+ 8,1,9,3, 0,4,0,2, 0,4,1,2, 0,4,2,2, 0,4,3,2, 0,4,4,2, 0,4,5,2, 0,4,6,2, 0,4,7,2,
+ 0,4,8,2, 0,4,9,2, 0,8,4,2, 0,8,5,2, 8,4,0,3, 8,4,1,3, 0,8,8,2, 0,8,9,2, 0,5,0,2,
+ 0,5,1,2, 0,5,2,2, 0,5,3,2, 0,5,4,2, 0,5,5,2, 0,5,6,2, 0,5,7,2, 0,5,8,2, 0,5,9,2,
+ 0,9,4,2, 0,9,5,2, 8,5,0,3, 8,5,1,3, 0,9,8,2, 0,9,9,2, 0,6,0,2, 0,6,1,2, 0,6,2,2,
+ 0,6,3,2, 0,6,4,2, 0,6,5,2, 0,6,6,2, 0,6,7,2, 0,6,8,2, 0,6,9,2, 0,8,6,2, 0,8,7,2,
+ 8,6,0,3, 8,6,1,3, 8,8,8,3, 8,8,9,3, 0,7,0,2, 0,7,1,2, 0,7,2,2, 0,7,3,2, 0,7,4,2,
+ 0,7,5,2, 0,7,6,2, 0,7,7,2, 0,7,8,2, 0,7,9,2, 0,9,6,2, 0,9,7,2, 8,7,0,3, 8,7,1,3,
+ 8,9,8,3, 8,9,9,3, 1,0,0,3, 1,0,1,3, 1,0,2,3, 1,0,3,3, 1,0,4,3, 1,0,5,3, 1,0,6,3,
+ 1,0,7,3, 1,0,8,3, 1,0,9,3, 1,8,0,3, 1,8,1,3, 9,0,0,3, 9,0,1,3, 9,8,0,3, 9,8,1,3,
+ 1,1,0,3, 1,1,1,3, 1,1,2,3, 1,1,3,3, 1,1,4,3, 1,1,5,3, 1,1,6,3, 1,1,7,3, 1,1,8,3,
+ 1,1,9,3, 1,9,0,3, 1,9,1,3, 9,1,0,3, 9,1,1,3, 9,9,0,3, 9,9,1,3, 1,2,0,3, 1,2,1,3,
+ 1,2,2,3, 1,2,3,3, 1,2,4,3, 1,2,5,3, 1,2,6,3, 1,2,7,3, 1,2,8,3, 1,2,9,3, 1,8,2,3,
+ 1,8,3,3, 9,2,0,3, 9,2,1,3, 9,0,8,3, 9,0,9,3, 1,3,0,3, 1,3,1,3, 1,3,2,3, 1,3,3,3,
+ 1,3,4,3, 1,3,5,3, 1,3,6,3, 1,3,7,3, 1,3,8,3, 1,3,9,3, 1,9,2,3, 1,9,3,3, 9,3,0,3,
+ 9,3,1,3, 9,1,8,3, 9,1,9,3, 1,4,0,3, 1,4,1,3, 1,4,2,3, 1,4,3,3, 1,4,4,3, 1,4,5,3,
+ 1,4,6,3, 1,4,7,3, 1,4,8,3, 1,4,9,3, 1,8,4,3, 1,8,5,3, 9,4,0,3, 9,4,1,3, 1,8,8,3,
+ 1,8,9,3, 1,5,0,3, 1,5,1,3, 1,5,2,3, 1,5,3,3, 1,5,4,3, 1,5,5,3, 1,5,6,3, 1,5,7,3,
+ 1,5,8,3, 1,5,9,3, 1,9,4,3, 1,9,5,3, 9,5,0,3, 9,5,1,3, 1,9,8,3, 1,9,9,3, 1,6,0,3,
+ 1,6,1,3, 1,6,2,3, 1,6,3,3, 1,6,4,3, 1,6,5,3, 1,6,6,3, 1,6,7,3, 1,6,8,3, 1,6,9,3,
+ 1,8,6,3, 1,8,7,3, 9,6,0,3, 9,6,1,3, 9,8,8,3, 9,8,9,3, 1,7,0,3, 1,7,1,3, 1,7,2,3,
+ 1,7,3,3, 1,7,4,3, 1,7,5,3, 1,7,6,3, 1,7,7,3, 1,7,8,3, 1,7,9,3, 1,9,6,3, 1,9,7,3,
+ 9,7,0,3, 9,7,1,3, 9,9,8,3, 9,9,9,3, 2,0,0,3, 2,0,1,3, 2,0,2,3, 2,0,3,3, 2,0,4,3,
+ 2,0,5,3, 2,0,6,3, 2,0,7,3, 2,0,8,3, 2,0,9,3, 2,8,0,3, 2,8,1,3, 8,0,2,3, 8,0,3,3,
+ 8,8,2,3, 8,8,3,3, 2,1,0,3, 2,1,1,3, 2,1,2,3, 2,1,3,3, 2,1,4,3, 2,1,5,3, 2,1,6,3,
+ 2,1,7,3, 2,1,8,3, 2,1,9,3, 2,9,0,3, 2,9,1,3, 8,1,2,3, 8,1,3,3, 8,9,2,3, 8,9,3,3,
+ 2,2,0,3, 2,2,1,3, 2,2,2,3, 2,2,3,3, 2,2,4,3, 2,2,5,3, 2,2,6,3, 2,2,7,3, 2,2,8,3,
+ 2,2,9,3, 2,8,2,3, 2,8,3,3, 8,2,2,3, 8,2,3,3, 8,2,8,3, 8,2,9,3, 2,3,0,3, 2,3,1,3,
+ 2,3,2,3, 2,3,3,3, 2,3,4,3, 2,3,5,3, 2,3,6,3, 2,3,7,3, 2,3,8,3, 2,3,9,3, 2,9,2,3,
+ 2,9,3,3, 8,3,2,3, 8,3,3,3, 8,3,8,3, 8,3,9,3, 2,4,0,3, 2,4,1,3, 2,4,2,3, 2,4,3,3,
+ 2,4,4,3, 2,4,5,3, 2,4,6,3, 2,4,7,3, 2,4,8,3, 2,4,9,3, 2,8,4,3, 2,8,5,3, 8,4,2,3,
+ 8,4,3,3, 2,8,8,3, 2,8,9,3, 2,5,0,3, 2,5,1,3, 2,5,2,3, 2,5,3,3, 2,5,4,3, 2,5,5,3,
+ 2,5,6,3, 2,5,7,3, 2,5,8,3, 2,5,9,3, 2,9,4,3, 2,9,5,3, 8,5,2,3, 8,5,3,3, 2,9,8,3,
+ 2,9,9,3, 2,6,0,3, 2,6,1,3, 2,6,2,3, 2,6,3,3, 2,6,4,3, 2,6,5,3, 2,6,6,3, 2,6,7,3,
+ 2,6,8,3, 2,6,9,3, 2,8,6,3, 2,8,7,3, 8,6,2,3, 8,6,3,3, 8,8,8,3, 8,8,9,3, 2,7,0,3,
+ 2,7,1,3, 2,7,2,3, 2,7,3,3, 2,7,4,3, 2,7,5,3, 2,7,6,3, 2,7,7,3, 2,7,8,3, 2,7,9,3,
+ 2,9,6,3, 2,9,7,3, 8,7,2,3, 8,7,3,3, 8,9,8,3, 8,9,9,3, 3,0,0,3, 3,0,1,3, 3,0,2,3,
+ 3,0,3,3, 3,0,4,3, 3,0,5,3, 3,0,6,3, 3,0,7,3, 3,0,8,3, 3,0,9,3, 3,8,0,3, 3,8,1,3,
+ 9,0,2,3, 9,0,3,3, 9,8,2,3, 9,8,3,3, 3,1,0,3, 3,1,1,3, 3,1,2,3, 3,1,3,3, 3,1,4,3,
+ 3,1,5,3, 3,1,6,3, 3,1,7,3, 3,1,8,3, 3,1,9,3, 3,9,0,3, 3,9,1,3, 9,1,2,3, 9,1,3,3,
+ 9,9,2,3, 9,9,3,3, 3,2,0,3, 3,2,1,3, 3,2,2,3, 3,2,3,3, 3,2,4,3, 3,2,5,3, 3,2,6,3,
+ 3,2,7,3, 3,2,8,3, 3,2,9,3, 3,8,2,3, 3,8,3,3, 9,2,2,3, 9,2,3,3, 9,2,8,3, 9,2,9,3,
+ 3,3,0,3, 3,3,1,3, 3,3,2,3, 3,3,3,3, 3,3,4,3, 3,3,5,3, 3,3,6,3, 3,3,7,3, 3,3,8,3,
+ 3,3,9,3, 3,9,2,3, 3,9,3,3, 9,3,2,3, 9,3,3,3, 9,3,8,3, 9,3,9,3, 3,4,0,3, 3,4,1,3,
+ 3,4,2,3, 3,4,3,3, 3,4,4,3, 3,4,5,3, 3,4,6,3, 3,4,7,3, 3,4,8,3, 3,4,9,3, 3,8,4,3,
+ 3,8,5,3, 9,4,2,3, 9,4,3,3, 3,8,8,3, 3,8,9,3, 3,5,0,3, 3,5,1,3, 3,5,2,3, 3,5,3,3,
+ 3,5,4,3, 3,5,5,3, 3,5,6,3, 3,5,7,3, 3,5,8,3, 3,5,9,3, 3,9,4,3, 3,9,5,3, 9,5,2,3,
+ 9,5,3,3, 3,9,8,3, 3,9,9,3, 3,6,0,3, 3,6,1,3, 3,6,2,3, 3,6,3,3, 3,6,4,3, 3,6,5,3,
+ 3,6,6,3, 3,6,7,3, 3,6,8,3, 3,6,9,3, 3,8,6,3, 3,8,7,3, 9,6,2,3, 9,6,3,3, 9,8,8,3,
+ 9,8,9,3, 3,7,0,3, 3,7,1,3, 3,7,2,3, 3,7,3,3, 3,7,4,3, 3,7,5,3, 3,7,6,3, 3,7,7,3,
+ 3,7,8,3, 3,7,9,3, 3,9,6,3, 3,9,7,3, 9,7,2,3, 9,7,3,3, 9,9,8,3, 9,9,9,3, 4,0,0,3,
+ 4,0,1,3, 4,0,2,3, 4,0,3,3, 4,0,4,3, 4,0,5,3, 4,0,6,3, 4,0,7,3, 4,0,8,3, 4,0,9,3,
+ 4,8,0,3, 4,8,1,3, 8,0,4,3, 8,0,5,3, 8,8,4,3, 8,8,5,3, 4,1,0,3, 4,1,1,3, 4,1,2,3,
+ 4,1,3,3, 4,1,4,3, 4,1,5,3, 4,1,6,3, 4,1,7,3, 4,1,8,3, 4,1,9,3, 4,9,0,3, 4,9,1,3,
+ 8,1,4,3, 8,1,5,3, 8,9,4,3, 8,9,5,3, 4,2,0,3, 4,2,1,3, 4,2,2,3, 4,2,3,3, 4,2,4,3,
+ 4,2,5,3, 4,2,6,3, 4,2,7,3, 4,2,8,3, 4,2,9,3, 4,8,2,3, 4,8,3,3, 8,2,4,3, 8,2,5,3,
+ 8,4,8,3, 8,4,9,3, 4,3,0,3, 4,3,1,3, 4,3,2,3, 4,3,3,3, 4,3,4,3, 4,3,5,3, 4,3,6,3,
+ 4,3,7,3, 4,3,8,3, 4,3,9,3, 4,9,2,3, 4,9,3,3, 8,3,4,3, 8,3,5,3, 8,5,8,3, 8,5,9,3,
+ 4,4,0,3, 4,4,1,3, 4,4,2,3, 4,4,3,3, 4,4,4,3, 4,4,5,3, 4,4,6,3, 4,4,7,3, 4,4,8,3,
+ 4,4,9,3, 4,8,4,3, 4,8,5,3, 8,4,4,3, 8,4,5,3, 4,8,8,3, 4,8,9,3, 4,5,0,3, 4,5,1,3,
+ 4,5,2,3, 4,5,3,3, 4,5,4,3, 4,5,5,3, 4,5,6,3, 4,5,7,3, 4,5,8,3, 4,5,9,3, 4,9,4,3,
+ 4,9,5,3, 8,5,4,3, 8,5,5,3, 4,9,8,3, 4,9,9,3, 4,6,0,3, 4,6,1,3, 4,6,2,3, 4,6,3,3,
+ 4,6,4,3, 4,6,5,3, 4,6,6,3, 4,6,7,3, 4,6,8,3, 4,6,9,3, 4,8,6,3, 4,8,7,3, 8,6,4,3,
+ 8,6,5,3, 8,8,8,3, 8,8,9,3, 4,7,0,3, 4,7,1,3, 4,7,2,3, 4,7,3,3, 4,7,4,3, 4,7,5,3,
+ 4,7,6,3, 4,7,7,3, 4,7,8,3, 4,7,9,3, 4,9,6,3, 4,9,7,3, 8,7,4,3, 8,7,5,3, 8,9,8,3,
+ 8,9,9,3, 5,0,0,3, 5,0,1,3, 5,0,2,3, 5,0,3,3, 5,0,4,3, 5,0,5,3, 5,0,6,3, 5,0,7,3,
+ 5,0,8,3, 5,0,9,3, 5,8,0,3, 5,8,1,3, 9,0,4,3, 9,0,5,3, 9,8,4,3, 9,8,5,3, 5,1,0,3,
+ 5,1,1,3, 5,1,2,3, 5,1,3,3, 5,1,4,3, 5,1,5,3, 5,1,6,3, 5,1,7,3, 5,1,8,3, 5,1,9,3,
+ 5,9,0,3, 5,9,1,3, 9,1,4,3, 9,1,5,3, 9,9,4,3, 9,9,5,3, 5,2,0,3, 5,2,1,3, 5,2,2,3,
+ 5,2,3,3, 5,2,4,3, 5,2,5,3, 5,2,6,3, 5,2,7,3, 5,2,8,3, 5,2,9,3, 5,8,2,3, 5,8,3,3,
+ 9,2,4,3, 9,2,5,3, 9,4,8,3, 9,4,9,3, 5,3,0,3, 5,3,1,3, 5,3,2,3, 5,3,3,3, 5,3,4,3,
+ 5,3,5,3, 5,3,6,3, 5,3,7,3, 5,3,8,3, 5,3,9,3, 5,9,2,3, 5,9,3,3, 9,3,4,3, 9,3,5,3,
+ 9,5,8,3, 9,5,9,3, 5,4,0,3, 5,4,1,3, 5,4,2,3, 5,4,3,3, 5,4,4,3, 5,4,5,3, 5,4,6,3,
+ 5,4,7,3, 5,4,8,3, 5,4,9,3, 5,8,4,3, 5,8,5,3, 9,4,4,3, 9,4,5,3, 5,8,8,3, 5,8,9,3,
+ 5,5,0,3, 5,5,1,3, 5,5,2,3, 5,5,3,3, 5,5,4,3, 5,5,5,3, 5,5,6,3, 5,5,7,3, 5,5,8,3,
+ 5,5,9,3, 5,9,4,3, 5,9,5,3, 9,5,4,3, 9,5,5,3, 5,9,8,3, 5,9,9,3, 5,6,0,3, 5,6,1,3,
+ 5,6,2,3, 5,6,3,3, 5,6,4,3, 5,6,5,3, 5,6,6,3, 5,6,7,3, 5,6,8,3, 5,6,9,3, 5,8,6,3,
+ 5,8,7,3, 9,6,4,3, 9,6,5,3, 9,8,8,3, 9,8,9,3, 5,7,0,3, 5,7,1,3, 5,7,2,3, 5,7,3,3,
+ 5,7,4,3, 5,7,5,3, 5,7,6,3, 5,7,7,3, 5,7,8,3, 5,7,9,3, 5,9,6,3, 5,9,7,3, 9,7,4,3,
+ 9,7,5,3, 9,9,8,3, 9,9,9,3, 6,0,0,3, 6,0,1,3, 6,0,2,3, 6,0,3,3, 6,0,4,3, 6,0,5,3,
+ 6,0,6,3, 6,0,7,3, 6,0,8,3, 6,0,9,3, 6,8,0,3, 6,8,1,3, 8,0,6,3, 8,0,7,3, 8,8,6,3,
+ 8,8,7,3, 6,1,0,3, 6,1,1,3, 6,1,2,3, 6,1,3,3, 6,1,4,3, 6,1,5,3, 6,1,6,3, 6,1,7,3,
+ 6,1,8,3, 6,1,9,3, 6,9,0,3, 6,9,1,3, 8,1,6,3, 8,1,7,3, 8,9,6,3, 8,9,7,3, 6,2,0,3,
+ 6,2,1,3, 6,2,2,3, 6,2,3,3, 6,2,4,3, 6,2,5,3, 6,2,6,3, 6,2,7,3, 6,2,8,3, 6,2,9,3,
+ 6,8,2,3, 6,8,3,3, 8,2,6,3, 8,2,7,3, 8,6,8,3, 8,6,9,3, 6,3,0,3, 6,3,1,3, 6,3,2,3,
+ 6,3,3,3, 6,3,4,3, 6,3,5,3, 6,3,6,3, 6,3,7,3, 6,3,8,3, 6,3,9,3, 6,9,2,3, 6,9,3,3,
+ 8,3,6,3, 8,3,7,3, 8,7,8,3, 8,7,9,3, 6,4,0,3, 6,4,1,3, 6,4,2,3, 6,4,3,3, 6,4,4,3,
+ 6,4,5,3, 6,4,6,3, 6,4,7,3, 6,4,8,3, 6,4,9,3, 6,8,4,3, 6,8,5,3, 8,4,6,3, 8,4,7,3,
+ 6,8,8,3, 6,8,9,3, 6,5,0,3, 6,5,1,3, 6,5,2,3, 6,5,3,3, 6,5,4,3, 6,5,5,3, 6,5,6,3,
+ 6,5,7,3, 6,5,8,3, 6,5,9,3, 6,9,4,3, 6,9,5,3, 8,5,6,3, 8,5,7,3, 6,9,8,3, 6,9,9,3,
+ 6,6,0,3, 6,6,1,3, 6,6,2,3, 6,6,3,3, 6,6,4,3, 6,6,5,3, 6,6,6,3, 6,6,7,3, 6,6,8,3,
+ 6,6,9,3, 6,8,6,3, 6,8,7,3, 8,6,6,3, 8,6,7,3, 8,8,8,3, 8,8,9,3, 6,7,0,3, 6,7,1,3,
+ 6,7,2,3, 6,7,3,3, 6,7,4,3, 6,7,5,3, 6,7,6,3, 6,7,7,3, 6,7,8,3, 6,7,9,3, 6,9,6,3,
+ 6,9,7,3, 8,7,6,3, 8,7,7,3, 8,9,8,3, 8,9,9,3, 7,0,0,3, 7,0,1,3, 7,0,2,3, 7,0,3,3,
+ 7,0,4,3, 7,0,5,3, 7,0,6,3, 7,0,7,3, 7,0,8,3, 7,0,9,3, 7,8,0,3, 7,8,1,3, 9,0,6,3,
+ 9,0,7,3, 9,8,6,3, 9,8,7,3, 7,1,0,3, 7,1,1,3, 7,1,2,3, 7,1,3,3, 7,1,4,3, 7,1,5,3,
+ 7,1,6,3, 7,1,7,3, 7,1,8,3, 7,1,9,3, 7,9,0,3, 7,9,1,3, 9,1,6,3, 9,1,7,3, 9,9,6,3,
+ 9,9,7,3, 7,2,0,3, 7,2,1,3, 7,2,2,3, 7,2,3,3, 7,2,4,3, 7,2,5,3, 7,2,6,3, 7,2,7,3,
+ 7,2,8,3, 7,2,9,3, 7,8,2,3, 7,8,3,3, 9,2,6,3, 9,2,7,3, 9,6,8,3, 9,6,9,3, 7,3,0,3,
+ 7,3,1,3, 7,3,2,3, 7,3,3,3, 7,3,4,3, 7,3,5,3, 7,3,6,3, 7,3,7,3, 7,3,8,3, 7,3,9,3,
+ 7,9,2,3, 7,9,3,3, 9,3,6,3, 9,3,7,3, 9,7,8,3, 9,7,9,3, 7,4,0,3, 7,4,1,3, 7,4,2,3,
+ 7,4,3,3, 7,4,4,3, 7,4,5,3, 7,4,6,3, 7,4,7,3, 7,4,8,3, 7,4,9,3, 7,8,4,3, 7,8,5,3,
+ 9,4,6,3, 9,4,7,3, 7,8,8,3, 7,8,9,3, 7,5,0,3, 7,5,1,3, 7,5,2,3, 7,5,3,3, 7,5,4,3,
+ 7,5,5,3, 7,5,6,3, 7,5,7,3, 7,5,8,3, 7,5,9,3, 7,9,4,3, 7,9,5,3, 9,5,6,3, 9,5,7,3,
+ 7,9,8,3, 7,9,9,3, 7,6,0,3, 7,6,1,3, 7,6,2,3, 7,6,3,3, 7,6,4,3, 7,6,5,3, 7,6,6,3,
+ 7,6,7,3, 7,6,8,3, 7,6,9,3, 7,8,6,3, 7,8,7,3, 9,6,6,3, 9,6,7,3, 9,8,8,3, 9,8,9,3,
+ 7,7,0,3, 7,7,1,3, 7,7,2,3, 7,7,3,3, 7,7,4,3, 7,7,5,3, 7,7,6,3, 7,7,7,3, 7,7,8,3,
+ 7,7,9,3, 7,9,6,3, 7,9,7,3, 9,7,6,3, 9,7,7,3, 9,9,8,3, 9,9,9,3};
+#endif
+
+#if defined(DEC_BIN2BCD8) && DEC_BIN2BCD8==1 && !defined(DECBIN2BCD8)
+#define DECBIN2BCD8
+
+const uint8_t BIN2BCD8[4000]={
+ 0,0,0,0, 0,0,1,1, 0,0,2,1, 0,0,3,1, 0,0,4,1, 0,0,5,1, 0,0,6,1, 0,0,7,1, 0,0,8,1,
+ 0,0,9,1, 0,1,0,2, 0,1,1,2, 0,1,2,2, 0,1,3,2, 0,1,4,2, 0,1,5,2, 0,1,6,2, 0,1,7,2,
+ 0,1,8,2, 0,1,9,2, 0,2,0,2, 0,2,1,2, 0,2,2,2, 0,2,3,2, 0,2,4,2, 0,2,5,2, 0,2,6,2,
+ 0,2,7,2, 0,2,8,2, 0,2,9,2, 0,3,0,2, 0,3,1,2, 0,3,2,2, 0,3,3,2, 0,3,4,2, 0,3,5,2,
+ 0,3,6,2, 0,3,7,2, 0,3,8,2, 0,3,9,2, 0,4,0,2, 0,4,1,2, 0,4,2,2, 0,4,3,2, 0,4,4,2,
+ 0,4,5,2, 0,4,6,2, 0,4,7,2, 0,4,8,2, 0,4,9,2, 0,5,0,2, 0,5,1,2, 0,5,2,2, 0,5,3,2,
+ 0,5,4,2, 0,5,5,2, 0,5,6,2, 0,5,7,2, 0,5,8,2, 0,5,9,2, 0,6,0,2, 0,6,1,2, 0,6,2,2,
+ 0,6,3,2, 0,6,4,2, 0,6,5,2, 0,6,6,2, 0,6,7,2, 0,6,8,2, 0,6,9,2, 0,7,0,2, 0,7,1,2,
+ 0,7,2,2, 0,7,3,2, 0,7,4,2, 0,7,5,2, 0,7,6,2, 0,7,7,2, 0,7,8,2, 0,7,9,2, 0,8,0,2,
+ 0,8,1,2, 0,8,2,2, 0,8,3,2, 0,8,4,2, 0,8,5,2, 0,8,6,2, 0,8,7,2, 0,8,8,2, 0,8,9,2,
+ 0,9,0,2, 0,9,1,2, 0,9,2,2, 0,9,3,2, 0,9,4,2, 0,9,5,2, 0,9,6,2, 0,9,7,2, 0,9,8,2,
+ 0,9,9,2, 1,0,0,3, 1,0,1,3, 1,0,2,3, 1,0,3,3, 1,0,4,3, 1,0,5,3, 1,0,6,3, 1,0,7,3,
+ 1,0,8,3, 1,0,9,3, 1,1,0,3, 1,1,1,3, 1,1,2,3, 1,1,3,3, 1,1,4,3, 1,1,5,3, 1,1,6,3,
+ 1,1,7,3, 1,1,8,3, 1,1,9,3, 1,2,0,3, 1,2,1,3, 1,2,2,3, 1,2,3,3, 1,2,4,3, 1,2,5,3,
+ 1,2,6,3, 1,2,7,3, 1,2,8,3, 1,2,9,3, 1,3,0,3, 1,3,1,3, 1,3,2,3, 1,3,3,3, 1,3,4,3,
+ 1,3,5,3, 1,3,6,3, 1,3,7,3, 1,3,8,3, 1,3,9,3, 1,4,0,3, 1,4,1,3, 1,4,2,3, 1,4,3,3,
+ 1,4,4,3, 1,4,5,3, 1,4,6,3, 1,4,7,3, 1,4,8,3, 1,4,9,3, 1,5,0,3, 1,5,1,3, 1,5,2,3,
+ 1,5,3,3, 1,5,4,3, 1,5,5,3, 1,5,6,3, 1,5,7,3, 1,5,8,3, 1,5,9,3, 1,6,0,3, 1,6,1,3,
+ 1,6,2,3, 1,6,3,3, 1,6,4,3, 1,6,5,3, 1,6,6,3, 1,6,7,3, 1,6,8,3, 1,6,9,3, 1,7,0,3,
+ 1,7,1,3, 1,7,2,3, 1,7,3,3, 1,7,4,3, 1,7,5,3, 1,7,6,3, 1,7,7,3, 1,7,8,3, 1,7,9,3,
+ 1,8,0,3, 1,8,1,3, 1,8,2,3, 1,8,3,3, 1,8,4,3, 1,8,5,3, 1,8,6,3, 1,8,7,3, 1,8,8,3,
+ 1,8,9,3, 1,9,0,3, 1,9,1,3, 1,9,2,3, 1,9,3,3, 1,9,4,3, 1,9,5,3, 1,9,6,3, 1,9,7,3,
+ 1,9,8,3, 1,9,9,3, 2,0,0,3, 2,0,1,3, 2,0,2,3, 2,0,3,3, 2,0,4,3, 2,0,5,3, 2,0,6,3,
+ 2,0,7,3, 2,0,8,3, 2,0,9,3, 2,1,0,3, 2,1,1,3, 2,1,2,3, 2,1,3,3, 2,1,4,3, 2,1,5,3,
+ 2,1,6,3, 2,1,7,3, 2,1,8,3, 2,1,9,3, 2,2,0,3, 2,2,1,3, 2,2,2,3, 2,2,3,3, 2,2,4,3,
+ 2,2,5,3, 2,2,6,3, 2,2,7,3, 2,2,8,3, 2,2,9,3, 2,3,0,3, 2,3,1,3, 2,3,2,3, 2,3,3,3,
+ 2,3,4,3, 2,3,5,3, 2,3,6,3, 2,3,7,3, 2,3,8,3, 2,3,9,3, 2,4,0,3, 2,4,1,3, 2,4,2,3,
+ 2,4,3,3, 2,4,4,3, 2,4,5,3, 2,4,6,3, 2,4,7,3, 2,4,8,3, 2,4,9,3, 2,5,0,3, 2,5,1,3,
+ 2,5,2,3, 2,5,3,3, 2,5,4,3, 2,5,5,3, 2,5,6,3, 2,5,7,3, 2,5,8,3, 2,5,9,3, 2,6,0,3,
+ 2,6,1,3, 2,6,2,3, 2,6,3,3, 2,6,4,3, 2,6,5,3, 2,6,6,3, 2,6,7,3, 2,6,8,3, 2,6,9,3,
+ 2,7,0,3, 2,7,1,3, 2,7,2,3, 2,7,3,3, 2,7,4,3, 2,7,5,3, 2,7,6,3, 2,7,7,3, 2,7,8,3,
+ 2,7,9,3, 2,8,0,3, 2,8,1,3, 2,8,2,3, 2,8,3,3, 2,8,4,3, 2,8,5,3, 2,8,6,3, 2,8,7,3,
+ 2,8,8,3, 2,8,9,3, 2,9,0,3, 2,9,1,3, 2,9,2,3, 2,9,3,3, 2,9,4,3, 2,9,5,3, 2,9,6,3,
+ 2,9,7,3, 2,9,8,3, 2,9,9,3, 3,0,0,3, 3,0,1,3, 3,0,2,3, 3,0,3,3, 3,0,4,3, 3,0,5,3,
+ 3,0,6,3, 3,0,7,3, 3,0,8,3, 3,0,9,3, 3,1,0,3, 3,1,1,3, 3,1,2,3, 3,1,3,3, 3,1,4,3,
+ 3,1,5,3, 3,1,6,3, 3,1,7,3, 3,1,8,3, 3,1,9,3, 3,2,0,3, 3,2,1,3, 3,2,2,3, 3,2,3,3,
+ 3,2,4,3, 3,2,5,3, 3,2,6,3, 3,2,7,3, 3,2,8,3, 3,2,9,3, 3,3,0,3, 3,3,1,3, 3,3,2,3,
+ 3,3,3,3, 3,3,4,3, 3,3,5,3, 3,3,6,3, 3,3,7,3, 3,3,8,3, 3,3,9,3, 3,4,0,3, 3,4,1,3,
+ 3,4,2,3, 3,4,3,3, 3,4,4,3, 3,4,5,3, 3,4,6,3, 3,4,7,3, 3,4,8,3, 3,4,9,3, 3,5,0,3,
+ 3,5,1,3, 3,5,2,3, 3,5,3,3, 3,5,4,3, 3,5,5,3, 3,5,6,3, 3,5,7,3, 3,5,8,3, 3,5,9,3,
+ 3,6,0,3, 3,6,1,3, 3,6,2,3, 3,6,3,3, 3,6,4,3, 3,6,5,3, 3,6,6,3, 3,6,7,3, 3,6,8,3,
+ 3,6,9,3, 3,7,0,3, 3,7,1,3, 3,7,2,3, 3,7,3,3, 3,7,4,3, 3,7,5,3, 3,7,6,3, 3,7,7,3,
+ 3,7,8,3, 3,7,9,3, 3,8,0,3, 3,8,1,3, 3,8,2,3, 3,8,3,3, 3,8,4,3, 3,8,5,3, 3,8,6,3,
+ 3,8,7,3, 3,8,8,3, 3,8,9,3, 3,9,0,3, 3,9,1,3, 3,9,2,3, 3,9,3,3, 3,9,4,3, 3,9,5,3,
+ 3,9,6,3, 3,9,7,3, 3,9,8,3, 3,9,9,3, 4,0,0,3, 4,0,1,3, 4,0,2,3, 4,0,3,3, 4,0,4,3,
+ 4,0,5,3, 4,0,6,3, 4,0,7,3, 4,0,8,3, 4,0,9,3, 4,1,0,3, 4,1,1,3, 4,1,2,3, 4,1,3,3,
+ 4,1,4,3, 4,1,5,3, 4,1,6,3, 4,1,7,3, 4,1,8,3, 4,1,9,3, 4,2,0,3, 4,2,1,3, 4,2,2,3,
+ 4,2,3,3, 4,2,4,3, 4,2,5,3, 4,2,6,3, 4,2,7,3, 4,2,8,3, 4,2,9,3, 4,3,0,3, 4,3,1,3,
+ 4,3,2,3, 4,3,3,3, 4,3,4,3, 4,3,5,3, 4,3,6,3, 4,3,7,3, 4,3,8,3, 4,3,9,3, 4,4,0,3,
+ 4,4,1,3, 4,4,2,3, 4,4,3,3, 4,4,4,3, 4,4,5,3, 4,4,6,3, 4,4,7,3, 4,4,8,3, 4,4,9,3,
+ 4,5,0,3, 4,5,1,3, 4,5,2,3, 4,5,3,3, 4,5,4,3, 4,5,5,3, 4,5,6,3, 4,5,7,3, 4,5,8,3,
+ 4,5,9,3, 4,6,0,3, 4,6,1,3, 4,6,2,3, 4,6,3,3, 4,6,4,3, 4,6,5,3, 4,6,6,3, 4,6,7,3,
+ 4,6,8,3, 4,6,9,3, 4,7,0,3, 4,7,1,3, 4,7,2,3, 4,7,3,3, 4,7,4,3, 4,7,5,3, 4,7,6,3,
+ 4,7,7,3, 4,7,8,3, 4,7,9,3, 4,8,0,3, 4,8,1,3, 4,8,2,3, 4,8,3,3, 4,8,4,3, 4,8,5,3,
+ 4,8,6,3, 4,8,7,3, 4,8,8,3, 4,8,9,3, 4,9,0,3, 4,9,1,3, 4,9,2,3, 4,9,3,3, 4,9,4,3,
+ 4,9,5,3, 4,9,6,3, 4,9,7,3, 4,9,8,3, 4,9,9,3, 5,0,0,3, 5,0,1,3, 5,0,2,3, 5,0,3,3,
+ 5,0,4,3, 5,0,5,3, 5,0,6,3, 5,0,7,3, 5,0,8,3, 5,0,9,3, 5,1,0,3, 5,1,1,3, 5,1,2,3,
+ 5,1,3,3, 5,1,4,3, 5,1,5,3, 5,1,6,3, 5,1,7,3, 5,1,8,3, 5,1,9,3, 5,2,0,3, 5,2,1,3,
+ 5,2,2,3, 5,2,3,3, 5,2,4,3, 5,2,5,3, 5,2,6,3, 5,2,7,3, 5,2,8,3, 5,2,9,3, 5,3,0,3,
+ 5,3,1,3, 5,3,2,3, 5,3,3,3, 5,3,4,3, 5,3,5,3, 5,3,6,3, 5,3,7,3, 5,3,8,3, 5,3,9,3,
+ 5,4,0,3, 5,4,1,3, 5,4,2,3, 5,4,3,3, 5,4,4,3, 5,4,5,3, 5,4,6,3, 5,4,7,3, 5,4,8,3,
+ 5,4,9,3, 5,5,0,3, 5,5,1,3, 5,5,2,3, 5,5,3,3, 5,5,4,3, 5,5,5,3, 5,5,6,3, 5,5,7,3,
+ 5,5,8,3, 5,5,9,3, 5,6,0,3, 5,6,1,3, 5,6,2,3, 5,6,3,3, 5,6,4,3, 5,6,5,3, 5,6,6,3,
+ 5,6,7,3, 5,6,8,3, 5,6,9,3, 5,7,0,3, 5,7,1,3, 5,7,2,3, 5,7,3,3, 5,7,4,3, 5,7,5,3,
+ 5,7,6,3, 5,7,7,3, 5,7,8,3, 5,7,9,3, 5,8,0,3, 5,8,1,3, 5,8,2,3, 5,8,3,3, 5,8,4,3,
+ 5,8,5,3, 5,8,6,3, 5,8,7,3, 5,8,8,3, 5,8,9,3, 5,9,0,3, 5,9,1,3, 5,9,2,3, 5,9,3,3,
+ 5,9,4,3, 5,9,5,3, 5,9,6,3, 5,9,7,3, 5,9,8,3, 5,9,9,3, 6,0,0,3, 6,0,1,3, 6,0,2,3,
+ 6,0,3,3, 6,0,4,3, 6,0,5,3, 6,0,6,3, 6,0,7,3, 6,0,8,3, 6,0,9,3, 6,1,0,3, 6,1,1,3,
+ 6,1,2,3, 6,1,3,3, 6,1,4,3, 6,1,5,3, 6,1,6,3, 6,1,7,3, 6,1,8,3, 6,1,9,3, 6,2,0,3,
+ 6,2,1,3, 6,2,2,3, 6,2,3,3, 6,2,4,3, 6,2,5,3, 6,2,6,3, 6,2,7,3, 6,2,8,3, 6,2,9,3,
+ 6,3,0,3, 6,3,1,3, 6,3,2,3, 6,3,3,3, 6,3,4,3, 6,3,5,3, 6,3,6,3, 6,3,7,3, 6,3,8,3,
+ 6,3,9,3, 6,4,0,3, 6,4,1,3, 6,4,2,3, 6,4,3,3, 6,4,4,3, 6,4,5,3, 6,4,6,3, 6,4,7,3,
+ 6,4,8,3, 6,4,9,3, 6,5,0,3, 6,5,1,3, 6,5,2,3, 6,5,3,3, 6,5,4,3, 6,5,5,3, 6,5,6,3,
+ 6,5,7,3, 6,5,8,3, 6,5,9,3, 6,6,0,3, 6,6,1,3, 6,6,2,3, 6,6,3,3, 6,6,4,3, 6,6,5,3,
+ 6,6,6,3, 6,6,7,3, 6,6,8,3, 6,6,9,3, 6,7,0,3, 6,7,1,3, 6,7,2,3, 6,7,3,3, 6,7,4,3,
+ 6,7,5,3, 6,7,6,3, 6,7,7,3, 6,7,8,3, 6,7,9,3, 6,8,0,3, 6,8,1,3, 6,8,2,3, 6,8,3,3,
+ 6,8,4,3, 6,8,5,3, 6,8,6,3, 6,8,7,3, 6,8,8,3, 6,8,9,3, 6,9,0,3, 6,9,1,3, 6,9,2,3,
+ 6,9,3,3, 6,9,4,3, 6,9,5,3, 6,9,6,3, 6,9,7,3, 6,9,8,3, 6,9,9,3, 7,0,0,3, 7,0,1,3,
+ 7,0,2,3, 7,0,3,3, 7,0,4,3, 7,0,5,3, 7,0,6,3, 7,0,7,3, 7,0,8,3, 7,0,9,3, 7,1,0,3,
+ 7,1,1,3, 7,1,2,3, 7,1,3,3, 7,1,4,3, 7,1,5,3, 7,1,6,3, 7,1,7,3, 7,1,8,3, 7,1,9,3,
+ 7,2,0,3, 7,2,1,3, 7,2,2,3, 7,2,3,3, 7,2,4,3, 7,2,5,3, 7,2,6,3, 7,2,7,3, 7,2,8,3,
+ 7,2,9,3, 7,3,0,3, 7,3,1,3, 7,3,2,3, 7,3,3,3, 7,3,4,3, 7,3,5,3, 7,3,6,3, 7,3,7,3,
+ 7,3,8,3, 7,3,9,3, 7,4,0,3, 7,4,1,3, 7,4,2,3, 7,4,3,3, 7,4,4,3, 7,4,5,3, 7,4,6,3,
+ 7,4,7,3, 7,4,8,3, 7,4,9,3, 7,5,0,3, 7,5,1,3, 7,5,2,3, 7,5,3,3, 7,5,4,3, 7,5,5,3,
+ 7,5,6,3, 7,5,7,3, 7,5,8,3, 7,5,9,3, 7,6,0,3, 7,6,1,3, 7,6,2,3, 7,6,3,3, 7,6,4,3,
+ 7,6,5,3, 7,6,6,3, 7,6,7,3, 7,6,8,3, 7,6,9,3, 7,7,0,3, 7,7,1,3, 7,7,2,3, 7,7,3,3,
+ 7,7,4,3, 7,7,5,3, 7,7,6,3, 7,7,7,3, 7,7,8,3, 7,7,9,3, 7,8,0,3, 7,8,1,3, 7,8,2,3,
+ 7,8,3,3, 7,8,4,3, 7,8,5,3, 7,8,6,3, 7,8,7,3, 7,8,8,3, 7,8,9,3, 7,9,0,3, 7,9,1,3,
+ 7,9,2,3, 7,9,3,3, 7,9,4,3, 7,9,5,3, 7,9,6,3, 7,9,7,3, 7,9,8,3, 7,9,9,3, 8,0,0,3,
+ 8,0,1,3, 8,0,2,3, 8,0,3,3, 8,0,4,3, 8,0,5,3, 8,0,6,3, 8,0,7,3, 8,0,8,3, 8,0,9,3,
+ 8,1,0,3, 8,1,1,3, 8,1,2,3, 8,1,3,3, 8,1,4,3, 8,1,5,3, 8,1,6,3, 8,1,7,3, 8,1,8,3,
+ 8,1,9,3, 8,2,0,3, 8,2,1,3, 8,2,2,3, 8,2,3,3, 8,2,4,3, 8,2,5,3, 8,2,6,3, 8,2,7,3,
+ 8,2,8,3, 8,2,9,3, 8,3,0,3, 8,3,1,3, 8,3,2,3, 8,3,3,3, 8,3,4,3, 8,3,5,3, 8,3,6,3,
+ 8,3,7,3, 8,3,8,3, 8,3,9,3, 8,4,0,3, 8,4,1,3, 8,4,2,3, 8,4,3,3, 8,4,4,3, 8,4,5,3,
+ 8,4,6,3, 8,4,7,3, 8,4,8,3, 8,4,9,3, 8,5,0,3, 8,5,1,3, 8,5,2,3, 8,5,3,3, 8,5,4,3,
+ 8,5,5,3, 8,5,6,3, 8,5,7,3, 8,5,8,3, 8,5,9,3, 8,6,0,3, 8,6,1,3, 8,6,2,3, 8,6,3,3,
+ 8,6,4,3, 8,6,5,3, 8,6,6,3, 8,6,7,3, 8,6,8,3, 8,6,9,3, 8,7,0,3, 8,7,1,3, 8,7,2,3,
+ 8,7,3,3, 8,7,4,3, 8,7,5,3, 8,7,6,3, 8,7,7,3, 8,7,8,3, 8,7,9,3, 8,8,0,3, 8,8,1,3,
+ 8,8,2,3, 8,8,3,3, 8,8,4,3, 8,8,5,3, 8,8,6,3, 8,8,7,3, 8,8,8,3, 8,8,9,3, 8,9,0,3,
+ 8,9,1,3, 8,9,2,3, 8,9,3,3, 8,9,4,3, 8,9,5,3, 8,9,6,3, 8,9,7,3, 8,9,8,3, 8,9,9,3,
+ 9,0,0,3, 9,0,1,3, 9,0,2,3, 9,0,3,3, 9,0,4,3, 9,0,5,3, 9,0,6,3, 9,0,7,3, 9,0,8,3,
+ 9,0,9,3, 9,1,0,3, 9,1,1,3, 9,1,2,3, 9,1,3,3, 9,1,4,3, 9,1,5,3, 9,1,6,3, 9,1,7,3,
+ 9,1,8,3, 9,1,9,3, 9,2,0,3, 9,2,1,3, 9,2,2,3, 9,2,3,3, 9,2,4,3, 9,2,5,3, 9,2,6,3,
+ 9,2,7,3, 9,2,8,3, 9,2,9,3, 9,3,0,3, 9,3,1,3, 9,3,2,3, 9,3,3,3, 9,3,4,3, 9,3,5,3,
+ 9,3,6,3, 9,3,7,3, 9,3,8,3, 9,3,9,3, 9,4,0,3, 9,4,1,3, 9,4,2,3, 9,4,3,3, 9,4,4,3,
+ 9,4,5,3, 9,4,6,3, 9,4,7,3, 9,4,8,3, 9,4,9,3, 9,5,0,3, 9,5,1,3, 9,5,2,3, 9,5,3,3,
+ 9,5,4,3, 9,5,5,3, 9,5,6,3, 9,5,7,3, 9,5,8,3, 9,5,9,3, 9,6,0,3, 9,6,1,3, 9,6,2,3,
+ 9,6,3,3, 9,6,4,3, 9,6,5,3, 9,6,6,3, 9,6,7,3, 9,6,8,3, 9,6,9,3, 9,7,0,3, 9,7,1,3,
+ 9,7,2,3, 9,7,3,3, 9,7,4,3, 9,7,5,3, 9,7,6,3, 9,7,7,3, 9,7,8,3, 9,7,9,3, 9,8,0,3,
+ 9,8,1,3, 9,8,2,3, 9,8,3,3, 9,8,4,3, 9,8,5,3, 9,8,6,3, 9,8,7,3, 9,8,8,3, 9,8,9,3,
+ 9,9,0,3, 9,9,1,3, 9,9,2,3, 9,9,3,3, 9,9,4,3, 9,9,5,3, 9,9,6,3, 9,9,7,3, 9,9,8,3,
+ 9,9,9,3};
+#endif
diff --git a/include/libdecnumber/decNumber.h b/include/libdecnumber/decNumber.h
new file mode 100644 (file)
index 0000000..9fa4e6a
--- /dev/null
@@ -0,0 +1,202 @@
+/* Decimal number arithmetic module header for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal Number arithmetic module header                           */
+/* ------------------------------------------------------------------ */
+
+#if !defined(DECNUMBER)
+  #define DECNUMBER
+  #define DECNAME     "decNumber"                      /* Short name */
+  #define DECFULLNAME "Decimal Number Module"        /* Verbose name */
+  #define DECAUTHOR   "Mike Cowlishaw"               /* Who to blame */
+
+  #if !defined(DECCONTEXT)
+    #include "libdecnumber/decContext.h"
+  #endif
+
+  /* Bit settings for decNumber.bits                                 */
+  #define DECNEG    0x80      /* Sign; 1=negative, 0=positive or zero */
+  #define DECINF    0x40      /* 1=Infinity                          */
+  #define DECNAN    0x20      /* 1=NaN                               */
+  #define DECSNAN   0x10      /* 1=sNaN                                      */
+  /* The remaining bits are reserved; they must be 0                 */
+  #define DECSPECIAL (DECINF|DECNAN|DECSNAN) /* any special value     */
+
+  /* Define the decNumber data structure.  The size and shape of the  */
+  /* units array in the structure is determined by the following      */
+  /* constant. This must not be changed without recompiling the      */
+  /* decNumber library modules. */
+
+  #define DECDPUN 3          /* DECimal Digits Per UNit [must be >0  */
+                             /* and <10; 3 or powers of 2 are best]. */
+
+  /* DECNUMDIGITS is the default number of digits that can be held in */
+  /* the structure.  If undefined, 1 is assumed and it is assumed     */
+  /* that the structure will be immediately followed by extra space,  */
+  /* as required.  DECNUMDIGITS is always >0.                        */
+  #if !defined(DECNUMDIGITS)
+    #define DECNUMDIGITS 1
+  #endif
+
+  /* The size (integer data type) of each unit is determined by the   */
+  /* number of digits it will hold.                                  */
+  #if  DECDPUN<=2
+    #define decNumberUnit uint8_t
+  #elif DECDPUN<=4
+    #define decNumberUnit uint16_t
+  #else
+    #define decNumberUnit uint32_t
+  #endif
+  /* The number of units needed is ceil(DECNUMDIGITS/DECDPUN)        */
+  #define DECNUMUNITS ((DECNUMDIGITS+DECDPUN-1)/DECDPUN)
+
+  /* The data structure... */
+  typedef struct {
+    int32_t digits;     /* Count of digits in the coefficient; >0    */
+    int32_t exponent;   /* Unadjusted exponent, unbiased, in         */
+                        /* range: -1999999997 through 999999999      */
+    uint8_t bits;       /* Indicator bits (see above)                */
+                        /* Coefficient, from least significant unit  */
+    decNumberUnit lsu[DECNUMUNITS];
+    } decNumber;
+
+  /* Notes:                                                          */
+  /* 1. If digits is > DECDPUN then there will one or more           */
+  /*   decNumberUnits immediately following the first element of lsu.*/
+  /*   These contain the remaining (more significant) digits of the  */
+  /*   number, and may be in the lsu array, or may be guaranteed by  */
+  /*   some other mechanism (such as being contained in another      */
+  /*   structure, or being overlaid on dynamically allocated         */
+  /*   storage).                                                     */
+  /*                                                                 */
+  /*   Each integer of the coefficient (except potentially the last) */
+  /*   contains DECDPUN digits (e.g., a value in the range 0 through */
+  /*   99999999 if DECDPUN is 8, or 0 through 999 if DECDPUN is 3).  */
+  /*                                                                 */
+  /* 2. A decNumber converted to a string may need up to digits+14    */
+  /*   characters.  The worst cases (non-exponential and exponential */
+  /*   formats) are -0.00000{9...}# and -9.{9...}E+999999999#        */
+  /*   (where # is '\0')                                             */
+
+
+  /* ---------------------------------------------------------------- */
+  /* decNumber public functions and macros                           */
+  /* ---------------------------------------------------------------- */
+
+
+  /* Conversions                                                     */
+  decNumber * decNumberFromInt32(decNumber *, int32_t);
+  decNumber * decNumberFromUInt32(decNumber *, uint32_t);
+  decNumber *decNumberFromInt64(decNumber *, int64_t);
+  decNumber *decNumberFromUInt64(decNumber *, uint64_t);
+  decNumber * decNumberFromString(decNumber *, const char *, decContext *);
+  char     * decNumberToString(const decNumber *, char *);
+  char     * decNumberToEngString(const decNumber *, char *);
+  uint32_t    decNumberToUInt32(const decNumber *, decContext *);
+  int32_t     decNumberToInt32(const decNumber *, decContext *);
+  int64_t     decNumberIntegralToInt64(const decNumber *dn, decContext *set);
+  uint8_t   * decNumberGetBCD(const decNumber *, uint8_t *);
+  decNumber * decNumberSetBCD(decNumber *, const uint8_t *, uint32_t);
+
+  /* Operators and elementary functions                                      */
+  decNumber * decNumberAbs(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberAdd(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberAnd(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberCompare(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberCompareSignal(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberCompareTotal(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberCompareTotalMag(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberDivide(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberDivideInteger(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberExp(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberFMA(decNumber *, const decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberInvert(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberLn(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberLogB(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberLog10(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberMax(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberMaxMag(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberMin(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberMinMag(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberMinus(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberMultiply(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberNormalize(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberOr(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberPlus(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberPower(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberQuantize(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberReduce(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberRemainder(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberRemainderNear(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberRescale(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberRotate(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberSameQuantum(decNumber *, const decNumber *, const decNumber *);
+  decNumber * decNumberScaleB(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberShift(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberSquareRoot(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberSubtract(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberToIntegralExact(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberToIntegralValue(decNumber *, const decNumber *, decContext *);
+  decNumber * decNumberXor(decNumber *, const decNumber *, const decNumber *, decContext *);
+
+  /* Utilities                                                       */
+  enum decClass decNumberClass(const decNumber *, decContext *);
+  const char * decNumberClassToString(enum decClass);
+  decNumber  * decNumberCopy(decNumber *, const decNumber *);
+  decNumber  * decNumberCopyAbs(decNumber *, const decNumber *);
+  decNumber  * decNumberCopyNegate(decNumber *, const decNumber *);
+  decNumber  * decNumberCopySign(decNumber *, const decNumber *, const decNumber *);
+  decNumber  * decNumberNextMinus(decNumber *, const decNumber *, decContext *);
+  decNumber  * decNumberNextPlus(decNumber *, const decNumber *, decContext *);
+  decNumber  * decNumberNextToward(decNumber *, const decNumber *, const decNumber *, decContext *);
+  decNumber  * decNumberTrim(decNumber *);
+  const char * decNumberVersion(void);
+  decNumber  * decNumberZero(decNumber *);
+
+  /* Functions for testing decNumbers (normality depends on context)  */
+  int32_t decNumberIsNormal(const decNumber *, decContext *);
+  int32_t decNumberIsSubnormal(const decNumber *, decContext *);
+
+  /* Macros for testing decNumber *dn                                */
+  #define decNumberIsCanonical(dn) (1) /* All decNumbers are saintly */
+  #define decNumberIsFinite(dn)           (((dn)->bits&DECSPECIAL)==0)
+  #define decNumberIsInfinite(dn)  (((dn)->bits&DECINF)!=0)
+  #define decNumberIsNaN(dn)      (((dn)->bits&(DECNAN|DECSNAN))!=0)
+  #define decNumberIsNegative(dn)  (((dn)->bits&DECNEG)!=0)
+  #define decNumberIsQNaN(dn)     (((dn)->bits&(DECNAN))!=0)
+  #define decNumberIsSNaN(dn)     (((dn)->bits&(DECSNAN))!=0)
+  #define decNumberIsSpecial(dn)   (((dn)->bits&DECSPECIAL)!=0)
+  #define decNumberIsZero(dn)     (*(dn)->lsu==0 \
+                                   && (dn)->digits==1 \
+                                   && (((dn)->bits&DECSPECIAL)==0))
+  #define decNumberRadix(dn)      (10)
+
+#endif
diff --git a/include/libdecnumber/decNumberLocal.h b/include/libdecnumber/decNumberLocal.h
new file mode 100644 (file)
index 0000000..cd4eb79
--- /dev/null
@@ -0,0 +1,665 @@
+/* Local definitions for the decNumber C Library.
+   Copyright (C) 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* decNumber package local type, tuning, and macro definitions       */
+/* ------------------------------------------------------------------ */
+/* This header file is included by all modules in the decNumber              */
+/* library, and contains local type definitions, tuning parameters,   */
+/* etc.         It should not need to be used by application programs.       */
+/* decNumber.h or one of decDouble (etc.) must be included first.     */
+/* ------------------------------------------------------------------ */
+
+#if !defined(DECNUMBERLOC)
+  #define DECNUMBERLOC
+  #define DECVERSION   "decNumber 3.53" /* Package Version [16 max.] */
+  #define DECNLAUTHOR  "Mike Cowlishaw"              /* Who to blame */
+
+  #include <stdlib.h>        /* for abs                              */
+  #include <string.h>        /* for memset, strcpy                   */
+  #include "libdecnumber/dconfig.h"
+
+  /* Conditional code flag -- set this to match hardware platform     */
+  /* 1=little-endian, 0=big-endian                                   */
+  #if WORDS_BIGENDIAN
+  #define DECLITEND 0
+  #else
+  #define DECLITEND 1
+  #endif
+
+  /* Conditional code flag -- set this to 1 for best performance      */
+  #define DECUSE64  1        /* 1=use int64s, 0=int32 & smaller only */
+
+  /* Conditional check flags -- set these to 0 for best performance   */
+  #define DECCHECK  0        /* 1 to enable robust checking          */
+  #define DECALLOC  0        /* 1 to enable memory accounting        */
+  #define DECTRACE  0        /* 1 to trace certain internals, etc.   */
+
+  /* Tuning parameter for decNumber (arbitrary precision) module      */
+  #define DECBUFFER 36       /* Size basis for local buffers.  This  */
+                             /* should be a common maximum precision */
+                             /* rounded up to a multiple of 4; must  */
+                             /* be zero or positive.                 */
+
+  /* ---------------------------------------------------------------- */
+  /* Definitions for all modules (general-purpose)                   */
+  /* ---------------------------------------------------------------- */
+
+  /* Local names for common types -- for safety, decNumber modules do */
+  /* not use int or long directly.                                   */
+  #define Flag  uint8_t
+  #define Byte  int8_t
+  #define uByte         uint8_t
+  #define Short         int16_t
+  #define uShort uint16_t
+  #define Int   int32_t
+  #define uInt  uint32_t
+  #define Unit  decNumberUnit
+  #if DECUSE64
+  #define Long  int64_t
+  #define uLong         uint64_t
+  #endif
+
+  /* Development-use definitions                                     */
+  typedef long int LI;       /* for printf arguments only            */
+  #define DECNOINT  0        /* 1 to check no internal use of 'int'  */
+  #if DECNOINT
+    /* if these interfere with your C includes, do not set DECNOINT   */
+    #define  int ?           /* enable to ensure that plain C 'int'  */
+    #define  long ??         /* .. or 'long' types are not used      */
+  #endif
+
+  /* Shared lookup tables                                            */
+  extern const uByte  DECSTICKYTAB[10]; /* re-round digits if sticky  */
+  extern const uLong  DECPOWERS[19];    /* powers of ten table        */
+  /* The following are included from decDPD.h                        */
+  extern const uShort DPD2BIN[1024];   /* DPD -> 0-999               */
+  extern const uShort BIN2DPD[1000];   /* 0-999 -> DPD               */
+  extern const uInt   DPD2BINK[1024];  /* DPD -> 0-999000            */
+  extern const uInt   DPD2BINM[1024];  /* DPD -> 0-999000000         */
+  extern const uByte  DPD2BCD8[4096];  /* DPD -> ddd + len           */
+  extern const uByte  BIN2BCD8[4000];  /* 0-999 -> ddd + len         */
+  extern const uShort BCD2DPD[2458];   /* 0-0x999 -> DPD (0x999=2457)*/
+
+  /* LONGMUL32HI -- set w=(u*v)>>32, where w, u, and v are uInts      */
+  /* (that is, sets w to be the high-order word of the 64-bit result; */
+  /* the low-order word is simply u*v.)                                      */
+  /* This version is derived from Knuth via Hacker's Delight;        */
+  /* it seems to optimize better than some others tried                      */
+  #define LONGMUL32HI(w, u, v) {            \
+    uInt u0, u1, v0, v1, w0, w1, w2, t;             \
+    u0=u & 0xffff; u1=u>>16;                \
+    v0=v & 0xffff; v1=v>>16;                \
+    w0=u0*v0;                               \
+    t=u1*v0 + (w0>>16);                             \
+    w1=t & 0xffff; w2=t>>16;                \
+    w1=u0*v1 + w1;                          \
+    (w)=u1*v1 + w2 + (w1>>16);}
+
+  /* ROUNDUP -- round an integer up to a multiple of n               */
+  #define ROUNDUP(i, n) ((((i)+(n)-1)/n)*n)
+
+  /* ROUNDDOWN -- round an integer down to a multiple of n           */
+  #define ROUNDDOWN(i, n) (((i)/n)*n)
+  #define ROUNDDOWN4(i)          ((i)&~3)      /* special for n=4            */
+
+  /* References to multi-byte sequences under different sizes        */
+  /* Refer to a uInt from four bytes starting at a char* or uByte*,   */
+  /* etc.                                                            */
+  #define UINTAT(b)   (*((uInt  *)(b)))
+  #define USHORTAT(b) (*((uShort *)(b)))
+  #define UBYTEAT(b)  (*((uByte         *)(b)))
+
+  /* X10 and X100 -- multiply integer i by 10 or 100                 */
+  /* [shifts are usually faster than multiply; could be conditional]  */
+  #define X10(i)  (((i)<<1)+((i)<<3))
+  #define X100(i) (((i)<<2)+((i)<<5)+((i)<<6))
+
+  /* MAXI and MINI -- general max & min (not in ANSI) for integers    */
+  #define MAXI(x,y) ((x)<(y)?(y):(x))
+  #define MINI(x,y) ((x)>(y)?(y):(x))
+
+  /* Useful constants                                                */
+  #define BILLION      1000000000           /* 10**9                 */
+  /* CHARMASK: 0x30303030 for ASCII/UTF8; 0xF0F0F0F0 for EBCDIC              */
+  #define CHARMASK ((((((((uInt)'0')<<8)+'0')<<8)+'0')<<8)+'0')
+
+
+  /* ---------------------------------------------------------------- */
+  /* Definitions for arbitary-precision modules (only valid after     */
+  /* decNumber.h has been included)                                  */
+  /* ---------------------------------------------------------------- */
+
+  /* Limits and constants                                            */
+  #define DECNUMMAXP 999999999 /* maximum precision code can handle  */
+  #define DECNUMMAXE 999999999 /* maximum adjusted exponent ditto    */
+  #define DECNUMMINE -999999999 /* minimum adjusted exponent ditto    */
+  #if (DECNUMMAXP != DEC_MAX_DIGITS)
+    #error Maximum digits mismatch
+  #endif
+  #if (DECNUMMAXE != DEC_MAX_EMAX)
+    #error Maximum exponent mismatch
+  #endif
+  #if (DECNUMMINE != DEC_MIN_EMIN)
+    #error Minimum exponent mismatch
+  #endif
+
+  /* Set DECDPUNMAX -- the maximum integer that fits in DECDPUN              */
+  /* digits, and D2UTABLE -- the initializer for the D2U table       */
+  #if  DECDPUN==1
+    #define DECDPUNMAX 9
+    #define D2UTABLE {0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,  \
+                     18,19,20,21,22,23,24,25,26,27,28,29,30,31,32, \
+                     33,34,35,36,37,38,39,40,41,42,43,44,45,46,47, \
+                     48,49}
+  #elif DECDPUN==2
+    #define DECDPUNMAX 99
+    #define D2UTABLE {0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,8,8,9,9,10,10,  \
+                     11,11,12,12,13,13,14,14,15,15,16,16,17,17,18, \
+                     18,19,19,20,20,21,21,22,22,23,23,24,24,25}
+  #elif DECDPUN==3
+    #define DECDPUNMAX 999
+    #define D2UTABLE {0,1,1,1,2,2,2,3,3,3,4,4,4,5,5,5,6,6,6,7,7,7,  \
+                     8,8,8,9,9,9,10,10,10,11,11,11,12,12,12,13,13, \
+                     13,14,14,14,15,15,15,16,16,16,17}
+  #elif DECDPUN==4
+    #define DECDPUNMAX 9999
+    #define D2UTABLE {0,1,1,1,1,2,2,2,2,3,3,3,3,4,4,4,4,5,5,5,5,6,  \
+                     6,6,6,7,7,7,7,8,8,8,8,9,9,9,9,10,10,10,10,11, \
+                     11,11,11,12,12,12,12,13}
+  #elif DECDPUN==5
+    #define DECDPUNMAX 99999
+    #define D2UTABLE {0,1,1,1,1,1,2,2,2,2,2,3,3,3,3,3,4,4,4,4,4,5,  \
+                     5,5,5,5,6,6,6,6,6,7,7,7,7,7,8,8,8,8,8,9,9,9,  \
+                     9,9,10,10,10,10}
+  #elif DECDPUN==6
+    #define DECDPUNMAX 999999
+    #define D2UTABLE {0,1,1,1,1,1,1,2,2,2,2,2,2,3,3,3,3,3,3,4,4,4,  \
+                     4,4,4,5,5,5,5,5,5,6,6,6,6,6,6,7,7,7,7,7,7,8,  \
+                     8,8,8,8,8,9}
+  #elif DECDPUN==7
+    #define DECDPUNMAX 9999999
+    #define D2UTABLE {0,1,1,1,1,1,1,1,2,2,2,2,2,2,2,3,3,3,3,3,3,3,  \
+                     4,4,4,4,4,4,4,5,5,5,5,5,5,5,6,6,6,6,6,6,6,7,  \
+                     7,7,7,7,7,7}
+  #elif DECDPUN==8
+    #define DECDPUNMAX 99999999
+    #define D2UTABLE {0,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,3,3,3,3,3,  \
+                     3,3,3,4,4,4,4,4,4,4,4,5,5,5,5,5,5,5,5,6,6,6,  \
+                     6,6,6,6,6,7}
+  #elif DECDPUN==9
+    #define DECDPUNMAX 999999999
+    #define D2UTABLE {0,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,3,3,3,  \
+                     3,3,3,3,3,3,4,4,4,4,4,4,4,4,4,5,5,5,5,5,5,5,  \
+                     5,5,6,6,6,6}
+  #elif defined(DECDPUN)
+    #error DECDPUN must be in the range 1-9
+  #endif
+
+  /* ----- Shared data (in decNumber.c) ----- */
+  /* Public lookup table used by the D2U macro (see below)           */
+  #define DECMAXD2U 49
+  extern const uByte d2utable[DECMAXD2U+1];
+
+  /* ----- Macros ----- */
+  /* ISZERO -- return true if decNumber dn is a zero                 */
+  /* [performance-critical in some situations]                       */
+  #define ISZERO(dn) decNumberIsZero(dn)     /* now just a local name */
+
+  /* D2U -- return the number of Units needed to hold d digits       */
+  /* (runtime version, with table lookaside for small d)             */
+  #if DECDPUN==8
+    #define D2U(d) ((unsigned)((d)<=DECMAXD2U?d2utable[d]:((d)+7)>>3))
+  #elif DECDPUN==4
+    #define D2U(d) ((unsigned)((d)<=DECMAXD2U?d2utable[d]:((d)+3)>>2))
+  #else
+    #define D2U(d) ((d)<=DECMAXD2U?d2utable[d]:((d)+DECDPUN-1)/DECDPUN)
+  #endif
+  /* SD2U -- static D2U macro (for compile-time calculation)         */
+  #define SD2U(d) (((d)+DECDPUN-1)/DECDPUN)
+
+  /* MSUDIGITS -- returns digits in msu, from digits, calculated      */
+  /* using D2U                                                       */
+  #define MSUDIGITS(d) ((d)-(D2U(d)-1)*DECDPUN)
+
+  /* D2N -- return the number of decNumber structs that would be      */
+  /* needed to contain that number of digits (and the initial        */
+  /* decNumber struct) safely. Note that one Unit is included in the */
+  /* initial structure.         Used for allocating space that is aligned on */
+  /* a decNumber struct boundary. */
+  #define D2N(d) \
+    ((((SD2U(d)-1)*sizeof(Unit))+sizeof(decNumber)*2-1)/sizeof(decNumber))
+
+  /* TODIGIT -- macro to remove the leading digit from the unsigned   */
+  /* integer u at column cut (counting from the right, LSD=0) and     */
+  /* place it as an ASCII character into the character pointed to by  */
+  /* c.         Note that cut must be <= 9, and the maximum value for u is   */
+  /* 2,000,000,000 (as is needed for negative exponents of           */
+  /* subnormals).  The unsigned integer pow is used as a temporary    */
+  /* variable. */
+  #define TODIGIT(u, cut, c, pow) {      \
+    *(c)='0';                            \
+    pow=DECPOWERS[cut]*2;                \
+    if ((u)>pow) {                       \
+      pow*=4;                            \
+      if ((u)>=pow) {(u)-=pow; *(c)+=8;}  \
+      pow/=2;                            \
+      if ((u)>=pow) {(u)-=pow; *(c)+=4;}  \
+      pow/=2;                            \
+      }                                          \
+    if ((u)>=pow) {(u)-=pow; *(c)+=2;}   \
+    pow/=2;                              \
+    if ((u)>=pow) {(u)-=pow; *(c)+=1;}   \
+    }
+
+  /* ---------------------------------------------------------------- */
+  /* Definitions for fixed-precision modules (only valid after       */
+  /* decSingle.h, decDouble.h, or decQuad.h has been included)       */
+  /* ---------------------------------------------------------------- */
+
+  /* bcdnum -- a structure describing a format-independent finite     */
+  /* number, whose coefficient is a string of bcd8 uBytes            */
+  typedef struct {
+    uByte   *msd;            /* -> most significant digit            */
+    uByte   *lsd;            /* -> least ditto                       */
+    uInt     sign;           /* 0=positive, DECFLOAT_Sign=negative   */
+    Int             exponent;        /* Unadjusted signed exponent (q), or   */
+                             /* DECFLOAT_NaN etc. for a special      */
+    } bcdnum;
+
+  /* Test if exponent or bcdnum exponent must be a special, etc.      */
+  #define EXPISSPECIAL(exp) ((exp)>=DECFLOAT_MinSp)
+  #define EXPISINF(exp) (exp==DECFLOAT_Inf)
+  #define EXPISNAN(exp) (exp==DECFLOAT_qNaN || exp==DECFLOAT_sNaN)
+  #define NUMISSPECIAL(num) (EXPISSPECIAL((num)->exponent))
+
+  /* Refer to a 32-bit word or byte in a decFloat (df) by big-endian  */
+  /* (array) notation (the 0 word or byte contains the sign bit),     */
+  /* automatically adjusting for endianness; similarly address a word */
+  /* in the next-wider format (decFloatWider, or dfw)                */
+  #define DECWORDS  (DECBYTES/4)
+  #define DECWWORDS (DECWBYTES/4)
+  #if DECLITEND
+    #define DFWORD(df, off) ((df)->words[DECWORDS-1-(off)])
+    #define DFBYTE(df, off) ((df)->bytes[DECBYTES-1-(off)])
+    #define DFWWORD(dfw, off) ((dfw)->words[DECWWORDS-1-(off)])
+  #else
+    #define DFWORD(df, off) ((df)->words[off])
+    #define DFBYTE(df, off) ((df)->bytes[off])
+    #define DFWWORD(dfw, off) ((dfw)->words[off])
+  #endif
+
+  /* Tests for sign or specials, directly on DECFLOATs               */
+  #define DFISSIGNED(df)   (DFWORD(df, 0)&0x80000000)
+  #define DFISSPECIAL(df) ((DFWORD(df, 0)&0x78000000)==0x78000000)
+  #define DFISINF(df)    ((DFWORD(df, 0)&0x7c000000)==0x78000000)
+  #define DFISNAN(df)    ((DFWORD(df, 0)&0x7c000000)==0x7c000000)
+  #define DFISQNAN(df)   ((DFWORD(df, 0)&0x7e000000)==0x7c000000)
+  #define DFISSNAN(df)   ((DFWORD(df, 0)&0x7e000000)==0x7e000000)
+
+  /* Shared lookup tables                                            */
+  extern const uInt   DECCOMBMSD[64];  /* Combination field -> MSD   */
+  extern const uInt   DECCOMBFROM[48]; /* exp+msd -> Combination     */
+
+  /* Private generic (utility) routine                               */
+  #if DECCHECK || DECTRACE
+    extern void decShowNum(const bcdnum *, const char *);
+  #endif
+
+  /* Format-dependent macros and constants                           */
+  #if defined(DECPMAX)
+
+    /* Useful constants                                                      */
+    #define DECPMAX9  (ROUNDUP(DECPMAX, 9)/9)  /* 'Pmax' in 10**9s    */
+    /* Top words for a zero                                          */
+    #define SINGLEZERO  0x22500000
+    #define DOUBLEZERO  0x22380000
+    #define QUADZERO    0x22080000
+    /* [ZEROWORD is defined to be one of these in the DFISZERO macro] */
+
+    /* Format-dependent common tests:                                */
+    /*  DFISZERO   -- test for (any) zero                            */
+    /*  DFISCCZERO -- test for coefficient continuation being zero   */
+    /*  DFISCC01   -- test for coefficient contains only 0s and 1s   */
+    /*  DFISINT    -- test for finite and exponent q=0               */
+    /*  DFISUINT01 -- test for sign=0, finite, exponent q=0, and     */
+    /*                MSD=0 or 1                                     */
+    /*  ZEROWORD is also defined here.                               */
+    /* In DFISZERO the first test checks the least-significant word   */
+    /* (most likely to be non-zero); the penultimate tests MSD and    */
+    /* DPDs in the signword, and the final test excludes specials and */
+    /* MSD>7.  DFISINT similarly has to allow for the two forms of    */
+    /* MSD codes.  DFISUINT01 only has to allow for one form of MSD   */
+    /* code.                                                         */
+    #if DECPMAX==7
+      #define ZEROWORD SINGLEZERO
+      /* [test macros not needed except for Zero]                    */
+      #define DFISZERO(df)  ((DFWORD(df, 0)&0x1c0fffff)==0        \
+                         && (DFWORD(df, 0)&0x60000000)!=0x60000000)
+    #elif DECPMAX==16
+      #define ZEROWORD DOUBLEZERO
+      #define DFISZERO(df)  ((DFWORD(df, 1)==0                    \
+                         && (DFWORD(df, 0)&0x1c03ffff)==0         \
+                         && (DFWORD(df, 0)&0x60000000)!=0x60000000))
+      #define DFISINT(df) ((DFWORD(df, 0)&0x63fc0000)==0x22380000  \
+                        ||(DFWORD(df, 0)&0x7bfc0000)==0x6a380000)
+      #define DFISUINT01(df) ((DFWORD(df, 0)&0xfbfc0000)==0x22380000)
+      #define DFISCCZERO(df) (DFWORD(df, 1)==0                    \
+                         && (DFWORD(df, 0)&0x0003ffff)==0)
+      #define DFISCC01(df)  ((DFWORD(df, 0)&~0xfffc9124)==0       \
+                         && (DFWORD(df, 1)&~0x49124491)==0)
+    #elif DECPMAX==34
+      #define ZEROWORD QUADZERO
+      #define DFISZERO(df)  ((DFWORD(df, 3)==0                    \
+                         &&  DFWORD(df, 2)==0                     \
+                         &&  DFWORD(df, 1)==0                     \
+                         && (DFWORD(df, 0)&0x1c003fff)==0         \
+                         && (DFWORD(df, 0)&0x60000000)!=0x60000000))
+      #define DFISINT(df) ((DFWORD(df, 0)&0x63ffc000)==0x22080000  \
+                        ||(DFWORD(df, 0)&0x7bffc000)==0x6a080000)
+      #define DFISUINT01(df) ((DFWORD(df, 0)&0xfbffc000)==0x22080000)
+      #define DFISCCZERO(df) (DFWORD(df, 3)==0                    \
+                         &&  DFWORD(df, 2)==0                     \
+                         &&  DFWORD(df, 1)==0                     \
+                         && (DFWORD(df, 0)&0x00003fff)==0)
+
+      #define DFISCC01(df)   ((DFWORD(df, 0)&~0xffffc912)==0      \
+                         &&  (DFWORD(df, 1)&~0x44912449)==0       \
+                         &&  (DFWORD(df, 2)&~0x12449124)==0       \
+                         &&  (DFWORD(df, 3)&~0x49124491)==0)
+    #endif
+
+    /* Macros to test if a certain 10 bits of a uInt or pair of uInts */
+    /* are a canonical declet [higher or lower bits are ignored].     */
+    /* declet is at offset 0 (from the right) in a uInt:             */
+    #define CANONDPD(dpd) (((dpd)&0x300)==0 || ((dpd)&0x6e)!=0x6e)
+    /* declet is at offset k (a multiple of 2) in a uInt:            */
+    #define CANONDPDOFF(dpd, k) (((dpd)&(0x300<<(k)))==0           \
+      || ((dpd)&(((uInt)0x6e)<<(k)))!=(((uInt)0x6e)<<(k)))
+    /* declet is at offset k (a multiple of 2) in a pair of uInts:    */
+    /* [the top 2 bits will always be in the more-significant uInt]   */
+    #define CANONDPDTWO(hi, lo, k) (((hi)&(0x300>>(32-(k))))==0            \
+      || ((hi)&(0x6e>>(32-(k))))!=(0x6e>>(32-(k)))                 \
+      || ((lo)&(((uInt)0x6e)<<(k)))!=(((uInt)0x6e)<<(k)))
+
+    /* Macro to test whether a full-length (length DECPMAX) BCD8      */
+    /* coefficient is zero                                           */
+    /* test just the LSWord first, then the remainder                */
+    #if DECPMAX==7
+      #define ISCOEFFZERO(u) (UINTAT((u)+DECPMAX-4)==0             \
+       && UINTAT((u)+DECPMAX-7)==0)
+    #elif DECPMAX==16
+      #define ISCOEFFZERO(u) (UINTAT((u)+DECPMAX-4)==0             \
+       && (UINTAT((u)+DECPMAX-8)+UINTAT((u)+DECPMAX-12)            \
+          +UINTAT((u)+DECPMAX-16))==0)
+    #elif DECPMAX==34
+      #define ISCOEFFZERO(u) (UINTAT((u)+DECPMAX-4)==0             \
+       && (UINTAT((u)+DECPMAX-8) +UINTAT((u)+DECPMAX-12)           \
+          +UINTAT((u)+DECPMAX-16)+UINTAT((u)+DECPMAX-20)           \
+          +UINTAT((u)+DECPMAX-24)+UINTAT((u)+DECPMAX-28)           \
+          +UINTAT((u)+DECPMAX-32)+USHORTAT((u)+DECPMAX-34))==0)
+    #endif
+
+    /* Macros and masks for the exponent continuation field and MSD   */
+    /* Get the exponent continuation from a decFloat *df as an Int    */
+    #define GETECON(df) ((Int)((DFWORD((df), 0)&0x03ffffff)>>(32-6-DECECONL)))
+    /* Ditto, from the next-wider format                             */
+    #define GETWECON(df) ((Int)((DFWWORD((df), 0)&0x03ffffff)>>(32-6-DECWECONL)))
+    /* Get the biased exponent similarly                             */
+    #define GETEXP(df) ((Int)(DECCOMBEXP[DFWORD((df), 0)>>26]+GETECON(df)))
+    /* Get the unbiased exponent similarly                           */
+    #define GETEXPUN(df) ((Int)GETEXP(df)-DECBIAS)
+    /* Get the MSD similarly (as uInt)                               */
+    #define GETMSD(df)  (DECCOMBMSD[DFWORD((df), 0)>>26])
+
+    /* Compile-time computes of the exponent continuation field masks */
+    /* full exponent continuation field:                             */
+    #define ECONMASK ((0x03ffffff>>(32-6-DECECONL))<<(32-6-DECECONL))
+    /* same, not including its first digit (the qNaN/sNaN selector):  */
+    #define ECONNANMASK ((0x01ffffff>>(32-6-DECECONL))<<(32-6-DECECONL))
+
+    /* Macros to decode the coefficient in a finite decFloat *df into */
+    /* a BCD string (uByte *bcdin) of length DECPMAX uBytes          */
+
+    /* In-line sequence to convert 10 bits at right end of uInt dpd   */
+    /* to three BCD8 digits starting at uByte u.  Note that an extra  */
+    /* byte is written to the right of the three digits because this  */
+    /* moves four at a time for speed; the alternative macro moves    */
+    /* exactly three bytes                                           */
+    #define dpd2bcd8(u, dpd) {                          \
+      UINTAT(u)=UINTAT(&DPD2BCD8[((dpd)&0x3ff)*4]);}
+
+    #define dpd2bcd83(u, dpd) {                                 \
+      *(u)=DPD2BCD8[((dpd)&0x3ff)*4];                   \
+      *(u+1)=DPD2BCD8[((dpd)&0x3ff)*4+1];               \
+      *(u+2)=DPD2BCD8[((dpd)&0x3ff)*4+2];}
+
+    /* Decode the declets.  After extracting each one, it is decoded  */
+    /* to BCD8 using a table lookup (also used for variable-length    */
+    /* decode).         Each DPD decode is 3 bytes BCD8 plus a one-byte      */
+    /* length which is not used, here).         Fixed-length 4-byte moves    */
+    /* are fast, however, almost everywhere, and so are used except   */
+    /* for the final three bytes (to avoid overrun).  The code below  */
+    /* is 36 instructions for Doubles and about 70 for Quads, even    */
+    /* on IA32.                                                              */
+
+    /* Two macros are defined for each format:                       */
+    /*  GETCOEFF extracts the coefficient of the current format      */
+    /*  GETWCOEFF extracts the coefficient of the next-wider format. */
+    /* The latter is a copy of the next-wider GETCOEFF using DFWWORD. */
+
+    #if DECPMAX==7
+    #define GETCOEFF(df, bcd) {                                 \
+      uInt sourhi=DFWORD(df, 0);                        \
+      *(bcd)=(uByte)DECCOMBMSD[sourhi>>26];             \
+      dpd2bcd8(bcd+1, sourhi>>10);                      \
+      dpd2bcd83(bcd+4, sourhi);}
+    #define GETWCOEFF(df, bcd) {                        \
+      uInt sourhi=DFWWORD(df, 0);                       \
+      uInt sourlo=DFWWORD(df, 1);                       \
+      *(bcd)=(uByte)DECCOMBMSD[sourhi>>26];             \
+      dpd2bcd8(bcd+1, sourhi>>8);                       \
+      dpd2bcd8(bcd+4, (sourhi<<2) | (sourlo>>30));      \
+      dpd2bcd8(bcd+7, sourlo>>20);                      \
+      dpd2bcd8(bcd+10, sourlo>>10);                     \
+      dpd2bcd83(bcd+13, sourlo);}
+
+    #elif DECPMAX==16
+    #define GETCOEFF(df, bcd) {                                 \
+      uInt sourhi=DFWORD(df, 0);                        \
+      uInt sourlo=DFWORD(df, 1);                        \
+      *(bcd)=(uByte)DECCOMBMSD[sourhi>>26];             \
+      dpd2bcd8(bcd+1, sourhi>>8);                       \
+      dpd2bcd8(bcd+4, (sourhi<<2) | (sourlo>>30));      \
+      dpd2bcd8(bcd+7, sourlo>>20);                      \
+      dpd2bcd8(bcd+10, sourlo>>10);                     \
+      dpd2bcd83(bcd+13, sourlo);}
+    #define GETWCOEFF(df, bcd) {                        \
+      uInt sourhi=DFWWORD(df, 0);                       \
+      uInt sourmh=DFWWORD(df, 1);                       \
+      uInt sourml=DFWWORD(df, 2);                       \
+      uInt sourlo=DFWWORD(df, 3);                       \
+      *(bcd)=(uByte)DECCOMBMSD[sourhi>>26];             \
+      dpd2bcd8(bcd+1, sourhi>>4);                       \
+      dpd2bcd8(bcd+4, ((sourhi)<<6) | (sourmh>>26));    \
+      dpd2bcd8(bcd+7, sourmh>>16);                      \
+      dpd2bcd8(bcd+10, sourmh>>6);                      \
+      dpd2bcd8(bcd+13, ((sourmh)<<4) | (sourml>>28));   \
+      dpd2bcd8(bcd+16, sourml>>18);                     \
+      dpd2bcd8(bcd+19, sourml>>8);                      \
+      dpd2bcd8(bcd+22, ((sourml)<<2) | (sourlo>>30));   \
+      dpd2bcd8(bcd+25, sourlo>>20);                     \
+      dpd2bcd8(bcd+28, sourlo>>10);                     \
+      dpd2bcd83(bcd+31, sourlo);}
+
+    #elif DECPMAX==34
+    #define GETCOEFF(df, bcd) {                                 \
+      uInt sourhi=DFWORD(df, 0);                        \
+      uInt sourmh=DFWORD(df, 1);                        \
+      uInt sourml=DFWORD(df, 2);                        \
+      uInt sourlo=DFWORD(df, 3);                        \
+      *(bcd)=(uByte)DECCOMBMSD[sourhi>>26];             \
+      dpd2bcd8(bcd+1, sourhi>>4);                       \
+      dpd2bcd8(bcd+4, ((sourhi)<<6) | (sourmh>>26));    \
+      dpd2bcd8(bcd+7, sourmh>>16);                      \
+      dpd2bcd8(bcd+10, sourmh>>6);                      \
+      dpd2bcd8(bcd+13, ((sourmh)<<4) | (sourml>>28));   \
+      dpd2bcd8(bcd+16, sourml>>18);                     \
+      dpd2bcd8(bcd+19, sourml>>8);                      \
+      dpd2bcd8(bcd+22, ((sourml)<<2) | (sourlo>>30));   \
+      dpd2bcd8(bcd+25, sourlo>>20);                     \
+      dpd2bcd8(bcd+28, sourlo>>10);                     \
+      dpd2bcd83(bcd+31, sourlo);}
+
+      #define GETWCOEFF(df, bcd) {??} /* [should never be used]              */
+    #endif
+
+    /* Macros to decode the coefficient in a finite decFloat *df into */
+    /* a base-billion uInt array, with the least-significant         */
+    /* 0-999999999 'digit' at offset 0.                                      */
+
+    /* Decode the declets.  After extracting each one, it is decoded  */
+    /* to binary using a table lookup. Three tables are used; one    */
+    /* the usual DPD to binary, the other two pre-multiplied by 1000  */
+    /* and 1000000 to avoid multiplication during decode.  These      */
+    /* tables can also be used for multiplying up the MSD as the DPD  */
+    /* code for 0 through 9 is the identity.                         */
+    #define DPD2BIN0 DPD2BIN        /* for prettier code             */
+
+    #if DECPMAX==7
+    #define GETCOEFFBILL(df, buf) {                          \
+      uInt sourhi=DFWORD(df, 0);                             \
+      (buf)[0]=DPD2BIN0[sourhi&0x3ff]                        \
+             +DPD2BINK[(sourhi>>10)&0x3ff]                   \
+             +DPD2BINM[DECCOMBMSD[sourhi>>26]];}
+
+    #elif DECPMAX==16
+    #define GETCOEFFBILL(df, buf) {                          \
+      uInt sourhi, sourlo;                                   \
+      sourlo=DFWORD(df, 1);                                  \
+      (buf)[0]=DPD2BIN0[sourlo&0x3ff]                        \
+             +DPD2BINK[(sourlo>>10)&0x3ff]                   \
+             +DPD2BINM[(sourlo>>20)&0x3ff];                  \
+      sourhi=DFWORD(df, 0);                                  \
+      (buf)[1]=DPD2BIN0[((sourhi<<2) | (sourlo>>30))&0x3ff]   \
+             +DPD2BINK[(sourhi>>8)&0x3ff]                    \
+             +DPD2BINM[DECCOMBMSD[sourhi>>26]];}
+
+    #elif DECPMAX==34
+    #define GETCOEFFBILL(df, buf) {                          \
+      uInt sourhi, sourmh, sourml, sourlo;                   \
+      sourlo=DFWORD(df, 3);                                  \
+      (buf)[0]=DPD2BIN0[sourlo&0x3ff]                        \
+             +DPD2BINK[(sourlo>>10)&0x3ff]                   \
+             +DPD2BINM[(sourlo>>20)&0x3ff];                  \
+      sourml=DFWORD(df, 2);                                  \
+      (buf)[1]=DPD2BIN0[((sourml<<2) | (sourlo>>30))&0x3ff]   \
+             +DPD2BINK[(sourml>>8)&0x3ff]                    \
+             +DPD2BINM[(sourml>>18)&0x3ff];                  \
+      sourmh=DFWORD(df, 1);                                  \
+      (buf)[2]=DPD2BIN0[((sourmh<<4) | (sourml>>28))&0x3ff]   \
+             +DPD2BINK[(sourmh>>6)&0x3ff]                    \
+             +DPD2BINM[(sourmh>>16)&0x3ff];                  \
+      sourhi=DFWORD(df, 0);                                  \
+      (buf)[3]=DPD2BIN0[((sourhi<<6) | (sourmh>>26))&0x3ff]   \
+             +DPD2BINK[(sourhi>>4)&0x3ff]                    \
+             +DPD2BINM[DECCOMBMSD[sourhi>>26]];}
+
+    #endif
+
+    /* Macros to decode the coefficient in a finite decFloat *df into */
+    /* a base-thousand uInt array, with the least-significant 0-999   */
+    /* 'digit' at offset 0.                                          */
+
+    /* Decode the declets.  After extracting each one, it is decoded  */
+    /* to binary using a table lookup.                               */
+    #if DECPMAX==7
+    #define GETCOEFFTHOU(df, buf) {                          \
+      uInt sourhi=DFWORD(df, 0);                             \
+      (buf)[0]=DPD2BIN[sourhi&0x3ff];                        \
+      (buf)[1]=DPD2BIN[(sourhi>>10)&0x3ff];                  \
+      (buf)[2]=DECCOMBMSD[sourhi>>26];}
+
+    #elif DECPMAX==16
+    #define GETCOEFFTHOU(df, buf) {                          \
+      uInt sourhi, sourlo;                                   \
+      sourlo=DFWORD(df, 1);                                  \
+      (buf)[0]=DPD2BIN[sourlo&0x3ff];                        \
+      (buf)[1]=DPD2BIN[(sourlo>>10)&0x3ff];                  \
+      (buf)[2]=DPD2BIN[(sourlo>>20)&0x3ff];                  \
+      sourhi=DFWORD(df, 0);                                  \
+      (buf)[3]=DPD2BIN[((sourhi<<2) | (sourlo>>30))&0x3ff];   \
+      (buf)[4]=DPD2BIN[(sourhi>>8)&0x3ff];                   \
+      (buf)[5]=DECCOMBMSD[sourhi>>26];}
+
+    #elif DECPMAX==34
+    #define GETCOEFFTHOU(df, buf) {                          \
+      uInt sourhi, sourmh, sourml, sourlo;                   \
+      sourlo=DFWORD(df, 3);                                  \
+      (buf)[0]=DPD2BIN[sourlo&0x3ff];                        \
+      (buf)[1]=DPD2BIN[(sourlo>>10)&0x3ff];                  \
+      (buf)[2]=DPD2BIN[(sourlo>>20)&0x3ff];                  \
+      sourml=DFWORD(df, 2);                                  \
+      (buf)[3]=DPD2BIN[((sourml<<2) | (sourlo>>30))&0x3ff];   \
+      (buf)[4]=DPD2BIN[(sourml>>8)&0x3ff];                   \
+      (buf)[5]=DPD2BIN[(sourml>>18)&0x3ff];                  \
+      sourmh=DFWORD(df, 1);                                  \
+      (buf)[6]=DPD2BIN[((sourmh<<4) | (sourml>>28))&0x3ff];   \
+      (buf)[7]=DPD2BIN[(sourmh>>6)&0x3ff];                   \
+      (buf)[8]=DPD2BIN[(sourmh>>16)&0x3ff];                  \
+      sourhi=DFWORD(df, 0);                                  \
+      (buf)[9]=DPD2BIN[((sourhi<<6) | (sourmh>>26))&0x3ff];   \
+      (buf)[10]=DPD2BIN[(sourhi>>4)&0x3ff];                  \
+      (buf)[11]=DECCOMBMSD[sourhi>>26];}
+
+    #endif
+
+    /* Set a decFloat to the maximum positive finite number (Nmax)    */
+    #if DECPMAX==7
+    #define DFSETNMAX(df)           \
+      {DFWORD(df, 0)=0x77f3fcff;}
+    #elif DECPMAX==16
+    #define DFSETNMAX(df)           \
+      {DFWORD(df, 0)=0x77fcff3f;     \
+       DFWORD(df, 1)=0xcff3fcff;}
+    #elif DECPMAX==34
+    #define DFSETNMAX(df)           \
+      {DFWORD(df, 0)=0x77ffcff3;     \
+       DFWORD(df, 1)=0xfcff3fcf;     \
+       DFWORD(df, 2)=0xf3fcff3f;     \
+       DFWORD(df, 3)=0xcff3fcff;}
+    #endif
+
+  /* [end of format-dependent macros and constants]                  */
+  #endif
+
+#else
+  #error decNumberLocal included more than once
+#endif
diff --git a/include/libdecnumber/dpd/decimal128.h b/include/libdecnumber/dpd/decimal128.h
new file mode 100644 (file)
index 0000000..7d9ee24
--- /dev/null
@@ -0,0 +1,100 @@
+/* Decimal 128-bit format module header for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal 128-bit format module header                                      */
+/* ------------------------------------------------------------------ */
+
+#if !defined(DECIMAL128)
+  #define DECIMAL128
+  #define DEC128NAME    "decimal128"                 /* Short name   */
+  #define DEC128FULLNAME "Decimal 128-bit Number"     /* Verbose name */
+  #define DEC128AUTHOR  "Mike Cowlishaw"             /* Who to blame */
+
+  /* parameters for decimal128s */
+  #define DECIMAL128_Bytes  16         /* length                     */
+  #define DECIMAL128_Pmax   34         /* maximum precision (digits) */
+  #define DECIMAL128_Emax   6144       /* maximum adjusted exponent  */
+  #define DECIMAL128_Emin  -6143       /* minimum adjusted exponent  */
+  #define DECIMAL128_Bias   6176       /* bias for the exponent      */
+  #define DECIMAL128_String 43         /* maximum string length, +1  */
+  #define DECIMAL128_EconL  12         /* exp. continuation length   */
+  /* highest biased exponent (Elimit-1)                                      */
+  #define DECIMAL128_Ehigh  (DECIMAL128_Emax+DECIMAL128_Bias-DECIMAL128_Pmax+1)
+
+  /* check enough digits, if pre-defined                             */
+  #if defined(DECNUMDIGITS)
+    #if (DECNUMDIGITS<DECIMAL128_Pmax)
+      #error decimal128.h needs pre-defined DECNUMDIGITS>=34 for safe use
+    #endif
+  #endif
+
+  #ifndef DECNUMDIGITS
+    #define DECNUMDIGITS DECIMAL128_Pmax /* size if not already defined*/
+  #endif
+  #ifndef DECNUMBER
+    #include "libdecnumber/decNumber.h"
+  #endif
+
+  /* Decimal 128-bit type, accessible by bytes                       */
+  typedef struct {
+    uint8_t bytes[DECIMAL128_Bytes]; /* decimal128: 1, 5, 12, 110 bits*/
+    } decimal128;
+
+  /* special values [top byte excluding sign bit; last two bits are   */
+  /* don't-care for Infinity on input, last bit don't-care for NaN]   */
+  #if !defined(DECIMAL_NaN)
+    #define DECIMAL_NaN            0x7c        /* 0 11111 00 NaN             */
+    #define DECIMAL_sNaN    0x7e       /* 0 11111 10 sNaN            */
+    #define DECIMAL_Inf            0x78        /* 0 11110 00 Infinity        */
+  #endif
+
+  #include "decimal128Local.h"
+
+  /* ---------------------------------------------------------------- */
+  /* Routines                                                        */
+  /* ---------------------------------------------------------------- */
+
+
+  /* String conversions                                                      */
+  decimal128 * decimal128FromString(decimal128 *, const char *, decContext *);
+  char * decimal128ToString(const decimal128 *, char *);
+  char * decimal128ToEngString(const decimal128 *, char *);
+
+  /* decNumber conversions                                           */
+  decimal128 * decimal128FromNumber(decimal128 *, const decNumber *,
+                                   decContext *);
+  decNumber * decimal128ToNumber(const decimal128 *, decNumber *);
+
+  /* Format-dependent utilities                                              */
+  uint32_t    decimal128IsCanonical(const decimal128 *);
+  decimal128 * decimal128Canonical(decimal128 *, const decimal128 *);
+
+#endif
diff --git a/include/libdecnumber/dpd/decimal128Local.h b/include/libdecnumber/dpd/decimal128Local.h
new file mode 100644 (file)
index 0000000..9765427
--- /dev/null
@@ -0,0 +1,47 @@
+/* Local definitions for use with the decNumber C Library.
+   Copyright (C) 2007 Free Software Foundation, Inc.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+#if !defined(DECIMAL128LOCAL)
+
+/* The compiler needs sign manipulation functions for decimal128 which
+   are not part of the decNumber package.  */
+
+/* Set sign; this assumes the sign was previously zero.  */
+#define decimal128SetSign(d,b) \
+  { (d)->bytes[WORDS_BIGENDIAN ? 0 : 15] |= ((unsigned) (b) << 7); }
+
+/* Clear sign.  */
+#define decimal128ClearSign(d) \
+  { (d)->bytes[WORDS_BIGENDIAN ? 0 : 15] &= ~0x80; }
+
+/* Flip sign.  */
+#define decimal128FlipSign(d) \
+  { (d)->bytes[WORDS_BIGENDIAN ? 0 : 15] ^= 0x80; }
+
+#endif
diff --git a/include/libdecnumber/dpd/decimal32.h b/include/libdecnumber/dpd/decimal32.h
new file mode 100644 (file)
index 0000000..de313e0
--- /dev/null
@@ -0,0 +1,98 @@
+/* Decimal 32-bit format module header for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal 32-bit format module header                               */
+/* ------------------------------------------------------------------ */
+
+#if !defined(DECIMAL32)
+  #define DECIMAL32
+  #define DEC32NAME    "decimal32"                   /* Short name   */
+  #define DEC32FULLNAME "Decimal 32-bit Number"              /* Verbose name */
+  #define DEC32AUTHOR  "Mike Cowlishaw"              /* Who to blame */
+
+  /* parameters for decimal32s */
+  #define DECIMAL32_Bytes  4           /* length                     */
+  #define DECIMAL32_Pmax   7           /* maximum precision (digits) */
+  #define DECIMAL32_Emax   96          /* maximum adjusted exponent  */
+  #define DECIMAL32_Emin  -95          /* minimum adjusted exponent  */
+  #define DECIMAL32_Bias   101         /* bias for the exponent      */
+  #define DECIMAL32_String 15          /* maximum string length, +1  */
+  #define DECIMAL32_EconL  6           /* exp. continuation length   */
+  /* highest biased exponent (Elimit-1)                                      */
+  #define DECIMAL32_Ehigh  (DECIMAL32_Emax+DECIMAL32_Bias-DECIMAL32_Pmax+1)
+
+  /* check enough digits, if pre-defined                             */
+  #if defined(DECNUMDIGITS)
+    #if (DECNUMDIGITS<DECIMAL32_Pmax)
+      #error decimal32.h needs pre-defined DECNUMDIGITS>=7 for safe use
+    #endif
+  #endif
+
+  #ifndef DECNUMDIGITS
+    #define DECNUMDIGITS DECIMAL32_Pmax /* size if not already defined*/
+  #endif
+  #ifndef DECNUMBER
+    #include "libdecnumber/decNumber.h"
+  #endif
+
+  /* Decimal 32-bit type, accessible by bytes */
+  typedef struct {
+    uint8_t bytes[DECIMAL32_Bytes];    /* decimal32: 1, 5, 6, 20 bits*/
+    } decimal32;
+
+  /* special values [top byte excluding sign bit; last two bits are   */
+  /* don't-care for Infinity on input, last bit don't-care for NaN]   */
+  #if !defined(DECIMAL_NaN)
+    #define DECIMAL_NaN            0x7c        /* 0 11111 00 NaN             */
+    #define DECIMAL_sNaN    0x7e       /* 0 11111 10 sNaN            */
+    #define DECIMAL_Inf            0x78        /* 0 11110 00 Infinity        */
+  #endif
+
+  /* ---------------------------------------------------------------- */
+  /* Routines                                                        */
+  /* ---------------------------------------------------------------- */
+
+
+  /* String conversions                                                      */
+  decimal32 * decimal32FromString(decimal32 *, const char *, decContext *);
+  char * decimal32ToString(const decimal32 *, char *);
+  char * decimal32ToEngString(const decimal32 *, char *);
+
+  /* decNumber conversions                                           */
+  decimal32 * decimal32FromNumber(decimal32 *, const decNumber *,
+                                 decContext *);
+  decNumber * decimal32ToNumber(const decimal32 *, decNumber *);
+
+  /* Format-dependent utilities                                              */
+  uint32_t    decimal32IsCanonical(const decimal32 *);
+  decimal32 * decimal32Canonical(decimal32 *, const decimal32 *);
+
+#endif
diff --git a/include/libdecnumber/dpd/decimal64.h b/include/libdecnumber/dpd/decimal64.h
new file mode 100644 (file)
index 0000000..2f6c049
--- /dev/null
@@ -0,0 +1,100 @@
+/* Decimal 64-bit format module header for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal 64-bit format module header                               */
+/* ------------------------------------------------------------------ */
+
+#if !defined(DECIMAL64)
+  #define DECIMAL64
+  #define DEC64NAME    "decimal64"                   /* Short name   */
+  #define DEC64FULLNAME "Decimal 64-bit Number"              /* Verbose name */
+  #define DEC64AUTHOR  "Mike Cowlishaw"              /* Who to blame */
+
+
+  /* parameters for decimal64s                                       */
+  #define DECIMAL64_Bytes  8           /* length                     */
+  #define DECIMAL64_Pmax   16          /* maximum precision (digits) */
+  #define DECIMAL64_Emax   384         /* maximum adjusted exponent  */
+  #define DECIMAL64_Emin  -383         /* minimum adjusted exponent  */
+  #define DECIMAL64_Bias   398         /* bias for the exponent      */
+  #define DECIMAL64_String 24          /* maximum string length, +1  */
+  #define DECIMAL64_EconL  8           /* exp. continuation length   */
+  /* highest biased exponent (Elimit-1)                                      */
+  #define DECIMAL64_Ehigh  (DECIMAL64_Emax+DECIMAL64_Bias-DECIMAL64_Pmax+1)
+
+  /* check enough digits, if pre-defined                             */
+  #if defined(DECNUMDIGITS)
+    #if (DECNUMDIGITS<DECIMAL64_Pmax)
+      #error decimal64.h needs pre-defined DECNUMDIGITS>=16 for safe use
+    #endif
+  #endif
+
+
+  #ifndef DECNUMDIGITS
+    #define DECNUMDIGITS DECIMAL64_Pmax /* size if not already defined*/
+  #endif
+  #ifndef DECNUMBER
+    #include "libdecnumber/decNumber.h"
+  #endif
+
+  /* Decimal 64-bit type, accessible by bytes                        */
+  typedef struct {
+    uint8_t bytes[DECIMAL64_Bytes];    /* decimal64: 1, 5, 8, 50 bits*/
+    } decimal64;
+
+  /* special values [top byte excluding sign bit; last two bits are   */
+  /* don't-care for Infinity on input, last bit don't-care for NaN]   */
+  #if !defined(DECIMAL_NaN)
+    #define DECIMAL_NaN            0x7c        /* 0 11111 00 NaN             */
+    #define DECIMAL_sNaN    0x7e       /* 0 11111 10 sNaN            */
+    #define DECIMAL_Inf            0x78        /* 0 11110 00 Infinity        */
+  #endif
+
+  /* ---------------------------------------------------------------- */
+  /* Routines                                                        */
+  /* ---------------------------------------------------------------- */
+
+
+  /* String conversions                                                      */
+  decimal64 * decimal64FromString(decimal64 *, const char *, decContext *);
+  char * decimal64ToString(const decimal64 *, char *);
+  char * decimal64ToEngString(const decimal64 *, char *);
+
+  /* decNumber conversions                                           */
+  decimal64 * decimal64FromNumber(decimal64 *, const decNumber *,
+                                 decContext *);
+  decNumber * decimal64ToNumber(const decimal64 *, decNumber *);
+
+  /* Format-dependent utilities                                              */
+  uint32_t    decimal64IsCanonical(const decimal64 *);
+  decimal64 * decimal64Canonical(decimal64 *, const decimal64 *);
+
+#endif
index e79c707436fe13ac3000db83abf71178dc244797..c10666059fed3052c86a23608717edb4cfe08f5f 100644 (file)
@@ -23,6 +23,20 @@ void AES_cbc_encrypt(const unsigned char *in, unsigned char *out,
                     const unsigned long length, const AES_KEY *key,
                     unsigned char *ivec, const int enc);
 
+extern const uint8_t AES_sbox[256];
+extern const uint8_t AES_isbox[256];
+
+/* AES ShiftRows and InvShiftRows */
+extern const uint8_t AES_shifts[16];
+extern const uint8_t AES_ishifts[16];
+
+/* AES InvMixColumns */
+/* AES_imc[x][0] = [x].[0e, 09, 0d, 0b]; */
+/* AES_imc[x][1] = [x].[0b, 0e, 09, 0d]; */
+/* AES_imc[x][2] = [x].[0d, 0b, 0e, 09]; */
+/* AES_imc[x][3] = [x].[09, 0d, 0b, 0e]; */
+extern const uint32_t AES_imc[256][4];
+
 /*
 AES_Te0[x] = S [x].[02, 01, 01, 03];
 AES_Te1[x] = S [x].[03, 02, 01, 01];
diff --git a/include/sysemu/dump-arch.h b/include/sysemu/dump-arch.h
new file mode 100644 (file)
index 0000000..9c95ced
--- /dev/null
@@ -0,0 +1,28 @@
+/*
+ * QEMU dump
+ *
+ * Copyright Fujitsu, Corp. 2011, 2012
+ *
+ * Authors:
+ *     Wen Congyang <wency@cn.fujitsu.com>
+ *
+ * This work is licensed under the terms of the GNU GPL, version 2 or later.
+ * See the COPYING file in the top-level directory.
+ *
+ */
+
+#ifndef DUMP_ARCH_H
+#define DUMP_ARCH_H
+
+typedef struct ArchDumpInfo {
+    int d_machine;  /* Architecture */
+    int d_endian;   /* ELFDATA2LSB or ELFDATA2MSB */
+    int d_class;    /* ELFCLASS32 or ELFCLASS64 */
+} ArchDumpInfo;
+
+struct GuestPhysBlockList; /* memory_mapping.h */
+int cpu_get_dump_info(ArchDumpInfo *info,
+                      const struct GuestPhysBlockList *guest_phys_blocks);
+ssize_t cpu_get_note_size(int class, int machine, int nr_cpus);
+
+#endif
index 12af557b556d1fb275e64e8f7b9d6d3d6b14c68b..7e4ec5c7d96fb39c943d970d1683aa2dc171c933 100644 (file)
 #define PFN_BUFBITMAP               (CHAR_BIT * BUFSIZE_BITMAP)
 #define BUFSIZE_DATA_CACHE          (TARGET_PAGE_SIZE * 4)
 
-typedef struct ArchDumpInfo {
-    int d_machine;  /* Architecture */
-    int d_endian;   /* ELFDATA2LSB or ELFDATA2MSB */
-    int d_class;    /* ELFCLASS32 or ELFCLASS64 */
-} ArchDumpInfo;
+#include "sysemu/dump-arch.h"
+#include "sysemu/memory_mapping.h"
 
 typedef struct QEMU_PACKED MakedumpfileHeader {
     char signature[16];     /* = "makedumpfile" */
@@ -158,9 +155,37 @@ typedef struct QEMU_PACKED PageDescriptor {
     uint64_t page_flags;            /* page flags */
 } PageDescriptor;
 
-struct GuestPhysBlockList; /* memory_mapping.h */
-int cpu_get_dump_info(ArchDumpInfo *info,
-                      const struct GuestPhysBlockList *guest_phys_blocks);
-ssize_t cpu_get_note_size(int class, int machine, int nr_cpus);
-
+typedef struct DumpState {
+    GuestPhysBlockList guest_phys_blocks;
+    ArchDumpInfo dump_info;
+    MemoryMappingList list;
+    uint16_t phdr_num;
+    uint32_t sh_info;
+    bool have_section;
+    bool resume;
+    ssize_t note_size;
+    hwaddr memory_offset;
+    int fd;
+
+    GuestPhysBlock *next_block;
+    ram_addr_t start;
+    bool has_filter;
+    int64_t begin;
+    int64_t length;
+
+    uint8_t *note_buf;          /* buffer for notes */
+    size_t note_buf_offset;     /* the writing place in note_buf */
+    uint32_t nr_cpus;           /* number of guest's cpu */
+    uint64_t max_mapnr;         /* the biggest guest's phys-mem's number */
+    size_t len_dump_bitmap;     /* the size of the place used to store
+                                   dump_bitmap in vmcore */
+    off_t offset_dump_bitmap;   /* offset of dump_bitmap part in vmcore */
+    off_t offset_page;          /* offset of page part in vmcore */
+    size_t num_dumpable;        /* number of page that can be dumped */
+    uint32_t flag_compress;     /* indicate the compression format */
+} DumpState;
+
+uint16_t cpu_to_dump16(DumpState *s, uint16_t val);
+uint32_t cpu_to_dump32(DumpState *s, uint32_t val);
+uint64_t cpu_to_dump64(DumpState *s, uint64_t val);
 #endif
diff --git a/libdecnumber/decContext.c b/libdecnumber/decContext.c
new file mode 100644 (file)
index 0000000..8b6ae21
--- /dev/null
@@ -0,0 +1,433 @@
+/* Decimal context module for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal Context module                                            */
+/* ------------------------------------------------------------------ */
+/* This module comprises the routines for handling arithmetic        */
+/* context structures.                                               */
+/* ------------------------------------------------------------------ */
+
+#include <string.h>          /* for strcmp */
+#include <stdio.h>           /* for printf if DECCHECK */
+#include "libdecnumber/dconfig.h"
+#include "libdecnumber/decContext.h"
+#include "libdecnumber/decNumberLocal.h"
+
+#if DECCHECK
+/* compile-time endian tester [assumes sizeof(Int)>1] */
+static const  Int mfcone=1;                 /* constant 1 */
+static const  Flag *mfctop=(Flag *)&mfcone; /* -> top byte */
+#define LITEND *mfctop            /* named flag; 1=little-endian */
+#endif
+
+/* ------------------------------------------------------------------ */
+/* round-for-reround digits                                          */
+/* ------------------------------------------------------------------ */
+const uByte DECSTICKYTAB[10]={1,1,2,3,4,6,6,7,8,9}; /* used if sticky */
+
+/* ------------------------------------------------------------------ */
+/* Powers of ten (powers[n]==10**n, 0<=n<=9)                         */
+/* ------------------------------------------------------------------ */
+const uLong DECPOWERS[19] = {1, 10, 100, 1000, 10000, 100000, 1000000,
+  10000000, 100000000, 1000000000, 10000000000ULL, 100000000000ULL,
+  1000000000000ULL, 10000000000000ULL, 100000000000000ULL, 1000000000000000ULL,
+  10000000000000000ULL, 100000000000000000ULL, 1000000000000000000ULL, };
+
+/* ------------------------------------------------------------------ */
+/* decContextClearStatus -- clear bits in current status             */
+/*                                                                   */
+/*  context is the context structure to be queried                   */
+/*  mask indicates the bits to be cleared (the status bit that       */
+/*    corresponds to each 1 bit in the mask is cleared)                      */
+/*  returns context                                                  */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decContext *decContextClearStatus(decContext *context, uInt mask) {
+  context->status&=~mask;
+  return context;
+  } /* decContextClearStatus */
+
+/* ------------------------------------------------------------------ */
+/* decContextDefault -- initialize a context structure               */
+/*                                                                   */
+/*  context is the structure to be initialized                       */
+/*  kind selects the required set of default values, one of:         */
+/*     DEC_INIT_BASE       -- select ANSI X3-274 defaults            */
+/*     DEC_INIT_DECIMAL32  -- select IEEE 754r defaults, 32-bit      */
+/*     DEC_INIT_DECIMAL64  -- select IEEE 754r defaults, 64-bit      */
+/*     DEC_INIT_DECIMAL128 -- select IEEE 754r defaults, 128-bit     */
+/*     For any other value a valid context is returned, but with     */
+/*     Invalid_operation set in the status field.                    */
+/*  returns a context structure with the appropriate initial values.  */
+/* ------------------------------------------------------------------ */
+decContext * decContextDefault(decContext *context, Int kind) {
+  /* set defaults... */
+  context->digits=9;                        /* 9 digits */
+  context->emax=DEC_MAX_EMAX;               /* 9-digit exponents */
+  context->emin=DEC_MIN_EMIN;               /* .. balanced */
+  context->round=DEC_ROUND_HALF_UP;         /* 0.5 rises */
+  context->traps=DEC_Errors;                /* all but informational */
+  context->status=0;                        /* cleared */
+  context->clamp=0;                         /* no clamping */
+  #if DECSUBSET
+  context->extended=0;                      /* cleared */
+  #endif
+  switch (kind) {
+    case DEC_INIT_BASE:
+      /* [use defaults] */
+      break;
+    case DEC_INIT_DECIMAL32:
+      context->digits=7;                    /* digits */
+      context->emax=96;                             /* Emax */
+      context->emin=-95;                    /* Emin */
+      context->round=DEC_ROUND_HALF_EVEN;    /* 0.5 to nearest even */
+      context->traps=0;                             /* no traps set */
+      context->clamp=1;                             /* clamp exponents */
+      #if DECSUBSET
+      context->extended=1;                  /* set */
+      #endif
+      break;
+    case DEC_INIT_DECIMAL64:
+      context->digits=16;                   /* digits */
+      context->emax=384;                    /* Emax */
+      context->emin=-383;                   /* Emin */
+      context->round=DEC_ROUND_HALF_EVEN;    /* 0.5 to nearest even */
+      context->traps=0;                             /* no traps set */
+      context->clamp=1;                             /* clamp exponents */
+      #if DECSUBSET
+      context->extended=1;                  /* set */
+      #endif
+      break;
+    case DEC_INIT_DECIMAL128:
+      context->digits=34;                   /* digits */
+      context->emax=6144;                   /* Emax */
+      context->emin=-6143;                  /* Emin */
+      context->round=DEC_ROUND_HALF_EVEN;    /* 0.5 to nearest even */
+      context->traps=0;                             /* no traps set */
+      context->clamp=1;                             /* clamp exponents */
+      #if DECSUBSET
+      context->extended=1;                  /* set */
+      #endif
+      break;
+
+    default:                                /* invalid Kind */
+      /* use defaults, and .. */
+      decContextSetStatus(context, DEC_Invalid_operation); /* trap */
+    }
+
+  #if DECCHECK
+  if (LITEND!=DECLITEND) {
+    const char *adj;
+    if (LITEND) adj="little";
+          else adj="big";
+    printf("Warning: DECLITEND is set to %d, but this computer appears to be %s-endian\n",
+          DECLITEND, adj);
+    }
+  #endif
+  return context;} /* decContextDefault */
+
+/* ------------------------------------------------------------------ */
+/* decContextGetRounding -- return current rounding mode             */
+/*                                                                   */
+/*  context is the context structure to be queried                   */
+/*  returns the rounding mode                                        */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+enum rounding decContextGetRounding(decContext *context) {
+  return context->round;
+  } /* decContextGetRounding */
+
+/* ------------------------------------------------------------------ */
+/* decContextGetStatus -- return current status                              */
+/*                                                                   */
+/*  context is the context structure to be queried                   */
+/*  returns status                                                   */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+uInt decContextGetStatus(decContext *context) {
+  return context->status;
+  } /* decContextGetStatus */
+
+/* ------------------------------------------------------------------ */
+/* decContextRestoreStatus -- restore bits in current status         */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  newstatus is the source for the bits to be restored                      */
+/*  mask indicates the bits to be restored (the status bit that              */
+/*    corresponds to each 1 bit in the mask is set to the value of    */
+/*    the correspnding bit in newstatus)                             */
+/*  returns context                                                  */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decContext *decContextRestoreStatus(decContext *context,
+                                   uInt newstatus, uInt mask) {
+  context->status&=~mask;              /* clear the selected bits */
+  context->status|=(mask&newstatus);   /* or in the new bits */
+  return context;
+  } /* decContextRestoreStatus */
+
+/* ------------------------------------------------------------------ */
+/* decContextSaveStatus -- save bits in current status               */
+/*                                                                   */
+/*  context is the context structure to be queried                   */
+/*  mask indicates the bits to be saved (the status bits that        */
+/*    correspond to each 1 bit in the mask are saved)                */
+/*  returns the AND of the mask and the current status               */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+uInt decContextSaveStatus(decContext *context, uInt mask) {
+  return context->status&mask;
+  } /* decContextSaveStatus */
+
+/* ------------------------------------------------------------------ */
+/* decContextSetRounding -- set current rounding mode                */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  newround is the value which will replace the current mode        */
+/*  returns context                                                  */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decContext *decContextSetRounding(decContext *context,
+                                 enum rounding newround) {
+  context->round=newround;
+  return context;
+  } /* decContextSetRounding */
+
+/* ------------------------------------------------------------------ */
+/* decContextSetStatus -- set status and raise trap if appropriate    */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  status  is the DEC_ exception code                               */
+/*  returns the context structure                                    */
+/*                                                                   */
+/* Control may never return from this routine, if there is a signal   */
+/* handler and it takes a long jump.                                 */
+/* ------------------------------------------------------------------ */
+decContext * decContextSetStatus(decContext *context, uInt status) {
+  context->status|=status;
+  if (status & context->traps) raise(SIGFPE);
+  return context;} /* decContextSetStatus */
+
+/* ------------------------------------------------------------------ */
+/* decContextSetStatusFromString -- set status from a string + trap   */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  string is a string exactly equal to one that might be returned    */
+/*           by decContextStatusToString                             */
+/*                                                                   */
+/*  The status bit corresponding to the string is set, and a trap     */
+/*  is raised if appropriate.                                        */
+/*                                                                   */
+/*  returns the context structure, unless the string is equal to      */
+/*    DEC_Condition_MU or is not recognized.  In these cases NULL is  */
+/*    returned.                                                              */
+/* ------------------------------------------------------------------ */
+decContext * decContextSetStatusFromString(decContext *context,
+                                          const char *string) {
+  if (strcmp(string, DEC_Condition_CS)==0)
+    return decContextSetStatus(context, DEC_Conversion_syntax);
+  if (strcmp(string, DEC_Condition_DZ)==0)
+    return decContextSetStatus(context, DEC_Division_by_zero);
+  if (strcmp(string, DEC_Condition_DI)==0)
+    return decContextSetStatus(context, DEC_Division_impossible);
+  if (strcmp(string, DEC_Condition_DU)==0)
+    return decContextSetStatus(context, DEC_Division_undefined);
+  if (strcmp(string, DEC_Condition_IE)==0)
+    return decContextSetStatus(context, DEC_Inexact);
+  if (strcmp(string, DEC_Condition_IS)==0)
+    return decContextSetStatus(context, DEC_Insufficient_storage);
+  if (strcmp(string, DEC_Condition_IC)==0)
+    return decContextSetStatus(context, DEC_Invalid_context);
+  if (strcmp(string, DEC_Condition_IO)==0)
+    return decContextSetStatus(context, DEC_Invalid_operation);
+  #if DECSUBSET
+  if (strcmp(string, DEC_Condition_LD)==0)
+    return decContextSetStatus(context, DEC_Lost_digits);
+  #endif
+  if (strcmp(string, DEC_Condition_OV)==0)
+    return decContextSetStatus(context, DEC_Overflow);
+  if (strcmp(string, DEC_Condition_PA)==0)
+    return decContextSetStatus(context, DEC_Clamped);
+  if (strcmp(string, DEC_Condition_RO)==0)
+    return decContextSetStatus(context, DEC_Rounded);
+  if (strcmp(string, DEC_Condition_SU)==0)
+    return decContextSetStatus(context, DEC_Subnormal);
+  if (strcmp(string, DEC_Condition_UN)==0)
+    return decContextSetStatus(context, DEC_Underflow);
+  if (strcmp(string, DEC_Condition_ZE)==0)
+    return context;
+  return NULL; /* Multiple status, or unknown */
+  } /* decContextSetStatusFromString */
+
+/* ------------------------------------------------------------------ */
+/* decContextSetStatusFromStringQuiet -- set status from a string     */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  string is a string exactly equal to one that might be returned    */
+/*           by decContextStatusToString                             */
+/*                                                                   */
+/*  The status bit corresponding to the string is set; no trap is     */
+/*  raised.                                                          */
+/*                                                                   */
+/*  returns the context structure, unless the string is equal to      */
+/*    DEC_Condition_MU or is not recognized.  In these cases NULL is  */
+/*    returned.                                                              */
+/* ------------------------------------------------------------------ */
+decContext * decContextSetStatusFromStringQuiet(decContext *context,
+                                               const char *string) {
+  if (strcmp(string, DEC_Condition_CS)==0)
+    return decContextSetStatusQuiet(context, DEC_Conversion_syntax);
+  if (strcmp(string, DEC_Condition_DZ)==0)
+    return decContextSetStatusQuiet(context, DEC_Division_by_zero);
+  if (strcmp(string, DEC_Condition_DI)==0)
+    return decContextSetStatusQuiet(context, DEC_Division_impossible);
+  if (strcmp(string, DEC_Condition_DU)==0)
+    return decContextSetStatusQuiet(context, DEC_Division_undefined);
+  if (strcmp(string, DEC_Condition_IE)==0)
+    return decContextSetStatusQuiet(context, DEC_Inexact);
+  if (strcmp(string, DEC_Condition_IS)==0)
+    return decContextSetStatusQuiet(context, DEC_Insufficient_storage);
+  if (strcmp(string, DEC_Condition_IC)==0)
+    return decContextSetStatusQuiet(context, DEC_Invalid_context);
+  if (strcmp(string, DEC_Condition_IO)==0)
+    return decContextSetStatusQuiet(context, DEC_Invalid_operation);
+  #if DECSUBSET
+  if (strcmp(string, DEC_Condition_LD)==0)
+    return decContextSetStatusQuiet(context, DEC_Lost_digits);
+  #endif
+  if (strcmp(string, DEC_Condition_OV)==0)
+    return decContextSetStatusQuiet(context, DEC_Overflow);
+  if (strcmp(string, DEC_Condition_PA)==0)
+    return decContextSetStatusQuiet(context, DEC_Clamped);
+  if (strcmp(string, DEC_Condition_RO)==0)
+    return decContextSetStatusQuiet(context, DEC_Rounded);
+  if (strcmp(string, DEC_Condition_SU)==0)
+    return decContextSetStatusQuiet(context, DEC_Subnormal);
+  if (strcmp(string, DEC_Condition_UN)==0)
+    return decContextSetStatusQuiet(context, DEC_Underflow);
+  if (strcmp(string, DEC_Condition_ZE)==0)
+    return context;
+  return NULL; /* Multiple status, or unknown */
+  } /* decContextSetStatusFromStringQuiet */
+
+/* ------------------------------------------------------------------ */
+/* decContextSetStatusQuiet -- set status without trap               */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  status  is the DEC_ exception code                               */
+/*  returns the context structure                                    */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decContext * decContextSetStatusQuiet(decContext *context, uInt status) {
+  context->status|=status;
+  return context;} /* decContextSetStatusQuiet */
+
+/* ------------------------------------------------------------------ */
+/* decContextStatusToString -- convert status flags to a string              */
+/*                                                                   */
+/*  context is a context with valid status field                     */
+/*                                                                   */
+/*  returns a constant string describing the condition.         If multiple  */
+/*    (or no) flags are set, a generic constant message is returned.  */
+/* ------------------------------------------------------------------ */
+const char *decContextStatusToString(const decContext *context) {
+  Int status=context->status;
+
+  /* test the five IEEE first, as some of the others are ambiguous when */
+  /* DECEXTFLAG=0 */
+  if (status==DEC_Invalid_operation    ) return DEC_Condition_IO;
+  if (status==DEC_Division_by_zero     ) return DEC_Condition_DZ;
+  if (status==DEC_Overflow            ) return DEC_Condition_OV;
+  if (status==DEC_Underflow           ) return DEC_Condition_UN;
+  if (status==DEC_Inexact             ) return DEC_Condition_IE;
+
+  if (status==DEC_Division_impossible  ) return DEC_Condition_DI;
+  if (status==DEC_Division_undefined   ) return DEC_Condition_DU;
+  if (status==DEC_Rounded             ) return DEC_Condition_RO;
+  if (status==DEC_Clamped             ) return DEC_Condition_PA;
+  if (status==DEC_Subnormal           ) return DEC_Condition_SU;
+  if (status==DEC_Conversion_syntax    ) return DEC_Condition_CS;
+  if (status==DEC_Insufficient_storage ) return DEC_Condition_IS;
+  if (status==DEC_Invalid_context      ) return DEC_Condition_IC;
+  #if DECSUBSET
+  if (status==DEC_Lost_digits         ) return DEC_Condition_LD;
+  #endif
+  if (status==0                               ) return DEC_Condition_ZE;
+  return DEC_Condition_MU;  /* Multiple errors */
+  } /* decContextStatusToString */
+
+/* ------------------------------------------------------------------ */
+/* decContextTestSavedStatus -- test bits in saved status            */
+/*                                                                   */
+/*  oldstatus is the status word to be tested                        */
+/*  mask indicates the bits to be tested (the oldstatus bits that     */
+/*    correspond to each 1 bit in the mask are tested)               */
+/*  returns 1 if any of the tested bits are 1, or 0 otherwise        */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+uInt decContextTestSavedStatus(uInt oldstatus, uInt mask) {
+  return (oldstatus&mask)!=0;
+  } /* decContextTestSavedStatus */
+
+/* ------------------------------------------------------------------ */
+/* decContextTestStatus -- test bits in current status               */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  mask indicates the bits to be tested (the status bits that       */
+/*    correspond to each 1 bit in the mask are tested)               */
+/*  returns 1 if any of the tested bits are 1, or 0 otherwise        */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+uInt decContextTestStatus(decContext *context, uInt mask) {
+  return (context->status&mask)!=0;
+  } /* decContextTestStatus */
+
+/* ------------------------------------------------------------------ */
+/* decContextZeroStatus -- clear all status bits                     */
+/*                                                                   */
+/*  context is the context structure to be updated                   */
+/*  returns context                                                  */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decContext *decContextZeroStatus(decContext *context) {
+  context->status=0;
+  return context;
+  } /* decContextZeroStatus */
diff --git a/libdecnumber/decNumber.c b/libdecnumber/decNumber.c
new file mode 100644 (file)
index 0000000..a30632f
--- /dev/null
@@ -0,0 +1,8194 @@
+/* Decimal number arithmetic module for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal Number arithmetic module                                  */
+/* ------------------------------------------------------------------ */
+/* This module comprises the routines for General Decimal Arithmetic  */
+/* as defined in the specification which may be found on the         */
+/* http://www2.hursley.ibm.com/decimal web pages.  It implements both */
+/* the full ('extended') arithmetic and the simpler ('subset')       */
+/* arithmetic.                                                       */
+/*                                                                   */
+/* Usage notes:                                                              */
+/*                                                                   */
+/* 1. This code is ANSI C89 except:                                  */
+/*                                                                   */
+/*       If DECDPUN>4 or DECUSE64=1, the C99 64-bit int64_t and              */
+/*      uint64_t types may be used.  To avoid these, set DECUSE64=0  */
+/*      and DECDPUN<=4 (see documentation).                          */
+/*                                                                   */
+/* 2. The decNumber format which this library uses is optimized for   */
+/*    efficient processing of relatively short numbers; in particular */
+/*    it allows the use of fixed sized structures and minimizes copy  */
+/*    and move operations.  It does, however, support arbitrary              */
+/*    precision (up to 999,999,999 digits) and arbitrary exponent     */
+/*    range (Emax in the range 0 through 999,999,999 and Emin in the  */
+/*    range -999,999,999 through 0).  Mathematical functions (for     */
+/*    example decNumberExp) as identified below are restricted more   */
+/*    tightly: digits, emax, and -emin in the context must be <=      */
+/*    DEC_MAX_MATH (999999), and their operand(s) must be within      */
+/*    these bounds.                                                  */
+/*                                                                   */
+/* 3. Logical functions are further restricted; their operands must   */
+/*    be finite, positive, have an exponent of zero, and all digits   */
+/*    must be either 0 or 1.  The result will only contain digits     */
+/*    which are 0 or 1 (and will have exponent=0 and a sign of 0).    */
+/*                                                                   */
+/* 4. Operands to operator functions are never modified unless they   */
+/*    are also specified to be the result number (which is always     */
+/*    permitted).  Other than that case, operands must not overlap.   */
+/*                                                                   */
+/* 5. Error handling: the type of the error is ORed into the status   */
+/*    flags in the current context (decContext structure).  The              */
+/*    SIGFPE signal is then raised if the corresponding trap-enabler  */
+/*    flag in the decContext is set (is 1).                          */
+/*                                                                   */
+/*    It is the responsibility of the caller to clear the status      */
+/*    flags as required.                                             */
+/*                                                                   */
+/*    The result of any routine which returns a number will always    */
+/*    be a valid number (which may be a special value, such as an     */
+/*    Infinity or NaN).                                                      */
+/*                                                                   */
+/* 6. The decNumber format is not an exchangeable concrete           */
+/*    representation as it comprises fields which may be machine-     */
+/*    dependent (packed or unpacked, or special length, for example). */
+/*    Canonical conversions to and from strings are provided; other   */
+/*    conversions are available in separate modules.                 */
+/*                                                                   */
+/* 7. Normally, input operands are assumed to be valid.         Set DECCHECK */
+/*    to 1 for extended operand checking (including NULL operands).   */
+/*    Results are undefined if a badly-formed structure (or a NULL    */
+/*    pointer to a structure) is provided, though with DECCHECK              */
+/*    enabled the operator routines are protected against exceptions. */
+/*    (Except if the result pointer is NULL, which is unrecoverable.) */
+/*                                                                   */
+/*    However, the routines will never cause exceptions if they are   */
+/*    given well-formed operands, even if the value of the operands   */
+/*    is inappropriate for the operation and DECCHECK is not set.     */
+/*    (Except for SIGFPE, as and where documented.)                  */
+/*                                                                   */
+/* 8. Subset arithmetic is available only if DECSUBSET is set to 1.   */
+/* ------------------------------------------------------------------ */
+/* Implementation notes for maintenance of this module:                      */
+/*                                                                   */
+/* 1. Storage leak protection: Routines which use malloc are not     */
+/*    permitted to use return for fastpath or error exits (i.e.,      */
+/*    they follow strict structured programming conventions).        */
+/*    Instead they have a do{}while(0); construct surrounding the     */
+/*    code which is protected -- break may be used to exit this.      */
+/*    Other routines can safely use the return statement inline.      */
+/*                                                                   */
+/*    Storage leak accounting can be enabled using DECALLOC.         */
+/*                                                                   */
+/* 2. All loops use the for(;;) construct.  Any do construct does     */
+/*    not loop; it is for allocation protection as just described.    */
+/*                                                                   */
+/* 3. Setting status in the context must always be the very last      */
+/*    action in a routine, as non-0 status may raise a trap and hence */
+/*    the call to set status may not return (if the handler uses long */
+/*    jump).  Therefore all cleanup must be done first.         In general,  */
+/*    to achieve this status is accumulated and is only applied just  */
+/*    before return by calling decContextSetStatus (via decStatus).   */
+/*                                                                   */
+/*    Routines which allocate storage cannot, in general, use the     */
+/*    'top level' routines which could cause a non-returning         */
+/*    transfer of control.  The decXxxxOp routines are safe (do not   */
+/*    call decStatus even if traps are set in the context) and should */
+/*    be used instead (they are also a little faster).               */
+/*                                                                   */
+/* 4. Exponent checking is minimized by allowing the exponent to      */
+/*    grow outside its limits during calculations, provided that      */
+/*    the decFinalize function is called later.         Multiplication and   */
+/*    division, and intermediate calculations in exponentiation,      */
+/*    require more careful checks because of the risk of 31-bit              */
+/*    overflow (the most negative valid exponent is -1999999997, for  */
+/*    a 999999999-digit number with adjusted exponent of -999999999). */
+/*                                                                   */
+/* 5. Rounding is deferred until finalization of results, with any    */
+/*    'off to the right' data being represented as a single digit     */
+/*    residue (in the range -1 through 9).  This avoids any double-   */
+/*    rounding when more than one shortening takes place (for        */
+/*    example, when a result is subnormal).                          */
+/*                                                                   */
+/* 6. The digits count is allowed to rise to a multiple of DECDPUN    */
+/*    during many operations, so whole Units are handled and exact    */
+/*    accounting of digits is not needed.  The correct digits value   */
+/*    is found by decGetDigits, which accounts for leading zeros.     */
+/*    This must be called before any rounding if the number of digits */
+/*    is not known exactly.                                          */
+/*                                                                   */
+/* 7. The multiply-by-reciprocal 'trick' is used for partitioning     */
+/*    numbers up to four digits, using appropriate constants.  This   */
+/*    is not useful for longer numbers because overflow of 32 bits    */
+/*    would lead to 4 multiplies, which is almost as expensive as     */
+/*    a divide (unless a floating-point or 64-bit multiply is        */
+/*    assumed to be available).                                              */
+/*                                                                   */
+/* 8. Unusual abbreviations that may be used in the commentary:              */
+/*     lhs -- left hand side (operand, of an operation)              */
+/*     lsd -- least significant digit (of coefficient)               */
+/*     lsu -- least significant Unit (of coefficient)                */
+/*     msd -- most significant digit (of coefficient)                */
+/*     msi -- most significant item (in an array)                    */
+/*     msu -- most significant Unit (of coefficient)                 */
+/*     rhs -- right hand side (operand, of an operation)             */
+/*     +ve -- positive                                               */
+/*     -ve -- negative                                               */
+/*     **  -- raise to the power                                     */
+/* ------------------------------------------------------------------ */
+
+#include <stdlib.h>               /* for malloc, free, etc. */
+#include <stdio.h>                /* for printf [if needed] */
+#include <string.h>               /* for strcpy */
+#include <ctype.h>                /* for lower */
+#include "libdecnumber/dconfig.h"
+#include "libdecnumber/decNumber.h"
+#include "libdecnumber/decNumberLocal.h"
+
+/* Constants */
+/* Public lookup table used by the D2U macro */
+const uByte d2utable[DECMAXD2U+1]=D2UTABLE;
+
+#define DECVERB            1              /* set to 1 for verbose DECCHECK */
+#define powers     DECPOWERS      /* old internal name */
+
+/* Local constants */
+#define DIVIDE     0x80           /* Divide operators */
+#define REMAINDER   0x40          /* .. */
+#define DIVIDEINT   0x20          /* .. */
+#define REMNEAR            0x10           /* .. */
+#define COMPARE            0x01           /* Compare operators */
+#define COMPMAX            0x02           /* .. */
+#define COMPMIN            0x03           /* .. */
+#define COMPTOTAL   0x04          /* .. */
+#define COMPNAN            0x05           /* .. [NaN processing] */
+#define COMPSIG            0x06           /* .. [signaling COMPARE] */
+#define COMPMAXMAG  0x07          /* .. */
+#define COMPMINMAG  0x08          /* .. */
+
+#define DEC_sNaN     0x40000000           /* local status: sNaN signal */
+#define BADINT (Int)0x80000000    /* most-negative Int; error indicator */
+/* Next two indicate an integer >= 10**6, and its parity (bottom bit) */
+#define BIGEVEN (Int)0x80000002
+#define BIGODD (Int)0x80000003
+
+static Unit uarrone[1]={1};   /* Unit array of 1, used for incrementing */
+
+/* Granularity-dependent code */
+#if DECDPUN<=4
+  #define eInt Int           /* extended integer */
+  #define ueInt uInt         /* unsigned extended integer */
+  /* Constant multipliers for divide-by-power-of five using reciprocal */
+  /* multiply, after removing powers of 2 by shifting, and final shift */
+  /* of 17 [we only need up to **4] */
+  static const uInt multies[]={131073, 26215, 5243, 1049, 210};
+  /* QUOT10 -- macro to return the quotient of unit u divided by 10**n */
+  #define QUOT10(u, n) ((((uInt)(u)>>(n))*multies[n])>>17)
+#else
+  /* For DECDPUN>4 non-ANSI-89 64-bit types are needed. */
+  #if !DECUSE64
+    #error decNumber.c: DECUSE64 must be 1 when DECDPUN>4
+  #endif
+  #define eInt Long          /* extended integer */
+  #define ueInt uLong        /* unsigned extended integer */
+#endif
+
+/* Local routines */
+static decNumber * decAddOp(decNumber *, const decNumber *, const decNumber *,
+                             decContext *, uByte, uInt *);
+static Flag       decBiStr(const char *, const char *, const char *);
+static uInt       decCheckMath(const decNumber *, decContext *, uInt *);
+static void       decApplyRound(decNumber *, decContext *, Int, uInt *);
+static Int        decCompare(const decNumber *lhs, const decNumber *rhs, Flag);
+static decNumber * decCompareOp(decNumber *, const decNumber *,
+                             const decNumber *, decContext *,
+                             Flag, uInt *);
+static void       decCopyFit(decNumber *, const decNumber *, decContext *,
+                             Int *, uInt *);
+static decNumber * decDecap(decNumber *, Int);
+static decNumber * decDivideOp(decNumber *, const decNumber *,
+                             const decNumber *, decContext *, Flag, uInt *);
+static decNumber * decExpOp(decNumber *, const decNumber *,
+                             decContext *, uInt *);
+static void       decFinalize(decNumber *, decContext *, Int *, uInt *);
+static Int        decGetDigits(Unit *, Int);
+static Int        decGetInt(const decNumber *);
+static decNumber * decLnOp(decNumber *, const decNumber *,
+                             decContext *, uInt *);
+static decNumber * decMultiplyOp(decNumber *, const decNumber *,
+                             const decNumber *, decContext *,
+                             uInt *);
+static decNumber * decNaNs(decNumber *, const decNumber *,
+                             const decNumber *, decContext *, uInt *);
+static decNumber * decQuantizeOp(decNumber *, const decNumber *,
+                             const decNumber *, decContext *, Flag,
+                             uInt *);
+static void       decReverse(Unit *, Unit *);
+static void       decSetCoeff(decNumber *, decContext *, const Unit *,
+                             Int, Int *, uInt *);
+static void       decSetMaxValue(decNumber *, decContext *);
+static void       decSetOverflow(decNumber *, decContext *, uInt *);
+static void       decSetSubnormal(decNumber *, decContext *, Int *, uInt *);
+static Int        decShiftToLeast(Unit *, Int, Int);
+static Int        decShiftToMost(Unit *, Int, Int);
+static void       decStatus(decNumber *, uInt, decContext *);
+static void       decToString(const decNumber *, char[], Flag);
+static decNumber * decTrim(decNumber *, decContext *, Flag, Int *);
+static Int        decUnitAddSub(const Unit *, Int, const Unit *, Int, Int,
+                             Unit *, Int);
+static Int        decUnitCompare(const Unit *, Int, const Unit *, Int, Int);
+
+#if !DECSUBSET
+/* decFinish == decFinalize when no subset arithmetic needed */
+#define decFinish(a,b,c,d) decFinalize(a,b,c,d)
+#else
+static void       decFinish(decNumber *, decContext *, Int *, uInt *);
+static decNumber * decRoundOperand(const decNumber *, decContext *, uInt *);
+#endif
+
+/* Local macros */
+/* masked special-values bits */
+#define SPECIALARG  (rhs->bits & DECSPECIAL)
+#define SPECIALARGS ((lhs->bits | rhs->bits) & DECSPECIAL)
+
+/* Diagnostic macros, etc. */
+#if DECALLOC
+/* Handle malloc/free accounting.  If enabled, our accountable routines */
+/* are used; otherwise the code just goes straight to the system malloc */
+/* and free routines. */
+#define malloc(a) decMalloc(a)
+#define free(a) decFree(a)
+#define DECFENCE 0x5a             /* corruption detector */
+/* 'Our' malloc and free: */
+static void *decMalloc(size_t);
+static void  decFree(void *);
+uInt decAllocBytes=0;             /* count of bytes allocated */
+/* Note that DECALLOC code only checks for storage buffer overflow. */
+/* To check for memory leaks, the decAllocBytes variable must be */
+/* checked to be 0 at appropriate times (e.g., after the test */
+/* harness completes a set of tests).  This checking may be unreliable */
+/* if the testing is done in a multi-thread environment. */
+#endif
+
+#if DECCHECK
+/* Optional checking routines. Enabling these means that decNumber */
+/* and decContext operands to operator routines are checked for */
+/* correctness.         This roughly doubles the execution time of the */
+/* fastest routines (and adds 600+ bytes), so should not normally be */
+/* used in 'production'. */
+/* decCheckInexact is used to check that inexact results have a full */
+/* complement of digits (where appropriate -- this is not the case */
+/* for Quantize, for example) */
+#define DECUNRESU ((decNumber *)(void *)0xffffffff)
+#define DECUNUSED ((const decNumber *)(void *)0xffffffff)
+#define DECUNCONT ((decContext *)(void *)(0xffffffff))
+static Flag decCheckOperands(decNumber *, const decNumber *,
+                            const decNumber *, decContext *);
+static Flag decCheckNumber(const decNumber *);
+static void decCheckInexact(const decNumber *, decContext *);
+#endif
+
+#if DECTRACE || DECCHECK
+/* Optional trace/debugging routines (may or may not be used) */
+void decNumberShow(const decNumber *); /* displays the components of a number */
+static void decDumpAr(char, const Unit *, Int);
+#endif
+
+/* ================================================================== */
+/* Conversions                                                       */
+/* ================================================================== */
+
+/* ------------------------------------------------------------------ */
+/* from-int32 -- conversion from Int or uInt                         */
+/*                                                                   */
+/*  dn is the decNumber to receive the integer                       */
+/*  in or uin is the integer to be converted                         */
+/*  returns dn                                                       */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberFromInt32(decNumber *dn, Int in) {
+  uInt unsig;
+  if (in>=0) unsig=in;
+   else {                              /* negative (possibly BADINT) */
+    if (in==BADINT) unsig=(uInt)1073741824*2; /* special case */
+     else unsig=-in;                   /* invert */
+    }
+  /* in is now positive */
+  decNumberFromUInt32(dn, unsig);
+  if (in<0) dn->bits=DECNEG;           /* sign needed */
+  return dn;
+  } /* decNumberFromInt32 */
+
+decNumber * decNumberFromUInt32(decNumber *dn, uInt uin) {
+  Unit *up;                            /* work pointer */
+  decNumberZero(dn);                   /* clean */
+  if (uin==0) return dn;               /* [or decGetDigits bad call] */
+  for (up=dn->lsu; uin>0; up++) {
+    *up=(Unit)(uin%(DECDPUNMAX+1));
+    uin=uin/(DECDPUNMAX+1);
+    }
+  dn->digits=decGetDigits(dn->lsu, up-dn->lsu);
+  return dn;
+  } /* decNumberFromUInt32 */
+
+/* ------------------------------------------------------------------ */
+/* to-int32 -- conversion to Int or uInt                             */
+/*                                                                   */
+/*  dn is the decNumber to convert                                   */
+/*  set is the context for reporting errors                          */
+/*  returns the converted decNumber, or 0 if Invalid is set          */
+/*                                                                   */
+/* Invalid is set if the decNumber does not have exponent==0 or if    */
+/* it is a NaN, Infinite, or out-of-range.                           */
+/* ------------------------------------------------------------------ */
+Int decNumberToInt32(const decNumber *dn, decContext *set) {
+  #if DECCHECK
+  if (decCheckOperands(DECUNRESU, DECUNUSED, dn, set)) return 0;
+  #endif
+
+  /* special or too many digits, or bad exponent */
+  if (dn->bits&DECSPECIAL || dn->digits>10 || dn->exponent!=0) ; /* bad */
+   else { /* is a finite integer with 10 or fewer digits */
+    Int d;                        /* work */
+    const Unit *up;               /* .. */
+    uInt hi=0, lo;                /* .. */
+    up=dn->lsu;                           /* -> lsu */
+    lo=*up;                       /* get 1 to 9 digits */
+    #if DECDPUN>1                 /* split to higher */
+      hi=lo/10;
+      lo=lo%10;
+    #endif
+    up++;
+    /* collect remaining Units, if any, into hi */
+    for (d=DECDPUN; d<dn->digits; up++, d+=DECDPUN) hi+=*up*powers[d-1];
+    /* now low has the lsd, hi the remainder */
+    if (hi>214748364 || (hi==214748364 && lo>7)) { /* out of range? */
+      /* most-negative is a reprieve */
+      if (dn->bits&DECNEG && hi==214748364 && lo==8) return 0x80000000;
+      /* bad -- drop through */
+      }
+     else { /* in-range always */
+      Int i=X10(hi)+lo;
+      if (dn->bits&DECNEG) return -i;
+      return i;
+      }
+    } /* integer */
+  decContextSetStatus(set, DEC_Invalid_operation); /* [may not return] */
+  return 0;
+  } /* decNumberToInt32 */
+
+uInt decNumberToUInt32(const decNumber *dn, decContext *set) {
+  #if DECCHECK
+  if (decCheckOperands(DECUNRESU, DECUNUSED, dn, set)) return 0;
+  #endif
+  /* special or too many digits, or bad exponent, or negative (<0) */
+  if (dn->bits&DECSPECIAL || dn->digits>10 || dn->exponent!=0
+    || (dn->bits&DECNEG && !ISZERO(dn)));                  /* bad */
+   else { /* is a finite integer with 10 or fewer digits */
+    Int d;                        /* work */
+    const Unit *up;               /* .. */
+    uInt hi=0, lo;                /* .. */
+    up=dn->lsu;                           /* -> lsu */
+    lo=*up;                       /* get 1 to 9 digits */
+    #if DECDPUN>1                 /* split to higher */
+      hi=lo/10;
+      lo=lo%10;
+    #endif
+    up++;
+    /* collect remaining Units, if any, into hi */
+    for (d=DECDPUN; d<dn->digits; up++, d+=DECDPUN) hi+=*up*powers[d-1];
+
+    /* now low has the lsd, hi the remainder */
+    if (hi>429496729 || (hi==429496729 && lo>5)) ; /* no reprieve possible */
+     else return X10(hi)+lo;
+    } /* integer */
+  decContextSetStatus(set, DEC_Invalid_operation); /* [may not return] */
+  return 0;
+  } /* decNumberToUInt32 */
+
+decNumber *decNumberFromInt64(decNumber *dn, int64_t in)
+{
+    uint64_t unsig = in;
+    if (in < 0) {
+        unsig = -unsig;
+    }
+
+    decNumberFromUInt64(dn, unsig);
+    if (in < 0) {
+        dn->bits = DECNEG;        /* sign needed */
+    }
+    return dn;
+} /* decNumberFromInt64 */
+
+decNumber *decNumberFromUInt64(decNumber *dn, uint64_t uin)
+{
+    Unit *up;                             /* work pointer */
+    decNumberZero(dn);                    /* clean */
+    if (uin == 0) {
+        return dn;                /* [or decGetDigits bad call] */
+    }
+    for (up = dn->lsu; uin > 0; up++) {
+        *up = (Unit)(uin % (DECDPUNMAX + 1));
+        uin = uin / (DECDPUNMAX + 1);
+    }
+    dn->digits = decGetDigits(dn->lsu, up-dn->lsu);
+    return dn;
+} /* decNumberFromUInt64 */
+
+/* ------------------------------------------------------------------ */
+/* to-int64 -- conversion to int64                                    */
+/*                                                                    */
+/*  dn is the decNumber to convert.  dn is assumed to have been       */
+/*    rounded to a floating point integer value.                      */
+/*  set is the context for reporting errors                           */
+/*  returns the converted decNumber, or 0 if Invalid is set           */
+/*                                                                    */
+/* Invalid is set if the decNumber is a NaN, Infinite or is out of    */
+/* range for a signed 64 bit integer.                                 */
+/* ------------------------------------------------------------------ */
+
+int64_t decNumberIntegralToInt64(const decNumber *dn, decContext *set)
+{
+    if (decNumberIsSpecial(dn) || (dn->exponent < 0) ||
+       (dn->digits + dn->exponent > 19)) {
+        goto Invalid;
+    } else {
+        int64_t d;        /* work */
+        const Unit *up;   /* .. */
+        uint64_t hi = 0;
+        up = dn->lsu;     /* -> lsu */
+
+        for (d = 1; d <= dn->digits; up++, d += DECDPUN) {
+            uint64_t prev = hi;
+            hi += *up * powers[d-1];
+            if ((hi < prev) || (hi > INT64_MAX)) {
+                goto Invalid;
+            }
+        }
+
+        uint64_t prev = hi;
+        hi *= (uint64_t)powers[dn->exponent];
+        if ((hi < prev) || (hi > INT64_MAX)) {
+            goto Invalid;
+        }
+        return (decNumberIsNegative(dn)) ? -((int64_t)hi) : (int64_t)hi;
+    }
+
+Invalid:
+    decContextSetStatus(set, DEC_Invalid_operation);
+    return 0;
+} /* decNumberIntegralToInt64 */
+
+
+/* ------------------------------------------------------------------ */
+/* to-scientific-string -- conversion to numeric string                      */
+/* to-engineering-string -- conversion to numeric string             */
+/*                                                                   */
+/*   decNumberToString(dn, string);                                  */
+/*   decNumberToEngString(dn, string);                               */
+/*                                                                   */
+/*  dn is the decNumber to convert                                   */
+/*  string is the string where the result will be laid out           */
+/*                                                                   */
+/*  string must be at least dn->digits+14 characters long            */
+/*                                                                   */
+/*  No error is possible, and no status can be set.                  */
+/* ------------------------------------------------------------------ */
+char * decNumberToString(const decNumber *dn, char *string){
+  decToString(dn, string, 0);
+  return string;
+  } /* DecNumberToString */
+
+char * decNumberToEngString(const decNumber *dn, char *string){
+  decToString(dn, string, 1);
+  return string;
+  } /* DecNumberToEngString */
+
+/* ------------------------------------------------------------------ */
+/* to-number -- conversion from numeric string                       */
+/*                                                                   */
+/* decNumberFromString -- convert string to decNumber                */
+/*   dn               -- the number structure to fill                        */
+/*   chars[]   -- the string to convert ('\0' terminated)            */
+/*   set       -- the context used for processing any error,         */
+/*               determining the maximum precision available         */
+/*               (set.digits), determining the maximum and minimum   */
+/*               exponent (set.emax and set.emin), determining if    */
+/*               extended values are allowed, and checking the       */
+/*               rounding mode if overflow occurs or rounding is     */
+/*               needed.                                             */
+/*                                                                   */
+/* The length of the coefficient and the size of the exponent are     */
+/* checked by this routine, so the correct error (Underflow or       */
+/* Overflow) can be reported or rounding applied, as necessary.              */
+/*                                                                   */
+/* If bad syntax is detected, the result will be a quiet NaN.        */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberFromString(decNumber *dn, const char chars[],
+                               decContext *set) {
+  Int  exponent=0;                /* working exponent [assume 0] */
+  uByte bits=0;                           /* working flags [assume +ve] */
+  Unit *res;                      /* where result will be built */
+  Unit resbuff[SD2U(DECBUFFER+9)];/* local buffer in case need temporary */
+                                  /* [+9 allows for ln() constants] */
+  Unit *allocres=NULL;            /* -> allocated result, iff allocated */
+  Int  d=0;                       /* count of digits found in decimal part */
+  const char *dotchar=NULL;       /* where dot was found */
+  const char *cfirst=chars;       /* -> first character of decimal part */
+  const char *last=NULL;          /* -> last digit of decimal part */
+  const char *c;                  /* work */
+  Unit *up;                       /* .. */
+  #if DECDPUN>1
+  Int  cut, out;                  /* .. */
+  #endif
+  Int  residue;                   /* rounding residue */
+  uInt status=0;                  /* error code */
+
+  #if DECCHECK
+  if (decCheckOperands(DECUNRESU, DECUNUSED, DECUNUSED, set))
+    return decNumberZero(dn);
+  #endif
+
+  do {                            /* status & malloc protection */
+    for (c=chars;; c++) {         /* -> input character */
+      if (*c>='0' && *c<='9') {           /* test for Arabic digit */
+       last=c;
+       d++;                       /* count of real digits */
+       continue;                  /* still in decimal part */
+       }
+      if (*c=='.' && dotchar==NULL) { /* first '.' */
+       dotchar=c;                 /* record offset into decimal part */
+       if (c==cfirst) cfirst++;   /* first digit must follow */
+       continue;}
+      if (c==chars) {             /* first in string... */
+       if (*c=='-') {             /* valid - sign */
+         cfirst++;
+         bits=DECNEG;
+         continue;}
+       if (*c=='+') {             /* valid + sign */
+         cfirst++;
+         continue;}
+       }
+      /* *c is not a digit, or a valid +, -, or '.' */
+      break;
+      } /* c */
+
+    if (last==NULL) {             /* no digits yet */
+      status=DEC_Conversion_syntax;/* assume the worst */
+      if (*c=='\0') break;        /* and no more to come... */
+      #if DECSUBSET
+      /* if subset then infinities and NaNs are not allowed */
+      if (!set->extended) break;   /* hopeless */
+      #endif
+      /* Infinities and NaNs are possible, here */
+      if (dotchar!=NULL) break;           /* .. unless had a dot */
+      decNumberZero(dn);          /* be optimistic */
+      if (decBiStr(c, "infinity", "INFINITY")
+       || decBiStr(c, "inf", "INF")) {
+       dn->bits=bits | DECINF;
+       status=0;                  /* is OK */
+       break; /* all done */
+       }
+      /* a NaN expected */
+      /* 2003.09.10 NaNs are now permitted to have a sign */
+      dn->bits=bits | DECNAN;     /* assume simple NaN */
+      if (*c=='s' || *c=='S') {           /* looks like an sNaN */
+       c++;
+       dn->bits=bits | DECSNAN;
+       }
+      if (*c!='n' && *c!='N') break;   /* check caseless "NaN" */
+      c++;
+      if (*c!='a' && *c!='A') break;   /* .. */
+      c++;
+      if (*c!='n' && *c!='N') break;   /* .. */
+      c++;
+      /* now either nothing, or nnnn payload, expected */
+      /* -> start of integer and skip leading 0s [including plain 0] */
+      for (cfirst=c; *cfirst=='0';) cfirst++;
+      if (*cfirst=='\0') {        /* "NaN" or "sNaN", maybe with all 0s */
+       status=0;                  /* it's good */
+       break;                     /* .. */
+       }
+      /* something other than 0s; setup last and d as usual [no dots] */
+      for (c=cfirst;; c++, d++) {
+       if (*c<'0' || *c>'9') break; /* test for Arabic digit */
+       last=c;
+       }
+      if (*c!='\0') break;        /* not all digits */
+      if (d>set->digits-1) {
+       /* [NB: payload in a decNumber can be full length unless */
+       /* clamped, in which case can only be digits-1] */
+       if (set->clamp) break;
+       if (d>set->digits) break;
+       } /* too many digits? */
+      /* good; drop through to convert the integer to coefficient */
+      status=0;                           /* syntax is OK */
+      bits=dn->bits;              /* for copy-back */
+      } /* last==NULL */
+
+     else if (*c!='\0') {         /* more to process... */
+      /* had some digits; exponent is only valid sequence now */
+      Flag nege;                  /* 1=negative exponent */
+      const char *firstexp;       /* -> first significant exponent digit */
+      status=DEC_Conversion_syntax;/* assume the worst */
+      if (*c!='e' && *c!='E') break;
+      /* Found 'e' or 'E' -- now process explicit exponent */
+      /* 1998.07.11: sign no longer required */
+      nege=0;
+      c++;                        /* to (possible) sign */
+      if (*c=='-') {nege=1; c++;}
+       else if (*c=='+') c++;
+      if (*c=='\0') break;
+
+      for (; *c=='0' && *(c+1)!='\0';) c++;  /* strip insignificant zeros */
+      firstexp=c;                           /* save exponent digit place */
+      for (; ;c++) {
+       if (*c<'0' || *c>'9') break;         /* not a digit */
+       exponent=X10(exponent)+(Int)*c-(Int)'0';
+       } /* c */
+      /* if not now on a '\0', *c must not be a digit */
+      if (*c!='\0') break;
+
+      /* (this next test must be after the syntax checks) */
+      /* if it was too long the exponent may have wrapped, so check */
+      /* carefully and set it to a certain overflow if wrap possible */
+      if (c>=firstexp+9+1) {
+       if (c>firstexp+9+1 || *firstexp>'1') exponent=DECNUMMAXE*2;
+       /* [up to 1999999999 is OK, for example 1E-1000000998] */
+       }
+      if (nege) exponent=-exponent;    /* was negative */
+      status=0;                                /* is OK */
+      } /* stuff after digits */
+
+    /* Here when whole string has been inspected; syntax is good */
+    /* cfirst->first digit (never dot), last->last digit (ditto) */
+
+    /* strip leading zeros/dot [leave final 0 if all 0's] */
+    if (*cfirst=='0') {                        /* [cfirst has stepped over .] */
+      for (c=cfirst; c<last; c++, cfirst++) {
+       if (*c=='.') continue;          /* ignore dots */
+       if (*c!='0') break;             /* non-zero found */
+       d--;                            /* 0 stripped */
+       } /* c */
+      #if DECSUBSET
+      /* make a rapid exit for easy zeros if !extended */
+      if (*cfirst=='0' && !set->extended) {
+       decNumberZero(dn);              /* clean result */
+       break;                          /* [could be return] */
+       }
+      #endif
+      } /* at least one leading 0 */
+
+    /* Handle decimal point... */
+    if (dotchar!=NULL && dotchar<last) /* non-trailing '.' found? */
+      exponent-=(last-dotchar);                /* adjust exponent */
+    /* [we can now ignore the .] */
+
+    /* OK, the digits string is good.  Assemble in the decNumber, or in */
+    /* a temporary units array if rounding is needed */
+    if (d<=set->digits) res=dn->lsu;   /* fits into supplied decNumber */
+     else {                            /* rounding needed */
+      Int needbytes=D2U(d)*sizeof(Unit);/* bytes needed */
+      res=resbuff;                     /* assume use local buffer */
+      if (needbytes>(Int)sizeof(resbuff)) { /* too big for local */
+       allocres=(Unit *)malloc(needbytes);
+       if (allocres==NULL) {status|=DEC_Insufficient_storage; break;}
+       res=allocres;
+       }
+      }
+    /* res now -> number lsu, buffer, or allocated storage for Unit array */
+
+    /* Place the coefficient into the selected Unit array */
+    /* [this is often 70% of the cost of this function when DECDPUN>1] */
+    #if DECDPUN>1
+    out=0;                        /* accumulator */
+    up=res+D2U(d)-1;              /* -> msu */
+    cut=d-(up-res)*DECDPUN;       /* digits in top unit */
+    for (c=cfirst;; c++) {        /* along the digits */
+      if (*c=='.') continue;      /* ignore '.' [don't decrement cut] */
+      out=X10(out)+(Int)*c-(Int)'0';
+      if (c==last) break;         /* done [never get to trailing '.'] */
+      cut--;
+      if (cut>0) continue;        /* more for this unit */
+      *up=(Unit)out;              /* write unit */
+      up--;                       /* prepare for unit below.. */
+      cut=DECDPUN;                /* .. */
+      out=0;                      /* .. */
+      } /* c */
+    *up=(Unit)out;                /* write lsu */
+
+    #else
+    /* DECDPUN==1 */
+    up=res;                       /* -> lsu */
+    for (c=last; c>=cfirst; c--) { /* over each character, from least */
+      if (*c=='.') continue;      /* ignore . [don't step up] */
+      *up=(Unit)((Int)*c-(Int)'0');
+      up++;
+      } /* c */
+    #endif
+
+    dn->bits=bits;
+    dn->exponent=exponent;
+    dn->digits=d;
+
+    /* if not in number (too long) shorten into the number */
+    if (d>set->digits) {
+      residue=0;
+      decSetCoeff(dn, set, res, d, &residue, &status);
+      /* always check for overflow or subnormal and round as needed */
+      decFinalize(dn, set, &residue, &status);
+      }
+     else { /* no rounding, but may still have overflow or subnormal */
+      /* [these tests are just for performance; finalize repeats them] */
+      if ((dn->exponent-1<set->emin-dn->digits)
+       || (dn->exponent-1>set->emax-set->digits)) {
+       residue=0;
+       decFinalize(dn, set, &residue, &status);
+       }
+      }
+    /* decNumberShow(dn); */
+    } while(0);                                /* [for break] */
+
+  if (allocres!=NULL) free(allocres);  /* drop any storage used */
+  if (status!=0) decStatus(dn, status, set);
+  return dn;
+  } /* decNumberFromString */
+
+/* ================================================================== */
+/* Operators                                                         */
+/* ================================================================== */
+
+/* ------------------------------------------------------------------ */
+/* decNumberAbs -- absolute value operator                           */
+/*                                                                   */
+/*   This computes C = abs(A)                                        */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* See also decNumberCopyAbs for a quiet bitwise version of this.     */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+/* This has the same effect as decNumberPlus unless A is negative,    */
+/* in which case it has the same effect as decNumberMinus.           */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberAbs(decNumber *res, const decNumber *rhs,
+                        decContext *set) {
+  decNumber dzero;                     /* for 0 */
+  uInt status=0;                       /* accumulator */
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  decNumberZero(&dzero);               /* set 0 */
+  dzero.exponent=rhs->exponent;                /* [no coefficient expansion] */
+  decAddOp(res, &dzero, rhs, set, (uByte)(rhs->bits & DECNEG), &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberAbs */
+
+/* ------------------------------------------------------------------ */
+/* decNumberAdd -- add two Numbers                                   */
+/*                                                                   */
+/*   This computes C = A + B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X+X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+/* This just calls the routine shared with Subtract                  */
+decNumber * decNumberAdd(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decAddOp(res, lhs, rhs, set, 0, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberAdd */
+
+/* ------------------------------------------------------------------ */
+/* decNumberAnd -- AND two Numbers, digitwise                        */
+/*                                                                   */
+/*   This computes C = A & B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X&X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context (used for result length and error report)     */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Logical function restrictions apply (see above); a NaN is         */
+/* returned with Invalid_operation if a restriction is violated.      */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberAnd(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set) {
+  const Unit *ua, *ub;                 /* -> operands */
+  const Unit *msua, *msub;             /* -> operand msus */
+  Unit *uc,  *msuc;                    /* -> result and its msu */
+  Int  msudigs;                        /* digits in res msu */
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  if (lhs->exponent!=0 || decNumberIsSpecial(lhs) || decNumberIsNegative(lhs)
+   || rhs->exponent!=0 || decNumberIsSpecial(rhs) || decNumberIsNegative(rhs)) {
+    decStatus(res, DEC_Invalid_operation, set);
+    return res;
+    }
+
+  /* operands are valid */
+  ua=lhs->lsu;                         /* bottom-up */
+  ub=rhs->lsu;                         /* .. */
+  uc=res->lsu;                         /* .. */
+  msua=ua+D2U(lhs->digits)-1;          /* -> msu of lhs */
+  msub=ub+D2U(rhs->digits)-1;          /* -> msu of rhs */
+  msuc=uc+D2U(set->digits)-1;          /* -> msu of result */
+  msudigs=MSUDIGITS(set->digits);      /* [faster than remainder] */
+  for (; uc<=msuc; ua++, ub++, uc++) { /* Unit loop */
+    Unit a, b;                         /* extract units */
+    if (ua>msua) a=0;
+     else a=*ua;
+    if (ub>msub) b=0;
+     else b=*ub;
+    *uc=0;                             /* can now write back */
+    if (a|b) {                         /* maybe 1 bits to examine */
+      Int i, j;
+      *uc=0;                           /* can now write back */
+      /* This loop could be unrolled and/or use BIN2BCD tables */
+      for (i=0; i<DECDPUN; i++) {
+       if (a&b&1) *uc=*uc+(Unit)powers[i];  /* effect AND */
+       j=a%10;
+       a=a/10;
+       j|=b%10;
+       b=b/10;
+       if (j>1) {
+         decStatus(res, DEC_Invalid_operation, set);
+         return res;
+         }
+       if (uc==msuc && i==msudigs-1) break; /* just did final digit */
+       } /* each digit */
+      } /* both OK */
+    } /* each unit */
+  /* [here uc-1 is the msu of the result] */
+  res->digits=decGetDigits(res->lsu, uc-res->lsu);
+  res->exponent=0;                     /* integer */
+  res->bits=0;                         /* sign=0 */
+  return res;  /* [no status to set] */
+  } /* decNumberAnd */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCompare -- compare two Numbers                           */
+/*                                                                   */
+/*   This computes C = A ? B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for one digit (or NaN).                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCompare(decNumber *res, const decNumber *lhs,
+                            const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decCompareOp(res, lhs, rhs, set, COMPARE, &status);
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberCompare */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCompareSignal -- compare, signalling on all NaNs         */
+/*                                                                   */
+/*   This computes C = A ? B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for one digit (or NaN).                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCompareSignal(decNumber *res, const decNumber *lhs,
+                                  const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decCompareOp(res, lhs, rhs, set, COMPSIG, &status);
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberCompareSignal */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCompareTotal -- compare two Numbers, using total ordering */
+/*                                                                   */
+/*   This computes C = A ? B, under total ordering                   */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for one digit; the result will always be one of  */
+/* -1, 0, or 1.                                                              */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCompareTotal(decNumber *res, const decNumber *lhs,
+                                 const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decCompareOp(res, lhs, rhs, set, COMPTOTAL, &status);
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberCompareTotal */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCompareTotalMag -- compare, total ordering of magnitudes  */
+/*                                                                   */
+/*   This computes C = |A| ? |B|, under total ordering               */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for one digit; the result will always be one of  */
+/* -1, 0, or 1.                                                              */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCompareTotalMag(decNumber *res, const decNumber *lhs,
+                                    const decNumber *rhs, decContext *set) {
+  uInt status=0;                  /* accumulator */
+  uInt needbytes;                 /* for space calculations */
+  decNumber bufa[D2N(DECBUFFER+1)];/* +1 in case DECBUFFER=0 */
+  decNumber *allocbufa=NULL;      /* -> allocated bufa, iff allocated */
+  decNumber bufb[D2N(DECBUFFER+1)];
+  decNumber *allocbufb=NULL;      /* -> allocated bufb, iff allocated */
+  decNumber *a, *b;               /* temporary pointers */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  do {                                 /* protect allocated storage */
+    /* if either is negative, take a copy and absolute */
+    if (decNumberIsNegative(lhs)) {    /* lhs<0 */
+      a=bufa;
+      needbytes=sizeof(decNumber)+(D2U(lhs->digits)-1)*sizeof(Unit);
+      if (needbytes>sizeof(bufa)) {    /* need malloc space */
+       allocbufa=(decNumber *)malloc(needbytes);
+       if (allocbufa==NULL) {          /* hopeless -- abandon */
+         status|=DEC_Insufficient_storage;
+         break;}
+       a=allocbufa;                    /* use the allocated space */
+       }
+      decNumberCopy(a, lhs);           /* copy content */
+      a->bits&=~DECNEG;                        /* .. and clear the sign */
+      lhs=a;                           /* use copy from here on */
+      }
+    if (decNumberIsNegative(rhs)) {    /* rhs<0 */
+      b=bufb;
+      needbytes=sizeof(decNumber)+(D2U(rhs->digits)-1)*sizeof(Unit);
+      if (needbytes>sizeof(bufb)) {    /* need malloc space */
+       allocbufb=(decNumber *)malloc(needbytes);
+       if (allocbufb==NULL) {          /* hopeless -- abandon */
+         status|=DEC_Insufficient_storage;
+         break;}
+       b=allocbufb;                    /* use the allocated space */
+       }
+      decNumberCopy(b, rhs);           /* copy content */
+      b->bits&=~DECNEG;                        /* .. and clear the sign */
+      rhs=b;                           /* use copy from here on */
+      }
+    decCompareOp(res, lhs, rhs, set, COMPTOTAL, &status);
+    } while(0);                                /* end protected */
+
+  if (allocbufa!=NULL) free(allocbufa); /* drop any storage used */
+  if (allocbufb!=NULL) free(allocbufb); /* .. */
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberCompareTotalMag */
+
+/* ------------------------------------------------------------------ */
+/* decNumberDivide -- divide one number by another                   */
+/*                                                                   */
+/*   This computes C = A / B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X/X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberDivide(decNumber *res, const decNumber *lhs,
+                           const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decDivideOp(res, lhs, rhs, set, DIVIDE, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberDivide */
+
+/* ------------------------------------------------------------------ */
+/* decNumberDivideInteger -- divide and return integer quotient              */
+/*                                                                   */
+/*   This computes C = A # B, where # is the integer divide operator  */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X#X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberDivideInteger(decNumber *res, const decNumber *lhs,
+                                  const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decDivideOp(res, lhs, rhs, set, DIVIDEINT, &status);
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberDivideInteger */
+
+/* ------------------------------------------------------------------ */
+/* decNumberExp -- exponentiation                                    */
+/*                                                                   */
+/*   This computes C = exp(A)                                        */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context; note that rounding mode has no effect       */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Mathematical function restrictions apply (see above); a NaN is     */
+/* returned with Invalid_operation if a restriction is violated.      */
+/*                                                                   */
+/* Finite results will always be full precision and Inexact, except   */
+/* when A is a zero or -Infinity (giving 1 or 0 respectively).       */
+/*                                                                   */
+/* An Inexact result is rounded using DEC_ROUND_HALF_EVEN; it will    */
+/* almost always be correctly rounded, but may be up to 1 ulp in      */
+/* error in rare cases.                                                      */
+/* ------------------------------------------------------------------ */
+/* This is a wrapper for decExpOp which can handle the slightly wider */
+/* (double) range needed by Ln (which has to be able to calculate     */
+/* exp(-a) where a can be the tiniest number (Ntiny).                */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberExp(decNumber *res, const decNumber *rhs,
+                        decContext *set) {
+  uInt status=0;                       /* accumulator */
+  #if DECSUBSET
+  decNumber *allocrhs=NULL;       /* non-NULL if rounded rhs allocated */
+  #endif
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  /* Check restrictions; these restrictions ensure that if h=8 (see */
+  /* decExpOp) then the result will either overflow or underflow to 0. */
+  /* Other math functions restrict the input range, too, for inverses. */
+  /* If not violated then carry out the operation. */
+  if (!decCheckMath(rhs, set, &status)) do { /* protect allocation */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operand and set lostDigits status, as needed */
+      if (rhs->digits>set->digits) {
+       allocrhs=decRoundOperand(rhs, set, &status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    decExpOp(res, rhs, set, &status);
+    } while(0);                                /* end protected */
+
+  #if DECSUBSET
+  if (allocrhs !=NULL) free(allocrhs); /* drop any storage used */
+  #endif
+  /* apply significant status */
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberExp */
+
+/* ------------------------------------------------------------------ */
+/* decNumberFMA -- fused multiply add                                */
+/*                                                                   */
+/*   This computes D = (A * B) + C with only one rounding            */
+/*                                                                   */
+/*   res is D, the result.  D may be A or B or C (e.g., X=FMA(X,X,X)) */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   fhs is C [far hand side]                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* Mathematical function restrictions apply (see above); a NaN is     */
+/* returned with Invalid_operation if a restriction is violated.      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberFMA(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, const decNumber *fhs,
+                        decContext *set) {
+  uInt status=0;                  /* accumulator */
+  decContext dcmul;               /* context for the multiplication */
+  uInt needbytes;                 /* for space calculations */
+  decNumber bufa[D2N(DECBUFFER*2+1)];
+  decNumber *allocbufa=NULL;      /* -> allocated bufa, iff allocated */
+  decNumber *acc;                 /* accumulator pointer */
+  decNumber dzero;                /* work */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  if (decCheckOperands(res, fhs, DECUNUSED, set)) return res;
+  #endif
+
+  do {                                 /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {              /* [undefined if subset] */
+      status|=DEC_Invalid_operation;
+      break;}
+    #endif
+    /* Check math restrictions [these ensure no overflow or underflow] */
+    if ((!decNumberIsSpecial(lhs) && decCheckMath(lhs, set, &status))
+     || (!decNumberIsSpecial(rhs) && decCheckMath(rhs, set, &status))
+     || (!decNumberIsSpecial(fhs) && decCheckMath(fhs, set, &status))) break;
+    /* set up context for multiply */
+    dcmul=*set;
+    dcmul.digits=lhs->digits+rhs->digits; /* just enough */
+    /* [The above may be an over-estimate for subset arithmetic, but that's OK] */
+    dcmul.emax=DEC_MAX_EMAX;           /* effectively unbounded .. */
+    dcmul.emin=DEC_MIN_EMIN;           /* [thanks to Math restrictions] */
+    /* set up decNumber space to receive the result of the multiply */
+    acc=bufa;                          /* may fit */
+    needbytes=sizeof(decNumber)+(D2U(dcmul.digits)-1)*sizeof(Unit);
+    if (needbytes>sizeof(bufa)) {      /* need malloc space */
+      allocbufa=(decNumber *)malloc(needbytes);
+      if (allocbufa==NULL) {           /* hopeless -- abandon */
+       status|=DEC_Insufficient_storage;
+       break;}
+      acc=allocbufa;                   /* use the allocated space */
+      }
+    /* multiply with extended range and necessary precision */
+    /*printf("emin=%ld\n", dcmul.emin); */
+    decMultiplyOp(acc, lhs, rhs, &dcmul, &status);
+    /* Only Invalid operation (from sNaN or Inf * 0) is possible in */
+    /* status; if either is seen than ignore fhs (in case it is */
+    /* another sNaN) and set acc to NaN unless we had an sNaN */
+    /* [decMultiplyOp leaves that to caller] */
+    /* Note sNaN has to go through addOp to shorten payload if */
+    /* necessary */
+    if ((status&DEC_Invalid_operation)!=0) {
+      if (!(status&DEC_sNaN)) {                /* but be true invalid */
+       decNumberZero(res);             /* acc not yet set */
+       res->bits=DECNAN;
+       break;
+       }
+      decNumberZero(&dzero);           /* make 0 (any non-NaN would do) */
+      fhs=&dzero;                      /* use that */
+      }
+    #if DECCHECK
+     else { /* multiply was OK */
+      if (status!=0) printf("Status=%08lx after FMA multiply\n", status);
+      }
+    #endif
+    /* add the third operand and result -> res, and all is done */
+    decAddOp(res, acc, fhs, set, 0, &status);
+    } while(0);                                /* end protected */
+
+  if (allocbufa!=NULL) free(allocbufa); /* drop any storage used */
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberFMA */
+
+/* ------------------------------------------------------------------ */
+/* decNumberInvert -- invert a Number, digitwise                     */
+/*                                                                   */
+/*   This computes C = ~A                                            */
+/*                                                                   */
+/*   res is C, the result.  C may be A (e.g., X=~X)                  */
+/*   rhs is A                                                        */
+/*   set is the context (used for result length and error report)     */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Logical function restrictions apply (see above); a NaN is         */
+/* returned with Invalid_operation if a restriction is violated.      */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberInvert(decNumber *res, const decNumber *rhs,
+                           decContext *set) {
+  const Unit *ua, *msua;               /* -> operand and its msu */
+  Unit *uc, *msuc;                     /* -> result and its msu */
+  Int  msudigs;                        /* digits in res msu */
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  if (rhs->exponent!=0 || decNumberIsSpecial(rhs) || decNumberIsNegative(rhs)) {
+    decStatus(res, DEC_Invalid_operation, set);
+    return res;
+    }
+  /* operand is valid */
+  ua=rhs->lsu;                         /* bottom-up */
+  uc=res->lsu;                         /* .. */
+  msua=ua+D2U(rhs->digits)-1;          /* -> msu of rhs */
+  msuc=uc+D2U(set->digits)-1;          /* -> msu of result */
+  msudigs=MSUDIGITS(set->digits);      /* [faster than remainder] */
+  for (; uc<=msuc; ua++, uc++) {       /* Unit loop */
+    Unit a;                            /* extract unit */
+    Int         i, j;                          /* work */
+    if (ua>msua) a=0;
+     else a=*ua;
+    *uc=0;                             /* can now write back */
+    /* always need to examine all bits in rhs */
+    /* This loop could be unrolled and/or use BIN2BCD tables */
+    for (i=0; i<DECDPUN; i++) {
+      if ((~a)&1) *uc=*uc+(Unit)powers[i];   /* effect INVERT */
+      j=a%10;
+      a=a/10;
+      if (j>1) {
+       decStatus(res, DEC_Invalid_operation, set);
+       return res;
+       }
+      if (uc==msuc && i==msudigs-1) break;   /* just did final digit */
+      } /* each digit */
+    } /* each unit */
+  /* [here uc-1 is the msu of the result] */
+  res->digits=decGetDigits(res->lsu, uc-res->lsu);
+  res->exponent=0;                     /* integer */
+  res->bits=0;                         /* sign=0 */
+  return res;  /* [no status to set] */
+  } /* decNumberInvert */
+
+/* ------------------------------------------------------------------ */
+/* decNumberLn -- natural logarithm                                  */
+/*                                                                   */
+/*   This computes C = ln(A)                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context; note that rounding mode has no effect       */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Notable cases:                                                    */
+/*   A<0 -> Invalid                                                  */
+/*   A=0 -> -Infinity (Exact)                                        */
+/*   A=+Infinity -> +Infinity (Exact)                                */
+/*   A=1 exactly -> 0 (Exact)                                        */
+/*                                                                   */
+/* Mathematical function restrictions apply (see above); a NaN is     */
+/* returned with Invalid_operation if a restriction is violated.      */
+/*                                                                   */
+/* An Inexact result is rounded using DEC_ROUND_HALF_EVEN; it will    */
+/* almost always be correctly rounded, but may be up to 1 ulp in      */
+/* error in rare cases.                                                      */
+/* ------------------------------------------------------------------ */
+/* This is a wrapper for decLnOp which can handle the slightly wider  */
+/* (+11) range needed by Ln, Log10, etc. (which may have to be able   */
+/* to calculate at p+e+2).                                           */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberLn(decNumber *res, const decNumber *rhs,
+                       decContext *set) {
+  uInt status=0;                  /* accumulator */
+  #if DECSUBSET
+  decNumber *allocrhs=NULL;       /* non-NULL if rounded rhs allocated */
+  #endif
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  /* Check restrictions; this is a math function; if not violated */
+  /* then carry out the operation. */
+  if (!decCheckMath(rhs, set, &status)) do { /* protect allocation */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operand and set lostDigits status, as needed */
+      if (rhs->digits>set->digits) {
+       allocrhs=decRoundOperand(rhs, set, &status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      /* special check in subset for rhs=0 */
+      if (ISZERO(rhs)) {               /* +/- zeros -> error */
+       status|=DEC_Invalid_operation;
+       break;}
+      } /* extended=0 */
+    #endif
+    decLnOp(res, rhs, set, &status);
+    } while(0);                                /* end protected */
+
+  #if DECSUBSET
+  if (allocrhs !=NULL) free(allocrhs); /* drop any storage used */
+  #endif
+  /* apply significant status */
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberLn */
+
+/* ------------------------------------------------------------------ */
+/* decNumberLogB - get adjusted exponent, by 754r rules                      */
+/*                                                                   */
+/*   This computes C = adjustedexponent(A)                           */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context, used only for digits and status             */
+/*                                                                   */
+/* C must have space for 10 digits (A might have 10**9 digits and     */
+/* an exponent of +999999999, or one digit and an exponent of        */
+/* -1999999999).                                                     */
+/*                                                                   */
+/* This returns the adjusted exponent of A after (in theory) padding  */
+/* with zeros on the right to set->digits digits while keeping the    */
+/* same value. The exponent is not limited by emin/emax.             */
+/*                                                                   */
+/* Notable cases:                                                    */
+/*   A<0 -> Use |A|                                                  */
+/*   A=0 -> -Infinity (Division by zero)                             */
+/*   A=Infinite -> +Infinity (Exact)                                 */
+/*   A=1 exactly -> 0 (Exact)                                        */
+/*   NaNs are propagated as usual                                    */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberLogB(decNumber *res, const decNumber *rhs,
+                         decContext *set) {
+  uInt status=0;                  /* accumulator */
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  /* NaNs as usual; Infinities return +Infinity; 0->oops */
+  if (decNumberIsNaN(rhs)) decNaNs(res, rhs, NULL, set, &status);
+   else if (decNumberIsInfinite(rhs)) decNumberCopyAbs(res, rhs);
+   else if (decNumberIsZero(rhs)) {
+    decNumberZero(res);                        /* prepare for Infinity */
+    res->bits=DECNEG|DECINF;           /* -Infinity */
+    status|=DEC_Division_by_zero;      /* as per 754r */
+    }
+   else { /* finite non-zero */
+    Int ae=rhs->exponent+rhs->digits-1; /* adjusted exponent */
+    decNumberFromInt32(res, ae);       /* lay it out */
+    }
+
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberLogB */
+
+/* ------------------------------------------------------------------ */
+/* decNumberLog10 -- logarithm in base 10                            */
+/*                                                                   */
+/*   This computes C = log10(A)                                              */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context; note that rounding mode has no effect       */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Notable cases:                                                    */
+/*   A<0 -> Invalid                                                  */
+/*   A=0 -> -Infinity (Exact)                                        */
+/*   A=+Infinity -> +Infinity (Exact)                                */
+/*   A=10**n (if n is an integer) -> n (Exact)                       */
+/*                                                                   */
+/* Mathematical function restrictions apply (see above); a NaN is     */
+/* returned with Invalid_operation if a restriction is violated.      */
+/*                                                                   */
+/* An Inexact result is rounded using DEC_ROUND_HALF_EVEN; it will    */
+/* almost always be correctly rounded, but may be up to 1 ulp in      */
+/* error in rare cases.                                                      */
+/* ------------------------------------------------------------------ */
+/* This calculates ln(A)/ln(10) using appropriate precision.  For     */
+/* ln(A) this is the max(p, rhs->digits + t) + 3, where p is the      */
+/* requested digits and t is the number of digits in the exponent     */
+/* (maximum 6).         For ln(10) it is p + 3; this is often handled by the */
+/* fastpath in decLnOp.         The final division is done to the requested  */
+/* precision.                                                        */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberLog10(decNumber *res, const decNumber *rhs,
+                         decContext *set) {
+  uInt status=0, ignore=0;        /* status accumulators */
+  uInt needbytes;                 /* for space calculations */
+  Int p;                          /* working precision */
+  Int t;                          /* digits in exponent of A */
+
+  /* buffers for a and b working decimals */
+  /* (adjustment calculator, same size) */
+  decNumber bufa[D2N(DECBUFFER+2)];
+  decNumber *allocbufa=NULL;      /* -> allocated bufa, iff allocated */
+  decNumber *a=bufa;              /* temporary a */
+  decNumber bufb[D2N(DECBUFFER+2)];
+  decNumber *allocbufb=NULL;      /* -> allocated bufb, iff allocated */
+  decNumber *b=bufb;              /* temporary b */
+  decNumber bufw[D2N(10)];        /* working 2-10 digit number */
+  decNumber *w=bufw;              /* .. */
+  #if DECSUBSET
+  decNumber *allocrhs=NULL;       /* non-NULL if rounded rhs allocated */
+  #endif
+
+  decContext aset;                /* working context */
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  /* Check restrictions; this is a math function; if not violated */
+  /* then carry out the operation. */
+  if (!decCheckMath(rhs, set, &status)) do { /* protect malloc */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operand and set lostDigits status, as needed */
+      if (rhs->digits>set->digits) {
+       allocrhs=decRoundOperand(rhs, set, &status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      /* special check in subset for rhs=0 */
+      if (ISZERO(rhs)) {               /* +/- zeros -> error */
+       status|=DEC_Invalid_operation;
+       break;}
+      } /* extended=0 */
+    #endif
+
+    decContextDefault(&aset, DEC_INIT_DECIMAL64); /* clean context */
+
+    /* handle exact powers of 10; only check if +ve finite */
+    if (!(rhs->bits&(DECNEG|DECSPECIAL)) && !ISZERO(rhs)) {
+      Int residue=0;              /* (no residue) */
+      uInt copystat=0;            /* clean status */
+
+      /* round to a single digit... */
+      aset.digits=1;
+      decCopyFit(w, rhs, &aset, &residue, &copystat); /* copy & shorten */
+      /* if exact and the digit is 1, rhs is a power of 10 */
+      if (!(copystat&DEC_Inexact) && w->lsu[0]==1) {
+       /* the exponent, conveniently, is the power of 10; making */
+       /* this the result needs a little care as it might not fit, */
+       /* so first convert it into the working number, and then move */
+       /* to res */
+       decNumberFromInt32(w, w->exponent);
+       residue=0;
+       decCopyFit(res, w, set, &residue, &status); /* copy & round */
+       decFinish(res, set, &residue, &status);     /* cleanup/set flags */
+       break;
+       } /* not a power of 10 */
+      } /* not a candidate for exact */
+
+    /* simplify the information-content calculation to use 'total */
+    /* number of digits in a, including exponent' as compared to the */
+    /* requested digits, as increasing this will only rarely cost an */
+    /* iteration in ln(a) anyway */
+    t=6;                               /* it can never be >6 */
+
+    /* allocate space when needed... */
+    p=(rhs->digits+t>set->digits?rhs->digits+t:set->digits)+3;
+    needbytes=sizeof(decNumber)+(D2U(p)-1)*sizeof(Unit);
+    if (needbytes>sizeof(bufa)) {      /* need malloc space */
+      allocbufa=(decNumber *)malloc(needbytes);
+      if (allocbufa==NULL) {           /* hopeless -- abandon */
+       status|=DEC_Insufficient_storage;
+       break;}
+      a=allocbufa;                     /* use the allocated space */
+      }
+    aset.digits=p;                     /* as calculated */
+    aset.emax=DEC_MAX_MATH;            /* usual bounds */
+    aset.emin=-DEC_MAX_MATH;           /* .. */
+    aset.clamp=0;                      /* and no concrete format */
+    decLnOp(a, rhs, &aset, &status);   /* a=ln(rhs) */
+
+    /* skip the division if the result so far is infinite, NaN, or */
+    /* zero, or there was an error; note NaN from sNaN needs copy */
+    if (status&DEC_NaNs && !(status&DEC_sNaN)) break;
+    if (a->bits&DECSPECIAL || ISZERO(a)) {
+      decNumberCopy(res, a);           /* [will fit] */
+      break;}
+
+    /* for ln(10) an extra 3 digits of precision are needed */
+    p=set->digits+3;
+    needbytes=sizeof(decNumber)+(D2U(p)-1)*sizeof(Unit);
+    if (needbytes>sizeof(bufb)) {      /* need malloc space */
+      allocbufb=(decNumber *)malloc(needbytes);
+      if (allocbufb==NULL) {           /* hopeless -- abandon */
+       status|=DEC_Insufficient_storage;
+       break;}
+      b=allocbufb;                     /* use the allocated space */
+      }
+    decNumberZero(w);                  /* set up 10... */
+    #if DECDPUN==1
+    w->lsu[1]=1; w->lsu[0]=0;          /* .. */
+    #else
+    w->lsu[0]=10;                      /* .. */
+    #endif
+    w->digits=2;                       /* .. */
+
+    aset.digits=p;
+    decLnOp(b, w, &aset, &ignore);     /* b=ln(10) */
+
+    aset.digits=set->digits;           /* for final divide */
+    decDivideOp(res, a, b, &aset, DIVIDE, &status); /* into result */
+    } while(0);                                /* [for break] */
+
+  if (allocbufa!=NULL) free(allocbufa); /* drop any storage used */
+  if (allocbufb!=NULL) free(allocbufb); /* .. */
+  #if DECSUBSET
+  if (allocrhs !=NULL) free(allocrhs); /* .. */
+  #endif
+  /* apply significant status */
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberLog10 */
+
+/* ------------------------------------------------------------------ */
+/* decNumberMax -- compare two Numbers and return the maximum        */
+/*                                                                   */
+/*   This computes C = A ? B, returning the maximum by 754R rules     */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberMax(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decCompareOp(res, lhs, rhs, set, COMPMAX, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberMax */
+
+/* ------------------------------------------------------------------ */
+/* decNumberMaxMag -- compare and return the maximum by magnitude     */
+/*                                                                   */
+/*   This computes C = A ? B, returning the maximum by 754R rules     */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberMaxMag(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decCompareOp(res, lhs, rhs, set, COMPMAXMAG, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberMaxMag */
+
+/* ------------------------------------------------------------------ */
+/* decNumberMin -- compare two Numbers and return the minimum        */
+/*                                                                   */
+/*   This computes C = A ? B, returning the minimum by 754R rules     */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberMin(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decCompareOp(res, lhs, rhs, set, COMPMIN, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberMin */
+
+/* ------------------------------------------------------------------ */
+/* decNumberMinMag -- compare and return the minimum by magnitude     */
+/*                                                                   */
+/*   This computes C = A ? B, returning the minimum by 754R rules     */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberMinMag(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decCompareOp(res, lhs, rhs, set, COMPMINMAG, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberMinMag */
+
+/* ------------------------------------------------------------------ */
+/* decNumberMinus -- prefix minus operator                           */
+/*                                                                   */
+/*   This computes C = 0 - A                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* See also decNumberCopyNegate for a quiet bitwise version of this.  */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+/* Simply use AddOp for the subtract, which will do the necessary.    */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberMinus(decNumber *res, const decNumber *rhs,
+                          decContext *set) {
+  decNumber dzero;
+  uInt status=0;                       /* accumulator */
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  decNumberZero(&dzero);               /* make 0 */
+  dzero.exponent=rhs->exponent;                /* [no coefficient expansion] */
+  decAddOp(res, &dzero, rhs, set, DECNEG, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberMinus */
+
+/* ------------------------------------------------------------------ */
+/* decNumberNextMinus -- next towards -Infinity                              */
+/*                                                                   */
+/*   This computes C = A - infinitesimal, rounded towards -Infinity   */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* This is a generalization of 754r NextDown.                        */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberNextMinus(decNumber *res, const decNumber *rhs,
+                              decContext *set) {
+  decNumber dtiny;                          /* constant */
+  decContext workset=*set;                  /* work */
+  uInt status=0;                            /* accumulator */
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  /* +Infinity is the special case */
+  if ((rhs->bits&(DECINF|DECNEG))==DECINF) {
+    decSetMaxValue(res, set);               /* is +ve */
+    /* there is no status to set */
+    return res;
+    }
+  decNumberZero(&dtiny);                    /* start with 0 */
+  dtiny.lsu[0]=1;                           /* make number that is .. */
+  dtiny.exponent=DEC_MIN_EMIN-1;            /* .. smaller than tiniest */
+  workset.round=DEC_ROUND_FLOOR;
+  decAddOp(res, rhs, &dtiny, &workset, DECNEG, &status);
+  status&=DEC_Invalid_operation|DEC_sNaN;    /* only sNaN Invalid please */
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberNextMinus */
+
+/* ------------------------------------------------------------------ */
+/* decNumberNextPlus -- next towards +Infinity                       */
+/*                                                                   */
+/*   This computes C = A + infinitesimal, rounded towards +Infinity   */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* This is a generalization of 754r NextUp.                          */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberNextPlus(decNumber *res, const decNumber *rhs,
+                             decContext *set) {
+  decNumber dtiny;                          /* constant */
+  decContext workset=*set;                  /* work */
+  uInt status=0;                            /* accumulator */
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  /* -Infinity is the special case */
+  if ((rhs->bits&(DECINF|DECNEG))==(DECINF|DECNEG)) {
+    decSetMaxValue(res, set);
+    res->bits=DECNEG;                       /* negative */
+    /* there is no status to set */
+    return res;
+    }
+  decNumberZero(&dtiny);                    /* start with 0 */
+  dtiny.lsu[0]=1;                           /* make number that is .. */
+  dtiny.exponent=DEC_MIN_EMIN-1;            /* .. smaller than tiniest */
+  workset.round=DEC_ROUND_CEILING;
+  decAddOp(res, rhs, &dtiny, &workset, 0, &status);
+  status&=DEC_Invalid_operation|DEC_sNaN;    /* only sNaN Invalid please */
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberNextPlus */
+
+/* ------------------------------------------------------------------ */
+/* decNumberNextToward -- next towards rhs                           */
+/*                                                                   */
+/*   This computes C = A +/- infinitesimal, rounded towards          */
+/*   +/-Infinity in the direction of B, as per 754r nextafter rules   */
+/*                                                                   */
+/*   res is C, the result.  C may be A or B.                         */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* This is a generalization of 754r NextAfter.                       */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberNextToward(decNumber *res, const decNumber *lhs,
+                               const decNumber *rhs, decContext *set) {
+  decNumber dtiny;                          /* constant */
+  decContext workset=*set;                  /* work */
+  Int result;                               /* .. */
+  uInt status=0;                            /* accumulator */
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  if (decNumberIsNaN(lhs) || decNumberIsNaN(rhs)) {
+    decNaNs(res, lhs, rhs, set, &status);
+    }
+   else { /* Is numeric, so no chance of sNaN Invalid, etc. */
+    result=decCompare(lhs, rhs, 0);    /* sign matters */
+    if (result==BADINT) status|=DEC_Insufficient_storage; /* rare */
+     else { /* valid compare */
+      if (result==0) decNumberCopySign(res, lhs, rhs); /* easy */
+       else { /* differ: need NextPlus or NextMinus */
+       uByte sub;                      /* add or subtract */
+       if (result<0) {                 /* lhs<rhs, do nextplus */
+         /* -Infinity is the special case */
+         if ((lhs->bits&(DECINF|DECNEG))==(DECINF|DECNEG)) {
+           decSetMaxValue(res, set);
+           res->bits=DECNEG;           /* negative */
+           return res;                 /* there is no status to set */
+           }
+         workset.round=DEC_ROUND_CEILING;
+         sub=0;                        /* add, please */
+         } /* plus */
+        else {                         /* lhs>rhs, do nextminus */
+         /* +Infinity is the special case */
+         if ((lhs->bits&(DECINF|DECNEG))==DECINF) {
+           decSetMaxValue(res, set);
+           return res;                 /* there is no status to set */
+           }
+         workset.round=DEC_ROUND_FLOOR;
+         sub=DECNEG;                   /* subtract, please */
+         } /* minus */
+       decNumberZero(&dtiny);          /* start with 0 */
+       dtiny.lsu[0]=1;                 /* make number that is .. */
+       dtiny.exponent=DEC_MIN_EMIN-1;  /* .. smaller than tiniest */
+       decAddOp(res, lhs, &dtiny, &workset, sub, &status); /* + or - */
+       /* turn off exceptions if the result is a normal number */
+       /* (including Nmin), otherwise let all status through */
+       if (decNumberIsNormal(res, set)) status=0;
+       } /* unequal */
+      } /* compare OK */
+    } /* numeric */
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberNextToward */
+
+/* ------------------------------------------------------------------ */
+/* decNumberOr -- OR two Numbers, digitwise                          */
+/*                                                                   */
+/*   This computes C = A | B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X|X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context (used for result length and error report)     */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Logical function restrictions apply (see above); a NaN is         */
+/* returned with Invalid_operation if a restriction is violated.      */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberOr(decNumber *res, const decNumber *lhs,
+                       const decNumber *rhs, decContext *set) {
+  const Unit *ua, *ub;                 /* -> operands */
+  const Unit *msua, *msub;             /* -> operand msus */
+  Unit *uc, *msuc;                     /* -> result and its msu */
+  Int  msudigs;                        /* digits in res msu */
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  if (lhs->exponent!=0 || decNumberIsSpecial(lhs) || decNumberIsNegative(lhs)
+   || rhs->exponent!=0 || decNumberIsSpecial(rhs) || decNumberIsNegative(rhs)) {
+    decStatus(res, DEC_Invalid_operation, set);
+    return res;
+    }
+  /* operands are valid */
+  ua=lhs->lsu;                         /* bottom-up */
+  ub=rhs->lsu;                         /* .. */
+  uc=res->lsu;                         /* .. */
+  msua=ua+D2U(lhs->digits)-1;          /* -> msu of lhs */
+  msub=ub+D2U(rhs->digits)-1;          /* -> msu of rhs */
+  msuc=uc+D2U(set->digits)-1;          /* -> msu of result */
+  msudigs=MSUDIGITS(set->digits);      /* [faster than remainder] */
+  for (; uc<=msuc; ua++, ub++, uc++) { /* Unit loop */
+    Unit a, b;                         /* extract units */
+    if (ua>msua) a=0;
+     else a=*ua;
+    if (ub>msub) b=0;
+     else b=*ub;
+    *uc=0;                             /* can now write back */
+    if (a|b) {                         /* maybe 1 bits to examine */
+      Int i, j;
+      /* This loop could be unrolled and/or use BIN2BCD tables */
+      for (i=0; i<DECDPUN; i++) {
+       if ((a|b)&1) *uc=*uc+(Unit)powers[i];     /* effect OR */
+       j=a%10;
+       a=a/10;
+       j|=b%10;
+       b=b/10;
+       if (j>1) {
+         decStatus(res, DEC_Invalid_operation, set);
+         return res;
+         }
+       if (uc==msuc && i==msudigs-1) break;      /* just did final digit */
+       } /* each digit */
+      } /* non-zero */
+    } /* each unit */
+  /* [here uc-1 is the msu of the result] */
+  res->digits=decGetDigits(res->lsu, uc-res->lsu);
+  res->exponent=0;                     /* integer */
+  res->bits=0;                         /* sign=0 */
+  return res;  /* [no status to set] */
+  } /* decNumberOr */
+
+/* ------------------------------------------------------------------ */
+/* decNumberPlus -- prefix plus operator                             */
+/*                                                                   */
+/*   This computes C = 0 + A                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* See also decNumberCopy for a quiet bitwise version of this.       */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+/* This simply uses AddOp; Add will take fast path after preparing A. */
+/* Performance is a concern here, as this routine is often used to    */
+/* check operands and apply rounding and overflow/underflow testing.  */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberPlus(decNumber *res, const decNumber *rhs,
+                         decContext *set) {
+  decNumber dzero;
+  uInt status=0;                       /* accumulator */
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  decNumberZero(&dzero);               /* make 0 */
+  dzero.exponent=rhs->exponent;                /* [no coefficient expansion] */
+  decAddOp(res, &dzero, rhs, set, 0, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberPlus */
+
+/* ------------------------------------------------------------------ */
+/* decNumberMultiply -- multiply two Numbers                         */
+/*                                                                   */
+/*   This computes C = A x B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X+X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberMultiply(decNumber *res, const decNumber *lhs,
+                             const decNumber *rhs, decContext *set) {
+  uInt status=0;                  /* accumulator */
+  decMultiplyOp(res, lhs, rhs, set, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberMultiply */
+
+/* ------------------------------------------------------------------ */
+/* decNumberPower -- raise a number to a power                       */
+/*                                                                   */
+/*   This computes C = A ** B                                        */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X**X)       */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Mathematical function restrictions apply (see above); a NaN is     */
+/* returned with Invalid_operation if a restriction is violated.      */
+/*                                                                   */
+/* However, if 1999999997<=B<=999999999 and B is an integer then the  */
+/* restrictions on A and the context are relaxed to the usual bounds, */
+/* for compatibility with the earlier (integer power only) version    */
+/* of this function.                                                 */
+/*                                                                   */
+/* When B is an integer, the result may be exact, even if rounded.    */
+/*                                                                   */
+/* The final result is rounded according to the context; it will      */
+/* almost always be correctly rounded, but may be up to 1 ulp in      */
+/* error in rare cases.                                                      */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberPower(decNumber *res, const decNumber *lhs,
+                          const decNumber *rhs, decContext *set) {
+  #if DECSUBSET
+  decNumber *alloclhs=NULL;       /* non-NULL if rounded lhs allocated */
+  decNumber *allocrhs=NULL;       /* .., rhs */
+  #endif
+  decNumber *allocdac=NULL;       /* -> allocated acc buffer, iff used */
+  decNumber *allocinv=NULL;       /* -> allocated 1/x buffer, iff used */
+  Int  reqdigits=set->digits;     /* requested DIGITS */
+  Int  n;                         /* rhs in binary */
+  Flag rhsint=0;                  /* 1 if rhs is an integer */
+  Flag useint=0;                  /* 1 if can use integer calculation */
+  Flag isoddint=0;                /* 1 if rhs is an integer and odd */
+  Int  i;                         /* work */
+  #if DECSUBSET
+  Int  dropped;                   /* .. */
+  #endif
+  uInt needbytes;                 /* buffer size needed */
+  Flag seenbit;                   /* seen a bit while powering */
+  Int  residue=0;                 /* rounding residue */
+  uInt status=0;                  /* accumulators */
+  uByte bits=0;                           /* result sign if errors */
+  decContext aset;                /* working context */
+  decNumber dnOne;                /* work value 1... */
+  /* local accumulator buffer [a decNumber, with digits+elength+1 digits] */
+  decNumber dacbuff[D2N(DECBUFFER+9)];
+  decNumber *dac=dacbuff;         /* -> result accumulator */
+  /* same again for possible 1/lhs calculation */
+  decNumber invbuff[D2N(DECBUFFER+9)];
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) { /* reduce operands and set status, as needed */
+      if (lhs->digits>reqdigits) {
+       alloclhs=decRoundOperand(lhs, set, &status);
+       if (alloclhs==NULL) break;
+       lhs=alloclhs;
+       }
+      if (rhs->digits>reqdigits) {
+       allocrhs=decRoundOperand(rhs, set, &status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    /* handle NaNs and rhs Infinity (lhs infinity is harder) */
+    if (SPECIALARGS) {
+      if (decNumberIsNaN(lhs) || decNumberIsNaN(rhs)) { /* NaNs */
+       decNaNs(res, lhs, rhs, set, &status);
+       break;}
+      if (decNumberIsInfinite(rhs)) {  /* rhs Infinity */
+       Flag rhsneg=rhs->bits&DECNEG;   /* save rhs sign */
+       if (decNumberIsNegative(lhs)    /* lhs<0 */
+        && !decNumberIsZero(lhs))      /* .. */
+         status|=DEC_Invalid_operation;
+        else {                         /* lhs >=0 */
+         decNumberZero(&dnOne);        /* set up 1 */
+         dnOne.lsu[0]=1;
+         decNumberCompare(dac, lhs, &dnOne, set); /* lhs ? 1 */
+         decNumberZero(res);           /* prepare for 0/1/Infinity */
+         if (decNumberIsNegative(dac)) {    /* lhs<1 */
+           if (rhsneg) res->bits|=DECINF;   /* +Infinity [else is +0] */
+           }
+          else if (dac->lsu[0]==0) {        /* lhs=1 */
+           /* 1**Infinity is inexact, so return fully-padded 1.0000 */
+           Int shift=set->digits-1;
+           *res->lsu=1;                     /* was 0, make int 1 */
+           res->digits=decShiftToMost(res->lsu, 1, shift);
+           res->exponent=-shift;            /* make 1.0000... */
+           status|=DEC_Inexact|DEC_Rounded; /* deemed inexact */
+           }
+          else {                            /* lhs>1 */
+           if (!rhsneg) res->bits|=DECINF;  /* +Infinity [else is +0] */
+           }
+         } /* lhs>=0 */
+       break;}
+      /* [lhs infinity drops through] */
+      } /* specials */
+
+    /* Original rhs may be an integer that fits and is in range */
+    n=decGetInt(rhs);
+    if (n!=BADINT) {                   /* it is an integer */
+      rhsint=1;                                /* record the fact for 1**n */
+      isoddint=(Flag)n&1;              /* [works even if big] */
+      if (n!=BIGEVEN && n!=BIGODD)     /* can use integer path? */
+       useint=1;                       /* looks good */
+      }
+
+    if (decNumberIsNegative(lhs)       /* -x .. */
+      && isoddint) bits=DECNEG;                /* .. to an odd power */
+
+    /* handle LHS infinity */
+    if (decNumberIsInfinite(lhs)) {    /* [NaNs already handled] */
+      uByte rbits=rhs->bits;           /* save */
+      decNumberZero(res);              /* prepare */
+      if (n==0) *res->lsu=1;           /* [-]Inf**0 => 1 */
+       else {
+       /* -Inf**nonint -> error */
+       if (!rhsint && decNumberIsNegative(lhs)) {
+         status|=DEC_Invalid_operation;     /* -Inf**nonint is error */
+         break;}
+       if (!(rbits & DECNEG)) bits|=DECINF; /* was not a **-n */
+       /* [otherwise will be 0 or -0] */
+       res->bits=bits;
+       }
+      break;}
+
+    /* similarly handle LHS zero */
+    if (decNumberIsZero(lhs)) {
+      if (n==0) {                           /* 0**0 => Error */
+       #if DECSUBSET
+       if (!set->extended) {                /* [unless subset] */
+         decNumberZero(res);
+         *res->lsu=1;                       /* return 1 */
+         break;}
+       #endif
+       status|=DEC_Invalid_operation;
+       }
+       else {                               /* 0**x */
+       uByte rbits=rhs->bits;               /* save */
+       if (rbits & DECNEG) {                /* was a 0**(-n) */
+         #if DECSUBSET
+         if (!set->extended) {              /* [bad if subset] */
+           status|=DEC_Invalid_operation;
+           break;}
+         #endif
+         bits|=DECINF;
+         }
+       decNumberZero(res);                  /* prepare */
+       /* [otherwise will be 0 or -0] */
+       res->bits=bits;
+       }
+      break;}
+
+    /* here both lhs and rhs are finite; rhs==0 is handled in the */
+    /* integer path.  Next handle the non-integer cases */
+    if (!useint) {                     /* non-integral rhs */
+      /* any -ve lhs is bad, as is either operand or context out of */
+      /* bounds */
+      if (decNumberIsNegative(lhs)) {
+       status|=DEC_Invalid_operation;
+       break;}
+      if (decCheckMath(lhs, set, &status)
+       || decCheckMath(rhs, set, &status)) break; /* variable status */
+
+      decContextDefault(&aset, DEC_INIT_DECIMAL64); /* clean context */
+      aset.emax=DEC_MAX_MATH;          /* usual bounds */
+      aset.emin=-DEC_MAX_MATH;         /* .. */
+      aset.clamp=0;                    /* and no concrete format */
+
+      /* calculate the result using exp(ln(lhs)*rhs), which can */
+      /* all be done into the accumulator, dac.         The precision needed */
+      /* is enough to contain the full information in the lhs (which */
+      /* is the total digits, including exponent), or the requested */
+      /* precision, if larger, + 4; 6 is used for the exponent */
+      /* maximum length, and this is also used when it is shorter */
+      /* than the requested digits as it greatly reduces the >0.5 ulp */
+      /* cases at little cost (because Ln doubles digits each */
+      /* iteration so a few extra digits rarely causes an extra */
+      /* iteration) */
+      aset.digits=MAXI(lhs->digits, set->digits)+6+4;
+      } /* non-integer rhs */
+
+     else { /* rhs is in-range integer */
+      if (n==0) {                      /* x**0 = 1 */
+       /* (0**0 was handled above) */
+       decNumberZero(res);             /* result=1 */
+       *res->lsu=1;                    /* .. */
+       break;}
+      /* rhs is a non-zero integer */
+      if (n<0) n=-n;                   /* use abs(n) */
+
+      aset=*set;                       /* clone the context */
+      aset.round=DEC_ROUND_HALF_EVEN;  /* internally use balanced */
+      /* calculate the working DIGITS */
+      aset.digits=reqdigits+(rhs->digits+rhs->exponent)+2;
+      #if DECSUBSET
+      if (!set->extended) aset.digits--;     /* use classic precision */
+      #endif
+      /* it's an error if this is more than can be handled */
+      if (aset.digits>DECNUMMAXP) {status|=DEC_Invalid_operation; break;}
+      } /* integer path */
+
+    /* aset.digits is the count of digits for the accumulator needed */
+    /* if accumulator is too long for local storage, then allocate */
+    needbytes=sizeof(decNumber)+(D2U(aset.digits)-1)*sizeof(Unit);
+    /* [needbytes also used below if 1/lhs needed] */
+    if (needbytes>sizeof(dacbuff)) {
+      allocdac=(decNumber *)malloc(needbytes);
+      if (allocdac==NULL) {   /* hopeless -- abandon */
+       status|=DEC_Insufficient_storage;
+       break;}
+      dac=allocdac;          /* use the allocated space */
+      }
+    /* here, aset is set up and accumulator is ready for use */
+
+    if (!useint) {                          /* non-integral rhs */
+      /* x ** y; special-case x=1 here as it will otherwise always */
+      /* reduce to integer 1; decLnOp has a fastpath which detects */
+      /* the case of x=1 */
+      decLnOp(dac, lhs, &aset, &status);     /* dac=ln(lhs) */
+      /* [no error possible, as lhs 0 already handled] */
+      if (ISZERO(dac)) {                    /* x==1, 1.0, etc. */
+       /* need to return fully-padded 1.0000 etc., but rhsint->1 */
+       *dac->lsu=1;                         /* was 0, make int 1 */
+       if (!rhsint) {                       /* add padding */
+         Int shift=set->digits-1;
+         dac->digits=decShiftToMost(dac->lsu, 1, shift);
+         dac->exponent=-shift;              /* make 1.0000... */
+         status|=DEC_Inexact|DEC_Rounded;   /* deemed inexact */
+         }
+       }
+       else {
+       decMultiplyOp(dac, dac, rhs, &aset, &status);  /* dac=dac*rhs */
+       decExpOp(dac, dac, &aset, &status);            /* dac=exp(dac) */
+       }
+      /* and drop through for final rounding */
+      } /* non-integer rhs */
+
+     else {                            /* carry on with integer */
+      decNumberZero(dac);              /* acc=1 */
+      *dac->lsu=1;                     /* .. */
+
+      /* if a negative power the constant 1 is needed, and if not subset */
+      /* invert the lhs now rather than inverting the result later */
+      if (decNumberIsNegative(rhs)) {  /* was a **-n [hence digits>0] */
+       decNumber *inv=invbuff;         /* asssume use fixed buffer */
+       decNumberCopy(&dnOne, dac);     /* dnOne=1;  [needed now or later] */
+       #if DECSUBSET
+       if (set->extended) {            /* need to calculate 1/lhs */
+       #endif
+         /* divide lhs into 1, putting result in dac [dac=1/dac] */
+         decDivideOp(dac, &dnOne, lhs, &aset, DIVIDE, &status);
+         /* now locate or allocate space for the inverted lhs */
+         if (needbytes>sizeof(invbuff)) {
+           allocinv=(decNumber *)malloc(needbytes);
+           if (allocinv==NULL) {       /* hopeless -- abandon */
+             status|=DEC_Insufficient_storage;
+             break;}
+           inv=allocinv;               /* use the allocated space */
+           }
+         /* [inv now points to big-enough buffer or allocated storage] */
+         decNumberCopy(inv, dac);      /* copy the 1/lhs */
+         decNumberCopy(dac, &dnOne);   /* restore acc=1 */
+         lhs=inv;                      /* .. and go forward with new lhs */
+       #if DECSUBSET
+         }
+       #endif
+       }
+
+      /* Raise-to-the-power loop... */
+      seenbit=0;                  /* set once a 1-bit is encountered */
+      for (i=1;;i++){             /* for each bit [top bit ignored] */
+       /* abandon if had overflow or terminal underflow */
+       if (status & (DEC_Overflow|DEC_Underflow)) { /* interesting? */
+         if (status&DEC_Overflow || ISZERO(dac)) break;
+         }
+       /* [the following two lines revealed an optimizer bug in a C++ */
+       /* compiler, with symptom: 5**3 -> 25, when n=n+n was used] */
+       n=n<<1;                    /* move next bit to testable position */
+       if (n<0) {                 /* top bit is set */
+         seenbit=1;               /* OK, significant bit seen */
+         decMultiplyOp(dac, dac, lhs, &aset, &status); /* dac=dac*x */
+         }
+       if (i==31) break;          /* that was the last bit */
+       if (!seenbit) continue;    /* no need to square 1 */
+       decMultiplyOp(dac, dac, dac, &aset, &status); /* dac=dac*dac [square] */
+       } /*i*/ /* 32 bits */
+
+      /* complete internal overflow or underflow processing */
+      if (status & (DEC_Overflow|DEC_Underflow)) {
+       #if DECSUBSET
+       /* If subset, and power was negative, reverse the kind of -erflow */
+       /* [1/x not yet done] */
+       if (!set->extended && decNumberIsNegative(rhs)) {
+         if (status & DEC_Overflow)
+           status^=DEC_Overflow | DEC_Underflow | DEC_Subnormal;
+          else { /* trickier -- Underflow may or may not be set */
+           status&=~(DEC_Underflow | DEC_Subnormal); /* [one or both] */
+           status|=DEC_Overflow;
+           }
+         }
+       #endif
+       dac->bits=(dac->bits & ~DECNEG) | bits; /* force correct sign */
+       /* round subnormals [to set.digits rather than aset.digits] */
+       /* or set overflow result similarly as required */
+       decFinalize(dac, set, &residue, &status);
+       decNumberCopy(res, dac);   /* copy to result (is now OK length) */
+       break;
+       }
+
+      #if DECSUBSET
+      if (!set->extended &&                 /* subset math */
+         decNumberIsNegative(rhs)) {        /* was a **-n [hence digits>0] */
+       /* so divide result into 1 [dac=1/dac] */
+       decDivideOp(dac, &dnOne, dac, &aset, DIVIDE, &status);
+       }
+      #endif
+      } /* rhs integer path */
+
+    /* reduce result to the requested length and copy to result */
+    decCopyFit(res, dac, set, &residue, &status);
+    decFinish(res, set, &residue, &status);  /* final cleanup */
+    #if DECSUBSET
+    if (!set->extended) decTrim(res, set, 0, &dropped); /* trailing zeros */
+    #endif
+    } while(0);                                /* end protected */
+
+  if (allocdac!=NULL) free(allocdac);  /* drop any storage used */
+  if (allocinv!=NULL) free(allocinv);  /* .. */
+  #if DECSUBSET
+  if (alloclhs!=NULL) free(alloclhs);  /* .. */
+  if (allocrhs!=NULL) free(allocrhs);  /* .. */
+  #endif
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberPower */
+
+/* ------------------------------------------------------------------ */
+/* decNumberQuantize -- force exponent to requested value            */
+/*                                                                   */
+/*   This computes C = op(A, B), where op adjusts the coefficient     */
+/*   of C (by rounding or shifting) such that the exponent (-scale)   */
+/*   of C has exponent of B.  The numerical value of C will equal A,  */
+/*   except for the effects of any rounding that occurred.           */
+/*                                                                   */
+/*   res is C, the result.  C may be A or B                          */
+/*   lhs is A, the number to adjust                                  */
+/*   rhs is B, the number with exponent to match                     */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Unless there is an error or the result is infinite, the exponent   */
+/* after the operation is guaranteed to be equal to that of B.       */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberQuantize(decNumber *res, const decNumber *lhs,
+                             const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decQuantizeOp(res, lhs, rhs, set, 1, &status);
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberQuantize */
+
+/* ------------------------------------------------------------------ */
+/* decNumberReduce -- remove trailing zeros                          */
+/*                                                                   */
+/*   This computes C = 0 + A, and normalizes the result                      */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+/* Previously known as Normalize */
+decNumber * decNumberNormalize(decNumber *res, const decNumber *rhs,
+                              decContext *set) {
+  return decNumberReduce(res, rhs, set);
+  } /* decNumberNormalize */
+
+decNumber * decNumberReduce(decNumber *res, const decNumber *rhs,
+                           decContext *set) {
+  #if DECSUBSET
+  decNumber *allocrhs=NULL;       /* non-NULL if rounded rhs allocated */
+  #endif
+  uInt status=0;                  /* as usual */
+  Int  residue=0;                 /* as usual */
+  Int  dropped;                           /* work */
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operand and set lostDigits status, as needed */
+      if (rhs->digits>set->digits) {
+       allocrhs=decRoundOperand(rhs, set, &status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    /* Infinities copy through; NaNs need usual treatment */
+    if (decNumberIsNaN(rhs)) {
+      decNaNs(res, rhs, NULL, set, &status);
+      break;
+      }
+
+    /* reduce result to the requested length and copy to result */
+    decCopyFit(res, rhs, set, &residue, &status); /* copy & round */
+    decFinish(res, set, &residue, &status);      /* cleanup/set flags */
+    decTrim(res, set, 1, &dropped);              /* normalize in place */
+    } while(0);                                     /* end protected */
+
+  #if DECSUBSET
+  if (allocrhs !=NULL) free(allocrhs);      /* .. */
+  #endif
+  if (status!=0) decStatus(res, status, set);/* then report status */
+  return res;
+  } /* decNumberReduce */
+
+/* ------------------------------------------------------------------ */
+/* decNumberRescale -- force exponent to requested value             */
+/*                                                                   */
+/*   This computes C = op(A, B), where op adjusts the coefficient     */
+/*   of C (by rounding or shifting) such that the exponent (-scale)   */
+/*   of C has the value B.  The numerical value of C will equal A,    */
+/*   except for the effects of any rounding that occurred.           */
+/*                                                                   */
+/*   res is C, the result.  C may be A or B                          */
+/*   lhs is A, the number to adjust                                  */
+/*   rhs is B, the requested exponent                                */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Unless there is an error or the result is infinite, the exponent   */
+/* after the operation is guaranteed to be equal to B.               */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberRescale(decNumber *res, const decNumber *lhs,
+                            const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decQuantizeOp(res, lhs, rhs, set, 0, &status);
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberRescale */
+
+/* ------------------------------------------------------------------ */
+/* decNumberRemainder -- divide and return remainder                 */
+/*                                                                   */
+/*   This computes C = A % B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X%X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberRemainder(decNumber *res, const decNumber *lhs,
+                              const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decDivideOp(res, lhs, rhs, set, REMAINDER, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberRemainder */
+
+/* ------------------------------------------------------------------ */
+/* decNumberRemainderNear -- divide and return remainder from nearest */
+/*                                                                   */
+/*   This computes C = A % B, where % is the IEEE remainder operator  */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X%X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberRemainderNear(decNumber *res, const decNumber *lhs,
+                                  const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+  decDivideOp(res, lhs, rhs, set, REMNEAR, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberRemainderNear */
+
+/* ------------------------------------------------------------------ */
+/* decNumberRotate -- rotate the coefficient of a Number left/right   */
+/*                                                                   */
+/*   This computes C = A rot B (in base ten and rotating set->digits */
+/*   digits).                                                        */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=XrotX)              */
+/*   lhs is A                                                        */
+/*   rhs is B, the number of digits to rotate (-ve to right)         */
+/*   set is the context                                                      */
+/*                                                                   */
+/* The digits of the coefficient of A are rotated to the left (if B   */
+/* is positive) or to the right (if B is negative) without adjusting  */
+/* the exponent or the sign of A.  If lhs->digits is less than       */
+/* set->digits the coefficient is padded with zeros on the left              */
+/* before the rotate.  Any leading zeros in the result are removed    */
+/* as usual.                                                         */
+/*                                                                   */
+/* B must be an integer (q=0) and in the range -set->digits through   */
+/* +set->digits.                                                     */
+/* C must have space for set->digits digits.                         */
+/* NaNs are propagated as usual.  Infinities are unaffected (but      */
+/* B must be valid).  No status is set unless B is invalid or an      */
+/* operand is an sNaN.                                               */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberRotate(decNumber *res, const decNumber *lhs,
+                          const decNumber *rhs, decContext *set) {
+  uInt status=0;             /* accumulator */
+  Int  rotate;               /* rhs as an Int */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  /* NaNs propagate as normal */
+  if (decNumberIsNaN(lhs) || decNumberIsNaN(rhs))
+    decNaNs(res, lhs, rhs, set, &status);
+   /* rhs must be an integer */
+   else if (decNumberIsInfinite(rhs) || rhs->exponent!=0)
+    status=DEC_Invalid_operation;
+   else { /* both numeric, rhs is an integer */
+    rotate=decGetInt(rhs);                  /* [cannot fail] */
+    if (rotate==BADINT                      /* something bad .. */
+     || rotate==BIGODD || rotate==BIGEVEN    /* .. very big .. */
+     || abs(rotate)>set->digits)            /* .. or out of range */
+      status=DEC_Invalid_operation;
+     else {                                 /* rhs is OK */
+      decNumberCopy(res, lhs);
+      /* convert -ve rotate to equivalent positive rotation */
+      if (rotate<0) rotate=set->digits+rotate;
+      if (rotate!=0 && rotate!=set->digits   /* zero or full rotation */
+       && !decNumberIsInfinite(res)) {      /* lhs was infinite */
+       /* left-rotate to do; 0 < rotate < set->digits */
+       uInt units, shift;                   /* work */
+       uInt msudigits;                      /* digits in result msu */
+       Unit *msu=res->lsu+D2U(res->digits)-1;    /* current msu */
+       Unit *msumax=res->lsu+D2U(set->digits)-1; /* rotation msu */
+       for (msu++; msu<=msumax; msu++) *msu=0;   /* ensure high units=0 */
+       res->digits=set->digits;                  /* now full-length */
+       msudigits=MSUDIGITS(res->digits);         /* actual digits in msu */
+
+       /* rotation here is done in-place, in three steps */
+       /* 1. shift all to least up to one unit to unit-align final */
+       /*    lsd [any digits shifted out are rotated to the left, */
+       /*    abutted to the original msd (which may require split)] */
+       /* */
+       /*    [if there are no whole units left to rotate, the */
+       /*    rotation is now complete] */
+       /* */
+       /* 2. shift to least, from below the split point only, so that */
+       /*    the final msd is in the right place in its Unit [any */
+       /*    digits shifted out will fit exactly in the current msu, */
+       /*    left aligned, no split required] */
+       /* */
+       /* 3. rotate all the units by reversing left part, right */
+       /*    part, and then whole */
+       /* */
+       /* example: rotate right 8 digits (2 units + 2), DECDPUN=3. */
+       /* */
+       /*   start: 00a bcd efg hij klm npq */
+       /* */
+       /*      1a  000 0ab cde fgh|ijk lmn [pq saved] */
+       /*      1b  00p qab cde fgh|ijk lmn */
+       /* */
+       /*      2a  00p qab cde fgh|00i jkl [mn saved] */
+       /*      2b  mnp qab cde fgh|00i jkl */
+       /* */
+       /*      3a  fgh cde qab mnp|00i jkl */
+       /*      3b  fgh cde qab mnp|jkl 00i */
+       /*      3c  00i jkl mnp qab cde fgh */
+
+       /* Step 1: amount to shift is the partial right-rotate count */
+       rotate=set->digits-rotate;      /* make it right-rotate */
+       units=rotate/DECDPUN;           /* whole units to rotate */
+       shift=rotate%DECDPUN;           /* left-over digits count */
+       if (shift>0) {                  /* not an exact number of units */
+         uInt save=res->lsu[0]%powers[shift];    /* save low digit(s) */
+         decShiftToLeast(res->lsu, D2U(res->digits), shift);
+         if (shift>msudigits) {        /* msumax-1 needs >0 digits */
+           uInt rem=save%powers[shift-msudigits];/* split save */
+           *msumax=(Unit)(save/powers[shift-msudigits]); /* and insert */
+           *(msumax-1)=*(msumax-1)
+                      +(Unit)(rem*powers[DECDPUN-(shift-msudigits)]); /* .. */
+           }
+          else { /* all fits in msumax */
+           *msumax=*msumax+(Unit)(save*powers[msudigits-shift]); /* [maybe *1] */
+           }
+         } /* digits shift needed */
+
+       /* If whole units to rotate... */
+       if (units>0) {                  /* some to do */
+         /* Step 2: the units to touch are the whole ones in rotate, */
+         /*   if any, and the shift is DECDPUN-msudigits (which may be */
+         /*   0, again) */
+         shift=DECDPUN-msudigits;
+         if (shift>0) {                /* not an exact number of units */
+           uInt save=res->lsu[0]%powers[shift];  /* save low digit(s) */
+           decShiftToLeast(res->lsu, units, shift);
+           *msumax=*msumax+(Unit)(save*powers[msudigits]);
+           } /* partial shift needed */
+
+         /* Step 3: rotate the units array using triple reverse */
+         /* (reversing is easy and fast) */
+         decReverse(res->lsu+units, msumax);     /* left part */
+         decReverse(res->lsu, res->lsu+units-1); /* right part */
+         decReverse(res->lsu, msumax);           /* whole */
+         } /* whole units to rotate */
+       /* the rotation may have left an undetermined number of zeros */
+       /* on the left, so true length needs to be calculated */
+       res->digits=decGetDigits(res->lsu, msumax-res->lsu+1);
+       } /* rotate needed */
+      } /* rhs OK */
+    } /* numerics */
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberRotate */
+
+/* ------------------------------------------------------------------ */
+/* decNumberSameQuantum -- test for equal exponents                  */
+/*                                                                   */
+/*   res is the result number, which will contain either 0 or 1              */
+/*   lhs is a number to test                                         */
+/*   rhs is the second (usually a pattern)                           */
+/*                                                                   */
+/* No errors are possible and no context is needed.                  */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberSameQuantum(decNumber *res, const decNumber *lhs,
+                                const decNumber *rhs) {
+  Unit ret=0;                     /* return value */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, DECUNCONT)) return res;
+  #endif
+
+  if (SPECIALARGS) {
+    if (decNumberIsNaN(lhs) && decNumberIsNaN(rhs)) ret=1;
+     else if (decNumberIsInfinite(lhs) && decNumberIsInfinite(rhs)) ret=1;
+     /* [anything else with a special gives 0] */
+    }
+   else if (lhs->exponent==rhs->exponent) ret=1;
+
+  decNumberZero(res);             /* OK to overwrite an operand now */
+  *res->lsu=ret;
+  return res;
+  } /* decNumberSameQuantum */
+
+/* ------------------------------------------------------------------ */
+/* decNumberScaleB -- multiply by a power of 10                              */
+/*                                                                   */
+/* This computes C = A x 10**B where B is an integer (q=0) with              */
+/* maximum magnitude 2*(emax+digits)                                 */
+/*                                                                   */
+/*   res is C, the result.  C may be A or B                          */
+/*   lhs is A, the number to adjust                                  */
+/*   rhs is B, the requested power of ten to use                     */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* The result may underflow or overflow.                             */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberScaleB(decNumber *res, const decNumber *lhs,
+                           const decNumber *rhs, decContext *set) {
+  Int  reqexp;               /* requested exponent change [B] */
+  uInt status=0;             /* accumulator */
+  Int  residue;                      /* work */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  /* Handle special values except lhs infinite */
+  if (decNumberIsNaN(lhs) || decNumberIsNaN(rhs))
+    decNaNs(res, lhs, rhs, set, &status);
+    /* rhs must be an integer */
+   else if (decNumberIsInfinite(rhs) || rhs->exponent!=0)
+    status=DEC_Invalid_operation;
+   else {
+    /* lhs is a number; rhs is a finite with q==0 */
+    reqexp=decGetInt(rhs);                  /* [cannot fail] */
+    if (reqexp==BADINT                      /* something bad .. */
+     || reqexp==BIGODD || reqexp==BIGEVEN    /* .. very big .. */
+     || abs(reqexp)>(2*(set->digits+set->emax))) /* .. or out of range */
+      status=DEC_Invalid_operation;
+     else {                                 /* rhs is OK */
+      decNumberCopy(res, lhs);              /* all done if infinite lhs */
+      if (!decNumberIsInfinite(res)) {      /* prepare to scale */
+       res->exponent+=reqexp;               /* adjust the exponent */
+       residue=0;
+       decFinalize(res, set, &residue, &status); /* .. and check */
+       } /* finite LHS */
+      } /* rhs OK */
+    } /* rhs finite */
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberScaleB */
+
+/* ------------------------------------------------------------------ */
+/* decNumberShift -- shift the coefficient of a Number left or right  */
+/*                                                                   */
+/*   This computes C = A << B or C = A >> -B  (in base ten).         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X<<X)       */
+/*   lhs is A                                                        */
+/*   rhs is B, the number of digits to shift (-ve to right)          */
+/*   set is the context                                                      */
+/*                                                                   */
+/* The digits of the coefficient of A are shifted to the left (if B   */
+/* is positive) or to the right (if B is negative) without adjusting  */
+/* the exponent or the sign of A.                                    */
+/*                                                                   */
+/* B must be an integer (q=0) and in the range -set->digits through   */
+/* +set->digits.                                                     */
+/* C must have space for set->digits digits.                         */
+/* NaNs are propagated as usual.  Infinities are unaffected (but      */
+/* B must be valid).  No status is set unless B is invalid or an      */
+/* operand is an sNaN.                                               */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberShift(decNumber *res, const decNumber *lhs,
+                          const decNumber *rhs, decContext *set) {
+  uInt status=0;             /* accumulator */
+  Int  shift;                /* rhs as an Int */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  /* NaNs propagate as normal */
+  if (decNumberIsNaN(lhs) || decNumberIsNaN(rhs))
+    decNaNs(res, lhs, rhs, set, &status);
+   /* rhs must be an integer */
+   else if (decNumberIsInfinite(rhs) || rhs->exponent!=0)
+    status=DEC_Invalid_operation;
+   else { /* both numeric, rhs is an integer */
+    shift=decGetInt(rhs);                   /* [cannot fail] */
+    if (shift==BADINT                       /* something bad .. */
+     || shift==BIGODD || shift==BIGEVEN             /* .. very big .. */
+     || abs(shift)>set->digits)                     /* .. or out of range */
+      status=DEC_Invalid_operation;
+     else {                                 /* rhs is OK */
+      decNumberCopy(res, lhs);
+      if (shift!=0 && !decNumberIsInfinite(res)) { /* something to do */
+       if (shift>0) {                       /* to left */
+         if (shift==set->digits) {          /* removing all */
+           *res->lsu=0;                     /* so place 0 */
+           res->digits=1;                   /* .. */
+           }
+          else {                            /* */
+           /* first remove leading digits if necessary */
+           if (res->digits+shift>set->digits) {
+             decDecap(res, res->digits+shift-set->digits);
+             /* that updated res->digits; may have gone to 1 (for a */
+             /* single digit or for zero */
+             }
+           if (res->digits>1 || *res->lsu)  /* if non-zero.. */
+             res->digits=decShiftToMost(res->lsu, res->digits, shift);
+           } /* partial left */
+         } /* left */
+        else { /* to right */
+         if (-shift>=res->digits) {         /* discarding all */
+           *res->lsu=0;                     /* so place 0 */
+           res->digits=1;                   /* .. */
+           }
+          else {
+           decShiftToLeast(res->lsu, D2U(res->digits), -shift);
+           res->digits-=(-shift);
+           }
+         } /* to right */
+       } /* non-0 non-Inf shift */
+      } /* rhs OK */
+    } /* numerics */
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberShift */
+
+/* ------------------------------------------------------------------ */
+/* decNumberSquareRoot -- square root operator                       */
+/*                                                                   */
+/*   This computes C = squareroot(A)                                 */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context; note that rounding mode has no effect       */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+/* This uses the following varying-precision algorithm in:           */
+/*                                                                   */
+/*   Properly Rounded Variable Precision Square Root, T. E. Hull and  */
+/*   A. Abrham, ACM Transactions on Mathematical Software, Vol 11 #3, */
+/*   pp229-237, ACM, September 1985.                                 */
+/*                                                                   */
+/* The square-root is calculated using Newton's method, after which   */
+/* a check is made to ensure the result is correctly rounded.        */
+/*                                                                   */
+/* % [Reformatted original Numerical Turing source code follows.]     */
+/* function sqrt(x : real) : real                                    */
+/* % sqrt(x) returns the properly rounded approximation to the square */
+/* % root of x, in the precision of the calling environment, or it    */
+/* % fails if x < 0.                                                 */
+/* % t e hull and a abrham, august, 1984                             */
+/* if x <= 0 then                                                    */
+/*   if x < 0 then                                                   */
+/*     assert false                                                  */
+/*   else                                                            */
+/*     result 0                                                              */
+/*   end if                                                          */
+/* end if                                                            */
+/* var f := setexp(x, 0)  % fraction part of x  [0.1 <= x < 1]       */
+/* var e := getexp(x)    % exponent part of x                        */
+/* var approx : real                                                 */
+/* if e mod 2 = 0  then                                                      */
+/*   approx := .259 + .819 * f  % approx to root of f                */
+/* else                                                                      */
+/*   f := f/l0                  % adjustments                        */
+/*   e := e + 1                         %   for odd                          */
+/*   approx := .0819 + 2.59 * f         %   exponent                         */
+/* end if                                                            */
+/*                                                                   */
+/* var p:= 3                                                         */
+/* const maxp := currentprecision + 2                                */
+/* loop                                                                      */
+/*   p := min(2*p - 2, maxp)    % p = 4,6,10, . . . , maxp           */
+/*   precision p                                                     */
+/*   approx := .5 * (approx + f/approx)                                      */
+/*   exit when p = maxp                                                      */
+/* end loop                                                          */
+/*                                                                   */
+/* % approx is now within 1 ulp of the properly rounded square root   */
+/* % of f; to ensure proper rounding, compare squares of (approx -    */
+/* % l/2 ulp) and (approx + l/2 ulp) with f.                         */
+/* p := currentprecision                                             */
+/* begin                                                             */
+/*   precision p + 2                                                 */
+/*   const approxsubhalf := approx - setexp(.5, -p)                  */
+/*   if mulru(approxsubhalf, approxsubhalf) > f then                 */
+/*     approx := approx - setexp(.l, -p + 1)                         */
+/*   else                                                            */
+/*     const approxaddhalf := approx + setexp(.5, -p)                */
+/*     if mulrd(approxaddhalf, approxaddhalf) < f then               */
+/*      approx := approx + setexp(.l, -p + 1)                        */
+/*     end if                                                        */
+/*   end if                                                          */
+/* end                                                               */
+/* result setexp(approx, e div 2)  % fix exponent                    */
+/* end sqrt                                                          */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberSquareRoot(decNumber *res, const decNumber *rhs,
+                               decContext *set) {
+  decContext workset, approxset;   /* work contexts */
+  decNumber dzero;                /* used for constant zero */
+  Int  maxp;                      /* largest working precision */
+  Int  workp;                     /* working precision */
+  Int  residue=0;                 /* rounding residue */
+  uInt status=0, ignore=0;        /* status accumulators */
+  uInt rstatus;                           /* .. */
+  Int  exp;                       /* working exponent */
+  Int  ideal;                     /* ideal (preferred) exponent */
+  Int  needbytes;                 /* work */
+  Int  dropped;                           /* .. */
+
+  #if DECSUBSET
+  decNumber *allocrhs=NULL;       /* non-NULL if rounded rhs allocated */
+  #endif
+  /* buffer for f [needs +1 in case DECBUFFER 0] */
+  decNumber buff[D2N(DECBUFFER+1)];
+  /* buffer for a [needs +2 to match likely maxp] */
+  decNumber bufa[D2N(DECBUFFER+2)];
+  /* buffer for temporary, b [must be same size as a] */
+  decNumber bufb[D2N(DECBUFFER+2)];
+  decNumber *allocbuff=NULL;      /* -> allocated buff, iff allocated */
+  decNumber *allocbufa=NULL;      /* -> allocated bufa, iff allocated */
+  decNumber *allocbufb=NULL;      /* -> allocated bufb, iff allocated */
+  decNumber *f=buff;              /* reduced fraction */
+  decNumber *a=bufa;              /* approximation to result */
+  decNumber *b=bufb;              /* intermediate result */
+  /* buffer for temporary variable, up to 3 digits */
+  decNumber buft[D2N(3)];
+  decNumber *t=buft;              /* up-to-3-digit constant or work */
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operand and set lostDigits status, as needed */
+      if (rhs->digits>set->digits) {
+       allocrhs=decRoundOperand(rhs, set, &status);
+       if (allocrhs==NULL) break;
+       /* [Note: 'f' allocation below could reuse this buffer if */
+       /* used, but as this is rare they are kept separate for clarity.] */
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    /* handle infinities and NaNs */
+    if (SPECIALARG) {
+      if (decNumberIsInfinite(rhs)) {        /* an infinity */
+       if (decNumberIsNegative(rhs)) status|=DEC_Invalid_operation;
+        else decNumberCopy(res, rhs);        /* +Infinity */
+       }
+       else decNaNs(res, rhs, NULL, set, &status); /* a NaN */
+      break;
+      }
+
+    /* calculate the ideal (preferred) exponent [floor(exp/2)] */
+    /* [We would like to write: ideal=rhs->exponent>>1, but this */
+    /* generates a compiler warning.  Generated code is the same.] */
+    ideal=(rhs->exponent&~1)/2;                /* target */
+
+    /* handle zeros */
+    if (ISZERO(rhs)) {
+      decNumberCopy(res, rhs);         /* could be 0 or -0 */
+      res->exponent=ideal;             /* use the ideal [safe] */
+      /* use decFinish to clamp any out-of-range exponent, etc. */
+      decFinish(res, set, &residue, &status);
+      break;
+      }
+
+    /* any other -x is an oops */
+    if (decNumberIsNegative(rhs)) {
+      status|=DEC_Invalid_operation;
+      break;
+      }
+
+    /* space is needed for three working variables */
+    /*  f -- the same precision as the RHS, reduced to 0.01->0.99... */
+    /*  a -- Hull's approximation -- precision, when assigned, is */
+    /*       currentprecision+1 or the input argument precision, */
+    /*       whichever is larger (+2 for use as temporary) */
+    /*  b -- intermediate temporary result (same size as a) */
+    /* if any is too long for local storage, then allocate */
+    workp=MAXI(set->digits+1, rhs->digits);  /* actual rounding precision */
+    maxp=workp+2;                           /* largest working precision */
+
+    needbytes=sizeof(decNumber)+(D2U(rhs->digits)-1)*sizeof(Unit);
+    if (needbytes>(Int)sizeof(buff)) {
+      allocbuff=(decNumber *)malloc(needbytes);
+      if (allocbuff==NULL) {  /* hopeless -- abandon */
+       status|=DEC_Insufficient_storage;
+       break;}
+      f=allocbuff;           /* use the allocated space */
+      }
+    /* a and b both need to be able to hold a maxp-length number */
+    needbytes=sizeof(decNumber)+(D2U(maxp)-1)*sizeof(Unit);
+    if (needbytes>(Int)sizeof(bufa)) {           /* [same applies to b] */
+      allocbufa=(decNumber *)malloc(needbytes);
+      allocbufb=(decNumber *)malloc(needbytes);
+      if (allocbufa==NULL || allocbufb==NULL) {          /* hopeless */
+       status|=DEC_Insufficient_storage;
+       break;}
+      a=allocbufa;           /* use the allocated spaces */
+      b=allocbufb;           /* .. */
+      }
+
+    /* copy rhs -> f, save exponent, and reduce so 0.1 <= f < 1 */
+    decNumberCopy(f, rhs);
+    exp=f->exponent+f->digits;              /* adjusted to Hull rules */
+    f->exponent=-(f->digits);               /* to range */
+
+    /* set up working context */
+    decContextDefault(&workset, DEC_INIT_DECIMAL64);
+
+    /* [Until further notice, no error is possible and status bits */
+    /* (Rounded, etc.) should be ignored, not accumulated.] */
+
+    /* Calculate initial approximation, and allow for odd exponent */
+    workset.digits=workp;                   /* p for initial calculation */
+    t->bits=0; t->digits=3;
+    a->bits=0; a->digits=3;
+    if ((exp & 1)==0) {                             /* even exponent */
+      /* Set t=0.259, a=0.819 */
+      t->exponent=-3;
+      a->exponent=-3;
+      #if DECDPUN>=3
+       t->lsu[0]=259;
+       a->lsu[0]=819;
+      #elif DECDPUN==2
+       t->lsu[0]=59; t->lsu[1]=2;
+       a->lsu[0]=19; a->lsu[1]=8;
+      #else
+       t->lsu[0]=9; t->lsu[1]=5; t->lsu[2]=2;
+       a->lsu[0]=9; a->lsu[1]=1; a->lsu[2]=8;
+      #endif
+      }
+     else {                                 /* odd exponent */
+      /* Set t=0.0819, a=2.59 */
+      f->exponent--;                        /* f=f/10 */
+      exp++;                                /* e=e+1 */
+      t->exponent=-4;
+      a->exponent=-2;
+      #if DECDPUN>=3
+       t->lsu[0]=819;
+       a->lsu[0]=259;
+      #elif DECDPUN==2
+       t->lsu[0]=19; t->lsu[1]=8;
+       a->lsu[0]=59; a->lsu[1]=2;
+      #else
+       t->lsu[0]=9; t->lsu[1]=1; t->lsu[2]=8;
+       a->lsu[0]=9; a->lsu[1]=5; a->lsu[2]=2;
+      #endif
+      }
+    decMultiplyOp(a, a, f, &workset, &ignore);   /* a=a*f */
+    decAddOp(a, a, t, &workset, 0, &ignore);     /* ..+t */
+    /* [a is now the initial approximation for sqrt(f), calculated with */
+    /* currentprecision, which is also a's precision.] */
+
+    /* the main calculation loop */
+    decNumberZero(&dzero);                  /* make 0 */
+    decNumberZero(t);                       /* set t = 0.5 */
+    t->lsu[0]=5;                            /* .. */
+    t->exponent=-1;                         /* .. */
+    workset.digits=3;                       /* initial p */
+    for (;;) {
+      /* set p to min(2*p - 2, maxp)  [hence 3; or: 4, 6, 10, ... , maxp] */
+      workset.digits=workset.digits*2-2;
+      if (workset.digits>maxp) workset.digits=maxp;
+      /* a = 0.5 * (a + f/a) */
+      /* [calculated at p then rounded to currentprecision] */
+      decDivideOp(b, f, a, &workset, DIVIDE, &ignore); /* b=f/a */
+      decAddOp(b, b, a, &workset, 0, &ignore);   /* b=b+a */
+      decMultiplyOp(a, b, t, &workset, &ignore);  /* a=b*0.5 */
+      if (a->digits==maxp) break;           /* have required digits */
+      } /* loop */
+
+    /* Here, 0.1 <= a < 1 [Hull], and a has maxp digits */
+    /* now reduce to length, etc.; this needs to be done with a */
+    /* having the correct exponent so as to handle subnormals */
+    /* correctly */
+    approxset=*set;                         /* get emin, emax, etc. */
+    approxset.round=DEC_ROUND_HALF_EVEN;
+    a->exponent+=exp/2;                             /* set correct exponent */
+
+    rstatus=0;                              /* clear status */
+    residue=0;                              /* .. and accumulator */
+    decCopyFit(a, a, &approxset, &residue, &rstatus);  /* reduce (if needed) */
+    decFinish(a, &approxset, &residue, &rstatus);      /* clean and finalize */
+
+    /* Overflow was possible if the input exponent was out-of-range, */
+    /* in which case quit */
+    if (rstatus&DEC_Overflow) {
+      status=rstatus;                       /* use the status as-is */
+      decNumberCopy(res, a);                /* copy to result */
+      break;
+      }
+
+    /* Preserve status except Inexact/Rounded */
+    status|=(rstatus & ~(DEC_Rounded|DEC_Inexact));
+
+    /* Carry out the Hull correction */
+    a->exponent-=exp/2;                             /* back to 0.1->1 */
+
+    /* a is now at final precision and within 1 ulp of the properly */
+    /* rounded square root of f; to ensure proper rounding, compare */
+    /* squares of (a - l/2 ulp) and (a + l/2 ulp) with f. */
+    /* Here workset.digits=maxp and t=0.5, and a->digits determines */
+    /* the ulp */
+    workset.digits--;                            /* maxp-1 is OK now */
+    t->exponent=-a->digits-1;                    /* make 0.5 ulp */
+    decAddOp(b, a, t, &workset, DECNEG, &ignore); /* b = a - 0.5 ulp */
+    workset.round=DEC_ROUND_UP;
+    decMultiplyOp(b, b, b, &workset, &ignore);   /* b = mulru(b, b) */
+    decCompareOp(b, f, b, &workset, COMPARE, &ignore); /* b ? f, reversed */
+    if (decNumberIsNegative(b)) {                /* f < b [i.e., b > f] */
+      /* this is the more common adjustment, though both are rare */
+      t->exponent++;                             /* make 1.0 ulp */
+      t->lsu[0]=1;                               /* .. */
+      decAddOp(a, a, t, &workset, DECNEG, &ignore); /* a = a - 1 ulp */
+      /* assign to approx [round to length] */
+      approxset.emin-=exp/2;                     /* adjust to match a */
+      approxset.emax-=exp/2;
+      decAddOp(a, &dzero, a, &approxset, 0, &ignore);
+      }
+     else {
+      decAddOp(b, a, t, &workset, 0, &ignore);   /* b = a + 0.5 ulp */
+      workset.round=DEC_ROUND_DOWN;
+      decMultiplyOp(b, b, b, &workset, &ignore);  /* b = mulrd(b, b) */
+      decCompareOp(b, b, f, &workset, COMPARE, &ignore);   /* b ? f */
+      if (decNumberIsNegative(b)) {              /* b < f */
+       t->exponent++;                            /* make 1.0 ulp */
+       t->lsu[0]=1;                              /* .. */
+       decAddOp(a, a, t, &workset, 0, &ignore);  /* a = a + 1 ulp */
+       /* assign to approx [round to length] */
+       approxset.emin-=exp/2;                    /* adjust to match a */
+       approxset.emax-=exp/2;
+       decAddOp(a, &dzero, a, &approxset, 0, &ignore);
+       }
+      }
+    /* [no errors are possible in the above, and rounding/inexact during */
+    /* estimation are irrelevant, so status was not accumulated] */
+
+    /* Here, 0.1 <= a < 1  (still), so adjust back */
+    a->exponent+=exp/2;                             /* set correct exponent */
+
+    /* count droppable zeros [after any subnormal rounding] by */
+    /* trimming a copy */
+    decNumberCopy(b, a);
+    decTrim(b, set, 1, &dropped);           /* [drops trailing zeros] */
+
+    /* Set Inexact and Rounded.         The answer can only be exact if */
+    /* it is short enough so that squaring it could fit in workp digits, */
+    /* and it cannot have trailing zeros due to clamping, so these are */
+    /* the only (relatively rare) conditions a careful check is needed */
+    if (b->digits*2-1 > workp && !set->clamp) { /* cannot fit */
+      status|=DEC_Inexact|DEC_Rounded;
+      }
+     else {                                 /* could be exact/unrounded */
+      uInt mstatus=0;                       /* local status */
+      decMultiplyOp(b, b, b, &workset, &mstatus); /* try the multiply */
+      if (mstatus&DEC_Overflow) {           /* result just won't fit */
+       status|=DEC_Inexact|DEC_Rounded;
+       }
+       else {                               /* plausible */
+       decCompareOp(t, b, rhs, &workset, COMPARE, &mstatus); /* b ? rhs */
+       if (!ISZERO(t)) status|=DEC_Inexact|DEC_Rounded; /* not equal */
+        else {                              /* is Exact */
+         /* here, dropped is the count of trailing zeros in 'a' */
+         /* use closest exponent to ideal... */
+         Int todrop=ideal-a->exponent;      /* most that can be dropped */
+         if (todrop<0) status|=DEC_Rounded; /* ideally would add 0s */
+          else {                            /* unrounded */
+           if (dropped<todrop) {            /* clamp to those available */
+             todrop=dropped;
+             status|=DEC_Clamped;
+             }
+           if (todrop>0) {                  /* have some to drop */
+             decShiftToLeast(a->lsu, D2U(a->digits), todrop);
+             a->exponent+=todrop;           /* maintain numerical value */
+             a->digits-=todrop;             /* new length */
+             }
+           }
+         }
+       }
+      }
+
+    /* double-check Underflow, as perhaps the result could not have */
+    /* been subnormal (initial argument too big), or it is now Exact */
+    if (status&DEC_Underflow) {
+      Int ae=rhs->exponent+rhs->digits-1;    /* adjusted exponent */
+      /* check if truly subnormal */
+      #if DECEXTFLAG                        /* DEC_Subnormal too */
+       if (ae>=set->emin*2) status&=~(DEC_Subnormal|DEC_Underflow);
+      #else
+       if (ae>=set->emin*2) status&=~DEC_Underflow;
+      #endif
+      /* check if truly inexact */
+      if (!(status&DEC_Inexact)) status&=~DEC_Underflow;
+      }
+
+    decNumberCopy(res, a);                  /* a is now the result */
+    } while(0);                                     /* end protected */
+
+  if (allocbuff!=NULL) free(allocbuff);             /* drop any storage used */
+  if (allocbufa!=NULL) free(allocbufa);             /* .. */
+  if (allocbufb!=NULL) free(allocbufb);             /* .. */
+  #if DECSUBSET
+  if (allocrhs !=NULL) free(allocrhs);      /* .. */
+  #endif
+  if (status!=0) decStatus(res, status, set);/* then report status */
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberSquareRoot */
+
+/* ------------------------------------------------------------------ */
+/* decNumberSubtract -- subtract two Numbers                         */
+/*                                                                   */
+/*   This computes C = A - B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X-X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberSubtract(decNumber *res, const decNumber *lhs,
+                             const decNumber *rhs, decContext *set) {
+  uInt status=0;                       /* accumulator */
+
+  decAddOp(res, lhs, rhs, set, DECNEG, &status);
+  if (status!=0) decStatus(res, status, set);
+  #if DECCHECK
+  decCheckInexact(res, set);
+  #endif
+  return res;
+  } /* decNumberSubtract */
+
+/* ------------------------------------------------------------------ */
+/* decNumberToIntegralExact -- round-to-integral-value with InExact   */
+/* decNumberToIntegralValue -- round-to-integral-value               */
+/*                                                                   */
+/*   res is the result                                               */
+/*   rhs is input number                                             */
+/*   set is the context                                                      */
+/*                                                                   */
+/* res must have space for any value of rhs.                         */
+/*                                                                   */
+/* This implements the IEEE special operators and therefore treats    */
+/* special values as valid.  For finite numbers it returns           */
+/* rescale(rhs, 0) if rhs->exponent is <0.                           */
+/* Otherwise the result is rhs (so no error is possible, except for   */
+/* sNaN).                                                            */
+/*                                                                   */
+/* The context is used for rounding mode and status after sNaN, but   */
+/* the digits setting is ignored.  The Exact version will signal      */
+/* Inexact if the result differs numerically from rhs; the other      */
+/* never signals Inexact.                                            */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberToIntegralExact(decNumber *res, const decNumber *rhs,
+                                    decContext *set) {
+  decNumber dn;
+  decContext workset;             /* working context */
+  uInt status=0;                  /* accumulator */
+
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  /* handle infinities and NaNs */
+  if (SPECIALARG) {
+    if (decNumberIsInfinite(rhs)) decNumberCopy(res, rhs); /* an Infinity */
+     else decNaNs(res, rhs, NULL, set, &status); /* a NaN */
+    }
+   else { /* finite */
+    /* have a finite number; no error possible (res must be big enough) */
+    if (rhs->exponent>=0) return decNumberCopy(res, rhs);
+    /* that was easy, but if negative exponent there is work to do... */
+    workset=*set;                 /* clone rounding, etc. */
+    workset.digits=rhs->digits;           /* no length rounding */
+    workset.traps=0;              /* no traps */
+    decNumberZero(&dn);                   /* make a number with exponent 0 */
+    decNumberQuantize(res, rhs, &dn, &workset);
+    status|=workset.status;
+    }
+  if (status!=0) decStatus(res, status, set);
+  return res;
+  } /* decNumberToIntegralExact */
+
+decNumber * decNumberToIntegralValue(decNumber *res, const decNumber *rhs,
+                                    decContext *set) {
+  decContext workset=*set;        /* working context */
+  workset.traps=0;                /* no traps */
+  decNumberToIntegralExact(res, rhs, &workset);
+  /* this never affects set, except for sNaNs; NaN will have been set */
+  /* or propagated already, so no need to call decStatus */
+  set->status|=workset.status&DEC_Invalid_operation;
+  return res;
+  } /* decNumberToIntegralValue */
+
+/* ------------------------------------------------------------------ */
+/* decNumberXor -- XOR two Numbers, digitwise                        */
+/*                                                                   */
+/*   This computes C = A ^ B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X^X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context (used for result length and error report)     */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Logical function restrictions apply (see above); a NaN is         */
+/* returned with Invalid_operation if a restriction is violated.      */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberXor(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set) {
+  const Unit *ua, *ub;                 /* -> operands */
+  const Unit *msua, *msub;             /* -> operand msus */
+  Unit *uc, *msuc;                     /* -> result and its msu */
+  Int  msudigs;                        /* digits in res msu */
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  if (lhs->exponent!=0 || decNumberIsSpecial(lhs) || decNumberIsNegative(lhs)
+   || rhs->exponent!=0 || decNumberIsSpecial(rhs) || decNumberIsNegative(rhs)) {
+    decStatus(res, DEC_Invalid_operation, set);
+    return res;
+    }
+  /* operands are valid */
+  ua=lhs->lsu;                         /* bottom-up */
+  ub=rhs->lsu;                         /* .. */
+  uc=res->lsu;                         /* .. */
+  msua=ua+D2U(lhs->digits)-1;          /* -> msu of lhs */
+  msub=ub+D2U(rhs->digits)-1;          /* -> msu of rhs */
+  msuc=uc+D2U(set->digits)-1;          /* -> msu of result */
+  msudigs=MSUDIGITS(set->digits);      /* [faster than remainder] */
+  for (; uc<=msuc; ua++, ub++, uc++) { /* Unit loop */
+    Unit a, b;                         /* extract units */
+    if (ua>msua) a=0;
+     else a=*ua;
+    if (ub>msub) b=0;
+     else b=*ub;
+    *uc=0;                             /* can now write back */
+    if (a|b) {                         /* maybe 1 bits to examine */
+      Int i, j;
+      /* This loop could be unrolled and/or use BIN2BCD tables */
+      for (i=0; i<DECDPUN; i++) {
+       if ((a^b)&1) *uc=*uc+(Unit)powers[i];     /* effect XOR */
+       j=a%10;
+       a=a/10;
+       j|=b%10;
+       b=b/10;
+       if (j>1) {
+         decStatus(res, DEC_Invalid_operation, set);
+         return res;
+         }
+       if (uc==msuc && i==msudigs-1) break;      /* just did final digit */
+       } /* each digit */
+      } /* non-zero */
+    } /* each unit */
+  /* [here uc-1 is the msu of the result] */
+  res->digits=decGetDigits(res->lsu, uc-res->lsu);
+  res->exponent=0;                     /* integer */
+  res->bits=0;                         /* sign=0 */
+  return res;  /* [no status to set] */
+  } /* decNumberXor */
+
+
+/* ================================================================== */
+/* Utility routines                                                  */
+/* ================================================================== */
+
+/* ------------------------------------------------------------------ */
+/* decNumberClass -- return the decClass of a decNumber                      */
+/*   dn -- the decNumber to test                                     */
+/*   set -- the context to use for Emin                                      */
+/*   returns the decClass enum                                       */
+/* ------------------------------------------------------------------ */
+enum decClass decNumberClass(const decNumber *dn, decContext *set) {
+  if (decNumberIsSpecial(dn)) {
+    if (decNumberIsQNaN(dn)) return DEC_CLASS_QNAN;
+    if (decNumberIsSNaN(dn)) return DEC_CLASS_SNAN;
+    /* must be an infinity */
+    if (decNumberIsNegative(dn)) return DEC_CLASS_NEG_INF;
+    return DEC_CLASS_POS_INF;
+    }
+  /* is finite */
+  if (decNumberIsNormal(dn, set)) { /* most common */
+    if (decNumberIsNegative(dn)) return DEC_CLASS_NEG_NORMAL;
+    return DEC_CLASS_POS_NORMAL;
+    }
+  /* is subnormal or zero */
+  if (decNumberIsZero(dn)) {   /* most common */
+    if (decNumberIsNegative(dn)) return DEC_CLASS_NEG_ZERO;
+    return DEC_CLASS_POS_ZERO;
+    }
+  if (decNumberIsNegative(dn)) return DEC_CLASS_NEG_SUBNORMAL;
+  return DEC_CLASS_POS_SUBNORMAL;
+  } /* decNumberClass */
+
+/* ------------------------------------------------------------------ */
+/* decNumberClassToString -- convert decClass to a string            */
+/*                                                                   */
+/*  eclass is a valid decClass                                       */
+/*  returns a constant string describing the class (max 13+1 chars)   */
+/* ------------------------------------------------------------------ */
+const char *decNumberClassToString(enum decClass eclass) {
+  if (eclass==DEC_CLASS_POS_NORMAL)    return DEC_ClassString_PN;
+  if (eclass==DEC_CLASS_NEG_NORMAL)    return DEC_ClassString_NN;
+  if (eclass==DEC_CLASS_POS_ZERO)      return DEC_ClassString_PZ;
+  if (eclass==DEC_CLASS_NEG_ZERO)      return DEC_ClassString_NZ;
+  if (eclass==DEC_CLASS_POS_SUBNORMAL) return DEC_ClassString_PS;
+  if (eclass==DEC_CLASS_NEG_SUBNORMAL) return DEC_ClassString_NS;
+  if (eclass==DEC_CLASS_POS_INF)       return DEC_ClassString_PI;
+  if (eclass==DEC_CLASS_NEG_INF)       return DEC_ClassString_NI;
+  if (eclass==DEC_CLASS_QNAN)         return DEC_ClassString_QN;
+  if (eclass==DEC_CLASS_SNAN)         return DEC_ClassString_SN;
+  return DEC_ClassString_UN;          /* Unknown */
+  } /* decNumberClassToString */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCopy -- copy a number                                    */
+/*                                                                   */
+/*   dest is the target decNumber                                    */
+/*   src  is the source decNumber                                    */
+/*   returns dest                                                    */
+/*                                                                   */
+/* (dest==src is allowed and is a no-op)                             */
+/* All fields are updated as required. This is a utility operation,  */
+/* so special values are unchanged and no error is possible.         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCopy(decNumber *dest, const decNumber *src) {
+
+  #if DECCHECK
+  if (src==NULL) return decNumberZero(dest);
+  #endif
+
+  if (dest==src) return dest;               /* no copy required */
+
+  /* Use explicit assignments here as structure assignment could copy */
+  /* more than just the lsu (for small DECDPUN).  This would not affect */
+  /* the value of the results, but could disturb test harness spill */
+  /* checking. */
+  dest->bits=src->bits;
+  dest->exponent=src->exponent;
+  dest->digits=src->digits;
+  dest->lsu[0]=src->lsu[0];
+  if (src->digits>DECDPUN) {                /* more Units to come */
+    const Unit *smsup, *s;                  /* work */
+    Unit  *d;                               /* .. */
+    /* memcpy for the remaining Units would be safe as they cannot */
+    /* overlap.         However, this explicit loop is faster in short cases. */
+    d=dest->lsu+1;                          /* -> first destination */
+    smsup=src->lsu+D2U(src->digits);        /* -> source msu+1 */
+    for (s=src->lsu+1; s<smsup; s++, d++) *d=*s;
+    }
+  return dest;
+  } /* decNumberCopy */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCopyAbs -- quiet absolute value operator                 */
+/*                                                                   */
+/*   This sets C = abs(A)                                            */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* No exception or error can occur; this is a quiet bitwise operation.*/
+/* See also decNumberAbs for a checking version of this.             */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCopyAbs(decNumber *res, const decNumber *rhs) {
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, DECUNCONT)) return res;
+  #endif
+  decNumberCopy(res, rhs);
+  res->bits&=~DECNEG;                  /* turn off sign */
+  return res;
+  } /* decNumberCopyAbs */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCopyNegate -- quiet negate value operator                */
+/*                                                                   */
+/*   This sets C = negate(A)                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* No exception or error can occur; this is a quiet bitwise operation.*/
+/* See also decNumberMinus for a checking version of this.           */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCopyNegate(decNumber *res, const decNumber *rhs) {
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, DECUNCONT)) return res;
+  #endif
+  decNumberCopy(res, rhs);
+  res->bits^=DECNEG;                   /* invert the sign */
+  return res;
+  } /* decNumberCopyNegate */
+
+/* ------------------------------------------------------------------ */
+/* decNumberCopySign -- quiet copy and set sign operator             */
+/*                                                                   */
+/*   This sets C = A with the sign of B                                      */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* No exception or error can occur; this is a quiet bitwise operation.*/
+/* ------------------------------------------------------------------ */
+decNumber * decNumberCopySign(decNumber *res, const decNumber *lhs,
+                             const decNumber *rhs) {
+  uByte sign;                          /* rhs sign */
+  #if DECCHECK
+  if (decCheckOperands(res, DECUNUSED, rhs, DECUNCONT)) return res;
+  #endif
+  sign=rhs->bits & DECNEG;             /* save sign bit */
+  decNumberCopy(res, lhs);
+  res->bits&=~DECNEG;                  /* clear the sign */
+  res->bits|=sign;                     /* set from rhs */
+  return res;
+  } /* decNumberCopySign */
+
+/* ------------------------------------------------------------------ */
+/* decNumberGetBCD -- get the coefficient in BCD8                    */
+/*   dn is the source decNumber                                              */
+/*   bcd is the uInt array that will receive dn->digits BCD bytes,    */
+/*     most-significant at offset 0                                  */
+/*   returns bcd                                                     */
+/*                                                                   */
+/* bcd must have at least dn->digits bytes.  No error is possible; if */
+/* dn is a NaN or Infinite, digits must be 1 and the coefficient 0.   */
+/* ------------------------------------------------------------------ */
+uByte * decNumberGetBCD(const decNumber *dn, uint8_t *bcd) {
+  uByte *ub=bcd+dn->digits-1;     /* -> lsd */
+  const Unit *up=dn->lsu;         /* Unit pointer, -> lsu */
+
+  #if DECDPUN==1                  /* trivial simple copy */
+    for (; ub>=bcd; ub--, up++) *ub=*up;
+  #else                                   /* chopping needed */
+    uInt u=*up;                           /* work */
+    uInt cut=DECDPUN;             /* downcounter through unit */
+    for (; ub>=bcd; ub--) {
+      *ub=(uByte)(u%10);          /* [*6554 trick inhibits, here] */
+      u=u/10;
+      cut--;
+      if (cut>0) continue;        /* more in this unit */
+      up++;
+      u=*up;
+      cut=DECDPUN;
+      }
+  #endif
+  return bcd;
+  } /* decNumberGetBCD */
+
+/* ------------------------------------------------------------------ */
+/* decNumberSetBCD -- set (replace) the coefficient from BCD8        */
+/*   dn is the target decNumber                                              */
+/*   bcd is the uInt array that will source n BCD bytes, most-       */
+/*     significant at offset 0                                       */
+/*   n is the number of digits in the source BCD array (bcd)         */
+/*   returns dn                                                              */
+/*                                                                   */
+/* dn must have space for at least n digits.  No error is possible;   */
+/* if dn is a NaN, or Infinite, or is to become a zero, n must be 1   */
+/* and bcd[0] zero.                                                  */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberSetBCD(decNumber *dn, const uByte *bcd, uInt n) {
+  Unit *up = dn->lsu + D2U(n) - 1;      /* -> msu [target pointer] */
+  const uByte *ub=bcd;                 /* -> source msd */
+
+  #if DECDPUN==1                       /* trivial simple copy */
+    for (; ub<bcd+n; ub++, up--) *up=*ub;
+  #else                                        /* some assembly needed */
+    /* calculate how many digits in msu, and hence first cut */
+    Int cut=MSUDIGITS(n);              /* [faster than remainder] */
+    for (;up>=dn->lsu; up--) {         /* each Unit from msu */
+      *up=0;                           /* will take <=DECDPUN digits */
+      for (; cut>0; ub++, cut--) *up=X10(*up)+*ub;
+      cut=DECDPUN;                     /* next Unit has all digits */
+      }
+  #endif
+  dn->digits=n;                                /* set digit count */
+  return dn;
+  } /* decNumberSetBCD */
+
+/* ------------------------------------------------------------------ */
+/* decNumberIsNormal -- test normality of a decNumber                */
+/*   dn is the decNumber to test                                     */
+/*   set is the context to use for Emin                                      */
+/*   returns 1 if |dn| is finite and >=Nmin, 0 otherwise             */
+/* ------------------------------------------------------------------ */
+Int decNumberIsNormal(const decNumber *dn, decContext *set) {
+  Int ae;                              /* adjusted exponent */
+  #if DECCHECK
+  if (decCheckOperands(DECUNRESU, DECUNUSED, dn, set)) return 0;
+  #endif
+
+  if (decNumberIsSpecial(dn)) return 0; /* not finite */
+  if (decNumberIsZero(dn)) return 0;   /* not non-zero */
+
+  ae=dn->exponent+dn->digits-1;                /* adjusted exponent */
+  if (ae<set->emin) return 0;          /* is subnormal */
+  return 1;
+  } /* decNumberIsNormal */
+
+/* ------------------------------------------------------------------ */
+/* decNumberIsSubnormal -- test subnormality of a decNumber          */
+/*   dn is the decNumber to test                                     */
+/*   set is the context to use for Emin                                      */
+/*   returns 1 if |dn| is finite, non-zero, and <Nmin, 0 otherwise    */
+/* ------------------------------------------------------------------ */
+Int decNumberIsSubnormal(const decNumber *dn, decContext *set) {
+  Int ae;                              /* adjusted exponent */
+  #if DECCHECK
+  if (decCheckOperands(DECUNRESU, DECUNUSED, dn, set)) return 0;
+  #endif
+
+  if (decNumberIsSpecial(dn)) return 0; /* not finite */
+  if (decNumberIsZero(dn)) return 0;   /* not non-zero */
+
+  ae=dn->exponent+dn->digits-1;                /* adjusted exponent */
+  if (ae<set->emin) return 1;          /* is subnormal */
+  return 0;
+  } /* decNumberIsSubnormal */
+
+/* ------------------------------------------------------------------ */
+/* decNumberTrim -- remove insignificant zeros                       */
+/*                                                                   */
+/*   dn is the number to trim                                        */
+/*   returns dn                                                              */
+/*                                                                   */
+/* All fields are updated as required. This is a utility operation,  */
+/* so special values are unchanged and no error is possible.         */
+/* ------------------------------------------------------------------ */
+decNumber * decNumberTrim(decNumber *dn) {
+  Int  dropped;                           /* work */
+  decContext set;                 /* .. */
+  #if DECCHECK
+  if (decCheckOperands(DECUNRESU, DECUNUSED, dn, DECUNCONT)) return dn;
+  #endif
+  decContextDefault(&set, DEC_INIT_BASE);    /* clamp=0 */
+  return decTrim(dn, &set, 0, &dropped);
+  } /* decNumberTrim */
+
+/* ------------------------------------------------------------------ */
+/* decNumberVersion -- return the name and version of this module     */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+const char * decNumberVersion(void) {
+  return DECVERSION;
+  } /* decNumberVersion */
+
+/* ------------------------------------------------------------------ */
+/* decNumberZero -- set a number to 0                                */
+/*                                                                   */
+/*   dn is the number to set, with space for one digit               */
+/*   returns dn                                                              */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+/* Memset is not used as it is much slower in some environments. */
+decNumber * decNumberZero(decNumber *dn) {
+
+  #if DECCHECK
+  if (decCheckOperands(dn, DECUNUSED, DECUNUSED, DECUNCONT)) return dn;
+  #endif
+
+  dn->bits=0;
+  dn->exponent=0;
+  dn->digits=1;
+  dn->lsu[0]=0;
+  return dn;
+  } /* decNumberZero */
+
+/* ================================================================== */
+/* Local routines                                                    */
+/* ================================================================== */
+
+/* ------------------------------------------------------------------ */
+/* decToString -- lay out a number into a string                     */
+/*                                                                   */
+/*   dn            is the number to lay out                                  */
+/*   string is where to lay out the number                           */
+/*   eng    is 1 if Engineering, 0 if Scientific                     */
+/*                                                                   */
+/* string must be at least dn->digits+14 characters long             */
+/* No error is possible.                                             */
+/*                                                                   */
+/* Note that this routine can generate a -0 or 0.000.  These are      */
+/* never generated in subset to-number or arithmetic, but can occur   */
+/* in non-subset arithmetic (e.g., -1*0 or 1.234-1.234).             */
+/* ------------------------------------------------------------------ */
+/* If DECCHECK is enabled the string "?" is returned if a number is */
+/* invalid. */
+static void decToString(const decNumber *dn, char *string, Flag eng) {
+  Int exp=dn->exponent;              /* local copy */
+  Int e;                     /* E-part value */
+  Int pre;                   /* digits before the '.' */
+  Int cut;                   /* for counting digits in a Unit */
+  char *c=string;            /* work [output pointer] */
+  const Unit *up=dn->lsu+D2U(dn->digits)-1; /* -> msu [input pointer] */
+  uInt u, pow;               /* work */
+
+  #if DECCHECK
+  if (decCheckOperands(DECUNRESU, dn, DECUNUSED, DECUNCONT)) {
+    strcpy(string, "?");
+    return;}
+  #endif
+
+  if (decNumberIsNegative(dn)) {   /* Negatives get a minus */
+    *c='-';
+    c++;
+    }
+  if (dn->bits&DECSPECIAL) {      /* Is a special value */
+    if (decNumberIsInfinite(dn)) {
+      strcpy(c,          "Inf");
+      strcpy(c+3, "inity");
+      return;}
+    /* a NaN */
+    if (dn->bits&DECSNAN) {       /* signalling NaN */
+      *c='s';
+      c++;
+      }
+    strcpy(c, "NaN");
+    c+=3;                         /* step past */
+    /* if not a clean non-zero coefficient, that's all there is in a */
+    /* NaN string */
+    if (exp!=0 || (*dn->lsu==0 && dn->digits==1)) return;
+    /* [drop through to add integer] */
+    }
+
+  /* calculate how many digits in msu, and hence first cut */
+  cut=MSUDIGITS(dn->digits);      /* [faster than remainder] */
+  cut--;                          /* power of ten for digit */
+
+  if (exp==0) {                           /* simple integer [common fastpath] */
+    for (;up>=dn->lsu; up--) {    /* each Unit from msu */
+      u=*up;                      /* contains DECDPUN digits to lay out */
+      for (; cut>=0; c++, cut--) TODIGIT(u, cut, c, pow);
+      cut=DECDPUN-1;              /* next Unit has all digits */
+      }
+    *c='\0';                      /* terminate the string */
+    return;}
+
+  /* non-0 exponent -- assume plain form */
+  pre=dn->digits+exp;             /* digits before '.' */
+  e=0;                            /* no E */
+  if ((exp>0) || (pre<-5)) {      /* need exponential form */
+    e=exp+dn->digits-1;                   /* calculate E value */
+    pre=1;                        /* assume one digit before '.' */
+    if (eng && (e!=0)) {          /* engineering: may need to adjust */
+      Int adj;                    /* adjustment */
+      /* The C remainder operator is undefined for negative numbers, so */
+      /* a positive remainder calculation must be used here */
+      if (e<0) {
+       adj=(-e)%3;
+       if (adj!=0) adj=3-adj;
+       }
+       else { /* e>0 */
+       adj=e%3;
+       }
+      e=e-adj;
+      /* if dealing with zero still produce an exponent which is a */
+      /* multiple of three, as expected, but there will only be the */
+      /* one zero before the E, still. Otherwise note the padding. */
+      if (!ISZERO(dn)) pre+=adj;
+       else {  /* is zero */
+       if (adj!=0) {              /* 0.00Esnn needed */
+         e=e+3;
+         pre=-(2-adj);
+         }
+       } /* zero */
+      } /* eng */
+    } /* need exponent */
+
+  /* lay out the digits of the coefficient, adding 0s and . as needed */
+  u=*up;
+  if (pre>0) {                    /* xxx.xxx or xx00 (engineering) form */
+    Int n=pre;
+    for (; pre>0; pre--, c++, cut--) {
+      if (cut<0) {                /* need new Unit */
+       if (up==dn->lsu) break;    /* out of input digits (pre>digits) */
+       up--;
+       cut=DECDPUN-1;
+       u=*up;
+       }
+      TODIGIT(u, cut, c, pow);
+      }
+    if (n<dn->digits) {                   /* more to come, after '.' */
+      *c='.'; c++;
+      for (;; c++, cut--) {
+       if (cut<0) {               /* need new Unit */
+         if (up==dn->lsu) break;  /* out of input digits */
+         up--;
+         cut=DECDPUN-1;
+         u=*up;
+         }
+       TODIGIT(u, cut, c, pow);
+       }
+      }
+     else for (; pre>0; pre--, c++) *c='0'; /* 0 padding (for engineering) needed */
+    }
+   else {                         /* 0.xxx or 0.000xxx form */
+    *c='0'; c++;
+    *c='.'; c++;
+    for (; pre<0; pre++, c++) *c='0';  /* add any 0's after '.' */
+    for (; ; c++, cut--) {
+      if (cut<0) {                /* need new Unit */
+       if (up==dn->lsu) break;    /* out of input digits */
+       up--;
+       cut=DECDPUN-1;
+       u=*up;
+       }
+      TODIGIT(u, cut, c, pow);
+      }
+    }
+
+  /* Finally add the E-part, if needed.         It will never be 0, has a
+     base maximum and minimum of +999999999 through -999999999, but
+     could range down to -1999999998 for anormal numbers */
+  if (e!=0) {
+    Flag had=0;                      /* 1=had non-zero */
+    *c='E'; c++;
+    *c='+'; c++;             /* assume positive */
+    u=e;                     /* .. */
+    if (e<0) {
+      *(c-1)='-';            /* oops, need - */
+      u=-e;                  /* uInt, please */
+      }
+    /* lay out the exponent [_itoa or equivalent is not ANSI C] */
+    for (cut=9; cut>=0; cut--) {
+      TODIGIT(u, cut, c, pow);
+      if (*c=='0' && !had) continue;   /* skip leading zeros */
+      had=1;                           /* had non-0 */
+      c++;                             /* step for next */
+      } /* cut */
+    }
+  *c='\0';         /* terminate the string (all paths) */
+  return;
+  } /* decToString */
+
+/* ------------------------------------------------------------------ */
+/* decAddOp -- add/subtract operation                                */
+/*                                                                   */
+/*   This computes C = A + B                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X+X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*   negate is DECNEG if rhs should be negated, or 0 otherwise       */
+/*   status accumulates status for the caller                        */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/* Inexact in status must be 0 for correct Exact zero sign in result  */
+/* ------------------------------------------------------------------ */
+/* If possible, the coefficient is calculated directly into C.       */
+/* However, if:                                                              */
+/*   -- a digits+1 calculation is needed because the numbers are      */
+/*     unaligned and span more than set->digits digits               */
+/*   -- a carry to digits+1 digits looks possible                    */
+/*   -- C is the same as A or B, and the result would destructively   */
+/*     overlap the A or B coefficient                                */
+/* then the result must be calculated into a temporary buffer. In    */
+/* this case a local (stack) buffer is used if possible, and only if  */
+/* too long for that does malloc become the final resort.            */
+/*                                                                   */
+/* Misalignment is handled as follows:                               */
+/*   Apad: (AExp>BExp) Swap operands and proceed as for BExp>AExp.    */
+/*   BPad: Apply the padding by a combination of shifting (whole      */
+/*        units) and multiplication (part units).                    */
+/*                                                                   */
+/* Addition, especially x=x+1, is speed-critical.                    */
+/* The static buffer is larger than might be expected to allow for    */
+/* calls from higher-level funtions (notable exp).                   */
+/* ------------------------------------------------------------------ */
+static decNumber * decAddOp(decNumber *res, const decNumber *lhs,
+                           const decNumber *rhs, decContext *set,
+                           uByte negate, uInt *status) {
+  #if DECSUBSET
+  decNumber *alloclhs=NULL;       /* non-NULL if rounded lhs allocated */
+  decNumber *allocrhs=NULL;       /* .., rhs */
+  #endif
+  Int  rhsshift;                  /* working shift (in Units) */
+  Int  maxdigits;                 /* longest logical length */
+  Int  mult;                      /* multiplier */
+  Int  residue;                   /* rounding accumulator */
+  uByte bits;                     /* result bits */
+  Flag diffsign;                  /* non-0 if arguments have different sign */
+  Unit *acc;                      /* accumulator for result */
+  Unit accbuff[SD2U(DECBUFFER*2+20)]; /* local buffer [*2+20 reduces many */
+                                  /* allocations when called from */
+                                  /* other operations, notable exp] */
+  Unit *allocacc=NULL;            /* -> allocated acc buffer, iff allocated */
+  Int  reqdigits=set->digits;     /* local copy; requested DIGITS */
+  Int  padding;                   /* work */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operands and set lostDigits status, as needed */
+      if (lhs->digits>reqdigits) {
+       alloclhs=decRoundOperand(lhs, set, status);
+       if (alloclhs==NULL) break;
+       lhs=alloclhs;
+       }
+      if (rhs->digits>reqdigits) {
+       allocrhs=decRoundOperand(rhs, set, status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    /* note whether signs differ [used all paths] */
+    diffsign=(Flag)((lhs->bits^rhs->bits^negate)&DECNEG);
+
+    /* handle infinities and NaNs */
+    if (SPECIALARGS) {                 /* a special bit set */
+      if (SPECIALARGS & (DECSNAN | DECNAN))  /* a NaN */
+       decNaNs(res, lhs, rhs, set, status);
+       else { /* one or two infinities */
+       if (decNumberIsInfinite(lhs)) { /* LHS is infinity */
+         /* two infinities with different signs is invalid */
+         if (decNumberIsInfinite(rhs) && diffsign) {
+           *status|=DEC_Invalid_operation;
+           break;
+           }
+         bits=lhs->bits & DECNEG;      /* get sign from LHS */
+         }
+        else bits=(rhs->bits^negate) & DECNEG;/* RHS must be Infinity */
+       bits|=DECINF;
+       decNumberZero(res);
+       res->bits=bits;                 /* set +/- infinity */
+       } /* an infinity */
+      break;
+      }
+
+    /* Quick exit for add 0s; return the non-0, modified as need be */
+    if (ISZERO(lhs)) {
+      Int adjust;                      /* work */
+      Int lexp=lhs->exponent;          /* save in case LHS==RES */
+      bits=lhs->bits;                  /* .. */
+      residue=0;                       /* clear accumulator */
+      decCopyFit(res, rhs, set, &residue, status); /* copy (as needed) */
+      res->bits^=negate;               /* flip if rhs was negated */
+      #if DECSUBSET
+      if (set->extended) {             /* exponents on zeros count */
+      #endif
+       /* exponent will be the lower of the two */
+       adjust=lexp-res->exponent;      /* adjustment needed [if -ve] */
+       if (ISZERO(res)) {              /* both 0: special IEEE 854 rules */
+         if (adjust<0) res->exponent=lexp;  /* set exponent */
+         /* 0-0 gives +0 unless rounding to -infinity, and -0-0 gives -0 */
+         if (diffsign) {
+           if (set->round!=DEC_ROUND_FLOOR) res->bits=0;
+            else res->bits=DECNEG;     /* preserve 0 sign */
+           }
+         }
+        else { /* non-0 res */
+         if (adjust<0) {     /* 0-padding needed */
+           if ((res->digits-adjust)>set->digits) {
+             adjust=res->digits-set->digits;     /* to fit exactly */
+             *status|=DEC_Rounded;               /* [but exact] */
+             }
+           res->digits=decShiftToMost(res->lsu, res->digits, -adjust);
+           res->exponent+=adjust;                /* set the exponent. */
+           }
+         } /* non-0 res */
+      #if DECSUBSET
+       } /* extended */
+      #endif
+      decFinish(res, set, &residue, status);     /* clean and finalize */
+      break;}
+
+    if (ISZERO(rhs)) {                 /* [lhs is non-zero] */
+      Int adjust;                      /* work */
+      Int rexp=rhs->exponent;          /* save in case RHS==RES */
+      bits=rhs->bits;                  /* be clean */
+      residue=0;                       /* clear accumulator */
+      decCopyFit(res, lhs, set, &residue, status); /* copy (as needed) */
+      #if DECSUBSET
+      if (set->extended) {             /* exponents on zeros count */
+      #endif
+       /* exponent will be the lower of the two */
+       /* [0-0 case handled above] */
+       adjust=rexp-res->exponent;      /* adjustment needed [if -ve] */
+       if (adjust<0) {     /* 0-padding needed */
+         if ((res->digits-adjust)>set->digits) {
+           adjust=res->digits-set->digits;     /* to fit exactly */
+           *status|=DEC_Rounded;               /* [but exact] */
+           }
+         res->digits=decShiftToMost(res->lsu, res->digits, -adjust);
+         res->exponent+=adjust;                /* set the exponent. */
+         }
+      #if DECSUBSET
+       } /* extended */
+      #endif
+      decFinish(res, set, &residue, status);     /* clean and finalize */
+      break;}
+
+    /* [NB: both fastpath and mainpath code below assume these cases */
+    /* (notably 0-0) have already been handled] */
+
+    /* calculate the padding needed to align the operands */
+    padding=rhs->exponent-lhs->exponent;
+
+    /* Fastpath cases where the numbers are aligned and normal, the RHS */
+    /* is all in one unit, no operand rounding is needed, and no carry, */
+    /* lengthening, or borrow is needed */
+    if (padding==0
+       && rhs->digits<=DECDPUN
+       && rhs->exponent>=set->emin     /* [some normals drop through] */
+       && rhs->exponent<=set->emax-set->digits+1 /* [could clamp] */
+       && rhs->digits<=reqdigits
+       && lhs->digits<=reqdigits) {
+      Int partial=*lhs->lsu;
+      if (!diffsign) {                 /* adding */
+       partial+=*rhs->lsu;
+       if ((partial<=DECDPUNMAX)       /* result fits in unit */
+        && (lhs->digits>=DECDPUN ||    /* .. and no digits-count change */
+            partial<(Int)powers[lhs->digits])) { /* .. */
+         if (res!=lhs) decNumberCopy(res, lhs);  /* not in place */
+         *res->lsu=(Unit)partial;      /* [copy could have overwritten RHS] */
+         break;
+         }
+       /* else drop out for careful add */
+       }
+       else {                          /* signs differ */
+       partial-=*rhs->lsu;
+       if (partial>0) { /* no borrow needed, and non-0 result */
+         if (res!=lhs) decNumberCopy(res, lhs);  /* not in place */
+         *res->lsu=(Unit)partial;
+         /* this could have reduced digits [but result>0] */
+         res->digits=decGetDigits(res->lsu, D2U(res->digits));
+         break;
+         }
+       /* else drop out for careful subtract */
+       }
+      }
+
+    /* Now align (pad) the lhs or rhs so they can be added or */
+    /* subtracted, as necessary.  If one number is much larger than */
+    /* the other (that is, if in plain form there is a least one */
+    /* digit between the lowest digit of one and the highest of the */
+    /* other) padding with up to DIGITS-1 trailing zeros may be */
+    /* needed; then apply rounding (as exotic rounding modes may be */
+    /* affected by the residue). */
+    rhsshift=0;                      /* rhs shift to left (padding) in Units */
+    bits=lhs->bits;          /* assume sign is that of LHS */
+    mult=1;                  /* likely multiplier */
+
+    /* [if padding==0 the operands are aligned; no padding is needed] */
+    if (padding!=0) {
+      /* some padding needed; always pad the RHS, as any required */
+      /* padding can then be effected by a simple combination of */
+      /* shifts and a multiply */
+      Flag swapped=0;
+      if (padding<0) {                 /* LHS needs the padding */
+       const decNumber *t;
+       padding=-padding;               /* will be +ve */
+       bits=(uByte)(rhs->bits^negate); /* assumed sign is now that of RHS */
+       t=lhs; lhs=rhs; rhs=t;
+       swapped=1;
+       }
+
+      /* If, after pad, rhs would be longer than lhs by digits+1 or */
+      /* more then lhs cannot affect the answer, except as a residue, */
+      /* so only need to pad up to a length of DIGITS+1. */
+      if (rhs->digits+padding > lhs->digits+reqdigits+1) {
+       /* The RHS is sufficient */
+       /* for residue use the relative sign indication... */
+       Int shift=reqdigits-rhs->digits;     /* left shift needed */
+       residue=1;                           /* residue for rounding */
+       if (diffsign) residue=-residue;      /* signs differ */
+       /* copy, shortening if necessary */
+       decCopyFit(res, rhs, set, &residue, status);
+       /* if it was already shorter, then need to pad with zeros */
+       if (shift>0) {
+         res->digits=decShiftToMost(res->lsu, res->digits, shift);
+         res->exponent-=shift;              /* adjust the exponent. */
+         }
+       /* flip the result sign if unswapped and rhs was negated */
+       if (!swapped) res->bits^=negate;
+       decFinish(res, set, &residue, status);    /* done */
+       break;}
+
+      /* LHS digits may affect result */
+      rhsshift=D2U(padding+1)-1;       /* this much by Unit shift .. */
+      mult=powers[padding-(rhsshift*DECDPUN)]; /* .. this by multiplication */
+      } /* padding needed */
+
+    if (diffsign) mult=-mult;          /* signs differ */
+
+    /* determine the longer operand */
+    maxdigits=rhs->digits+padding;     /* virtual length of RHS */
+    if (lhs->digits>maxdigits) maxdigits=lhs->digits;
+
+    /* Decide on the result buffer to use; if possible place directly */
+    /* into result. */
+    acc=res->lsu;                      /* assume add direct to result */
+    /* If destructive overlap, or the number is too long, or a carry or */
+    /* borrow to DIGITS+1 might be possible, a buffer must be used. */
+    /* [Might be worth more sophisticated tests when maxdigits==reqdigits] */
+    if ((maxdigits>=reqdigits)         /* is, or could be, too large */
+     || (res==rhs && rhsshift>0)) {    /* destructive overlap */
+      /* buffer needed, choose it; units for maxdigits digits will be */
+      /* needed, +1 Unit for carry or borrow */
+      Int need=D2U(maxdigits)+1;
+      acc=accbuff;                     /* assume use local buffer */
+      if (need*sizeof(Unit)>sizeof(accbuff)) {
+       /* printf("malloc add %ld %ld\n", need, sizeof(accbuff)); */
+       allocacc=(Unit *)malloc(need*sizeof(Unit));
+       if (allocacc==NULL) {           /* hopeless -- abandon */
+         *status|=DEC_Insufficient_storage;
+         break;}
+       acc=allocacc;
+       }
+      }
+
+    res->bits=(uByte)(bits&DECNEG);    /* it's now safe to overwrite.. */
+    res->exponent=lhs->exponent;       /* .. operands (even if aliased) */
+
+    #if DECTRACE
+      decDumpAr('A', lhs->lsu, D2U(lhs->digits));
+      decDumpAr('B', rhs->lsu, D2U(rhs->digits));
+      printf(" :h: %ld %ld\n", rhsshift, mult);
+    #endif
+
+    /* add [A+B*m] or subtract [A+B*(-m)] */
+    res->digits=decUnitAddSub(lhs->lsu, D2U(lhs->digits),
+                             rhs->lsu, D2U(rhs->digits),
+                             rhsshift, acc, mult)
+              *DECDPUN;           /* [units -> digits] */
+    if (res->digits<0) {          /* borrowed... */
+      res->digits=-res->digits;
+      res->bits^=DECNEG;          /* flip the sign */
+      }
+    #if DECTRACE
+      decDumpAr('+', acc, D2U(res->digits));
+    #endif
+
+    /* If a buffer was used the result must be copied back, possibly */
+    /* shortening.  (If no buffer was used then the result must have */
+    /* fit, so can't need rounding and residue must be 0.) */
+    residue=0;                    /* clear accumulator */
+    if (acc!=res->lsu) {
+      #if DECSUBSET
+      if (set->extended) {        /* round from first significant digit */
+      #endif
+       /* remove leading zeros that were added due to rounding up to */
+       /* integral Units -- before the test for rounding. */
+       if (res->digits>reqdigits)
+         res->digits=decGetDigits(acc, D2U(res->digits));
+       decSetCoeff(res, set, acc, res->digits, &residue, status);
+      #if DECSUBSET
+       }
+       else { /* subset arithmetic rounds from original significant digit */
+       /* May have an underestimate.  This only occurs when both */
+       /* numbers fit in DECDPUN digits and are padding with a */
+       /* negative multiple (-10, -100...) and the top digit(s) become */
+       /* 0.  (This only matters when using X3.274 rules where the */
+       /* leading zero could be included in the rounding.) */
+       if (res->digits<maxdigits) {
+         *(acc+D2U(res->digits))=0; /* ensure leading 0 is there */
+         res->digits=maxdigits;
+         }
+        else {
+         /* remove leading zeros that added due to rounding up to */
+         /* integral Units (but only those in excess of the original */
+         /* maxdigits length, unless extended) before test for rounding. */
+         if (res->digits>reqdigits) {
+           res->digits=decGetDigits(acc, D2U(res->digits));
+           if (res->digits<maxdigits) res->digits=maxdigits;
+           }
+         }
+       decSetCoeff(res, set, acc, res->digits, &residue, status);
+       /* Now apply rounding if needed before removing leading zeros. */
+       /* This is safe because subnormals are not a possibility */
+       if (residue!=0) {
+         decApplyRound(res, set, residue, status);
+         residue=0;                 /* did what needed to be done */
+         }
+       } /* subset */
+      #endif
+      } /* used buffer */
+
+    /* strip leading zeros [these were left on in case of subset subtract] */
+    res->digits=decGetDigits(res->lsu, D2U(res->digits));
+
+    /* apply checks and rounding */
+    decFinish(res, set, &residue, status);
+
+    /* "When the sum of two operands with opposite signs is exactly */
+    /* zero, the sign of that sum shall be '+' in all rounding modes */
+    /* except round toward -Infinity, in which mode that sign shall be */
+    /* '-'."  [Subset zeros also never have '-', set by decFinish.] */
+    if (ISZERO(res) && diffsign
+     #if DECSUBSET
+     && set->extended
+     #endif
+     && (*status&DEC_Inexact)==0) {
+      if (set->round==DEC_ROUND_FLOOR) res->bits|=DECNEG;   /* sign - */
+                                 else res->bits&=~DECNEG;  /* sign + */
+      }
+    } while(0);                                     /* end protected */
+
+  if (allocacc!=NULL) free(allocacc);       /* drop any storage used */
+  #if DECSUBSET
+  if (allocrhs!=NULL) free(allocrhs);       /* .. */
+  if (alloclhs!=NULL) free(alloclhs);       /* .. */
+  #endif
+  return res;
+  } /* decAddOp */
+
+/* ------------------------------------------------------------------ */
+/* decDivideOp -- division operation                                 */
+/*                                                                   */
+/*  This routine performs the calculations for all four division      */
+/*  operators (divide, divideInteger, remainder, remainderNear).      */
+/*                                                                   */
+/*  C=A op B                                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X/X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*   op         is DIVIDE, DIVIDEINT, REMAINDER, or REMNEAR respectively.    */
+/*   status is the usual accumulator                                 */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* ------------------------------------------------------------------ */
+/*   The underlying algorithm of this routine is the same as in the   */
+/*   1981 S/370 implementation, that is, non-restoring long division  */
+/*   with bi-unit (rather than bi-digit) estimation for each unit     */
+/*   multiplier.  In this pseudocode overview, complications for the  */
+/*   Remainder operators and division residues for exact rounding are */
+/*   omitted for clarity.                                            */
+/*                                                                   */
+/*     Prepare operands and handle special values                    */
+/*     Test for x/0 and then 0/x                                     */
+/*     Exp =Exp1 - Exp2                                                      */
+/*     Exp =Exp +len(var1) -len(var2)                                */
+/*     Sign=Sign1 * Sign2                                            */
+/*     Pad accumulator (Var1) to double-length with 0's (pad1)       */
+/*     Pad Var2 to same length as Var1                               */
+/*     msu2pair/plus=1st 2 or 1 units of var2, +1 to allow for round  */
+/*     have=0                                                        */
+/*     Do until (have=digits+1 OR residue=0)                         */
+/*      if exp<0 then if integer divide/residue then leave           */
+/*      this_unit=0                                                  */
+/*      Do forever                                                   */
+/*         compare numbers                                           */
+/*         if <0 then leave inner_loop                               */
+/*         if =0 then (* quick exit without subtract *) do           */
+/*            this_unit=this_unit+1; output this_unit                */
+/*            leave outer_loop; end                                  */
+/*         Compare lengths of numbers (mantissae):                   */
+/*         If same then tops2=msu2pair -- {units 1&2 of var2}        */
+/*                 else tops2=msu2plus -- {0, unit 1 of var2}        */
+/*         tops1=first_unit_of_Var1*10**DECDPUN +second_unit_of_var1 */
+/*         mult=tops1/tops2  -- Good and safe guess at divisor       */
+/*         if mult=0 then mult=1                                     */
+/*         this_unit=this_unit+mult                                  */
+/*         subtract                                                  */
+/*         end inner_loop                                            */
+/*       if have\=0 | this_unit\=0 then do                           */
+/*         output this_unit                                          */
+/*         have=have+1; end                                          */
+/*       var2=var2/10                                                */
+/*       exp=exp-1                                                   */
+/*       end outer_loop                                              */
+/*     exp=exp+1   -- set the proper exponent                        */
+/*     if have=0 then generate answer=0                                      */
+/*     Return (Result is defined by Var1)                            */
+/*                                                                   */
+/* ------------------------------------------------------------------ */
+/* Two working buffers are needed during the division; one (digits+   */
+/* 1) to accumulate the result, and the other (up to 2*digits+1) for  */
+/* long subtractions.  These are acc and var1 respectively.          */
+/* var1 is a copy of the lhs coefficient, var2 is the rhs coefficient.*/
+/* The static buffers may be larger than might be expected to allow   */
+/* for calls from higher-level funtions (notable exp).               */
+/* ------------------------------------------------------------------ */
+static decNumber * decDivideOp(decNumber *res,
+                              const decNumber *lhs, const decNumber *rhs,
+                              decContext *set, Flag op, uInt *status) {
+  #if DECSUBSET
+  decNumber *alloclhs=NULL;       /* non-NULL if rounded lhs allocated */
+  decNumber *allocrhs=NULL;       /* .., rhs */
+  #endif
+  Unit accbuff[SD2U(DECBUFFER+DECDPUN+10)]; /* local buffer */
+  Unit *acc=accbuff;              /* -> accumulator array for result */
+  Unit *allocacc=NULL;            /* -> allocated buffer, iff allocated */
+  Unit *accnext;                  /* -> where next digit will go */
+  Int  acclength;                 /* length of acc needed [Units] */
+  Int  accunits;                  /* count of units accumulated */
+  Int  accdigits;                 /* count of digits accumulated */
+
+  Unit varbuff[SD2U(DECBUFFER*2+DECDPUN)*sizeof(Unit)]; /* buffer for var1 */
+  Unit *var1=varbuff;             /* -> var1 array for long subtraction */
+  Unit *varalloc=NULL;            /* -> allocated buffer, iff used */
+  Unit *msu1;                     /* -> msu of var1 */
+
+  const Unit *var2;               /* -> var2 array */
+  const Unit *msu2;               /* -> msu of var2 */
+  Int  msu2plus;                  /* msu2 plus one [does not vary] */
+  eInt msu2pair;                  /* msu2 pair plus one [does not vary] */
+
+  Int  var1units, var2units;      /* actual lengths */
+  Int  var2ulen;                  /* logical length (units) */
+  Int  var1initpad=0;             /* var1 initial padding (digits) */
+  Int  maxdigits;                 /* longest LHS or required acc length */
+  Int  mult;                      /* multiplier for subtraction */
+  Unit thisunit;                  /* current unit being accumulated */
+  Int  residue;                   /* for rounding */
+  Int  reqdigits=set->digits;     /* requested DIGITS */
+  Int  exponent;                  /* working exponent */
+  Int  maxexponent=0;             /* DIVIDE maximum exponent if unrounded */
+  uByte bits;                     /* working sign */
+  Unit *target;                   /* work */
+  const Unit *source;             /* .. */
+  uLong const *pow;                /* .. */
+  Int  shift, cut;                /* .. */
+  #if DECSUBSET
+  Int  dropped;                   /* work */
+  #endif
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operands and set lostDigits status, as needed */
+      if (lhs->digits>reqdigits) {
+       alloclhs=decRoundOperand(lhs, set, status);
+       if (alloclhs==NULL) break;
+       lhs=alloclhs;
+       }
+      if (rhs->digits>reqdigits) {
+       allocrhs=decRoundOperand(rhs, set, status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    bits=(lhs->bits^rhs->bits)&DECNEG; /* assumed sign for divisions */
+
+    /* handle infinities and NaNs */
+    if (SPECIALARGS) {                 /* a special bit set */
+      if (SPECIALARGS & (DECSNAN | DECNAN)) { /* one or two NaNs */
+       decNaNs(res, lhs, rhs, set, status);
+       break;
+       }
+      /* one or two infinities */
+      if (decNumberIsInfinite(lhs)) {  /* LHS (dividend) is infinite */
+       if (decNumberIsInfinite(rhs) || /* two infinities are invalid .. */
+           op & (REMAINDER | REMNEAR)) { /* as is remainder of infinity */
+         *status|=DEC_Invalid_operation;
+         break;
+         }
+       /* [Note that infinity/0 raises no exceptions] */
+       decNumberZero(res);
+       res->bits=bits|DECINF;          /* set +/- infinity */
+       break;
+       }
+       else {                          /* RHS (divisor) is infinite */
+       residue=0;
+       if (op&(REMAINDER|REMNEAR)) {
+         /* result is [finished clone of] lhs */
+         decCopyFit(res, lhs, set, &residue, status);
+         }
+        else {  /* a division */
+         decNumberZero(res);
+         res->bits=bits;               /* set +/- zero */
+         /* for DIVIDEINT the exponent is always 0.  For DIVIDE, result */
+         /* is a 0 with infinitely negative exponent, clamped to minimum */
+         if (op&DIVIDE) {
+           res->exponent=set->emin-set->digits+1;
+           *status|=DEC_Clamped;
+           }
+         }
+       decFinish(res, set, &residue, status);
+       break;
+       }
+      }
+
+    /* handle 0 rhs (x/0) */
+    if (ISZERO(rhs)) {                 /* x/0 is always exceptional */
+      if (ISZERO(lhs)) {
+       decNumberZero(res);             /* [after lhs test] */
+       *status|=DEC_Division_undefined;/* 0/0 will become NaN */
+       }
+       else {
+       decNumberZero(res);
+       if (op&(REMAINDER|REMNEAR)) *status|=DEC_Invalid_operation;
+        else {
+         *status|=DEC_Division_by_zero; /* x/0 */
+         res->bits=bits|DECINF;         /* .. is +/- Infinity */
+         }
+       }
+      break;}
+
+    /* handle 0 lhs (0/x) */
+    if (ISZERO(lhs)) {                 /* 0/x [x!=0] */
+      #if DECSUBSET
+      if (!set->extended) decNumberZero(res);
+       else {
+      #endif
+       if (op&DIVIDE) {
+         residue=0;
+         exponent=lhs->exponent-rhs->exponent; /* ideal exponent */
+         decNumberCopy(res, lhs);      /* [zeros always fit] */
+         res->bits=bits;               /* sign as computed */
+         res->exponent=exponent;       /* exponent, too */
+         decFinalize(res, set, &residue, status);   /* check exponent */
+         }
+        else if (op&DIVIDEINT) {
+         decNumberZero(res);           /* integer 0 */
+         res->bits=bits;               /* sign as computed */
+         }
+        else {                         /* a remainder */
+         exponent=rhs->exponent;       /* [save in case overwrite] */
+         decNumberCopy(res, lhs);      /* [zeros always fit] */
+         if (exponent<res->exponent) res->exponent=exponent; /* use lower */
+         }
+      #if DECSUBSET
+       }
+      #endif
+      break;}
+
+    /* Precalculate exponent.  This starts off adjusted (and hence fits */
+    /* in 31 bits) and becomes the usual unadjusted exponent as the */
+    /* division proceeds.  The order of evaluation is important, here, */
+    /* to avoid wrap. */
+    exponent=(lhs->exponent+lhs->digits)-(rhs->exponent+rhs->digits);
+
+    /* If the working exponent is -ve, then some quick exits are */
+    /* possible because the quotient is known to be <1 */
+    /* [for REMNEAR, it needs to be < -1, as -0.5 could need work] */
+    if (exponent<0 && !(op==DIVIDE)) {
+      if (op&DIVIDEINT) {
+       decNumberZero(res);                  /* integer part is 0 */
+       #if DECSUBSET
+       if (set->extended)
+       #endif
+         res->bits=bits;                    /* set +/- zero */
+       break;}
+      /* fastpath remainders so long as the lhs has the smaller */
+      /* (or equal) exponent */
+      if (lhs->exponent<=rhs->exponent) {
+       if (op&REMAINDER || exponent<-1) {
+         /* It is REMAINDER or safe REMNEAR; result is [finished */
+         /* clone of] lhs  (r = x - 0*y) */
+         residue=0;
+         decCopyFit(res, lhs, set, &residue, status);
+         decFinish(res, set, &residue, status);
+         break;
+         }
+       /* [unsafe REMNEAR drops through] */
+       }
+      } /* fastpaths */
+
+    /* Long (slow) division is needed; roll up the sleeves... */
+
+    /* The accumulator will hold the quotient of the division. */
+    /* If it needs to be too long for stack storage, then allocate. */
+    acclength=D2U(reqdigits+DECDPUN);  /* in Units */
+    if (acclength*sizeof(Unit)>sizeof(accbuff)) {
+      /* printf("malloc dvacc %ld units\n", acclength); */
+      allocacc=(Unit *)malloc(acclength*sizeof(Unit));
+      if (allocacc==NULL) {            /* hopeless -- abandon */
+       *status|=DEC_Insufficient_storage;
+       break;}
+      acc=allocacc;                    /* use the allocated space */
+      }
+
+    /* var1 is the padded LHS ready for subtractions. */
+    /* If it needs to be too long for stack storage, then allocate. */
+    /* The maximum units needed for var1 (long subtraction) is: */
+    /* Enough for */
+    /*    (rhs->digits+reqdigits-1) -- to allow full slide to right */
+    /* or  (lhs->digits)            -- to allow for long lhs */
+    /* whichever is larger */
+    /*  +1                -- for rounding of slide to right */
+    /*  +1                -- for leading 0s */
+    /*  +1                -- for pre-adjust if a remainder or DIVIDEINT */
+    /* [Note: unused units do not participate in decUnitAddSub data] */
+    maxdigits=rhs->digits+reqdigits-1;
+    if (lhs->digits>maxdigits) maxdigits=lhs->digits;
+    var1units=D2U(maxdigits)+2;
+    /* allocate a guard unit above msu1 for REMAINDERNEAR */
+    if (!(op&DIVIDE)) var1units++;
+    if ((var1units+1)*sizeof(Unit)>sizeof(varbuff)) {
+      /* printf("malloc dvvar %ld units\n", var1units+1); */
+      varalloc=(Unit *)malloc((var1units+1)*sizeof(Unit));
+      if (varalloc==NULL) {            /* hopeless -- abandon */
+       *status|=DEC_Insufficient_storage;
+       break;}
+      var1=varalloc;                   /* use the allocated space */
+      }
+
+    /* Extend the lhs and rhs to full long subtraction length. The lhs */
+    /* is truly extended into the var1 buffer, with 0 padding, so a */
+    /* subtract in place is always possible.  The rhs (var2) has */
+    /* virtual padding (implemented by decUnitAddSub). */
+    /* One guard unit was allocated above msu1 for rem=rem+rem in */
+    /* REMAINDERNEAR. */
+    msu1=var1+var1units-1;             /* msu of var1 */
+    source=lhs->lsu+D2U(lhs->digits)-1; /* msu of input array */
+    for (target=msu1; source>=lhs->lsu; source--, target--) *target=*source;
+    for (; target>=var1; target--) *target=0;
+
+    /* rhs (var2) is left-aligned with var1 at the start */
+    var2ulen=var1units;                        /* rhs logical length (units) */
+    var2units=D2U(rhs->digits);                /* rhs actual length (units) */
+    var2=rhs->lsu;                     /* -> rhs array */
+    msu2=var2+var2units-1;             /* -> msu of var2 [never changes] */
+    /* now set up the variables which will be used for estimating the */
+    /* multiplication factor.  If these variables are not exact, add */
+    /* 1 to make sure that the multiplier is never overestimated. */
+    msu2plus=*msu2;                    /* it's value .. */
+    if (var2units>1) msu2plus++;       /* .. +1 if any more */
+    msu2pair=(eInt)*msu2*(DECDPUNMAX+1);/* top two pair .. */
+    if (var2units>1) {                 /* .. [else treat 2nd as 0] */
+      msu2pair+=*(msu2-1);             /* .. */
+      if (var2units>2) msu2pair++;     /* .. +1 if any more */
+      }
+
+    /* The calculation is working in units, which may have leading zeros, */
+    /* but the exponent was calculated on the assumption that they are */
+    /* both left-aligned.  Adjust the exponent to compensate: add the */
+    /* number of leading zeros in var1 msu and subtract those in var2 msu. */
+    /* [This is actually done by counting the digits and negating, as */
+    /* lead1=DECDPUN-digits1, and similarly for lead2.] */
+    for (pow=&powers[1]; *msu1>=*pow; pow++) exponent--;
+    for (pow=&powers[1]; *msu2>=*pow; pow++) exponent++;
+
+    /* Now, if doing an integer divide or remainder, ensure that */
+    /* the result will be Unit-aligned.         To do this, shift the var1 */
+    /* accumulator towards least if need be.  (It's much easier to */
+    /* do this now than to reassemble the residue afterwards, if */
+    /* doing a remainder.)  Also ensure the exponent is not negative. */
+    if (!(op&DIVIDE)) {
+      Unit *u;                         /* work */
+      /* save the initial 'false' padding of var1, in digits */
+      var1initpad=(var1units-D2U(lhs->digits))*DECDPUN;
+      /* Determine the shift to do. */
+      if (exponent<0) cut=-exponent;
+       else cut=DECDPUN-exponent%DECDPUN;
+      decShiftToLeast(var1, var1units, cut);
+      exponent+=cut;                   /* maintain numerical value */
+      var1initpad-=cut;                        /* .. and reduce padding */
+      /* clean any most-significant units which were just emptied */
+      for (u=msu1; cut>=DECDPUN; cut-=DECDPUN, u--) *u=0;
+      } /* align */
+     else { /* is DIVIDE */
+      maxexponent=lhs->exponent-rhs->exponent;   /* save */
+      /* optimization: if the first iteration will just produce 0, */
+      /* preadjust to skip it [valid for DIVIDE only] */
+      if (*msu1<*msu2) {
+       var2ulen--;                     /* shift down */
+       exponent-=DECDPUN;              /* update the exponent */
+       }
+      }
+
+    /* ---- start the long-division loops ------------------------------ */
+    accunits=0;                                /* no units accumulated yet */
+    accdigits=0;                       /* .. or digits */
+    accnext=acc+acclength-1;           /* -> msu of acc [NB: allows digits+1] */
+    for (;;) {                         /* outer forever loop */
+      thisunit=0;                      /* current unit assumed 0 */
+      /* find the next unit */
+      for (;;) {                       /* inner forever loop */
+       /* strip leading zero units [from either pre-adjust or from */
+       /* subtract last time around].  Leave at least one unit. */
+       for (; *msu1==0 && msu1>var1; msu1--) var1units--;
+
+       if (var1units<var2ulen) break;       /* var1 too low for subtract */
+       if (var1units==var2ulen) {           /* unit-by-unit compare needed */
+         /* compare the two numbers, from msu */
+         const Unit *pv1, *pv2;
+         Unit v2;                           /* units to compare */
+         pv2=msu2;                          /* -> msu */
+         for (pv1=msu1; ; pv1--, pv2--) {
+           /* v1=*pv1 -- always OK */
+           v2=0;                            /* assume in padding */
+           if (pv2>=var2) v2=*pv2;          /* in range */
+           if (*pv1!=v2) break;             /* no longer the same */
+           if (pv1==var1) break;            /* done; leave pv1 as is */
+           }
+         /* here when all inspected or a difference seen */
+         if (*pv1<v2) break;                /* var1 too low to subtract */
+         if (*pv1==v2) {                    /* var1 == var2 */
+           /* reach here if var1 and var2 are identical; subtraction */
+           /* would increase digit by one, and the residue will be 0 so */
+           /* the calculation is done; leave the loop with residue=0. */
+           thisunit++;                      /* as though subtracted */
+           *var1=0;                         /* set var1 to 0 */
+           var1units=1;                     /* .. */
+           break;  /* from inner */
+           } /* var1 == var2 */
+         /* *pv1>v2.  Prepare for real subtraction; the lengths are equal */
+         /* Estimate the multiplier (there's always a msu1-1)... */
+         /* Bring in two units of var2 to provide a good estimate. */
+         mult=(Int)(((eInt)*msu1*(DECDPUNMAX+1)+*(msu1-1))/msu2pair);
+         } /* lengths the same */
+        else { /* var1units > var2ulen, so subtraction is safe */
+         /* The var2 msu is one unit towards the lsu of the var1 msu, */
+         /* so only one unit for var2 can be used. */
+         mult=(Int)(((eInt)*msu1*(DECDPUNMAX+1)+*(msu1-1))/msu2plus);
+         }
+       if (mult==0) mult=1;                 /* must always be at least 1 */
+       /* subtraction needed; var1 is > var2 */
+       thisunit=(Unit)(thisunit+mult);      /* accumulate */
+       /* subtract var1-var2, into var1; only the overlap needs */
+       /* processing, as this is an in-place calculation */
+       shift=var2ulen-var2units;
+       #if DECTRACE
+         decDumpAr('1', &var1[shift], var1units-shift);
+         decDumpAr('2', var2, var2units);
+         printf("m=%ld\n", -mult);
+       #endif
+       decUnitAddSub(&var1[shift], var1units-shift,
+                     var2, var2units, 0,
+                     &var1[shift], -mult);
+       #if DECTRACE
+         decDumpAr('#', &var1[shift], var1units-shift);
+       #endif
+       /* var1 now probably has leading zeros; these are removed at the */
+       /* top of the inner loop. */
+       } /* inner loop */
+
+      /* The next unit has been calculated in full; unless it's a */
+      /* leading zero, add to acc */
+      if (accunits!=0 || thisunit!=0) {             /* is first or non-zero */
+       *accnext=thisunit;                   /* store in accumulator */
+       /* account exactly for the new digits */
+       if (accunits==0) {
+         accdigits++;                       /* at least one */
+         for (pow=&powers[1]; thisunit>=*pow; pow++) accdigits++;
+         }
+        else accdigits+=DECDPUN;
+       accunits++;                          /* update count */
+       accnext--;                           /* ready for next */
+       if (accdigits>reqdigits) break;      /* have enough digits */
+       }
+
+      /* if the residue is zero, the operation is done (unless divide */
+      /* or divideInteger and still not enough digits yet) */
+      if (*var1==0 && var1units==1) {       /* residue is 0 */
+       if (op&(REMAINDER|REMNEAR)) break;
+       if ((op&DIVIDE) && (exponent<=maxexponent)) break;
+       /* [drop through if divideInteger] */
+       }
+      /* also done enough if calculating remainder or integer */
+      /* divide and just did the last ('units') unit */
+      if (exponent==0 && !(op&DIVIDE)) break;
+
+      /* to get here, var1 is less than var2, so divide var2 by the per- */
+      /* Unit power of ten and go for the next digit */
+      var2ulen--;                           /* shift down */
+      exponent-=DECDPUN;                    /* update the exponent */
+      } /* outer loop */
+
+    /* ---- division is complete --------------------------------------- */
+    /* here: acc      has at least reqdigits+1 of good results (or fewer */
+    /*               if early stop), starting at accnext+1 (its lsu) */
+    /*      var1     has any residue at the stopping point */
+    /*      accunits is the number of digits collected in acc */
+    if (accunits==0) {            /* acc is 0 */
+      accunits=1;                 /* show have a unit .. */
+      accdigits=1;                /* .. */
+      *accnext=0;                 /* .. whose value is 0 */
+      }
+     else accnext++;              /* back to last placed */
+    /* accnext now -> lowest unit of result */
+
+    residue=0;                    /* assume no residue */
+    if (op&DIVIDE) {
+      /* record the presence of any residue, for rounding */
+      if (*var1!=0 || var1units>1) residue=1;
+       else { /* no residue */
+       /* Had an exact division; clean up spurious trailing 0s. */
+       /* There will be at most DECDPUN-1, from the final multiply, */
+       /* and then only if the result is non-0 (and even) and the */
+       /* exponent is 'loose'. */
+       #if DECDPUN>1
+       Unit lsu=*accnext;
+       if (!(lsu&0x01) && (lsu!=0)) {
+         /* count the trailing zeros */
+         Int drop=0;
+         for (;; drop++) {    /* [will terminate because lsu!=0] */
+           if (exponent>=maxexponent) break;     /* don't chop real 0s */
+           #if DECDPUN<=4
+             if ((lsu-QUOT10(lsu, drop+1)
+                 *powers[drop+1])!=0) break;     /* found non-0 digit */
+           #else
+             if (lsu%powers[drop+1]!=0) break;   /* found non-0 digit */
+           #endif
+           exponent++;
+           }
+         if (drop>0) {
+           accunits=decShiftToLeast(accnext, accunits, drop);
+           accdigits=decGetDigits(accnext, accunits);
+           accunits=D2U(accdigits);
+           /* [exponent was adjusted in the loop] */
+           }
+         } /* neither odd nor 0 */
+       #endif
+       } /* exact divide */
+      } /* divide */
+     else /* op!=DIVIDE */ {
+      /* check for coefficient overflow */
+      if (accdigits+exponent>reqdigits) {
+       *status|=DEC_Division_impossible;
+       break;
+       }
+      if (op & (REMAINDER|REMNEAR)) {
+       /* [Here, the exponent will be 0, because var1 was adjusted */
+       /* appropriately.] */
+       Int postshift;                       /* work */
+       Flag wasodd=0;                       /* integer was odd */
+       Unit *quotlsu;                       /* for save */
+       Int  quotdigits;                     /* .. */
+
+       bits=lhs->bits;                      /* remainder sign is always as lhs */
+
+       /* Fastpath when residue is truly 0 is worthwhile [and */
+       /* simplifies the code below] */
+       if (*var1==0 && var1units==1) {      /* residue is 0 */
+         Int exp=lhs->exponent;             /* save min(exponents) */
+         if (rhs->exponent<exp) exp=rhs->exponent;
+         decNumberZero(res);                /* 0 coefficient */
+         #if DECSUBSET
+         if (set->extended)
+         #endif
+         res->exponent=exp;                 /* .. with proper exponent */
+         res->bits=(uByte)(bits&DECNEG);          /* [cleaned] */
+         decFinish(res, set, &residue, status);   /* might clamp */
+         break;
+         }
+       /* note if the quotient was odd */
+       if (*accnext & 0x01) wasodd=1;       /* acc is odd */
+       quotlsu=accnext;                     /* save in case need to reinspect */
+       quotdigits=accdigits;                /* .. */
+
+       /* treat the residue, in var1, as the value to return, via acc */
+       /* calculate the unused zero digits.  This is the smaller of: */
+       /*   var1 initial padding (saved above) */
+       /*   var2 residual padding, which happens to be given by: */
+       postshift=var1initpad+exponent-lhs->exponent+rhs->exponent;
+       /* [the 'exponent' term accounts for the shifts during divide] */
+       if (var1initpad<postshift) postshift=var1initpad;
+
+       /* shift var1 the requested amount, and adjust its digits */
+       var1units=decShiftToLeast(var1, var1units, postshift);
+       accnext=var1;
+       accdigits=decGetDigits(var1, var1units);
+       accunits=D2U(accdigits);
+
+       exponent=lhs->exponent;         /* exponent is smaller of lhs & rhs */
+       if (rhs->exponent<exponent) exponent=rhs->exponent;
+
+       /* Now correct the result if doing remainderNear; if it */
+       /* (looking just at coefficients) is > rhs/2, or == rhs/2 and */
+       /* the integer was odd then the result should be rem-rhs. */
+       if (op&REMNEAR) {
+         Int compare, tarunits;        /* work */
+         Unit *up;                     /* .. */
+         /* calculate remainder*2 into the var1 buffer (which has */
+         /* 'headroom' of an extra unit and hence enough space) */
+         /* [a dedicated 'double' loop would be faster, here] */
+         tarunits=decUnitAddSub(accnext, accunits, accnext, accunits,
+                                0, accnext, 1);
+         /* decDumpAr('r', accnext, tarunits); */
+
+         /* Here, accnext (var1) holds tarunits Units with twice the */
+         /* remainder's coefficient, which must now be compared to the */
+         /* RHS.  The remainder's exponent may be smaller than the RHS's. */
+         compare=decUnitCompare(accnext, tarunits, rhs->lsu, D2U(rhs->digits),
+                                rhs->exponent-exponent);
+         if (compare==BADINT) {             /* deep trouble */
+           *status|=DEC_Insufficient_storage;
+           break;}
+
+         /* now restore the remainder by dividing by two; the lsu */
+         /* is known to be even. */
+         for (up=accnext; up<accnext+tarunits; up++) {
+           Int half;              /* half to add to lower unit */
+           half=*up & 0x01;
+           *up/=2;                /* [shift] */
+           if (!half) continue;
+           *(up-1)+=(DECDPUNMAX+1)/2;
+           }
+         /* [accunits still describes the original remainder length] */
+
+         if (compare>0 || (compare==0 && wasodd)) { /* adjustment needed */
+           Int exp, expunits, exprem;       /* work */
+           /* This is effectively causing round-up of the quotient, */
+           /* so if it was the rare case where it was full and all */
+           /* nines, it would overflow and hence division-impossible */
+           /* should be raised */
+           Flag allnines=0;                 /* 1 if quotient all nines */
+           if (quotdigits==reqdigits) {     /* could be borderline */
+             for (up=quotlsu; ; up++) {
+               if (quotdigits>DECDPUN) {
+                 if (*up!=DECDPUNMAX) break;/* non-nines */
+                 }
+                else {                      /* this is the last Unit */
+                 if (*up==powers[quotdigits]-1) allnines=1;
+                 break;
+                 }
+               quotdigits-=DECDPUN;         /* checked those digits */
+               } /* up */
+             } /* borderline check */
+           if (allnines) {
+             *status|=DEC_Division_impossible;
+             break;}
+
+           /* rem-rhs is needed; the sign will invert.  Again, var1 */
+           /* can safely be used for the working Units array. */
+           exp=rhs->exponent-exponent;      /* RHS padding needed */
+           /* Calculate units and remainder from exponent. */
+           expunits=exp/DECDPUN;
+           exprem=exp%DECDPUN;
+           /* subtract [A+B*(-m)]; the result will always be negative */
+           accunits=-decUnitAddSub(accnext, accunits,
+                                   rhs->lsu, D2U(rhs->digits),
+                                   expunits, accnext, -(Int)powers[exprem]);
+           accdigits=decGetDigits(accnext, accunits); /* count digits exactly */
+           accunits=D2U(accdigits);    /* and recalculate the units for copy */
+           /* [exponent is as for original remainder] */
+           bits^=DECNEG;               /* flip the sign */
+           }
+         } /* REMNEAR */
+       } /* REMAINDER or REMNEAR */
+      } /* not DIVIDE */
+
+    /* Set exponent and bits */
+    res->exponent=exponent;
+    res->bits=(uByte)(bits&DECNEG);         /* [cleaned] */
+
+    /* Now the coefficient. */
+    decSetCoeff(res, set, accnext, accdigits, &residue, status);
+
+    decFinish(res, set, &residue, status);   /* final cleanup */
+
+    #if DECSUBSET
+    /* If a divide then strip trailing zeros if subset [after round] */
+    if (!set->extended && (op==DIVIDE)) decTrim(res, set, 0, &dropped);
+    #endif
+    } while(0);                                     /* end protected */
+
+  if (varalloc!=NULL) free(varalloc);  /* drop any storage used */
+  if (allocacc!=NULL) free(allocacc);  /* .. */
+  #if DECSUBSET
+  if (allocrhs!=NULL) free(allocrhs);  /* .. */
+  if (alloclhs!=NULL) free(alloclhs);  /* .. */
+  #endif
+  return res;
+  } /* decDivideOp */
+
+/* ------------------------------------------------------------------ */
+/* decMultiplyOp -- multiplication operation                         */
+/*                                                                   */
+/*  This routine performs the multiplication C=A x B.                */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X*X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*   status is the usual accumulator                                 */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* ------------------------------------------------------------------ */
+/* 'Classic' multiplication is used rather than Karatsuba, as the     */
+/* latter would give only a minor improvement for the short numbers   */
+/* expected to be handled most (and uses much more memory).          */
+/*                                                                   */
+/* There are two major paths here: the general-purpose ('old code')   */
+/* path which handles all DECDPUN values, and a fastpath version      */
+/* which is used if 64-bit ints are available, DECDPUN<=4, and more   */
+/* than two calls to decUnitAddSub would be made.                    */
+/*                                                                   */
+/* The fastpath version lumps units together into 8-digit or 9-digit  */
+/* chunks, and also uses a lazy carry strategy to minimise expensive  */
+/* 64-bit divisions.  The chunks are then broken apart again into     */
+/* units for continuing processing.  Despite this overhead, the              */
+/* fastpath can speed up some 16-digit operations by 10x (and much    */
+/* more for higher-precision calculations).                          */
+/*                                                                   */
+/* A buffer always has to be used for the accumulator; in the        */
+/* fastpath, buffers are also always needed for the chunked copies of */
+/* of the operand coefficients.                                              */
+/* Static buffers are larger than needed just for multiply, to allow  */
+/* for calls from other operations (notably exp).                    */
+/* ------------------------------------------------------------------ */
+#define FASTMUL (DECUSE64 && DECDPUN<5)
+static decNumber * decMultiplyOp(decNumber *res, const decNumber *lhs,
+                                const decNumber *rhs, decContext *set,
+                                uInt *status) {
+  Int   accunits;                 /* Units of accumulator in use */
+  Int   exponent;                 /* work */
+  Int   residue=0;                /* rounding residue */
+  uByte         bits;                     /* result sign */
+  Unit *acc;                      /* -> accumulator Unit array */
+  Int   needbytes;                /* size calculator */
+  void *allocacc=NULL;            /* -> allocated accumulator, iff allocated */
+  Unit accbuff[SD2U(DECBUFFER*4+1)]; /* buffer (+1 for DECBUFFER==0, */
+                                  /* *4 for calls from other operations) */
+  const Unit *mer, *mermsup;      /* work */
+  Int  madlength;                 /* Units in multiplicand */
+  Int  shift;                     /* Units to shift multiplicand by */
+
+  #if FASTMUL
+    /* if DECDPUN is 1 or 3 work in base 10**9, otherwise */
+    /* (DECDPUN is 2 or 4) then work in base 10**8 */
+    #if DECDPUN & 1               /* odd */
+      #define FASTBASE 1000000000  /* base */
+      #define FASTDIGS         9  /* digits in base */
+      #define FASTLAZY        18  /* carry resolution point [1->18] */
+    #else
+      #define FASTBASE 100000000
+      #define FASTDIGS         8
+      #define FASTLAZY      1844  /* carry resolution point [1->1844] */
+    #endif
+    /* three buffers are used, two for chunked copies of the operands */
+    /* (base 10**8 or base 10**9) and one base 2**64 accumulator with */
+    /* lazy carry evaluation */
+    uInt   zlhibuff[(DECBUFFER*2+1)/8+1]; /* buffer (+1 for DECBUFFER==0) */
+    uInt  *zlhi=zlhibuff;                /* -> lhs array */
+    uInt  *alloclhi=NULL;                /* -> allocated buffer, iff allocated */
+    uInt   zrhibuff[(DECBUFFER*2+1)/8+1]; /* buffer (+1 for DECBUFFER==0) */
+    uInt  *zrhi=zrhibuff;                /* -> rhs array */
+    uInt  *allocrhi=NULL;                /* -> allocated buffer, iff allocated */
+    uLong  zaccbuff[(DECBUFFER*2+1)/4+2]; /* buffer (+1 for DECBUFFER==0) */
+    /* [allocacc is shared for both paths, as only one will run] */
+    uLong *zacc=zaccbuff;         /* -> accumulator array for exact result */
+    #if DECDPUN==1
+    Int           zoff;                   /* accumulator offset */
+    #endif
+    uInt  *lip, *rip;             /* item pointers */
+    uInt  *lmsi, *rmsi;                   /* most significant items */
+    Int           ilhs, irhs, iacc;       /* item counts in the arrays */
+    Int           lazy;                   /* lazy carry counter */
+    uLong  lcarry;                /* uLong carry */
+    uInt   carry;                 /* carry (NB not uLong) */
+    Int           count;                  /* work */
+    const  Unit *cup;             /* .. */
+    Unit  *up;                    /* .. */
+    uLong *lp;                    /* .. */
+    Int           p;                      /* .. */
+  #endif
+
+  #if DECSUBSET
+    decNumber *alloclhs=NULL;     /* -> allocated buffer, iff allocated */
+    decNumber *allocrhs=NULL;     /* -> allocated buffer, iff allocated */
+  #endif
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  /* precalculate result sign */
+  bits=(uByte)((lhs->bits^rhs->bits)&DECNEG);
+
+  /* handle infinities and NaNs */
+  if (SPECIALARGS) {              /* a special bit set */
+    if (SPECIALARGS & (DECSNAN | DECNAN)) { /* one or two NaNs */
+      decNaNs(res, lhs, rhs, set, status);
+      return res;}
+    /* one or two infinities; Infinity * 0 is invalid */
+    if (((lhs->bits & DECINF)==0 && ISZERO(lhs))
+      ||((rhs->bits & DECINF)==0 && ISZERO(rhs))) {
+      *status|=DEC_Invalid_operation;
+      return res;}
+    decNumberZero(res);
+    res->bits=bits|DECINF;        /* infinity */
+    return res;}
+
+  /* For best speed, as in DMSRCN [the original Rexx numerics */
+  /* module], use the shorter number as the multiplier (rhs) and */
+  /* the longer as the multiplicand (lhs) to minimise the number of */
+  /* adds (partial products) */
+  if (lhs->digits<rhs->digits) {   /* swap... */
+    const decNumber *hold=lhs;
+    lhs=rhs;
+    rhs=hold;
+    }
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operands and set lostDigits status, as needed */
+      if (lhs->digits>set->digits) {
+       alloclhs=decRoundOperand(lhs, set, status);
+       if (alloclhs==NULL) break;
+       lhs=alloclhs;
+       }
+      if (rhs->digits>set->digits) {
+       allocrhs=decRoundOperand(rhs, set, status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    #if FASTMUL                           /* fastpath can be used */
+    /* use the fast path if there are enough digits in the shorter */
+    /* operand to make the setup and takedown worthwhile */
+    #define NEEDTWO (DECDPUN*2)           /* within two decUnitAddSub calls */
+    if (rhs->digits>NEEDTWO) {    /* use fastpath... */
+      /* calculate the number of elements in each array */
+      ilhs=(lhs->digits+FASTDIGS-1)/FASTDIGS; /* [ceiling] */
+      irhs=(rhs->digits+FASTDIGS-1)/FASTDIGS; /* .. */
+      iacc=ilhs+irhs;
+
+      /* allocate buffers if required, as usual */
+      needbytes=ilhs*sizeof(uInt);
+      if (needbytes>(Int)sizeof(zlhibuff)) {
+       alloclhi=(uInt *)malloc(needbytes);
+       zlhi=alloclhi;}
+      needbytes=irhs*sizeof(uInt);
+      if (needbytes>(Int)sizeof(zrhibuff)) {
+       allocrhi=(uInt *)malloc(needbytes);
+       zrhi=allocrhi;}
+
+      /* Allocating the accumulator space needs a special case when */
+      /* DECDPUN=1 because when converting the accumulator to Units */
+      /* after the multiplication each 8-byte item becomes 9 1-byte */
+      /* units.         Therefore iacc extra bytes are needed at the front */
+      /* (rounded up to a multiple of 8 bytes), and the uLong */
+      /* accumulator starts offset the appropriate number of units */
+      /* to the right to avoid overwrite during the unchunking. */
+      needbytes=iacc*sizeof(uLong);
+      #if DECDPUN==1
+      zoff=(iacc+7)/8;       /* items to offset by */
+      needbytes+=zoff*8;
+      #endif
+      if (needbytes>(Int)sizeof(zaccbuff)) {
+       allocacc=(uLong *)malloc(needbytes);
+       zacc=(uLong *)allocacc;}
+      if (zlhi==NULL||zrhi==NULL||zacc==NULL) {
+       *status|=DEC_Insufficient_storage;
+       break;}
+
+      acc=(Unit *)zacc;              /* -> target Unit array */
+      #if DECDPUN==1
+      zacc+=zoff;            /* start uLong accumulator to right */
+      #endif
+
+      /* assemble the chunked copies of the left and right sides */
+      for (count=lhs->digits, cup=lhs->lsu, lip=zlhi; count>0; lip++)
+       for (p=0, *lip=0; p<FASTDIGS && count>0;
+            p+=DECDPUN, cup++, count-=DECDPUN)
+         *lip+=*cup*powers[p];
+      lmsi=lip-1;     /* save -> msi */
+      for (count=rhs->digits, cup=rhs->lsu, rip=zrhi; count>0; rip++)
+       for (p=0, *rip=0; p<FASTDIGS && count>0;
+            p+=DECDPUN, cup++, count-=DECDPUN)
+         *rip+=*cup*powers[p];
+      rmsi=rip-1;     /* save -> msi */
+
+      /* zero the accumulator */
+      for (lp=zacc; lp<zacc+iacc; lp++) *lp=0;
+
+      /* Start the multiplication */
+      /* Resolving carries can dominate the cost of accumulating the */
+      /* partial products, so this is only done when necessary. */
+      /* Each uLong item in the accumulator can hold values up to */
+      /* 2**64-1, and each partial product can be as large as */
+      /* (10**FASTDIGS-1)**2.  When FASTDIGS=9, this can be added to */
+      /* itself 18.4 times in a uLong without overflowing, so during */
+      /* the main calculation resolution is carried out every 18th */
+      /* add -- every 162 digits.  Similarly, when FASTDIGS=8, the */
+      /* partial products can be added to themselves 1844.6 times in */
+      /* a uLong without overflowing, so intermediate carry */
+      /* resolution occurs only every 14752 digits.  Hence for common */
+      /* short numbers usually only the one final carry resolution */
+      /* occurs. */
+      /* (The count is set via FASTLAZY to simplify experiments to */
+      /* measure the value of this approach: a 35% improvement on a */
+      /* [34x34] multiply.) */
+      lazy=FASTLAZY;                        /* carry delay count */
+      for (rip=zrhi; rip<=rmsi; rip++) {     /* over each item in rhs */
+       lp=zacc+(rip-zrhi);                  /* where to add the lhs */
+       for (lip=zlhi; lip<=lmsi; lip++, lp++) { /* over each item in lhs */
+         *lp+=(uLong)(*lip)*(*rip);         /* [this should in-line] */
+         } /* lip loop */
+       lazy--;
+       if (lazy>0 && rip!=rmsi) continue;
+       lazy=FASTLAZY;                       /* reset delay count */
+       /* spin up the accumulator resolving overflows */
+       for (lp=zacc; lp<zacc+iacc; lp++) {
+         if (*lp<FASTBASE) continue;        /* it fits */
+         lcarry=*lp/FASTBASE;               /* top part [slow divide] */
+         /* lcarry can exceed 2**32-1, so check again; this check */
+         /* and occasional extra divide (slow) is well worth it, as */
+         /* it allows FASTLAZY to be increased to 18 rather than 4 */
+         /* in the FASTDIGS=9 case */
+         if (lcarry<FASTBASE) carry=(uInt)lcarry;  /* [usual] */
+          else { /* two-place carry [fairly rare] */
+           uInt carry2=(uInt)(lcarry/FASTBASE);    /* top top part */
+           *(lp+2)+=carry2;                        /* add to item+2 */
+           *lp-=((uLong)FASTBASE*FASTBASE*carry2); /* [slow] */
+           carry=(uInt)(lcarry-((uLong)FASTBASE*carry2)); /* [inline] */
+           }
+         *(lp+1)+=carry;                    /* add to item above [inline] */
+         *lp-=((uLong)FASTBASE*carry);      /* [inline] */
+         } /* carry resolution */
+       } /* rip loop */
+
+      /* The multiplication is complete; time to convert back into */
+      /* units.         This can be done in-place in the accumulator and in */
+      /* 32-bit operations, because carries were resolved after the */
+      /* final add.  This needs N-1 divides and multiplies for */
+      /* each item in the accumulator (which will become up to N */
+      /* units, where 2<=N<=9). */
+      for (lp=zacc, up=acc; lp<zacc+iacc; lp++) {
+       uInt item=(uInt)*lp;                 /* decapitate to uInt */
+       for (p=0; p<FASTDIGS-DECDPUN; p+=DECDPUN, up++) {
+         uInt part=item/(DECDPUNMAX+1);
+         *up=(Unit)(item-(part*(DECDPUNMAX+1)));
+         item=part;
+         } /* p */
+       *up=(Unit)item; up++;                /* [final needs no division] */
+       } /* lp */
+      accunits=up-acc;                      /* count of units */
+      }
+     else { /* here to use units directly, without chunking ['old code'] */
+    #endif
+
+      /* if accumulator will be too long for local storage, then allocate */
+      acc=accbuff;                /* -> assume buffer for accumulator */
+      needbytes=(D2U(lhs->digits)+D2U(rhs->digits))*sizeof(Unit);
+      if (needbytes>(Int)sizeof(accbuff)) {
+       allocacc=(Unit *)malloc(needbytes);
+       if (allocacc==NULL) {*status|=DEC_Insufficient_storage; break;}
+       acc=(Unit *)allocacc;                /* use the allocated space */
+       }
+
+      /* Now the main long multiplication loop */
+      /* Unlike the equivalent in the IBM Java implementation, there */
+      /* is no advantage in calculating from msu to lsu.  So, do it */
+      /* by the book, as it were. */
+      /* Each iteration calculates ACC=ACC+MULTAND*MULT */
+      accunits=1;                 /* accumulator starts at '0' */
+      *acc=0;                     /* .. (lsu=0) */
+      shift=0;                    /* no multiplicand shift at first */
+      madlength=D2U(lhs->digits);  /* this won't change */
+      mermsup=rhs->lsu+D2U(rhs->digits); /* -> msu+1 of multiplier */
+
+      for (mer=rhs->lsu; mer<mermsup; mer++) {
+       /* Here, *mer is the next Unit in the multiplier to use */
+       /* If non-zero [optimization] add it... */
+       if (*mer!=0) accunits=decUnitAddSub(&acc[shift], accunits-shift,
+                                           lhs->lsu, madlength, 0,
+                                           &acc[shift], *mer)
+                                           + shift;
+        else { /* extend acc with a 0; it will be used shortly */
+         *(acc+accunits)=0;       /* [this avoids length of <=0 later] */
+         accunits++;
+         }
+       /* multiply multiplicand by 10**DECDPUN for next Unit to left */
+       shift++;                   /* add this for 'logical length' */
+       } /* n */
+    #if FASTMUL
+      } /* unchunked units */
+    #endif
+    /* common end-path */
+    #if DECTRACE
+      decDumpAr('*', acc, accunits);        /* Show exact result */
+    #endif
+
+    /* acc now contains the exact result of the multiplication, */
+    /* possibly with a leading zero unit; build the decNumber from */
+    /* it, noting if any residue */
+    res->bits=bits;                         /* set sign */
+    res->digits=decGetDigits(acc, accunits); /* count digits exactly */
+
+    /* There can be a 31-bit wrap in calculating the exponent. */
+    /* This can only happen if both input exponents are negative and */
+    /* both their magnitudes are large.         If there was a wrap, set a */
+    /* safe very negative exponent, from which decFinalize() will */
+    /* raise a hard underflow shortly. */
+    exponent=lhs->exponent+rhs->exponent;    /* calculate exponent */
+    if (lhs->exponent<0 && rhs->exponent<0 && exponent>0)
+      exponent=-2*DECNUMMAXE;               /* force underflow */
+    res->exponent=exponent;                 /* OK to overwrite now */
+
+
+    /* Set the coefficient.  If any rounding, residue records */
+    decSetCoeff(res, set, acc, res->digits, &residue, status);
+    decFinish(res, set, &residue, status);   /* final cleanup */
+    } while(0);                                /* end protected */
+
+  if (allocacc!=NULL) free(allocacc);  /* drop any storage used */
+  #if DECSUBSET
+  if (allocrhs!=NULL) free(allocrhs);  /* .. */
+  if (alloclhs!=NULL) free(alloclhs);  /* .. */
+  #endif
+  #if FASTMUL
+  if (allocrhi!=NULL) free(allocrhi);  /* .. */
+  if (alloclhi!=NULL) free(alloclhi);  /* .. */
+  #endif
+  return res;
+  } /* decMultiplyOp */
+
+/* ------------------------------------------------------------------ */
+/* decExpOp -- effect exponentiation                                 */
+/*                                                                   */
+/*   This computes C = exp(A)                                        */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context; note that rounding mode has no effect       */
+/*                                                                   */
+/* C must have space for set->digits digits. status is updated but    */
+/* not set.                                                          */
+/*                                                                   */
+/* Restrictions:                                                     */
+/*                                                                   */
+/*   digits, emax, and -emin in the context must be less than        */
+/*   2*DEC_MAX_MATH (1999998), and the rhs must be within these              */
+/*   bounds or a zero. This is an internal routine, so these         */
+/*   restrictions are contractual and not enforced.                  */
+/*                                                                   */
+/* A finite result is rounded using DEC_ROUND_HALF_EVEN; it will      */
+/* almost always be correctly rounded, but may be up to 1 ulp in      */
+/* error in rare cases.                                                      */
+/*                                                                   */
+/* Finite results will always be full precision and Inexact, except   */
+/* when A is a zero or -Infinity (giving 1 or 0 respectively).       */
+/* ------------------------------------------------------------------ */
+/* This approach used here is similar to the algorithm described in   */
+/*                                                                   */
+/*   Variable Precision Exponential Function, T. E. Hull and         */
+/*   A. Abrham, ACM Transactions on Mathematical Software, Vol 12 #2, */
+/*   pp79-91, ACM, June 1986.                                        */
+/*                                                                   */
+/* with the main difference being that the iterations in the series   */
+/* evaluation are terminated dynamically (which does not require the  */
+/* extra variable-precision variables which are expensive in this     */
+/* context).                                                         */
+/*                                                                   */
+/* The error analysis in Hull & Abrham's paper applies except for the */
+/* round-off error accumulation during the series evaluation.  This   */
+/* code does not precalculate the number of iterations and so cannot  */
+/* use Horner's scheme.         Instead, the accumulation is done at double- */
+/* precision, which ensures that the additions of the terms are exact */
+/* and do not accumulate round-off (and any round-off errors in the   */
+/* terms themselves move 'to the right' faster than they can         */
+/* accumulate).         This code also extends the calculation by allowing,  */
+/* in the spirit of other decNumber operators, the input to be more   */
+/* precise than the result (the precision used is based on the more   */
+/* precise of the input or requested result).                        */
+/*                                                                   */
+/* Implementation notes:                                             */
+/*                                                                   */
+/* 1. This is separated out as decExpOp so it can be called from      */
+/*    other Mathematical functions (notably Ln) with a wider range    */
+/*    than normal.  In particular, it can handle the slightly wider   */
+/*    (double) range needed by Ln (which has to be able to calculate  */
+/*    exp(-x) where x can be the tiniest number (Ntiny).             */
+/*                                                                   */
+/* 2. Normalizing x to be <=0.1 (instead of <=1) reduces loop        */
+/*    iterations by appoximately a third with additional (although    */
+/*    diminishing) returns as the range is reduced to even smaller    */
+/*    fractions.  However, h (the power of 10 used to correct the     */
+/*    result at the end, see below) must be kept <=8 as otherwise     */
+/*    the final result cannot be computed.  Hence the leverage is a   */
+/*    sliding value (8-h), where potentially the range is reduced     */
+/*    more for smaller values.                                       */
+/*                                                                   */
+/*    The leverage that can be applied in this way is severely       */
+/*    limited by the cost of the raise-to-the power at the end,              */
+/*    which dominates when the number of iterations is small (less    */
+/*    than ten) or when rhs is short.  As an example, the adjustment  */
+/*    x**10,000,000 needs 31 multiplications, all but one full-width. */
+/*                                                                   */
+/* 3. The restrictions (especially precision) could be raised with    */
+/*    care, but the full decNumber range seems very hard within the   */
+/*    32-bit limits.                                                 */
+/*                                                                   */
+/* 4. The working precisions for the static buffers are twice the     */
+/*    obvious size to allow for calls from decNumberPower.           */
+/* ------------------------------------------------------------------ */
+decNumber * decExpOp(decNumber *res, const decNumber *rhs,
+                        decContext *set, uInt *status) {
+  uInt ignore=0;                  /* working status */
+  Int h;                          /* adjusted exponent for 0.xxxx */
+  Int p;                          /* working precision */
+  Int residue;                    /* rounding residue */
+  uInt needbytes;                 /* for space calculations */
+  const decNumber *x=rhs;         /* (may point to safe copy later) */
+  decContext aset, tset, dset;    /* working contexts */
+  Int comp;                       /* work */
+
+  /* the argument is often copied to normalize it, so (unusually) it */
+  /* is treated like other buffers, using DECBUFFER, +1 in case */
+  /* DECBUFFER is 0 */
+  decNumber bufr[D2N(DECBUFFER*2+1)];
+  decNumber *allocrhs=NULL;       /* non-NULL if rhs buffer allocated */
+
+  /* the working precision will be no more than set->digits+8+1 */
+  /* so for on-stack buffers DECBUFFER+9 is used, +1 in case DECBUFFER */
+  /* is 0 (and twice that for the accumulator) */
+
+  /* buffer for t, term (working precision plus) */
+  decNumber buft[D2N(DECBUFFER*2+9+1)];
+  decNumber *allocbuft=NULL;      /* -> allocated buft, iff allocated */
+  decNumber *t=buft;              /* term */
+  /* buffer for a, accumulator (working precision * 2), at least 9 */
+  decNumber bufa[D2N(DECBUFFER*4+18+1)];
+  decNumber *allocbufa=NULL;      /* -> allocated bufa, iff allocated */
+  decNumber *a=bufa;              /* accumulator */
+  /* decNumber for the divisor term; this needs at most 9 digits */
+  /* and so can be fixed size [16 so can use standard context] */
+  decNumber bufd[D2N(16)];
+  decNumber *d=bufd;              /* divisor */
+  decNumber numone;               /* constant 1 */
+
+  #if DECCHECK
+  Int iterations=0;               /* for later sanity check */
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  do {                                 /* protect allocated storage */
+    if (SPECIALARG) {                  /* handle infinities and NaNs */
+      if (decNumberIsInfinite(rhs)) {  /* an infinity */
+       if (decNumberIsNegative(rhs))   /* -Infinity -> +0 */
+         decNumberZero(res);
+        else decNumberCopy(res, rhs);  /* +Infinity -> self */
+       }
+       else decNaNs(res, rhs, NULL, set, status); /* a NaN */
+      break;}
+
+    if (ISZERO(rhs)) {                 /* zeros -> exact 1 */
+      decNumberZero(res);              /* make clean 1 */
+      *res->lsu=1;                     /* .. */
+      break;}                          /* [no status to set] */
+
+    /* e**x when 0 < x < 0.66 is < 1+3x/2, hence can fast-path */
+    /* positive and negative tiny cases which will result in inexact */
+    /* 1.  This also allows the later add-accumulate to always be */
+    /* exact (because its length will never be more than twice the */
+    /* working precision). */
+    /* The comparator (tiny) needs just one digit, so use the */
+    /* decNumber d for it (reused as the divisor, etc., below); its */
+    /* exponent is such that if x is positive it will have */
+    /* set->digits-1 zeros between the decimal point and the digit, */
+    /* which is 4, and if x is negative one more zero there as the */
+    /* more precise result will be of the form 0.9999999 rather than */
+    /* 1.0000001.  Hence, tiny will be 0.0000004  if digits=7 and x>0 */
+    /* or 0.00000004 if digits=7 and x<0.  If RHS not larger than */
+    /* this then the result will be 1.000000 */
+    decNumberZero(d);                  /* clean */
+    *d->lsu=4;                         /* set 4 .. */
+    d->exponent=-set->digits;          /* * 10**(-d) */
+    if (decNumberIsNegative(rhs)) d->exponent--;  /* negative case */
+    comp=decCompare(d, rhs, 1);                /* signless compare */
+    if (comp==BADINT) {
+      *status|=DEC_Insufficient_storage;
+      break;}
+    if (comp>=0) {                     /* rhs < d */
+      Int shift=set->digits-1;
+      decNumberZero(res);              /* set 1 */
+      *res->lsu=1;                     /* .. */
+      res->digits=decShiftToMost(res->lsu, 1, shift);
+      res->exponent=-shift;                 /* make 1.0000... */
+      *status|=DEC_Inexact | DEC_Rounded;    /* .. inexactly */
+      break;} /* tiny */
+
+    /* set up the context to be used for calculating a, as this is */
+    /* used on both paths below */
+    decContextDefault(&aset, DEC_INIT_DECIMAL64);
+    /* accumulator bounds are as requested (could underflow) */
+    aset.emax=set->emax;               /* usual bounds */
+    aset.emin=set->emin;               /* .. */
+    aset.clamp=0;                      /* and no concrete format */
+
+    /* calculate the adjusted (Hull & Abrham) exponent (where the */
+    /* decimal point is just to the left of the coefficient msd) */
+    h=rhs->exponent+rhs->digits;
+    /* if h>8 then 10**h cannot be calculated safely; however, when */
+    /* h=8 then exp(|rhs|) will be at least exp(1E+7) which is at */
+    /* least 6.59E+4342944, so (due to the restriction on Emax/Emin) */
+    /* overflow (or underflow to 0) is guaranteed -- so this case can */
+    /* be handled by simply forcing the appropriate excess */
+    if (h>8) {                         /* overflow/underflow */
+      /* set up here so Power call below will over or underflow to */
+      /* zero; set accumulator to either 2 or 0.02 */
+      /* [stack buffer for a is always big enough for this] */
+      decNumberZero(a);
+      *a->lsu=2;                       /* not 1 but < exp(1) */
+      if (decNumberIsNegative(rhs)) a->exponent=-2; /* make 0.02 */
+      h=8;                             /* clamp so 10**h computable */
+      p=9;                             /* set a working precision */
+      }
+     else {                            /* h<=8 */
+      Int maxlever=(rhs->digits>8?1:0);
+      /* [could/should increase this for precisions >40 or so, too] */
+
+      /* if h is 8, cannot normalize to a lower upper limit because */
+      /* the final result will not be computable (see notes above), */
+      /* but leverage can be applied whenever h is less than 8. */
+      /* Apply as much as possible, up to a MAXLEVER digits, which */
+      /* sets the tradeoff against the cost of the later a**(10**h). */
+      /* As h is increased, the working precision below also */
+      /* increases to compensate for the "constant digits at the */
+      /* front" effect. */
+      Int lever=MINI(8-h, maxlever);   /* leverage attainable */
+      Int use=-rhs->digits-lever;      /* exponent to use for RHS */
+      h+=lever;                                /* apply leverage selected */
+      if (h<0) {                       /* clamp */
+       use+=h;                         /* [may end up subnormal] */
+       h=0;
+       }
+      /* Take a copy of RHS if it needs normalization (true whenever x>=1) */
+      if (rhs->exponent!=use) {
+       decNumber *newrhs=bufr;         /* assume will fit on stack */
+       needbytes=sizeof(decNumber)+(D2U(rhs->digits)-1)*sizeof(Unit);
+       if (needbytes>sizeof(bufr)) {   /* need malloc space */
+         allocrhs=(decNumber *)malloc(needbytes);
+         if (allocrhs==NULL) {         /* hopeless -- abandon */
+           *status|=DEC_Insufficient_storage;
+           break;}
+         newrhs=allocrhs;              /* use the allocated space */
+         }
+       decNumberCopy(newrhs, rhs);     /* copy to safe space */
+       newrhs->exponent=use;           /* normalize; now <1 */
+       x=newrhs;                       /* ready for use */
+       /* decNumberShow(x); */
+       }
+
+      /* Now use the usual power series to evaluate exp(x).  The */
+      /* series starts as 1 + x + x^2/2 ... so prime ready for the */
+      /* third term by setting the term variable t=x, the accumulator */
+      /* a=1, and the divisor d=2. */
+
+      /* First determine the working precision.         From Hull & Abrham */
+      /* this is set->digits+h+2.  However, if x is 'over-precise' we */
+      /* need to allow for all its digits to potentially participate */
+      /* (consider an x where all the excess digits are 9s) so in */
+      /* this case use x->digits+h+2 */
+      p=MAXI(x->digits, set->digits)+h+2;    /* [h<=8] */
+
+      /* a and t are variable precision, and depend on p, so space */
+      /* must be allocated for them if necessary */
+
+      /* the accumulator needs to be able to hold 2p digits so that */
+      /* the additions on the second and subsequent iterations are */
+      /* sufficiently exact. */
+      needbytes=sizeof(decNumber)+(D2U(p*2)-1)*sizeof(Unit);
+      if (needbytes>sizeof(bufa)) {    /* need malloc space */
+       allocbufa=(decNumber *)malloc(needbytes);
+       if (allocbufa==NULL) {          /* hopeless -- abandon */
+         *status|=DEC_Insufficient_storage;
+         break;}
+       a=allocbufa;                    /* use the allocated space */
+       }
+      /* the term needs to be able to hold p digits (which is */
+      /* guaranteed to be larger than x->digits, so the initial copy */
+      /* is safe); it may also be used for the raise-to-power */
+      /* calculation below, which needs an extra two digits */
+      needbytes=sizeof(decNumber)+(D2U(p+2)-1)*sizeof(Unit);
+      if (needbytes>sizeof(buft)) {    /* need malloc space */
+       allocbuft=(decNumber *)malloc(needbytes);
+       if (allocbuft==NULL) {          /* hopeless -- abandon */
+         *status|=DEC_Insufficient_storage;
+         break;}
+       t=allocbuft;                    /* use the allocated space */
+       }
+
+      decNumberCopy(t, x);             /* term=x */
+      decNumberZero(a); *a->lsu=1;     /* accumulator=1 */
+      decNumberZero(d); *d->lsu=2;     /* divisor=2 */
+      decNumberZero(&numone); *numone.lsu=1; /* constant 1 for increment */
+
+      /* set up the contexts for calculating a, t, and d */
+      decContextDefault(&tset, DEC_INIT_DECIMAL64);
+      dset=tset;
+      /* accumulator bounds are set above, set precision now */
+      aset.digits=p*2;                 /* double */
+      /* term bounds avoid any underflow or overflow */
+      tset.digits=p;
+      tset.emin=DEC_MIN_EMIN;          /* [emax is plenty] */
+      /* [dset.digits=16, etc., are sufficient] */
+
+      /* finally ready to roll */
+      for (;;) {
+       #if DECCHECK
+       iterations++;
+       #endif
+       /* only the status from the accumulation is interesting */
+       /* [but it should remain unchanged after first add] */
+       decAddOp(a, a, t, &aset, 0, status);           /* a=a+t */
+       decMultiplyOp(t, t, x, &tset, &ignore);        /* t=t*x */
+       decDivideOp(t, t, d, &tset, DIVIDE, &ignore);  /* t=t/d */
+       /* the iteration ends when the term cannot affect the result, */
+       /* if rounded to p digits, which is when its value is smaller */
+       /* than the accumulator by p+1 digits.  There must also be */
+       /* full precision in a. */
+       if (((a->digits+a->exponent)>=(t->digits+t->exponent+p+1))
+           && (a->digits>=p)) break;
+       decAddOp(d, d, &numone, &dset, 0, &ignore);    /* d=d+1 */
+       } /* iterate */
+
+      #if DECCHECK
+      /* just a sanity check; comment out test to show always */
+      if (iterations>p+3)
+       printf("Exp iterations=%ld, status=%08lx, p=%ld, d=%ld\n",
+              iterations, *status, p, x->digits);
+      #endif
+      } /* h<=8 */
+
+    /* apply postconditioning: a=a**(10**h) -- this is calculated */
+    /* at a slightly higher precision than Hull & Abrham suggest */
+    if (h>0) {
+      Int seenbit=0;              /* set once a 1-bit is seen */
+      Int i;                      /* counter */
+      Int n=powers[h];            /* always positive */
+      aset.digits=p+2;            /* sufficient precision */
+      /* avoid the overhead and many extra digits of decNumberPower */
+      /* as all that is needed is the short 'multipliers' loop; here */
+      /* accumulate the answer into t */
+      decNumberZero(t); *t->lsu=1; /* acc=1 */
+      for (i=1;;i++){             /* for each bit [top bit ignored] */
+       /* abandon if have had overflow or terminal underflow */
+       if (*status & (DEC_Overflow|DEC_Underflow)) { /* interesting? */
+         if (*status&DEC_Overflow || ISZERO(t)) break;}
+       n=n<<1;                    /* move next bit to testable position */
+       if (n<0) {                 /* top bit is set */
+         seenbit=1;               /* OK, have a significant bit */
+         decMultiplyOp(t, t, a, &aset, status); /* acc=acc*x */
+         }
+       if (i==31) break;          /* that was the last bit */
+       if (!seenbit) continue;    /* no need to square 1 */
+       decMultiplyOp(t, t, t, &aset, status); /* acc=acc*acc [square] */
+       } /*i*/ /* 32 bits */
+      /* decNumberShow(t); */
+      a=t;                        /* and carry on using t instead of a */
+      }
+
+    /* Copy and round the result to res */
+    residue=1;                         /* indicate dirt to right .. */
+    if (ISZERO(a)) residue=0;          /* .. unless underflowed to 0 */
+    aset.digits=set->digits;           /* [use default rounding] */
+    decCopyFit(res, a, &aset, &residue, status); /* copy & shorten */
+    decFinish(res, set, &residue, status);      /* cleanup/set flags */
+    } while(0);                                /* end protected */
+
+  if (allocrhs !=NULL) free(allocrhs); /* drop any storage used */
+  if (allocbufa!=NULL) free(allocbufa); /* .. */
+  if (allocbuft!=NULL) free(allocbuft); /* .. */
+  /* [status is handled by caller] */
+  return res;
+  } /* decExpOp */
+
+/* ------------------------------------------------------------------ */
+/* Initial-estimate natural logarithm table                          */
+/*                                                                   */
+/*   LNnn -- 90-entry 16-bit table for values from .10 through .99.   */
+/*          The result is a 4-digit encode of the coefficient (c=the */
+/*          top 14 bits encoding 0-9999) and a 2-digit encode of the */
+/*          exponent (e=the bottom 2 bits encoding 0-3)              */
+/*                                                                   */
+/*          The resulting value is given by:                         */
+/*                                                                   */
+/*            v = -c * 10**(-e-3)                                    */
+/*                                                                   */
+/*          where e and c are extracted from entry k = LNnn[x-10]    */
+/*          where x is truncated (NB) into the range 10 through 99,  */
+/*          and then c = k>>2 and e = k&3.                           */
+/* ------------------------------------------------------------------ */
+const uShort LNnn[90]={9016,  8652,  8316,  8008,  7724,  7456,         7208,
+  6972,         6748,  6540,  6340,  6148,  5968,  5792,  5628,  5464,  5312,
+  5164,         5020,  4884,  4748,  4620,  4496,  4376,  4256,  4144,  4032,
+ 39233, 38181, 37157, 36157, 35181, 34229, 33297, 32389, 31501, 30629,
+ 29777, 28945, 28129, 27329, 26545, 25777, 25021, 24281, 23553, 22837,
+ 22137, 21445, 20769, 20101, 19445, 18801, 18165, 17541, 16925, 16321,
+ 15721, 15133, 14553, 13985, 13421, 12865, 12317, 11777, 11241, 10717,
+ 10197,         9685,  9177,  8677,  8185,  7697,  7213,  6737,  6269,  5801,
+  5341,         4889,  4437, 39930, 35534, 31186, 26886, 22630, 18418, 14254,
+ 10130,         6046, 20055};
+
+/* ------------------------------------------------------------------ */
+/* decLnOp -- effect natural logarithm                               */
+/*                                                                   */
+/*   This computes C = ln(A)                                         */
+/*                                                                   */
+/*   res is C, the result.  C may be A                               */
+/*   rhs is A                                                        */
+/*   set is the context; note that rounding mode has no effect       */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Notable cases:                                                    */
+/*   A<0 -> Invalid                                                  */
+/*   A=0 -> -Infinity (Exact)                                        */
+/*   A=+Infinity -> +Infinity (Exact)                                */
+/*   A=1 exactly -> 0 (Exact)                                        */
+/*                                                                   */
+/* Restrictions (as for Exp):                                        */
+/*                                                                   */
+/*   digits, emax, and -emin in the context must be less than        */
+/*   DEC_MAX_MATH+11 (1000010), and the rhs must be within these      */
+/*   bounds or a zero. This is an internal routine, so these         */
+/*   restrictions are contractual and not enforced.                  */
+/*                                                                   */
+/* A finite result is rounded using DEC_ROUND_HALF_EVEN; it will      */
+/* almost always be correctly rounded, but may be up to 1 ulp in      */
+/* error in rare cases.                                                      */
+/* ------------------------------------------------------------------ */
+/* The result is calculated using Newton's method, with each         */
+/* iteration calculating a' = a + x * exp(-a) - 1.  See, for example, */
+/* Epperson 1989.                                                    */
+/*                                                                   */
+/* The iteration ends when the adjustment x*exp(-a)-1 is tiny enough. */
+/* This has to be calculated at the sum of the precision of x and the */
+/* working precision.                                                */
+/*                                                                   */
+/* Implementation notes:                                             */
+/*                                                                   */
+/* 1. This is separated out as decLnOp so it can be called from              */
+/*    other Mathematical functions (e.g., Log 10) with a wider range  */
+/*    than normal.  In particular, it can handle the slightly wider   */
+/*    (+9+2) range needed by a power function.                       */
+/*                                                                   */
+/* 2. The speed of this function is about 10x slower than exp, as     */
+/*    it typically needs 4-6 iterations for short numbers, and the    */
+/*    extra precision needed adds a squaring effect, twice.          */
+/*                                                                   */
+/* 3. Fastpaths are included for ln(10) and ln(2), up to length 40,   */
+/*    as these are common requests.  ln(10) is used by log10(x).      */
+/*                                                                   */
+/* 4. An iteration might be saved by widening the LNnn table, and     */
+/*    would certainly save at least one if it were made ten times     */
+/*    bigger, too (for truncated fractions 0.100 through 0.999).      */
+/*    However, for most practical evaluations, at least four or five  */
+/*    iterations will be neede -- so this would only speed up by      */
+/*    20-25% and that probably does not justify increasing the table  */
+/*    size.                                                          */
+/*                                                                   */
+/* 5. The static buffers are larger than might be expected to allow   */
+/*    for calls from decNumberPower.                                 */
+/* ------------------------------------------------------------------ */
+decNumber * decLnOp(decNumber *res, const decNumber *rhs,
+                   decContext *set, uInt *status) {
+  uInt ignore=0;                  /* working status accumulator */
+  uInt needbytes;                 /* for space calculations */
+  Int residue;                    /* rounding residue */
+  Int r;                          /* rhs=f*10**r [see below] */
+  Int p;                          /* working precision */
+  Int pp;                         /* precision for iteration */
+  Int t;                          /* work */
+
+  /* buffers for a (accumulator, typically precision+2) and b */
+  /* (adjustment calculator, same size) */
+  decNumber bufa[D2N(DECBUFFER+12)];
+  decNumber *allocbufa=NULL;      /* -> allocated bufa, iff allocated */
+  decNumber *a=bufa;              /* accumulator/work */
+  decNumber bufb[D2N(DECBUFFER*2+2)];
+  decNumber *allocbufb=NULL;      /* -> allocated bufa, iff allocated */
+  decNumber *b=bufb;              /* adjustment/work */
+
+  decNumber  numone;              /* constant 1 */
+  decNumber  cmp;                 /* work */
+  decContext aset, bset;          /* working contexts */
+
+  #if DECCHECK
+  Int iterations=0;               /* for later sanity check */
+  if (decCheckOperands(res, DECUNUSED, rhs, set)) return res;
+  #endif
+
+  do {                                 /* protect allocated storage */
+    if (SPECIALARG) {                  /* handle infinities and NaNs */
+      if (decNumberIsInfinite(rhs)) {  /* an infinity */
+       if (decNumberIsNegative(rhs))   /* -Infinity -> error */
+         *status|=DEC_Invalid_operation;
+        else decNumberCopy(res, rhs);  /* +Infinity -> self */
+       }
+       else decNaNs(res, rhs, NULL, set, status); /* a NaN */
+      break;}
+
+    if (ISZERO(rhs)) {                 /* +/- zeros -> -Infinity */
+      decNumberZero(res);              /* make clean */
+      res->bits=DECINF|DECNEG;         /* set - infinity */
+      break;}                          /* [no status to set] */
+
+    /* Non-zero negatives are bad... */
+    if (decNumberIsNegative(rhs)) {    /* -x -> error */
+      *status|=DEC_Invalid_operation;
+      break;}
+
+    /* Here, rhs is positive, finite, and in range */
+
+    /* lookaside fastpath code for ln(2) and ln(10) at common lengths */
+    if (rhs->exponent==0 && set->digits<=40) {
+      #if DECDPUN==1
+      if (rhs->lsu[0]==0 && rhs->lsu[1]==1 && rhs->digits==2) { /* ln(10) */
+      #else
+      if (rhs->lsu[0]==10 && rhs->digits==2) {                 /* ln(10) */
+      #endif
+       aset=*set; aset.round=DEC_ROUND_HALF_EVEN;
+       #define LN10 "2.302585092994045684017991454684364207601"
+       decNumberFromString(res, LN10, &aset);
+       *status|=(DEC_Inexact | DEC_Rounded); /* is inexact */
+       break;}
+      if (rhs->lsu[0]==2 && rhs->digits==1) { /* ln(2) */
+       aset=*set; aset.round=DEC_ROUND_HALF_EVEN;
+       #define LN2 "0.6931471805599453094172321214581765680755"
+       decNumberFromString(res, LN2, &aset);
+       *status|=(DEC_Inexact | DEC_Rounded);
+       break;}
+      } /* integer and short */
+
+    /* Determine the working precision.         This is normally the */
+    /* requested precision + 2, with a minimum of 9.  However, if */
+    /* the rhs is 'over-precise' then allow for all its digits to */
+    /* potentially participate (consider an rhs where all the excess */
+    /* digits are 9s) so in this case use rhs->digits+2. */
+    p=MAXI(rhs->digits, MAXI(set->digits, 7))+2;
+
+    /* Allocate space for the accumulator and the high-precision */
+    /* adjustment calculator, if necessary.  The accumulator must */
+    /* be able to hold p digits, and the adjustment up to */
+    /* rhs->digits+p digits.  They are also made big enough for 16 */
+    /* digits so that they can be used for calculating the initial */
+    /* estimate. */
+    needbytes=sizeof(decNumber)+(D2U(MAXI(p,16))-1)*sizeof(Unit);
+    if (needbytes>sizeof(bufa)) {     /* need malloc space */
+      allocbufa=(decNumber *)malloc(needbytes);
+      if (allocbufa==NULL) {         /* hopeless -- abandon */
+       *status|=DEC_Insufficient_storage;
+       break;}
+      a=allocbufa;                   /* use the allocated space */
+      }
+    pp=p+rhs->digits;
+    needbytes=sizeof(decNumber)+(D2U(MAXI(pp,16))-1)*sizeof(Unit);
+    if (needbytes>sizeof(bufb)) {     /* need malloc space */
+      allocbufb=(decNumber *)malloc(needbytes);
+      if (allocbufb==NULL) {         /* hopeless -- abandon */
+       *status|=DEC_Insufficient_storage;
+       break;}
+      b=allocbufb;                   /* use the allocated space */
+      }
+
+    /* Prepare an initial estimate in acc. Calculate this by */
+    /* considering the coefficient of x to be a normalized fraction, */
+    /* f, with the decimal point at far left and multiplied by */
+    /* 10**r.  Then, rhs=f*10**r and 0.1<=f<1, and */
+    /*  ln(x) = ln(f) + ln(10)*r */
+    /* Get the initial estimate for ln(f) from a small lookup */
+    /* table (see above) indexed by the first two digits of f, */
+    /* truncated. */
+
+    decContextDefault(&aset, DEC_INIT_DECIMAL64); /* 16-digit extended */
+    r=rhs->exponent+rhs->digits;       /* 'normalised' exponent */
+    decNumberFromInt32(a, r);          /* a=r */
+    decNumberFromInt32(b, 2302585);    /* b=ln(10) (2.302585) */
+    b->exponent=-6;                    /*  .. */
+    decMultiplyOp(a, a, b, &aset, &ignore);  /* a=a*b */
+    /* now get top two digits of rhs into b by simple truncate and */
+    /* force to integer */
+    residue=0;                         /* (no residue) */
+    aset.digits=2; aset.round=DEC_ROUND_DOWN;
+    decCopyFit(b, rhs, &aset, &residue, &ignore); /* copy & shorten */
+    b->exponent=0;                     /* make integer */
+    t=decGetInt(b);                    /* [cannot fail] */
+    if (t<10) t=X10(t);                        /* adjust single-digit b */
+    t=LNnn[t-10];                      /* look up ln(b) */
+    decNumberFromInt32(b, t>>2);       /* b=ln(b) coefficient */
+    b->exponent=-(t&3)-3;              /* set exponent */
+    b->bits=DECNEG;                    /* ln(0.10)->ln(0.99) always -ve */
+    aset.digits=16; aset.round=DEC_ROUND_HALF_EVEN; /* restore */
+    decAddOp(a, a, b, &aset, 0, &ignore); /* acc=a+b */
+    /* the initial estimate is now in a, with up to 4 digits correct. */
+    /* When rhs is at or near Nmax the estimate will be low, so we */
+    /* will approach it from below, avoiding overflow when calling exp. */
+
+    decNumberZero(&numone); *numone.lsu=1;   /* constant 1 for adjustment */
+
+    /* accumulator bounds are as requested (could underflow, but */
+    /* cannot overflow) */
+    aset.emax=set->emax;
+    aset.emin=set->emin;
+    aset.clamp=0;                      /* no concrete format */
+    /* set up a context to be used for the multiply and subtract */
+    bset=aset;
+    bset.emax=DEC_MAX_MATH*2;          /* use double bounds for the */
+    bset.emin=-DEC_MAX_MATH*2;         /* adjustment calculation */
+                                       /* [see decExpOp call below] */
+    /* for each iteration double the number of digits to calculate, */
+    /* up to a maximum of p */
+    pp=9;                              /* initial precision */
+    /* [initially 9 as then the sequence starts 7+2, 16+2, and */
+    /* 34+2, which is ideal for standard-sized numbers] */
+    aset.digits=pp;                    /* working context */
+    bset.digits=pp+rhs->digits;                /* wider context */
+    for (;;) {                         /* iterate */
+      #if DECCHECK
+      iterations++;
+      if (iterations>24) break;                /* consider 9 * 2**24 */
+      #endif
+      /* calculate the adjustment (exp(-a)*x-1) into b.         This is a */
+      /* catastrophic subtraction but it really is the difference */
+      /* from 1 that is of interest. */
+      /* Use the internal entry point to Exp as it allows the double */
+      /* range for calculating exp(-a) when a is the tiniest subnormal. */
+      a->bits^=DECNEG;                 /* make -a */
+      decExpOp(b, a, &bset, &ignore);  /* b=exp(-a) */
+      a->bits^=DECNEG;                 /* restore sign of a */
+      /* now multiply by rhs and subtract 1, at the wider precision */
+      decMultiplyOp(b, b, rhs, &bset, &ignore);               /* b=b*rhs */
+      decAddOp(b, b, &numone, &bset, DECNEG, &ignore); /* b=b-1 */
+
+      /* the iteration ends when the adjustment cannot affect the */
+      /* result by >=0.5 ulp (at the requested digits), which */
+      /* is when its value is smaller than the accumulator by */
+      /* set->digits+1 digits (or it is zero) -- this is a looser */
+      /* requirement than for Exp because all that happens to the */
+      /* accumulator after this is the final rounding (but note that */
+      /* there must also be full precision in a, or a=0). */
+
+      if (decNumberIsZero(b) ||
+         (a->digits+a->exponent)>=(b->digits+b->exponent+set->digits+1)) {
+       if (a->digits==p) break;
+       if (decNumberIsZero(a)) {
+         decCompareOp(&cmp, rhs, &numone, &aset, COMPARE, &ignore); /* rhs=1 ? */
+         if (cmp.lsu[0]==0) a->exponent=0;            /* yes, exact 0 */
+          else *status|=(DEC_Inexact | DEC_Rounded);  /* no, inexact */
+         break;
+         }
+       /* force padding if adjustment has gone to 0 before full length */
+       if (decNumberIsZero(b)) b->exponent=a->exponent-p;
+       }
+
+      /* not done yet ... */
+      decAddOp(a, a, b, &aset, 0, &ignore);  /* a=a+b for next estimate */
+      if (pp==p) continue;                  /* precision is at maximum */
+      /* lengthen the next calculation */
+      pp=pp*2;                              /* double precision */
+      if (pp>p) pp=p;                       /* clamp to maximum */
+      aset.digits=pp;                       /* working context */
+      bset.digits=pp+rhs->digits;           /* wider context */
+      } /* Newton's iteration */
+
+    #if DECCHECK
+    /* just a sanity check; remove the test to show always */
+    if (iterations>24)
+      printf("Ln iterations=%ld, status=%08lx, p=%ld, d=%ld\n",
+           iterations, *status, p, rhs->digits);
+    #endif
+
+    /* Copy and round the result to res */
+    residue=1;                         /* indicate dirt to right */
+    if (ISZERO(a)) residue=0;          /* .. unless underflowed to 0 */
+    aset.digits=set->digits;           /* [use default rounding] */
+    decCopyFit(res, a, &aset, &residue, status); /* copy & shorten */
+    decFinish(res, set, &residue, status);      /* cleanup/set flags */
+    } while(0);                                /* end protected */
+
+  if (allocbufa!=NULL) free(allocbufa); /* drop any storage used */
+  if (allocbufb!=NULL) free(allocbufb); /* .. */
+  /* [status is handled by caller] */
+  return res;
+  } /* decLnOp */
+
+/* ------------------------------------------------------------------ */
+/* decQuantizeOp  -- force exponent to requested value               */
+/*                                                                   */
+/*   This computes C = op(A, B), where op adjusts the coefficient     */
+/*   of C (by rounding or shifting) such that the exponent (-scale)   */
+/*   of C has the value B or matches the exponent of B.                      */
+/*   The numerical value of C will equal A, except for the effects of */
+/*   any rounding that occurred.                                     */
+/*                                                                   */
+/*   res is C, the result.  C may be A or B                          */
+/*   lhs is A, the number to adjust                                  */
+/*   rhs is B, the requested exponent                                */
+/*   set is the context                                                      */
+/*   quant is 1 for quantize or 0 for rescale                        */
+/*   status is the status accumulator (this can be called without     */
+/*         risk of control loss)                                     */
+/*                                                                   */
+/* C must have space for set->digits digits.                         */
+/*                                                                   */
+/* Unless there is an error or the result is infinite, the exponent   */
+/* after the operation is guaranteed to be that requested.           */
+/* ------------------------------------------------------------------ */
+static decNumber * decQuantizeOp(decNumber *res, const decNumber *lhs,
+                                const decNumber *rhs, decContext *set,
+                                Flag quant, uInt *status) {
+  #if DECSUBSET
+  decNumber *alloclhs=NULL;       /* non-NULL if rounded lhs allocated */
+  decNumber *allocrhs=NULL;       /* .., rhs */
+  #endif
+  const decNumber *inrhs=rhs;     /* save original rhs */
+  Int  reqdigits=set->digits;     /* requested DIGITS */
+  Int  reqexp;                    /* requested exponent [-scale] */
+  Int  residue=0;                 /* rounding residue */
+  Int  etiny=set->emin-(reqdigits-1);
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operands and set lostDigits status, as needed */
+      if (lhs->digits>reqdigits) {
+       alloclhs=decRoundOperand(lhs, set, status);
+       if (alloclhs==NULL) break;
+       lhs=alloclhs;
+       }
+      if (rhs->digits>reqdigits) { /* [this only checks lostDigits] */
+       allocrhs=decRoundOperand(rhs, set, status);
+       if (allocrhs==NULL) break;
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    /* Handle special values */
+    if (SPECIALARGS) {
+      /* NaNs get usual processing */
+      if (SPECIALARGS & (DECSNAN | DECNAN))
+       decNaNs(res, lhs, rhs, set, status);
+      /* one infinity but not both is bad */
+      else if ((lhs->bits ^ rhs->bits) & DECINF)
+       *status|=DEC_Invalid_operation;
+      /* both infinity: return lhs */
+      else decNumberCopy(res, lhs);         /* [nop if in place] */
+      break;
+      }
+
+    /* set requested exponent */
+    if (quant) reqexp=inrhs->exponent; /* quantize -- match exponents */
+     else {                            /* rescale -- use value of rhs */
+      /* Original rhs must be an integer that fits and is in range, */
+      /* which could be from -1999999997 to +999999999, thanks to */
+      /* subnormals */
+      reqexp=decGetInt(inrhs);              /* [cannot fail] */
+      }
+
+    #if DECSUBSET
+    if (!set->extended) etiny=set->emin;     /* no subnormals */
+    #endif
+
+    if (reqexp==BADINT                      /* bad (rescale only) or .. */
+     || reqexp==BIGODD || reqexp==BIGEVEN    /* very big (ditto) or .. */
+     || (reqexp<etiny)                      /* < lowest */
+     || (reqexp>set->emax)) {               /* > emax */
+      *status|=DEC_Invalid_operation;
+      break;}
+
+    /* the RHS has been processed, so it can be overwritten now if necessary */
+    if (ISZERO(lhs)) {                      /* zero coefficient unchanged */
+      decNumberCopy(res, lhs);              /* [nop if in place] */
+      res->exponent=reqexp;                 /* .. just set exponent */
+      #if DECSUBSET
+      if (!set->extended) res->bits=0;      /* subset specification; no -0 */
+      #endif
+      }
+     else {                                 /* non-zero lhs */
+      Int adjust=reqexp-lhs->exponent;      /* digit adjustment needed */
+      /* if adjusted coefficient will definitely not fit, give up now */
+      if ((lhs->digits-adjust)>reqdigits) {
+       *status|=DEC_Invalid_operation;
+       break;
+       }
+
+      if (adjust>0) {                       /* increasing exponent */
+       /* this will decrease the length of the coefficient by adjust */
+       /* digits, and must round as it does so */
+       decContext workset;                  /* work */
+       workset=*set;                        /* clone rounding, etc. */
+       workset.digits=lhs->digits-adjust;   /* set requested length */
+       /* [note that the latter can be <1, here] */
+       decCopyFit(res, lhs, &workset, &residue, status); /* fit to result */
+       decApplyRound(res, &workset, residue, status);    /* .. and round */
+       residue=0;                                        /* [used] */
+       /* If just rounded a 999s case, exponent will be off by one; */
+       /* adjust back (after checking space), if so. */
+       if (res->exponent>reqexp) {
+         /* re-check needed, e.g., for quantize(0.9999, 0.001) under */
+         /* set->digits==3 */
+         if (res->digits==reqdigits) {      /* cannot shift by 1 */
+           *status&=~(DEC_Inexact | DEC_Rounded); /* [clean these] */
+           *status|=DEC_Invalid_operation;
+           break;
+           }
+         res->digits=decShiftToMost(res->lsu, res->digits, 1); /* shift */
+         res->exponent--;                   /* (re)adjust the exponent. */
+         }
+       #if DECSUBSET
+       if (ISZERO(res) && !set->extended) res->bits=0; /* subset; no -0 */
+       #endif
+       } /* increase */
+       else /* adjust<=0 */ {               /* decreasing or = exponent */
+       /* this will increase the length of the coefficient by -adjust */
+       /* digits, by adding zero or more trailing zeros; this is */
+       /* already checked for fit, above */
+       decNumberCopy(res, lhs);             /* [it will fit] */
+       /* if padding needed (adjust<0), add it now... */
+       if (adjust<0) {
+         res->digits=decShiftToMost(res->lsu, res->digits, -adjust);
+         res->exponent+=adjust;             /* adjust the exponent */
+         }
+       } /* decrease */
+      } /* non-zero */
+
+    /* Check for overflow [do not use Finalize in this case, as an */
+    /* overflow here is a "don't fit" situation] */
+    if (res->exponent>set->emax-res->digits+1) {  /* too big */
+      *status|=DEC_Invalid_operation;
+      break;
+      }
+     else {
+      decFinalize(res, set, &residue, status);   /* set subnormal flags */
+      *status&=~DEC_Underflow;         /* suppress Underflow [754r] */
+      }
+    } while(0);                                /* end protected */
+
+  #if DECSUBSET
+  if (allocrhs!=NULL) free(allocrhs);  /* drop any storage used */
+  if (alloclhs!=NULL) free(alloclhs);  /* .. */
+  #endif
+  return res;
+  } /* decQuantizeOp */
+
+/* ------------------------------------------------------------------ */
+/* decCompareOp -- compare, min, or max two Numbers                  */
+/*                                                                   */
+/*   This computes C = A ? B and carries out one of four operations:  */
+/*     COMPARE   -- returns the signum (as a number) giving the      */
+/*                  result of a comparison unless one or both        */
+/*                  operands is a NaN (in which case a NaN results)  */
+/*     COMPSIG   -- as COMPARE except that a quiet NaN raises        */
+/*                  Invalid operation.                               */
+/*     COMPMAX   -- returns the larger of the operands, using the    */
+/*                  754r maxnum operation                            */
+/*     COMPMAXMAG -- ditto, comparing absolute values                */
+/*     COMPMIN   -- the 754r minnum operation                        */
+/*     COMPMINMAG -- ditto, comparing absolute values                */
+/*     COMTOTAL          -- returns the signum (as a number) giving the      */
+/*                  result of a comparison using 754r total ordering */
+/*                                                                   */
+/*   res is C, the result.  C may be A and/or B (e.g., X=X?X)        */
+/*   lhs is A                                                        */
+/*   rhs is B                                                        */
+/*   set is the context                                                      */
+/*   op         is the operation flag                                        */
+/*   status is the usual accumulator                                 */
+/*                                                                   */
+/* C must have space for one digit for COMPARE or set->digits for     */
+/* COMPMAX, COMPMIN, COMPMAXMAG, or COMPMINMAG.                              */
+/* ------------------------------------------------------------------ */
+/* The emphasis here is on speed for common cases, and avoiding              */
+/* coefficient comparison if possible.                               */
+/* ------------------------------------------------------------------ */
+decNumber * decCompareOp(decNumber *res, const decNumber *lhs,
+                        const decNumber *rhs, decContext *set,
+                        Flag op, uInt *status) {
+  #if DECSUBSET
+  decNumber *alloclhs=NULL;       /* non-NULL if rounded lhs allocated */
+  decNumber *allocrhs=NULL;       /* .., rhs */
+  #endif
+  Int  result=0;                  /* default result value */
+  uByte merged;                           /* work */
+
+  #if DECCHECK
+  if (decCheckOperands(res, lhs, rhs, set)) return res;
+  #endif
+
+  do {                            /* protect allocated storage */
+    #if DECSUBSET
+    if (!set->extended) {
+      /* reduce operands and set lostDigits status, as needed */
+      if (lhs->digits>set->digits) {
+       alloclhs=decRoundOperand(lhs, set, status);
+       if (alloclhs==NULL) {result=BADINT; break;}
+       lhs=alloclhs;
+       }
+      if (rhs->digits>set->digits) {
+       allocrhs=decRoundOperand(rhs, set, status);
+       if (allocrhs==NULL) {result=BADINT; break;}
+       rhs=allocrhs;
+       }
+      }
+    #endif
+    /* [following code does not require input rounding] */
+
+    /* If total ordering then handle differing signs 'up front' */
+    if (op==COMPTOTAL) {               /* total ordering */
+      if (decNumberIsNegative(lhs) & !decNumberIsNegative(rhs)) {
+       result=-1;
+       break;
+       }
+      if (!decNumberIsNegative(lhs) & decNumberIsNegative(rhs)) {
+       result=+1;
+       break;
+       }
+      }
+
+    /* handle NaNs specially; let infinities drop through */
+    /* This assumes sNaN (even just one) leads to NaN. */
+    merged=(lhs->bits | rhs->bits) & (DECSNAN | DECNAN);
+    if (merged) {                      /* a NaN bit set */
+      if (op==COMPARE);                        /* result will be NaN */
+       else if (op==COMPSIG)           /* treat qNaN as sNaN */
+       *status|=DEC_Invalid_operation | DEC_sNaN;
+       else if (op==COMPTOTAL) {       /* total ordering, always finite */
+       /* signs are known to be the same; compute the ordering here */
+       /* as if the signs are both positive, then invert for negatives */
+       if (!decNumberIsNaN(lhs)) result=-1;
+        else if (!decNumberIsNaN(rhs)) result=+1;
+        /* here if both NaNs */
+        else if (decNumberIsSNaN(lhs) && decNumberIsQNaN(rhs)) result=-1;
+        else if (decNumberIsQNaN(lhs) && decNumberIsSNaN(rhs)) result=+1;
+        else { /* both NaN or both sNaN */
+         /* now it just depends on the payload */
+         result=decUnitCompare(lhs->lsu, D2U(lhs->digits),
+                               rhs->lsu, D2U(rhs->digits), 0);
+         /* [Error not possible, as these are 'aligned'] */
+         } /* both same NaNs */
+       if (decNumberIsNegative(lhs)) result=-result;
+       break;
+       } /* total order */
+
+       else if (merged & DECSNAN);          /* sNaN -> qNaN */
+       else { /* here if MIN or MAX and one or two quiet NaNs */
+       /* min or max -- 754r rules ignore single NaN */
+       if (!decNumberIsNaN(lhs) || !decNumberIsNaN(rhs)) {
+         /* just one NaN; force choice to be the non-NaN operand */
+         op=COMPMAX;
+         if (lhs->bits & DECNAN) result=-1; /* pick rhs */
+                            else result=+1; /* pick lhs */
+         break;
+         }
+       } /* max or min */
+      op=COMPNAN;                           /* use special path */
+      decNaNs(res, lhs, rhs, set, status);   /* propagate NaN */
+      break;
+      }
+    /* have numbers */
+    if (op==COMPMAXMAG || op==COMPMINMAG) result=decCompare(lhs, rhs, 1);
+     else result=decCompare(lhs, rhs, 0);    /* sign matters */
+    } while(0);                                     /* end protected */
+
+  if (result==BADINT) *status|=DEC_Insufficient_storage; /* rare */
+   else {
+    if (op==COMPARE || op==COMPSIG ||op==COMPTOTAL) { /* returning signum */
+      if (op==COMPTOTAL && result==0) {
+       /* operands are numerically equal or same NaN (and same sign, */
+       /* tested first); if identical, leave result 0 */
+       if (lhs->exponent!=rhs->exponent) {
+         if (lhs->exponent<rhs->exponent) result=-1;
+          else result=+1;
+         if (decNumberIsNegative(lhs)) result=-result;
+         } /* lexp!=rexp */
+       } /* total-order by exponent */
+      decNumberZero(res);              /* [always a valid result] */
+      if (result!=0) {                 /* must be -1 or +1 */
+       *res->lsu=1;
+       if (result<0) res->bits=DECNEG;
+       }
+      }
+     else if (op==COMPNAN);            /* special, drop through */
+     else {                            /* MAX or MIN, non-NaN result */
+      Int residue=0;                   /* rounding accumulator */
+      /* choose the operand for the result */
+      const decNumber *choice;
+      if (result==0) { /* operands are numerically equal */
+       /* choose according to sign then exponent (see 754r) */
+       uByte slhs=(lhs->bits & DECNEG);
+       uByte srhs=(rhs->bits & DECNEG);
+       #if DECSUBSET
+       if (!set->extended) {           /* subset: force left-hand */
+         op=COMPMAX;
+         result=+1;
+         }
+       else
+       #endif
+       if (slhs!=srhs) {          /* signs differ */
+         if (slhs) result=-1;     /* rhs is max */
+              else result=+1;     /* lhs is max */
+         }
+        else if (slhs && srhs) {  /* both negative */
+         if (lhs->exponent<rhs->exponent) result=+1;
+                                     else result=-1;
+         /* [if equal, use lhs, technically identical] */
+         }
+        else {                    /* both positive */
+         if (lhs->exponent>rhs->exponent) result=+1;
+                                     else result=-1;
+         /* [ditto] */
+         }
+       } /* numerically equal */
+      /* here result will be non-0; reverse if looking for MIN */
+      if (op==COMPMIN || op==COMPMINMAG) result=-result;
+      choice=(result>0 ? lhs : rhs);   /* choose */
+      /* copy chosen to result, rounding if need be */
+      decCopyFit(res, choice, set, &residue, status);
+      decFinish(res, set, &residue, status);
+      }
+    }
+  #if DECSUBSET
+  if (allocrhs!=NULL) free(allocrhs);  /* free any storage used */
+  if (alloclhs!=NULL) free(alloclhs);  /* .. */
+  #endif
+  return res;
+  } /* decCompareOp */
+
+/* ------------------------------------------------------------------ */
+/* decCompare -- compare two decNumbers by numerical value           */
+/*                                                                   */
+/*  This routine compares A ? B without altering them.               */
+/*                                                                   */
+/*  Arg1 is A, a decNumber which is not a NaN                        */
+/*  Arg2 is B, a decNumber which is not a NaN                        */
+/*  Arg3 is 1 for a sign-independent compare, 0 otherwise            */
+/*                                                                   */
+/*  returns -1, 0, or 1 for A<B, A==B, or A>B, or BADINT if failure   */
+/*  (the only possible failure is an allocation error)               */
+/* ------------------------------------------------------------------ */
+static Int decCompare(const decNumber *lhs, const decNumber *rhs,
+                     Flag abs) {
+  Int  result;                    /* result value */
+  Int  sigr;                      /* rhs signum */
+  Int  compare;                   /* work */
+
+  result=1;                                 /* assume signum(lhs) */
+  if (ISZERO(lhs)) result=0;
+  if (abs) {
+    if (ISZERO(rhs)) return result;         /* LHS wins or both 0 */
+    /* RHS is non-zero */
+    if (result==0) return -1;               /* LHS is 0; RHS wins */
+    /* [here, both non-zero, result=1] */
+    }
+   else {                                   /* signs matter */
+    if (result && decNumberIsNegative(lhs)) result=-1;
+    sigr=1;                                 /* compute signum(rhs) */
+    if (ISZERO(rhs)) sigr=0;
+     else if (decNumberIsNegative(rhs)) sigr=-1;
+    if (result > sigr) return +1;           /* L > R, return 1 */
+    if (result < sigr) return -1;           /* L < R, return -1 */
+    if (result==0) return 0;                  /* both 0 */
+    }
+
+  /* signums are the same; both are non-zero */
+  if ((lhs->bits | rhs->bits) & DECINF) {    /* one or more infinities */
+    if (decNumberIsInfinite(rhs)) {
+      if (decNumberIsInfinite(lhs)) result=0;/* both infinite */
+       else result=-result;                 /* only rhs infinite */
+      }
+    return result;
+    }
+  /* must compare the coefficients, allowing for exponents */
+  if (lhs->exponent>rhs->exponent) {        /* LHS exponent larger */
+    /* swap sides, and sign */
+    const decNumber *temp=lhs;
+    lhs=rhs;
+    rhs=temp;
+    result=-result;
+    }
+  compare=decUnitCompare(lhs->lsu, D2U(lhs->digits),
+                        rhs->lsu, D2U(rhs->digits),
+                        rhs->exponent-lhs->exponent);
+  if (compare!=BADINT) compare*=result;             /* comparison succeeded */
+  return compare;
+  } /* decCompare */
+
+/* ------------------------------------------------------------------ */
+/* decUnitCompare -- compare two >=0 integers in Unit arrays         */
+/*                                                                   */
+/*  This routine compares A ? B*10**E where A and B are unit arrays   */
+/*  A is a plain integer                                             */
+/*  B has an exponent of E (which must be non-negative)                      */
+/*                                                                   */
+/*  Arg1 is A first Unit (lsu)                                       */
+/*  Arg2 is A length in Units                                        */
+/*  Arg3 is B first Unit (lsu)                                       */
+/*  Arg4 is B length in Units                                        */
+/*  Arg5 is E (0 if the units are aligned)                           */
+/*                                                                   */
+/*  returns -1, 0, or 1 for A<B, A==B, or A>B, or BADINT if failure   */
+/*  (the only possible failure is an allocation error, which can      */
+/*  only occur if E!=0)                                                      */
+/* ------------------------------------------------------------------ */
+static Int decUnitCompare(const Unit *a, Int alength,
+                         const Unit *b, Int blength, Int exp) {
+  Unit *acc;                      /* accumulator for result */
+  Unit accbuff[SD2U(DECBUFFER*2+1)]; /* local buffer */
+  Unit *allocacc=NULL;            /* -> allocated acc buffer, iff allocated */
+  Int  accunits, need;            /* units in use or needed for acc */
+  const Unit *l, *r, *u;          /* work */
+  Int  expunits, exprem, result;  /* .. */
+
+  if (exp==0) {                           /* aligned; fastpath */
+    if (alength>blength) return 1;
+    if (alength<blength) return -1;
+    /* same number of units in both -- need unit-by-unit compare */
+    l=a+alength-1;
+    r=b+alength-1;
+    for (;l>=a; l--, r--) {
+      if (*l>*r) return 1;
+      if (*l<*r) return -1;
+      }
+    return 0;                     /* all units match */
+    } /* aligned */
+
+  /* Unaligned.         If one is >1 unit longer than the other, padded */
+  /* approximately, then can return easily */
+  if (alength>blength+(Int)D2U(exp)) return 1;
+  if (alength+1<blength+(Int)D2U(exp)) return -1;
+
+  /* Need to do a real subtract.  For this, a result buffer is needed */
+  /* even though only the sign is of interest. Its length needs */
+  /* to be the larger of alength and padded blength, +2 */
+  need=blength+D2U(exp);               /* maximum real length of B */
+  if (need<alength) need=alength;
+  need+=2;
+  acc=accbuff;                         /* assume use local buffer */
+  if (need*sizeof(Unit)>sizeof(accbuff)) {
+    allocacc=(Unit *)malloc(need*sizeof(Unit));
+    if (allocacc==NULL) return BADINT; /* hopeless -- abandon */
+    acc=allocacc;
+    }
+  /* Calculate units and remainder from exponent. */
+  expunits=exp/DECDPUN;
+  exprem=exp%DECDPUN;
+  /* subtract [A+B*(-m)] */
+  accunits=decUnitAddSub(a, alength, b, blength, expunits, acc,
+                        -(Int)powers[exprem]);
+  /* [UnitAddSub result may have leading zeros, even on zero] */
+  if (accunits<0) result=-1;           /* negative result */
+   else {                              /* non-negative result */
+    /* check units of the result before freeing any storage */
+    for (u=acc; u<acc+accunits-1 && *u==0;) u++;
+    result=(*u==0 ? 0 : +1);
+    }
+  /* clean up and return the result */
+  if (allocacc!=NULL) free(allocacc);  /* drop any storage used */
+  return result;
+  } /* decUnitCompare */
+
+/* ------------------------------------------------------------------ */
+/* decUnitAddSub -- add or subtract two >=0 integers in Unit arrays   */
+/*                                                                   */
+/*  This routine performs the calculation:                           */
+/*                                                                   */
+/*  C=A+(B*M)                                                        */
+/*                                                                   */
+/*  Where M is in the range -DECDPUNMAX through +DECDPUNMAX.         */
+/*                                                                   */
+/*  A may be shorter or longer than B.                               */
+/*                                                                   */
+/*  Leading zeros are not removed after a calculation. The result is */
+/*  either the same length as the longer of A and B (adding any              */
+/*  shift), or one Unit longer than that (if a Unit carry occurred).  */
+/*                                                                   */
+/*  A and B content are not altered unless C is also A or B.         */
+/*  C may be the same array as A or B, but only if no zero padding is */
+/*  requested (that is, C may be B only if bshift==0).               */
+/*  C is filled from the lsu; only those units necessary to complete  */
+/*  the calculation are referenced.                                  */
+/*                                                                   */
+/*  Arg1 is A first Unit (lsu)                                       */
+/*  Arg2 is A length in Units                                        */
+/*  Arg3 is B first Unit (lsu)                                       */
+/*  Arg4 is B length in Units                                        */
+/*  Arg5 is B shift in Units  (>=0; pads with 0 units if positive)    */
+/*  Arg6 is C first Unit (lsu)                                       */
+/*  Arg7 is M, the multiplier                                        */
+/*                                                                   */
+/*  returns the count of Units written to C, which will be non-zero   */
+/*  and negated if the result is negative.  That is, the sign of the  */
+/*  returned Int is the sign of the result (positive for zero) and    */
+/*  the absolute value of the Int is the count of Units.             */
+/*                                                                   */
+/*  It is the caller's responsibility to make sure that C size is     */
+/*  safe, allowing space if necessary for a one-Unit carry.          */
+/*                                                                   */
+/*  This routine is severely performance-critical; *any* change here  */
+/*  must be measured (timed) to assure no performance degradation.    */
+/*  In particular, trickery here tends to be counter-productive, as   */
+/*  increased complexity of code hurts register optimizations on      */
+/*  register-poor architectures.  Avoiding divisions is nearly       */
+/*  always a Good Idea, however.                                     */
+/*                                                                   */
+/* Special thanks to Rick McGuire (IBM Cambridge, MA) and Dave Clark  */
+/* (IBM Warwick, UK) for some of the ideas used in this routine.      */
+/* ------------------------------------------------------------------ */
+static Int decUnitAddSub(const Unit *a, Int alength,
+                        const Unit *b, Int blength, Int bshift,
+                        Unit *c, Int m) {
+  const Unit *alsu=a;             /* A lsu [need to remember it] */
+  Unit *clsu=c;                           /* C ditto */
+  Unit *minC;                     /* low water mark for C */
+  Unit *maxC;                     /* high water mark for C */
+  eInt carry=0;                           /* carry integer (could be Long) */
+  Int  add;                       /* work */
+  #if DECDPUN<=4                  /* myriadal, millenary, etc. */
+  Int  est;                       /* estimated quotient */
+  #endif
+
+  #if DECTRACE
+  if (alength<1 || blength<1)
+    printf("decUnitAddSub: alen blen m %ld %ld [%ld]\n", alength, blength, m);
+  #endif
+
+  maxC=c+alength;                 /* A is usually the longer */
+  minC=c+blength;                 /* .. and B the shorter */
+  if (bshift!=0) {                /* B is shifted; low As copy across */
+    minC+=bshift;
+    /* if in place [common], skip copy unless there's a gap [rare] */
+    if (a==c && bshift<=alength) {
+      c+=bshift;
+      a+=bshift;
+      }
+     else for (; c<clsu+bshift; a++, c++) {  /* copy needed */
+      if (a<alsu+alength) *c=*a;
+       else *c=0;
+      }
+    }
+  if (minC>maxC) { /* swap */
+    Unit *hold=minC;
+    minC=maxC;
+    maxC=hold;
+    }
+
+  /* For speed, do the addition as two loops; the first where both A */
+  /* and B contribute, and the second (if necessary) where only one or */
+  /* other of the numbers contribute. */
+  /* Carry handling is the same (i.e., duplicated) in each case. */
+  for (; c<minC; c++) {
+    carry+=*a;
+    a++;
+    carry+=((eInt)*b)*m;               /* [special-casing m=1/-1 */
+    b++;                               /* here is not a win] */
+    /* here carry is new Unit of digits; it could be +ve or -ve */
+    if ((ueInt)carry<=DECDPUNMAX) {    /* fastpath 0-DECDPUNMAX */
+      *c=(Unit)carry;
+      carry=0;
+      continue;
+      }
+    #if DECDPUN==4                          /* use divide-by-multiply */
+      if (carry>=0) {
+       est=(((ueInt)carry>>11)*53687)>>18;
+       *c=(Unit)(carry-est*(DECDPUNMAX+1)); /* remainder */
+       carry=est;                           /* likely quotient [89%] */
+       if (*c<DECDPUNMAX+1) continue;       /* estimate was correct */
+       carry++;
+       *c-=DECDPUNMAX+1;
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      est=(((ueInt)carry>>11)*53687)>>18;
+      *c=(Unit)(carry-est*(DECDPUNMAX+1));
+      carry=est-(DECDPUNMAX+1);                     /* correctly negative */
+      if (*c<DECDPUNMAX+1) continue;        /* was OK */
+      carry++;
+      *c-=DECDPUNMAX+1;
+    #elif DECDPUN==3
+      if (carry>=0) {
+       est=(((ueInt)carry>>3)*16777)>>21;
+       *c=(Unit)(carry-est*(DECDPUNMAX+1)); /* remainder */
+       carry=est;                           /* likely quotient [99%] */
+       if (*c<DECDPUNMAX+1) continue;       /* estimate was correct */
+       carry++;
+       *c-=DECDPUNMAX+1;
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      est=(((ueInt)carry>>3)*16777)>>21;
+      *c=(Unit)(carry-est*(DECDPUNMAX+1));
+      carry=est-(DECDPUNMAX+1);                     /* correctly negative */
+      if (*c<DECDPUNMAX+1) continue;        /* was OK */
+      carry++;
+      *c-=DECDPUNMAX+1;
+    #elif DECDPUN<=2
+      /* Can use QUOT10 as carry <= 4 digits */
+      if (carry>=0) {
+       est=QUOT10(carry, DECDPUN);
+       *c=(Unit)(carry-est*(DECDPUNMAX+1)); /* remainder */
+       carry=est;                           /* quotient */
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      est=QUOT10(carry, DECDPUN);
+      *c=(Unit)(carry-est*(DECDPUNMAX+1));
+      carry=est-(DECDPUNMAX+1);                     /* correctly negative */
+    #else
+      /* remainder operator is undefined if negative, so must test */
+      if ((ueInt)carry<(DECDPUNMAX+1)*2) {   /* fastpath carry +1 */
+       *c=(Unit)(carry-(DECDPUNMAX+1));     /* [helps additions] */
+       carry=1;
+       continue;
+       }
+      if (carry>=0) {
+       *c=(Unit)(carry%(DECDPUNMAX+1));
+       carry=carry/(DECDPUNMAX+1);
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      *c=(Unit)(carry%(DECDPUNMAX+1));
+      carry=carry/(DECDPUNMAX+1)-(DECDPUNMAX+1);
+    #endif
+    } /* c */
+
+  /* now may have one or other to complete */
+  /* [pretest to avoid loop setup/shutdown] */
+  if (c<maxC) for (; c<maxC; c++) {
+    if (a<alsu+alength) {              /* still in A */
+      carry+=*a;
+      a++;
+      }
+     else {                            /* inside B */
+      carry+=((eInt)*b)*m;
+      b++;
+      }
+    /* here carry is new Unit of digits; it could be +ve or -ve and */
+    /* magnitude up to DECDPUNMAX squared */
+    if ((ueInt)carry<=DECDPUNMAX) {    /* fastpath 0-DECDPUNMAX */
+      *c=(Unit)carry;
+      carry=0;
+      continue;
+      }
+    /* result for this unit is negative or >DECDPUNMAX */
+    #if DECDPUN==4                          /* use divide-by-multiply */
+      if (carry>=0) {
+       est=(((ueInt)carry>>11)*53687)>>18;
+       *c=(Unit)(carry-est*(DECDPUNMAX+1)); /* remainder */
+       carry=est;                           /* likely quotient [79.7%] */
+       if (*c<DECDPUNMAX+1) continue;       /* estimate was correct */
+       carry++;
+       *c-=DECDPUNMAX+1;
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      est=(((ueInt)carry>>11)*53687)>>18;
+      *c=(Unit)(carry-est*(DECDPUNMAX+1));
+      carry=est-(DECDPUNMAX+1);                     /* correctly negative */
+      if (*c<DECDPUNMAX+1) continue;        /* was OK */
+      carry++;
+      *c-=DECDPUNMAX+1;
+    #elif DECDPUN==3
+      if (carry>=0) {
+       est=(((ueInt)carry>>3)*16777)>>21;
+       *c=(Unit)(carry-est*(DECDPUNMAX+1)); /* remainder */
+       carry=est;                           /* likely quotient [99%] */
+       if (*c<DECDPUNMAX+1) continue;       /* estimate was correct */
+       carry++;
+       *c-=DECDPUNMAX+1;
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      est=(((ueInt)carry>>3)*16777)>>21;
+      *c=(Unit)(carry-est*(DECDPUNMAX+1));
+      carry=est-(DECDPUNMAX+1);                     /* correctly negative */
+      if (*c<DECDPUNMAX+1) continue;        /* was OK */
+      carry++;
+      *c-=DECDPUNMAX+1;
+    #elif DECDPUN<=2
+      if (carry>=0) {
+       est=QUOT10(carry, DECDPUN);
+       *c=(Unit)(carry-est*(DECDPUNMAX+1)); /* remainder */
+       carry=est;                           /* quotient */
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      est=QUOT10(carry, DECDPUN);
+      *c=(Unit)(carry-est*(DECDPUNMAX+1));
+      carry=est-(DECDPUNMAX+1);                     /* correctly negative */
+    #else
+      if ((ueInt)carry<(DECDPUNMAX+1)*2){    /* fastpath carry 1 */
+       *c=(Unit)(carry-(DECDPUNMAX+1));
+       carry=1;
+       continue;
+       }
+      /* remainder operator is undefined if negative, so must test */
+      if (carry>=0) {
+       *c=(Unit)(carry%(DECDPUNMAX+1));
+       carry=carry/(DECDPUNMAX+1);
+       continue;
+       }
+      /* negative case */
+      carry=carry+(eInt)(DECDPUNMAX+1)*(DECDPUNMAX+1); /* make positive */
+      *c=(Unit)(carry%(DECDPUNMAX+1));
+      carry=carry/(DECDPUNMAX+1)-(DECDPUNMAX+1);
+    #endif
+    } /* c */
+
+  /* OK, all A and B processed; might still have carry or borrow */
+  /* return number of Units in the result, negated if a borrow */
+  if (carry==0) return c-clsu;    /* no carry, so no more to do */
+  if (carry>0) {                  /* positive carry */
+    *c=(Unit)carry;               /* place as new unit */
+    c++;                          /* .. */
+    return c-clsu;
+    }
+  /* -ve carry: it's a borrow; complement needed */
+  add=1;                          /* temporary carry... */
+  for (c=clsu; c<maxC; c++) {
+    add=DECDPUNMAX+add-*c;
+    if (add<=DECDPUNMAX) {
+      *c=(Unit)add;
+      add=0;
+      }
+     else {
+      *c=0;
+      add=1;
+      }
+    }
+  /* add an extra unit iff it would be non-zero */
+  #if DECTRACE
+    printf("UAS borrow: add %ld, carry %ld\n", add, carry);
+  #endif
+  if ((add-carry-1)!=0) {
+    *c=(Unit)(add-carry-1);
+    c++;                     /* interesting, include it */
+    }
+  return clsu-c;             /* -ve result indicates borrowed */
+  } /* decUnitAddSub */
+
+/* ------------------------------------------------------------------ */
+/* decTrim -- trim trailing zeros or normalize                       */
+/*                                                                   */
+/*   dn is the number to trim or normalize                           */
+/*   set is the context to use to check for clamp                    */
+/*   all is 1 to remove all trailing zeros, 0 for just fraction ones  */
+/*   dropped returns the number of discarded trailing zeros          */
+/*   returns dn                                                              */
+/*                                                                   */
+/* If clamp is set in the context then the number of zeros trimmed    */
+/* may be limited if the exponent is high.                           */
+/* All fields are updated as required. This is a utility operation,  */
+/* so special values are unchanged and no error is possible.         */
+/* ------------------------------------------------------------------ */
+static decNumber * decTrim(decNumber *dn, decContext *set, Flag all,
+                          Int *dropped) {
+  Int  d, exp;                    /* work */
+  uInt cut;                       /* .. */
+  Unit *up;                       /* -> current Unit */
+
+  #if DECCHECK
+  if (decCheckOperands(dn, DECUNUSED, DECUNUSED, DECUNCONT)) return dn;
+  #endif
+
+  *dropped=0;                          /* assume no zeros dropped */
+  if ((dn->bits & DECSPECIAL)          /* fast exit if special .. */
+    || (*dn->lsu & 0x01)) return dn;   /* .. or odd */
+  if (ISZERO(dn)) {                    /* .. or 0 */
+    dn->exponent=0;                    /* (sign is preserved) */
+    return dn;
+    }
+
+  /* have a finite number which is even */
+  exp=dn->exponent;
+  cut=1;                          /* digit (1-DECDPUN) in Unit */
+  up=dn->lsu;                     /* -> current Unit */
+  for (d=0; d<dn->digits-1; d++) { /* [don't strip the final digit] */
+    /* slice by powers */
+    #if DECDPUN<=4
+      uInt quot=QUOT10(*up, cut);
+      if ((*up-quot*powers[cut])!=0) break;  /* found non-0 digit */
+    #else
+      if (*up%powers[cut]!=0) break;        /* found non-0 digit */
+    #endif
+    /* have a trailing 0 */
+    if (!all) {                           /* trimming */
+      /* [if exp>0 then all trailing 0s are significant for trim] */
+      if (exp<=0) {               /* if digit might be significant */
+       if (exp==0) break;         /* then quit */
+       exp++;                     /* next digit might be significant */
+       }
+      }
+    cut++;                        /* next power */
+    if (cut>DECDPUN) {            /* need new Unit */
+      up++;
+      cut=1;
+      }
+    } /* d */
+  if (d==0) return dn;            /* none to drop */
+
+  /* may need to limit drop if clamping */
+  if (set->clamp) {
+    Int maxd=set->emax-set->digits+1-dn->exponent;
+    if (maxd<=0) return dn;       /* nothing possible */
+    if (d>maxd) d=maxd;
+    }
+
+  /* effect the drop */
+  decShiftToLeast(dn->lsu, D2U(dn->digits), d);
+  dn->exponent+=d;                /* maintain numerical value */
+  dn->digits-=d;                  /* new length */
+  *dropped=d;                     /* report the count */
+  return dn;
+  } /* decTrim */
+
+/* ------------------------------------------------------------------ */
+/* decReverse -- reverse a Unit array in place                       */
+/*                                                                   */
+/*   ulo    is the start of the array                                */
+/*   uhi    is the end of the array (highest Unit to include)        */
+/*                                                                   */
+/* The units ulo through uhi are reversed in place (if the number     */
+/* of units is odd, the middle one is untouched).  Note that the      */
+/* digit(s) in each unit are unaffected.                             */
+/* ------------------------------------------------------------------ */
+static void decReverse(Unit *ulo, Unit *uhi) {
+  Unit temp;
+  for (; ulo<uhi; ulo++, uhi--) {
+    temp=*ulo;
+    *ulo=*uhi;
+    *uhi=temp;
+    }
+  return;
+  } /* decReverse */
+
+/* ------------------------------------------------------------------ */
+/* decShiftToMost -- shift digits in array towards most significant   */
+/*                                                                   */
+/*   uar    is the array                                             */
+/*   digits is the count of digits in use in the array               */
+/*   shift  is the number of zeros to pad with (least significant);   */
+/*     it must be zero or positive                                   */
+/*                                                                   */
+/*   returns the new length of the integer in the array, in digits    */
+/*                                                                   */
+/* No overflow is permitted (that is, the uar array must be known to  */
+/* be large enough to hold the result, after shifting).                      */
+/* ------------------------------------------------------------------ */
+static Int decShiftToMost(Unit *uar, Int digits, Int shift) {
+  Unit *target, *source, *first;  /* work */
+  Int  cut;                       /* odd 0's to add */
+  uInt next;                      /* work */
+
+  if (shift==0) return digits;    /* [fastpath] nothing to do */
+  if ((digits+shift)<=DECDPUN) {   /* [fastpath] single-unit case */
+    *uar=(Unit)(*uar*powers[shift]);
+    return digits+shift;
+    }
+
+  next=0;                         /* all paths */
+  source=uar+D2U(digits)-1;       /* where msu comes from */
+  target=source+D2U(shift);       /* where upper part of first cut goes */
+  cut=DECDPUN-MSUDIGITS(shift);           /* where to slice */
+  if (cut==0) {                           /* unit-boundary case */
+    for (; source>=uar; source--, target--) *target=*source;
+    }
+   else {
+    first=uar+D2U(digits+shift)-1; /* where msu of source will end up */
+    for (; source>=uar; source--, target--) {
+      /* split the source Unit and accumulate remainder for next */
+      #if DECDPUN<=4
+       uInt quot=QUOT10(*source, cut);
+       uInt rem=*source-quot*powers[cut];
+       next+=quot;
+      #else
+       uInt rem=*source%powers[cut];
+       next+=*source/powers[cut];
+      #endif
+      if (target<=first) *target=(Unit)next;   /* write to target iff valid */
+      next=rem*powers[DECDPUN-cut];           /* save remainder for next Unit */
+      }
+    } /* shift-move */
+
+  /* propagate any partial unit to one below and clear the rest */
+  for (; target>=uar; target--) {
+    *target=(Unit)next;
+    next=0;
+    }
+  return digits+shift;
+  } /* decShiftToMost */
+
+/* ------------------------------------------------------------------ */
+/* decShiftToLeast -- shift digits in array towards least significant */
+/*                                                                   */
+/*   uar   is the array                                                      */
+/*   units is length of the array, in units                          */
+/*   shift is the number of digits to remove from the lsu end; it     */
+/*     must be zero or positive and <= than units*DECDPUN.           */
+/*                                                                   */
+/*   returns the new length of the integer in the array, in units     */
+/*                                                                   */
+/* Removed digits are discarded (lost).         Units not required to hold   */
+/* the final result are unchanged.                                   */
+/* ------------------------------------------------------------------ */
+static Int decShiftToLeast(Unit *uar, Int units, Int shift) {
+  Unit *target, *up;              /* work */
+  Int  cut, count;                /* work */
+  Int  quot, rem;                 /* for division */
+
+  if (shift==0) return units;     /* [fastpath] nothing to do */
+  if (shift==units*DECDPUN) {     /* [fastpath] little to do */
+    *uar=0;                       /* all digits cleared gives zero */
+    return 1;                     /* leaves just the one */
+    }
+
+  target=uar;                     /* both paths */
+  cut=MSUDIGITS(shift);
+  if (cut==DECDPUN) {             /* unit-boundary case; easy */
+    up=uar+D2U(shift);
+    for (; up<uar+units; target++, up++) *target=*up;
+    return target-uar;
+    }
+
+  /* messier */
+  up=uar+D2U(shift-cut);          /* source; correct to whole Units */
+  count=units*DECDPUN-shift;      /* the maximum new length */
+  #if DECDPUN<=4
+    quot=QUOT10(*up, cut);
+  #else
+    quot=*up/powers[cut];
+  #endif
+  for (; ; target++) {
+    *target=(Unit)quot;
+    count-=(DECDPUN-cut);
+    if (count<=0) break;
+    up++;
+    quot=*up;
+    #if DECDPUN<=4
+      quot=QUOT10(quot, cut);
+      rem=*up-quot*powers[cut];
+    #else
+      rem=quot%powers[cut];
+      quot=quot/powers[cut];
+    #endif
+    *target=(Unit)(*target+rem*powers[DECDPUN-cut]);
+    count-=cut;
+    if (count<=0) break;
+    }
+  return target-uar+1;
+  } /* decShiftToLeast */
+
+#if DECSUBSET
+/* ------------------------------------------------------------------ */
+/* decRoundOperand -- round an operand [used for subset only]        */
+/*                                                                   */
+/*   dn is the number to round (dn->digits is > set->digits)         */
+/*   set is the relevant context                                     */
+/*   status is the status accumulator                                */
+/*                                                                   */
+/*   returns an allocated decNumber with the rounded result.         */
+/*                                                                   */
+/* lostDigits and other status may be set by this.                   */
+/*                                                                   */
+/* Since the input is an operand, it must not be modified.           */
+/* Instead, return an allocated decNumber, rounded as required.              */
+/* It is the caller's responsibility to free the allocated storage.   */
+/*                                                                   */
+/* If no storage is available then the result cannot be used, so NULL */
+/* is returned.                                                              */
+/* ------------------------------------------------------------------ */
+static decNumber *decRoundOperand(const decNumber *dn, decContext *set,
+                                 uInt *status) {
+  decNumber *res;                      /* result structure */
+  uInt newstatus=0;                    /* status from round */
+  Int  residue=0;                      /* rounding accumulator */
+
+  /* Allocate storage for the returned decNumber, big enough for the */
+  /* length specified by the context */
+  res=(decNumber *)malloc(sizeof(decNumber)
+                         +(D2U(set->digits)-1)*sizeof(Unit));
+  if (res==NULL) {
+    *status|=DEC_Insufficient_storage;
+    return NULL;
+    }
+  decCopyFit(res, dn, set, &residue, &newstatus);
+  decApplyRound(res, set, residue, &newstatus);
+
+  /* If that set Inexact then "lost digits" is raised... */
+  if (newstatus & DEC_Inexact) newstatus|=DEC_Lost_digits;
+  *status|=newstatus;
+  return res;
+  } /* decRoundOperand */
+#endif
+
+/* ------------------------------------------------------------------ */
+/* decCopyFit -- copy a number, truncating the coefficient if needed  */
+/*                                                                   */
+/*   dest is the target decNumber                                    */
+/*   src  is the source decNumber                                    */
+/*   set is the context [used for length (digits) and rounding mode]  */
+/*   residue is the residue accumulator                                      */
+/*   status contains the current status to be updated                */
+/*                                                                   */
+/* (dest==src is allowed and will be a no-op if fits)                */
+/* All fields are updated as required.                               */
+/* ------------------------------------------------------------------ */
+static void decCopyFit(decNumber *dest, const decNumber *src,
+                      decContext *set, Int *residue, uInt *status) {
+  dest->bits=src->bits;
+  dest->exponent=src->exponent;
+  decSetCoeff(dest, set, src->lsu, src->digits, residue, status);
+  } /* decCopyFit */
+
+/* ------------------------------------------------------------------ */
+/* decSetCoeff -- set the coefficient of a number                    */
+/*                                                                   */
+/*   dn           is the number whose coefficient array is to be set.        */
+/*        It must have space for set->digits digits                  */
+/*   set   is the context [for size]                                 */
+/*   lsu   -> lsu of the source coefficient [may be dn->lsu]         */
+/*   len   is digits in the source coefficient [may be dn->digits]    */
+/*   residue is the residue accumulator.  This has values as in              */
+/*        decApplyRound, and will be unchanged unless the            */
+/*        target size is less than len.  In this case, the           */
+/*        coefficient is truncated and the residue is updated to     */
+/*        reflect the previous residue and the dropped digits.       */
+/*   status is the status accumulator, as usual                              */
+/*                                                                   */
+/* The coefficient may already be in the number, or it can be an      */
+/* external intermediate array.         If it is in the number, lsu must ==  */
+/* dn->lsu and len must == dn->digits.                               */
+/*                                                                   */
+/* Note that the coefficient length (len) may be < set->digits, and   */
+/* in this case this merely copies the coefficient (or is a no-op     */
+/* if dn->lsu==lsu).                                                 */
+/*                                                                   */
+/* Note also that (only internally, from decQuantizeOp and           */
+/* decSetSubnormal) the value of set->digits may be less than one,    */
+/* indicating a round to left. This routine handles that case        */
+/* correctly; caller ensures space.                                  */
+/*                                                                   */
+/* dn->digits, dn->lsu (and as required), and dn->exponent are       */
+/* updated as necessary.   dn->bits (sign) is unchanged.             */
+/*                                                                   */
+/* DEC_Rounded status is set if any digits are discarded.            */
+/* DEC_Inexact status is set if any non-zero digits are discarded, or */
+/*                      incoming residue was non-0 (implies rounded) */
+/* ------------------------------------------------------------------ */
+/* mapping array: maps 0-9 to canonical residues, so that a residue */
+/* can be adjusted in the range [-1, +1] and achieve correct rounding */
+/*                            0  1  2  3  4  5  6  7  8  9 */
+static const uByte resmap[10]={0, 3, 3, 3, 3, 5, 7, 7, 7, 7};
+static void decSetCoeff(decNumber *dn, decContext *set, const Unit *lsu,
+                       Int len, Int *residue, uInt *status) {
+  Int  discard;              /* number of digits to discard */
+  uInt cut;                  /* cut point in Unit */
+  const Unit *up;            /* work */
+  Unit *target;              /* .. */
+  Int  count;                /* .. */
+  #if DECDPUN<=4
+  uInt temp;                 /* .. */
+  #endif
+
+  discard=len-set->digits;    /* digits to discard */
+  if (discard<=0) {          /* no digits are being discarded */
+    if (dn->lsu!=lsu) {              /* copy needed */
+      /* copy the coefficient array to the result number; no shift needed */
+      count=len;             /* avoids D2U */
+      up=lsu;
+      for (target=dn->lsu; count>0; target++, up++, count-=DECDPUN)
+       *target=*up;
+      dn->digits=len;        /* set the new length */
+      }
+    /* dn->exponent and residue are unchanged, record any inexactitude */
+    if (*residue!=0) *status|=(DEC_Inexact | DEC_Rounded);
+    return;
+    }
+
+  /* some digits must be discarded ... */
+  dn->exponent+=discard;      /* maintain numerical value */
+  *status|=DEC_Rounded;              /* accumulate Rounded status */
+  if (*residue>1) *residue=1; /* previous residue now to right, so reduce */
+
+  if (discard>len) {         /* everything, +1, is being discarded */
+    /* guard digit is 0 */
+    /* residue is all the number [NB could be all 0s] */
+    if (*residue<=0) {       /* not already positive */
+      count=len;             /* avoids D2U */
+      for (up=lsu; count>0; up++, count-=DECDPUN) if (*up!=0) { /* found non-0 */
+       *residue=1;
+       break;                /* no need to check any others */
+       }
+      }
+    if (*residue!=0) *status|=DEC_Inexact; /* record inexactitude */
+    *dn->lsu=0;                      /* coefficient will now be 0 */
+    dn->digits=1;            /* .. */
+    return;
+    } /* total discard */
+
+  /* partial discard [most common case] */
+  /* here, at least the first (most significant) discarded digit exists */
+
+  /* spin up the number, noting residue during the spin, until get to */
+  /* the Unit with the first discarded digit.  When reach it, extract */
+  /* it and remember its position */
+  count=0;
+  for (up=lsu;; up++) {
+    count+=DECDPUN;
+    if (count>=discard) break; /* full ones all checked */
+    if (*up!=0) *residue=1;
+    } /* up */
+
+  /* here up -> Unit with first discarded digit */
+  cut=discard-(count-DECDPUN)-1;
+  if (cut==DECDPUN-1) {              /* unit-boundary case (fast) */
+    Unit half=(Unit)powers[DECDPUN]>>1;
+    /* set residue directly */
+    if (*up>=half) {
+      if (*up>half) *residue=7;
+      else *residue+=5;              /* add sticky bit */
+      }
+     else { /* <half */
+      if (*up!=0) *residue=3; /* [else is 0, leave as sticky bit] */
+      }
+    if (set->digits<=0) {     /* special for Quantize/Subnormal :-( */
+      *dn->lsu=0;            /* .. result is 0 */
+      dn->digits=1;          /* .. */
+      }
+     else {                  /* shift to least */
+      count=set->digits;      /* now digits to end up with */
+      dn->digits=count;              /* set the new length */
+      up++;                  /* move to next */
+      /* on unit boundary, so shift-down copy loop is simple */
+      for (target=dn->lsu; count>0; target++, up++, count-=DECDPUN)
+       *target=*up;
+      }
+    } /* unit-boundary case */
+
+   else { /* discard digit is in low digit(s), and not top digit */
+    uInt  discard1;               /* first discarded digit */
+    uInt  quot, rem;              /* for divisions */
+    if (cut==0) quot=*up;         /* is at bottom of unit */
+     else /* cut>0 */ {                   /* it's not at bottom of unit */
+      #if DECDPUN<=4
+       quot=QUOT10(*up, cut);
+       rem=*up-quot*powers[cut];
+      #else
+       rem=*up%powers[cut];
+       quot=*up/powers[cut];
+      #endif
+      if (rem!=0) *residue=1;
+      }
+    /* discard digit is now at bottom of quot */
+    #if DECDPUN<=4
+      temp=(quot*6554)>>16;       /* fast /10 */
+      /* Vowels algorithm here not a win (9 instructions) */
+      discard1=quot-X10(temp);
+      quot=temp;
+    #else
+      discard1=quot%10;
+      quot=quot/10;
+    #endif
+    /* here, discard1 is the guard digit, and residue is everything */
+    /* else [use mapping array to accumulate residue safely] */
+    *residue+=resmap[discard1];
+    cut++;                        /* update cut */
+    /* here: up -> Unit of the array with bottom digit */
+    /*      cut is the division point for each Unit */
+    /*      quot holds the uncut high-order digits for the current unit */
+    if (set->digits<=0) {         /* special for Quantize/Subnormal :-( */
+      *dn->lsu=0;                 /* .. result is 0 */
+      dn->digits=1;               /* .. */
+      }
+     else {                       /* shift to least needed */
+      count=set->digits;          /* now digits to end up with */
+      dn->digits=count;                   /* set the new length */
+      /* shift-copy the coefficient array to the result number */
+      for (target=dn->lsu; ; target++) {
+       *target=(Unit)quot;
+       count-=(DECDPUN-cut);
+       if (count<=0) break;
+       up++;
+       quot=*up;
+       #if DECDPUN<=4
+         quot=QUOT10(quot, cut);
+         rem=*up-quot*powers[cut];
+       #else
+         rem=quot%powers[cut];
+         quot=quot/powers[cut];
+       #endif
+       *target=(Unit)(*target+rem*powers[DECDPUN-cut]);
+       count-=cut;
+       if (count<=0) break;
+       } /* shift-copy loop */
+      } /* shift to least */
+    } /* not unit boundary */
+
+  if (*residue!=0) *status|=DEC_Inexact; /* record inexactitude */
+  return;
+  } /* decSetCoeff */
+
+/* ------------------------------------------------------------------ */
+/* decApplyRound -- apply pending rounding to a number               */
+/*                                                                   */
+/*   dn           is the number, with space for set->digits digits           */
+/*   set   is the context [for size and rounding mode]               */
+/*   residue indicates pending rounding, being any accumulated       */
+/*        guard and sticky information.  It may be:                  */
+/*        6-9: rounding digit is >5                                  */
+/*        5:   rounding digit is exactly half-way                    */
+/*        1-4: rounding digit is <5 and >0                           */
+/*        0:   the coefficient is exact                              */
+/*       -1:   as 1, but the hidden digits are subtractive, that     */
+/*             is, of the opposite sign to dn.  In this case the     */
+/*             coefficient must be non-0.  This case occurs when     */
+/*             subtracting a small number (which can be reduced to   */
+/*             a sticky bit); see decAddOp.                          */
+/*   status is the status accumulator, as usual                              */
+/*                                                                   */
+/* This routine applies rounding while keeping the length of the      */
+/* coefficient constant.  The exponent and status are unchanged              */
+/* except if:                                                        */
+/*                                                                   */
+/*   -- the coefficient was increased and is all nines (in which      */
+/*     case Overflow could occur, and is handled directly here so    */
+/*     the caller does not need to re-test for overflow)             */
+/*                                                                   */
+/*   -- the coefficient was decreased and becomes all nines (in which */
+/*     case Underflow could occur, and is also handled directly).    */
+/*                                                                   */
+/* All fields in dn are updated as required.                         */
+/*                                                                   */
+/* ------------------------------------------------------------------ */
+static void decApplyRound(decNumber *dn, decContext *set, Int residue,
+                         uInt *status) {
+  Int  bump;                 /* 1 if coefficient needs to be incremented */
+                             /* -1 if coefficient needs to be decremented */
+
+  if (residue==0) return;     /* nothing to apply */
+
+  bump=0;                    /* assume a smooth ride */
+
+  /* now decide whether, and how, to round, depending on mode */
+  switch (set->round) {
+    case DEC_ROUND_05UP: {    /* round zero or five up (for reround) */
+      /* This is the same as DEC_ROUND_DOWN unless there is a */
+      /* positive residue and the lsd of dn is 0 or 5, in which case */
+      /* it is bumped; when residue is <0, the number is therefore */
+      /* bumped down unless the final digit was 1 or 6 (in which */
+      /* case it is bumped down and then up -- a no-op) */
+      Int lsd5=*dn->lsu%5;     /* get lsd and quintate */
+      if (residue<0 && lsd5!=1) bump=-1;
+       else if (residue>0 && lsd5==0) bump=1;
+      /* [bump==1 could be applied directly; use common path for clarity] */
+      break;} /* r-05 */
+
+    case DEC_ROUND_DOWN: {
+      /* no change, except if negative residue */
+      if (residue<0) bump=-1;
+      break;} /* r-d */
+
+    case DEC_ROUND_HALF_DOWN: {
+      if (residue>5) bump=1;
+      break;} /* r-h-d */
+
+    case DEC_ROUND_HALF_EVEN: {
+      if (residue>5) bump=1;           /* >0.5 goes up */
+       else if (residue==5) {          /* exactly 0.5000... */
+       /* 0.5 goes up iff [new] lsd is odd */
+       if (*dn->lsu & 0x01) bump=1;
+       }
+      break;} /* r-h-e */
+
+    case DEC_ROUND_HALF_UP: {
+      if (residue>=5) bump=1;
+      break;} /* r-h-u */
+
+    case DEC_ROUND_UP: {
+      if (residue>0) bump=1;
+      break;} /* r-u */
+
+    case DEC_ROUND_CEILING: {
+      /* same as _UP for positive numbers, and as _DOWN for negatives */
+      /* [negative residue cannot occur on 0] */
+      if (decNumberIsNegative(dn)) {
+       if (residue<0) bump=-1;
+       }
+       else {
+       if (residue>0) bump=1;
+       }
+      break;} /* r-c */
+
+    case DEC_ROUND_FLOOR: {
+      /* same as _UP for negative numbers, and as _DOWN for positive */
+      /* [negative residue cannot occur on 0] */
+      if (!decNumberIsNegative(dn)) {
+       if (residue<0) bump=-1;
+       }
+       else {
+       if (residue>0) bump=1;
+       }
+      break;} /* r-f */
+
+    default: {     /* e.g., DEC_ROUND_MAX */
+      *status|=DEC_Invalid_context;
+      #if DECTRACE || (DECCHECK && DECVERB)
+      printf("Unknown rounding mode: %d\n", set->round);
+      #endif
+      break;}
+    } /* switch */
+
+  /* now bump the number, up or down, if need be */
+  if (bump==0) return;                      /* no action required */
+
+  /* Simply use decUnitAddSub unless bumping up and the number is */
+  /* all nines.         In this special case set to 100... explicitly */
+  /* and adjust the exponent by one (as otherwise could overflow */
+  /* the array) */
+  /* Similarly handle all-nines result if bumping down. */
+  if (bump>0) {
+    Unit *up;                               /* work */
+    uInt count=dn->digits;                  /* digits to be checked */
+    for (up=dn->lsu; ; up++) {
+      if (count<=DECDPUN) {
+       /* this is the last Unit (the msu) */
+       if (*up!=powers[count]-1) break;     /* not still 9s */
+       /* here if it, too, is all nines */
+       *up=(Unit)powers[count-1];           /* here 999 -> 100 etc. */
+       for (up=up-1; up>=dn->lsu; up--) *up=0; /* others all to 0 */
+       dn->exponent++;                      /* and bump exponent */
+       /* [which, very rarely, could cause Overflow...] */
+       if ((dn->exponent+dn->digits)>set->emax+1) {
+         decSetOverflow(dn, set, status);
+         }
+       return;                              /* done */
+       }
+      /* a full unit to check, with more to come */
+      if (*up!=DECDPUNMAX) break;           /* not still 9s */
+      count-=DECDPUN;
+      } /* up */
+    } /* bump>0 */
+   else {                                   /* -1 */
+    /* here checking for a pre-bump of 1000... (leading 1, all */
+    /* other digits zero) */
+    Unit *up, *sup;                         /* work */
+    uInt count=dn->digits;                  /* digits to be checked */
+    for (up=dn->lsu; ; up++) {
+      if (count<=DECDPUN) {
+       /* this is the last Unit (the msu) */
+       if (*up!=powers[count-1]) break;     /* not 100.. */
+       /* here if have the 1000... case */
+       sup=up;                              /* save msu pointer */
+       *up=(Unit)powers[count]-1;           /* here 100 in msu -> 999 */
+       /* others all to all-nines, too */
+       for (up=up-1; up>=dn->lsu; up--) *up=(Unit)powers[DECDPUN]-1;
+       dn->exponent--;                      /* and bump exponent */
+
+       /* iff the number was at the subnormal boundary (exponent=etiny) */
+       /* then the exponent is now out of range, so it will in fact get */
+       /* clamped to etiny and the final 9 dropped. */
+       /* printf(">> emin=%d exp=%d sdig=%d\n", set->emin, */
+       /*        dn->exponent, set->digits); */
+       if (dn->exponent+1==set->emin-set->digits+1) {
+         if (count==1 && dn->digits==1) *sup=0;  /* here 9 -> 0[.9] */
+          else {
+           *sup=(Unit)powers[count-1]-1;    /* here 999.. in msu -> 99.. */
+           dn->digits--;
+           }
+         dn->exponent++;
+         *status|=DEC_Underflow | DEC_Subnormal | DEC_Inexact | DEC_Rounded;
+         }
+       return;                              /* done */
+       }
+
+      /* a full unit to check, with more to come */
+      if (*up!=0) break;                    /* not still 0s */
+      count-=DECDPUN;
+      } /* up */
+
+    } /* bump<0 */
+
+  /* Actual bump needed.  Do it. */
+  decUnitAddSub(dn->lsu, D2U(dn->digits), uarrone, 1, 0, dn->lsu, bump);
+  } /* decApplyRound */
+
+#if DECSUBSET
+/* ------------------------------------------------------------------ */
+/* decFinish -- finish processing a number                           */
+/*                                                                   */
+/*   dn is the number                                                */
+/*   set is the context                                                      */
+/*   residue is the rounding accumulator (as in decApplyRound)       */
+/*   status is the accumulator                                       */
+/*                                                                   */
+/* This finishes off the current number by:                          */
+/*    1. If not extended:                                            */
+/*      a. Converting a zero result to clean '0'                     */
+/*      b. Reducing positive exponents to 0, if would fit in digits  */
+/*    2. Checking for overflow and subnormals (always)               */
+/* Note this is just Finalize when no subset arithmetic.             */
+/* All fields are updated as required.                               */
+/* ------------------------------------------------------------------ */
+static void decFinish(decNumber *dn, decContext *set, Int *residue,
+                     uInt *status) {
+  if (!set->extended) {
+    if ISZERO(dn) {               /* value is zero */
+      dn->exponent=0;             /* clean exponent .. */
+      dn->bits=0;                 /* .. and sign */
+      return;                     /* no error possible */
+      }
+    if (dn->exponent>=0) {        /* non-negative exponent */
+      /* >0; reduce to integer if possible */
+      if (set->digits >= (dn->exponent+dn->digits)) {
+       dn->digits=decShiftToMost(dn->lsu, dn->digits, dn->exponent);
+       dn->exponent=0;
+       }
+      }
+    } /* !extended */
+
+  decFinalize(dn, set, residue, status);
+  } /* decFinish */
+#endif
+
+/* ------------------------------------------------------------------ */
+/* decFinalize -- final check, clamp, and round of a number          */
+/*                                                                   */
+/*   dn is the number                                                */
+/*   set is the context                                                      */
+/*   residue is the rounding accumulator (as in decApplyRound)       */
+/*   status is the status accumulator                                */
+/*                                                                   */
+/* This finishes off the current number by checking for subnormal     */
+/* results, applying any pending rounding, checking for overflow,     */
+/* and applying any clamping.                                        */
+/* Underflow and overflow conditions are raised as appropriate.              */
+/* All fields are updated as required.                               */
+/* ------------------------------------------------------------------ */
+static void decFinalize(decNumber *dn, decContext *set, Int *residue,
+                       uInt *status) {
+  Int shift;                           /* shift needed if clamping */
+  Int tinyexp=set->emin-dn->digits+1;  /* precalculate subnormal boundary */
+
+  /* Must be careful, here, when checking the exponent as the */
+  /* adjusted exponent could overflow 31 bits [because it may already */
+  /* be up to twice the expected]. */
+
+  /* First test for subnormal. This must be done before any final */
+  /* round as the result could be rounded to Nmin or 0. */
+  if (dn->exponent<=tinyexp) {         /* prefilter */
+    Int comp;
+    decNumber nmin;
+    /* A very nasty case here is dn == Nmin and residue<0 */
+    if (dn->exponent<tinyexp) {
+      /* Go handle subnormals; this will apply round if needed. */
+      decSetSubnormal(dn, set, residue, status);
+      return;
+      }
+    /* Equals case: only subnormal if dn=Nmin and negative residue */
+    decNumberZero(&nmin);
+    nmin.lsu[0]=1;
+    nmin.exponent=set->emin;
+    comp=decCompare(dn, &nmin, 1);               /* (signless compare) */
+    if (comp==BADINT) {                                  /* oops */
+      *status|=DEC_Insufficient_storage;         /* abandon... */
+      return;
+      }
+    if (*residue<0 && comp==0) {                 /* neg residue and dn==Nmin */
+      decApplyRound(dn, set, *residue, status);          /* might force down */
+      decSetSubnormal(dn, set, residue, status);
+      return;
+      }
+    }
+
+  /* now apply any pending round (this could raise overflow). */
+  if (*residue!=0) decApplyRound(dn, set, *residue, status);
+
+  /* Check for overflow [redundant in the 'rare' case] or clamp */
+  if (dn->exponent<=set->emax-set->digits+1) return;   /* neither needed */
+
+
+  /* here when might have an overflow or clamp to do */
+  if (dn->exponent>set->emax-dn->digits+1) {          /* too big */
+    decSetOverflow(dn, set, status);
+    return;
+    }
+  /* here when the result is normal but in clamp range */
+  if (!set->clamp) return;
+
+  /* here when need to apply the IEEE exponent clamp (fold-down) */
+  shift=dn->exponent-(set->emax-set->digits+1);
+
+  /* shift coefficient (if non-zero) */
+  if (!ISZERO(dn)) {
+    dn->digits=decShiftToMost(dn->lsu, dn->digits, shift);
+    }
+  dn->exponent-=shift;  /* adjust the exponent to match */
+  *status|=DEC_Clamped;         /* and record the dirty deed */
+  return;
+  } /* decFinalize */
+
+/* ------------------------------------------------------------------ */
+/* decSetOverflow -- set number to proper overflow value             */
+/*                                                                   */
+/*   dn is the number (used for sign [only] and result)                      */
+/*   set is the context [used for the rounding mode, etc.]           */
+/*   status contains the current status to be updated                */
+/*                                                                   */
+/* This sets the sign of a number and sets its value to either       */
+/* Infinity or the maximum finite value, depending on the sign of     */
+/* dn and the rounding mode, following IEEE 854 rules.               */
+/* ------------------------------------------------------------------ */
+static void decSetOverflow(decNumber *dn, decContext *set, uInt *status) {
+  Flag needmax=0;                 /* result is maximum finite value */
+  uByte sign=dn->bits&DECNEG;     /* clean and save sign bit */
+
+  if (ISZERO(dn)) {               /* zero does not overflow magnitude */
+    Int emax=set->emax;                             /* limit value */
+    if (set->clamp) emax-=set->digits-1;     /* lower if clamping */
+    if (dn->exponent>emax) {                /* clamp required */
+      dn->exponent=emax;
+      *status|=DEC_Clamped;
+      }
+    return;
+    }
+
+  decNumberZero(dn);
+  switch (set->round) {
+    case DEC_ROUND_DOWN: {
+      needmax=1;                  /* never Infinity */
+      break;} /* r-d */
+    case DEC_ROUND_05UP: {
+      needmax=1;                  /* never Infinity */
+      break;} /* r-05 */
+    case DEC_ROUND_CEILING: {
+      if (sign) needmax=1;        /* Infinity if non-negative */
+      break;} /* r-c */
+    case DEC_ROUND_FLOOR: {
+      if (!sign) needmax=1;       /* Infinity if negative */
+      break;} /* r-f */
+    default: break;               /* Infinity in all other cases */
+    }
+  if (needmax) {
+    decSetMaxValue(dn, set);
+    dn->bits=sign;                /* set sign */
+    }
+   else dn->bits=sign|DECINF;     /* Value is +/-Infinity */
+  *status|=DEC_Overflow | DEC_Inexact | DEC_Rounded;
+  } /* decSetOverflow */
+
+/* ------------------------------------------------------------------ */
+/* decSetMaxValue -- set number to +Nmax (maximum normal value)              */
+/*                                                                   */
+/*   dn is the number to set                                         */
+/*   set is the context [used for digits and emax]                   */
+/*                                                                   */
+/* This sets the number to the maximum positive value.               */
+/* ------------------------------------------------------------------ */
+static void decSetMaxValue(decNumber *dn, decContext *set) {
+  Unit *up;                       /* work */
+  Int count=set->digits;          /* nines to add */
+  dn->digits=count;
+  /* fill in all nines to set maximum value */
+  for (up=dn->lsu; ; up++) {
+    if (count>DECDPUN) *up=DECDPUNMAX; /* unit full o'nines */
+     else {                            /* this is the msu */
+      *up=(Unit)(powers[count]-1);
+      break;
+      }
+    count-=DECDPUN;               /* filled those digits */
+    } /* up */
+  dn->bits=0;                     /* + sign */
+  dn->exponent=set->emax-set->digits+1;
+  } /* decSetMaxValue */
+
+/* ------------------------------------------------------------------ */
+/* decSetSubnormal -- process value whose exponent is <Emin          */
+/*                                                                   */
+/*   dn is the number (used as input as well as output; it may have   */
+/*        an allowed subnormal value, which may need to be rounded)  */
+/*   set is the context [used for the rounding mode]                 */
+/*   residue is any pending residue                                  */
+/*   status contains the current status to be updated                */
+/*                                                                   */
+/* If subset mode, set result to zero and set Underflow flags.       */
+/*                                                                   */
+/* Value may be zero with a low exponent; this does not set Subnormal */
+/* but the exponent will be clamped to Etiny.                        */
+/*                                                                   */
+/* Otherwise ensure exponent is not out of range, and round as       */
+/* necessary.  Underflow is set if the result is Inexact.            */
+/* ------------------------------------------------------------------ */
+static void decSetSubnormal(decNumber *dn, decContext *set, Int *residue,
+                           uInt *status) {
+  decContext workset;        /* work */
+  Int       etiny, adjust;   /* .. */
+
+  #if DECSUBSET
+  /* simple set to zero and 'hard underflow' for subset */
+  if (!set->extended) {
+    decNumberZero(dn);
+    /* always full overflow */
+    *status|=DEC_Underflow | DEC_Subnormal | DEC_Inexact | DEC_Rounded;
+    return;
+    }
+  #endif
+
+  /* Full arithmetic -- allow subnormals, rounded to minimum exponent */
+  /* (Etiny) if needed */
+  etiny=set->emin-(set->digits-1);     /* smallest allowed exponent */
+
+  if ISZERO(dn) {                      /* value is zero */
+    /* residue can never be non-zero here */
+    #if DECCHECK
+      if (*residue!=0) {
+       printf("++ Subnormal 0 residue %ld\n", (LI)*residue);
+       *status|=DEC_Invalid_operation;
+       }
+    #endif
+    if (dn->exponent<etiny) {          /* clamp required */
+      dn->exponent=etiny;
+      *status|=DEC_Clamped;
+      }
+    return;
+    }
+
+  *status|=DEC_Subnormal;              /* have a non-zero subnormal */
+  adjust=etiny-dn->exponent;           /* calculate digits to remove */
+  if (adjust<=0) {                     /* not out of range; unrounded */
+    /* residue can never be non-zero here, except in the Nmin-residue */
+    /* case (which is a subnormal result), so can take fast-path here */
+    /* it may already be inexact (from setting the coefficient) */
+    if (*status&DEC_Inexact) *status|=DEC_Underflow;
+    return;
+    }
+
+  /* adjust>0, so need to rescale the result so exponent becomes Etiny */
+  /* [this code is similar to that in rescale] */
+  workset=*set;                                /* clone rounding, etc. */
+  workset.digits=dn->digits-adjust;    /* set requested length */
+  workset.emin-=adjust;                        /* and adjust emin to match */
+  /* [note that the latter can be <1, here, similar to Rescale case] */
+  decSetCoeff(dn, &workset, dn->lsu, dn->digits, residue, status);
+  decApplyRound(dn, &workset, *residue, status);
+
+  /* Use 754R/854 default rule: Underflow is set iff Inexact */
+  /* [independent of whether trapped] */
+  if (*status&DEC_Inexact) *status|=DEC_Underflow;
+
+  /* if rounded up a 999s case, exponent will be off by one; adjust */
+  /* back if so [it will fit, because it was shortened earlier] */
+  if (dn->exponent>etiny) {
+    dn->digits=decShiftToMost(dn->lsu, dn->digits, 1);
+    dn->exponent--;                    /* (re)adjust the exponent. */
+    }
+
+  /* if rounded to zero, it is by definition clamped... */
+  if (ISZERO(dn)) *status|=DEC_Clamped;
+  } /* decSetSubnormal */
+
+/* ------------------------------------------------------------------ */
+/* decCheckMath - check entry conditions for a math function         */
+/*                                                                   */
+/*   This checks the context and the operand                         */
+/*                                                                   */
+/*   rhs is the operand to check                                     */
+/*   set is the context to check                                     */
+/*   status is unchanged if both are good                            */
+/*                                                                   */
+/* returns non-zero if status is changed, 0 otherwise                */
+/*                                                                   */
+/* Restrictions enforced:                                            */
+/*                                                                   */
+/*   digits, emax, and -emin in the context must be less than        */
+/*   DEC_MAX_MATH (999999), and A must be within these bounds if      */
+/*   non-zero. Invalid_operation is set in the status if a           */
+/*   restriction is violated.                                        */
+/* ------------------------------------------------------------------ */
+static uInt decCheckMath(const decNumber *rhs, decContext *set,
+                        uInt *status) {
+  uInt save=*status;                        /* record */
+  if (set->digits>DEC_MAX_MATH
+   || set->emax>DEC_MAX_MATH
+   || -set->emin>DEC_MAX_MATH) *status|=DEC_Invalid_context;
+   else if ((rhs->digits>DEC_MAX_MATH
+     || rhs->exponent+rhs->digits>DEC_MAX_MATH+1
+     || rhs->exponent+rhs->digits<2*(1-DEC_MAX_MATH))
+     && !ISZERO(rhs)) *status|=DEC_Invalid_operation;
+  return (*status!=save);
+  } /* decCheckMath */
+
+/* ------------------------------------------------------------------ */
+/* decGetInt -- get integer from a number                            */
+/*                                                                   */
+/*   dn is the number [which will not be altered]                    */
+/*                                                                   */
+/*   returns one of:                                                 */
+/*     BADINT if there is a non-zero fraction                        */
+/*     the converted integer                                         */
+/*     BIGEVEN if the integer is even and magnitude > 2*10**9        */
+/*     BIGODD  if the integer is odd  and magnitude > 2*10**9        */
+/*                                                                   */
+/* This checks and gets a whole number from the input decNumber.      */
+/* The sign can be determined from dn by the caller when BIGEVEN or   */
+/* BIGODD is returned.                                               */
+/* ------------------------------------------------------------------ */
+static Int decGetInt(const decNumber *dn) {
+  Int  theInt;                         /* result accumulator */
+  const Unit *up;                      /* work */
+  Int  got;                            /* digits (real or not) processed */
+  Int  ilength=dn->digits+dn->exponent; /* integral length */
+  Flag neg=decNumberIsNegative(dn);    /* 1 if -ve */
+
+  /* The number must be an integer that fits in 10 digits */
+  /* Assert, here, that 10 is enough for any rescale Etiny */
+  #if DEC_MAX_EMAX > 999999999
+    #error GetInt may need updating [for Emax]
+  #endif
+  #if DEC_MIN_EMIN < -999999999
+    #error GetInt may need updating [for Emin]
+  #endif
+  if (ISZERO(dn)) return 0;            /* zeros are OK, with any exponent */
+
+  up=dn->lsu;                          /* ready for lsu */
+  theInt=0;                            /* ready to accumulate */
+  if (dn->exponent>=0) {               /* relatively easy */
+    /* no fractional part [usual]; allow for positive exponent */
+    got=dn->exponent;
+    }
+   else { /* -ve exponent; some fractional part to check and discard */
+    Int count=-dn->exponent;           /* digits to discard */
+    /* spin up whole units until reach the Unit with the unit digit */
+    for (; count>=DECDPUN; up++) {
+      if (*up!=0) return BADINT;       /* non-zero Unit to discard */
+      count-=DECDPUN;
+      }
+    if (count==0) got=0;               /* [a multiple of DECDPUN] */
+     else {                            /* [not multiple of DECDPUN] */
+      Int rem;                         /* work */
+      /* slice off fraction digits and check for non-zero */
+      #if DECDPUN<=4
+       theInt=QUOT10(*up, count);
+       rem=*up-theInt*powers[count];
+      #else
+       rem=*up%powers[count];          /* slice off discards */
+       theInt=*up/powers[count];
+      #endif
+      if (rem!=0) return BADINT;       /* non-zero fraction */
+      /* it looks good */
+      got=DECDPUN-count;               /* number of digits so far */
+      up++;                            /* ready for next */
+      }
+    }
+  /* now it's known there's no fractional part */
+
+  /* tricky code now, to accumulate up to 9.3 digits */
+  if (got==0) {theInt=*up; got+=DECDPUN; up++;} /* ensure lsu is there */
+
+  if (ilength<11) {
+    Int save=theInt;
+    /* collect any remaining unit(s) */
+    for (; got<ilength; up++) {
+      theInt+=*up*powers[got];
+      got+=DECDPUN;
+      }
+    if (ilength==10) {                 /* need to check for wrap */
+      if (theInt/(Int)powers[got-DECDPUN]!=(Int)*(up-1)) ilength=11;
+        /* [that test also disallows the BADINT result case] */
+       else if (neg && theInt>1999999997) ilength=11;
+       else if (!neg && theInt>999999999) ilength=11;
+      if (ilength==11) theInt=save;    /* restore correct low bit */
+      }
+    }
+
+  if (ilength>10) {                    /* too big */
+    if (theInt&1) return BIGODD;       /* bottom bit 1 */
+    return BIGEVEN;                    /* bottom bit 0 */
+    }
+
+  if (neg) theInt=-theInt;             /* apply sign */
+  return theInt;
+  } /* decGetInt */
+
+/* ------------------------------------------------------------------ */
+/* decDecap -- decapitate the coefficient of a number                */
+/*                                                                   */
+/*   dn          is the number to be decapitated                             */
+/*   drop is the number of digits to be removed from the left of dn;  */
+/*     this must be <= dn->digits (if equal, the coefficient is              */
+/*     set to 0)                                                     */
+/*                                                                   */
+/* Returns dn; dn->digits will be <= the initial digits less drop     */
+/* (after removing drop digits there may be leading zero digits              */
+/* which will also be removed).         Only dn->lsu and dn->digits change.  */
+/* ------------------------------------------------------------------ */
+static decNumber *decDecap(decNumber *dn, Int drop) {
+  Unit *msu;                           /* -> target cut point */
+  Int cut;                             /* work */
+  if (drop>=dn->digits) {              /* losing the whole thing */
+    #if DECCHECK
+    if (drop>dn->digits)
+      printf("decDecap called with drop>digits [%ld>%ld]\n",
+            (LI)drop, (LI)dn->digits);
+    #endif
+    dn->lsu[0]=0;
+    dn->digits=1;
+    return dn;
+    }
+  msu=dn->lsu+D2U(dn->digits-drop)-1;  /* -> likely msu */
+  cut=MSUDIGITS(dn->digits-drop);      /* digits to be in use in msu */
+  if (cut!=DECDPUN) *msu%=powers[cut]; /* clear left digits */
+  /* that may have left leading zero digits, so do a proper count... */
+  dn->digits=decGetDigits(dn->lsu, msu-dn->lsu+1);
+  return dn;
+  } /* decDecap */
+
+/* ------------------------------------------------------------------ */
+/* decBiStr -- compare string with pairwise options                  */
+/*                                                                   */
+/*   targ is the string to compare                                   */
+/*   str1 is one of the strings to compare against (length may be 0)  */
+/*   str2 is the other; it must be the same length as str1           */
+/*                                                                   */
+/*   returns 1 if strings compare equal, (that is, it is the same     */
+/*   length as str1 and str2, and each character of targ is in either */
+/*   str1 or str2 in the corresponding position), or 0 otherwise      */
+/*                                                                   */
+/* This is used for generic caseless compare, including the awkward   */
+/* case of the Turkish dotted and dotless Is.  Use as (for example):  */
+/*   if (decBiStr(test, "mike", "MIKE")) ...                         */
+/* ------------------------------------------------------------------ */
+static Flag decBiStr(const char *targ, const char *str1, const char *str2) {
+  for (;;targ++, str1++, str2++) {
+    if (*targ!=*str1 && *targ!=*str2) return 0;
+    /* *targ has a match in one (or both, if terminator) */
+    if (*targ=='\0') break;
+    } /* forever */
+  return 1;
+  } /* decBiStr */
+
+/* ------------------------------------------------------------------ */
+/* decNaNs -- handle NaN operand or operands                         */
+/*                                                                   */
+/*   res     is the result number                                    */
+/*   lhs     is the first operand                                    */
+/*   rhs     is the second operand, or NULL if none                  */
+/*   context is used to limit payload length                         */
+/*   status  contains the current status                             */
+/*   returns res in case convenient                                  */
+/*                                                                   */
+/* Called when one or both operands is a NaN, and propagates the      */
+/* appropriate result to res.  When an sNaN is found, it is changed   */
+/* to a qNaN and Invalid operation is set.                           */
+/* ------------------------------------------------------------------ */
+static decNumber * decNaNs(decNumber *res, const decNumber *lhs,
+                          const decNumber *rhs, decContext *set,
+                          uInt *status) {
+  /* This decision tree ends up with LHS being the source pointer, */
+  /* and status updated if need be */
+  if (lhs->bits & DECSNAN)
+    *status|=DEC_Invalid_operation | DEC_sNaN;
+   else if (rhs==NULL);
+   else if (rhs->bits & DECSNAN) {
+    lhs=rhs;
+    *status|=DEC_Invalid_operation | DEC_sNaN;
+    }
+   else if (lhs->bits & DECNAN);
+   else lhs=rhs;
+
+  /* propagate the payload */
+  if (lhs->digits<=set->digits) decNumberCopy(res, lhs); /* easy */
+   else { /* too long */
+    const Unit *ul;
+    Unit *ur, *uresp1;
+    /* copy safe number of units, then decapitate */
+    res->bits=lhs->bits;               /* need sign etc. */
+    uresp1=res->lsu+D2U(set->digits);
+    for (ur=res->lsu, ul=lhs->lsu; ur<uresp1; ur++, ul++) *ur=*ul;
+    res->digits=D2U(set->digits)*DECDPUN;
+    /* maybe still too long */
+    if (res->digits>set->digits) decDecap(res, res->digits-set->digits);
+    }
+
+  res->bits&=~DECSNAN;       /* convert any sNaN to NaN, while */
+  res->bits|=DECNAN;         /* .. preserving sign */
+  res->exponent=0;           /* clean exponent */
+                             /* [coefficient was copied/decapitated] */
+  return res;
+  } /* decNaNs */
+
+/* ------------------------------------------------------------------ */
+/* decStatus -- apply non-zero status                                */
+/*                                                                   */
+/*   dn            is the number to set if error                             */
+/*   status contains the current status (not yet in context)         */
+/*   set    is the context                                           */
+/*                                                                   */
+/* If the status is an error status, the number is set to a NaN,      */
+/* unless the error was an overflow, divide-by-zero, or underflow,    */
+/* in which case the number will have already been set.                      */
+/*                                                                   */
+/* The context status is then updated with the new status.  Note that */
+/* this may raise a signal, so control may never return from this     */
+/* routine (hence resources must be recovered before it is called).   */
+/* ------------------------------------------------------------------ */
+static void decStatus(decNumber *dn, uInt status, decContext *set) {
+  if (status & DEC_NaNs) {             /* error status -> NaN */
+    /* if cause was an sNaN, clear and propagate [NaN is already set up] */
+    if (status & DEC_sNaN) status&=~DEC_sNaN;
+     else {
+      decNumberZero(dn);               /* other error: clean throughout */
+      dn->bits=DECNAN;                 /* and make a quiet NaN */
+      }
+    }
+  decContextSetStatus(set, status);    /* [may not return] */
+  return;
+  } /* decStatus */
+
+/* ------------------------------------------------------------------ */
+/* decGetDigits -- count digits in a Units array                     */
+/*                                                                   */
+/*   uar is the Unit array holding the number (this is often an              */
+/*         accumulator of some sort)                                 */
+/*   len is the length of the array in units [>=1]                   */
+/*                                                                   */
+/*   returns the number of (significant) digits in the array         */
+/*                                                                   */
+/* All leading zeros are excluded, except the last if the array has   */
+/* only zero Units.                                                  */
+/* ------------------------------------------------------------------ */
+/* This may be called twice during some operations. */
+static Int decGetDigits(Unit *uar, Int len) {
+  Unit *up=uar+(len-1);                   /* -> msu */
+  Int  digits=(len-1)*DECDPUN+1;   /* possible digits excluding msu */
+  #if DECDPUN>4
+  uInt const *pow;                /* work */
+  #endif
+                                  /* (at least 1 in final msu) */
+  #if DECCHECK
+  if (len<1) printf("decGetDigits called with len<1 [%ld]\n", (LI)len);
+  #endif
+
+  for (; up>=uar; up--) {
+    if (*up==0) {                 /* unit is all 0s */
+      if (digits==1) break;       /* a zero has one digit */
+      digits-=DECDPUN;            /* adjust for 0 unit */
+      continue;}
+    /* found the first (most significant) non-zero Unit */
+    #if DECDPUN>1                 /* not done yet */
+    if (*up<10) break;            /* is 1-9 */
+    digits++;
+    #if DECDPUN>2                 /* not done yet */
+    if (*up<100) break;                   /* is 10-99 */
+    digits++;
+    #if DECDPUN>3                 /* not done yet */
+    if (*up<1000) break;          /* is 100-999 */
+    digits++;
+    #if DECDPUN>4                 /* count the rest ... */
+    for (pow=&powers[4]; *up>=*pow; pow++) digits++;
+    #endif
+    #endif
+    #endif
+    #endif
+    break;
+    } /* up */
+  return digits;
+  } /* decGetDigits */
+
+#if DECTRACE | DECCHECK
+/* ------------------------------------------------------------------ */
+/* decNumberShow -- display a number [debug aid]                     */
+/*   dn is the number to show                                        */
+/*                                                                   */
+/* Shows: sign, exponent, coefficient (msu first), digits            */
+/*    or: sign, special-value                                        */
+/* ------------------------------------------------------------------ */
+/* this is public so other modules can use it */
+void decNumberShow(const decNumber *dn) {
+  const Unit *up;                 /* work */
+  uInt u, d;                      /* .. */
+  Int cut;                        /* .. */
+  char isign='+';                 /* main sign */
+  if (dn==NULL) {
+    printf("NULL\n");
+    return;}
+  if (decNumberIsNegative(dn)) isign='-';
+  printf(" >> %c ", isign);
+  if (dn->bits&DECSPECIAL) {      /* Is a special value */
+    if (decNumberIsInfinite(dn)) printf("Infinity");
+     else {                                 /* a NaN */
+      if (dn->bits&DECSNAN) printf("sNaN");  /* signalling NaN */
+       else printf("NaN");
+      }
+    /* if coefficient and exponent are 0, no more to do */
+    if (dn->exponent==0 && dn->digits==1 && *dn->lsu==0) {
+      printf("\n");
+      return;}
+    /* drop through to report other information */
+    printf(" ");
+    }
+
+  /* now carefully display the coefficient */
+  up=dn->lsu+D2U(dn->digits)-1;                /* msu */
+  printf("%ld", (LI)*up);
+  for (up=up-1; up>=dn->lsu; up--) {
+    u=*up;
+    printf(":");
+    for (cut=DECDPUN-1; cut>=0; cut--) {
+      d=u/powers[cut];
+      u-=d*powers[cut];
+      printf("%ld", (LI)d);
+      } /* cut */
+    } /* up */
+  if (dn->exponent!=0) {
+    char esign='+';
+    if (dn->exponent<0) esign='-';
+    printf(" E%c%ld", esign, (LI)abs(dn->exponent));
+    }
+  printf(" [%ld]\n", (LI)dn->digits);
+  } /* decNumberShow */
+#endif
+
+#if DECTRACE || DECCHECK
+/* ------------------------------------------------------------------ */
+/* decDumpAr -- display a unit array [debug/check aid]               */
+/*   name is a single-character tag name                             */
+/*   ar          is the array to display                                     */
+/*   len  is the length of the array in Units                        */
+/* ------------------------------------------------------------------ */
+static void decDumpAr(char name, const Unit *ar, Int len) {
+  Int i;
+  const char *spec;
+  #if DECDPUN==9
+    spec="%09d ";
+  #elif DECDPUN==8
+    spec="%08d ";
+  #elif DECDPUN==7
+    spec="%07d ";
+  #elif DECDPUN==6
+    spec="%06d ";
+  #elif DECDPUN==5
+    spec="%05d ";
+  #elif DECDPUN==4
+    spec="%04d ";
+  #elif DECDPUN==3
+    spec="%03d ";
+  #elif DECDPUN==2
+    spec="%02d ";
+  #else
+    spec="%d ";
+  #endif
+  printf("  :%c: ", name);
+  for (i=len-1; i>=0; i--) {
+    if (i==len-1) printf("%ld ", (LI)ar[i]);
+     else printf(spec, ar[i]);
+    }
+  printf("\n");
+  return;}
+#endif
+
+#if DECCHECK
+/* ------------------------------------------------------------------ */
+/* decCheckOperands -- check operand(s) to a routine                 */
+/*   res is the result structure (not checked; it will be set to      */
+/*         quiet NaN if error found (and it is not NULL))            */
+/*   lhs is the first operand (may be DECUNRESU)                     */
+/*   rhs is the second (may be DECUNUSED)                            */
+/*   set is the context (may be DECUNCONT)                           */
+/*   returns 0 if both operands, and the context are clean, or 1      */
+/*     otherwise (in which case the context will show an error,              */
+/*     unless NULL).  Note that res is not cleaned; caller should     */
+/*     handle this so res=NULL case is safe.                         */
+/* The caller is expected to abandon immediately if 1 is returned.    */
+/* ------------------------------------------------------------------ */
+static Flag decCheckOperands(decNumber *res, const decNumber *lhs,
+                            const decNumber *rhs, decContext *set) {
+  Flag bad=0;
+  if (set==NULL) {                /* oops; hopeless */
+    #if DECTRACE || DECVERB
+    printf("Reference to context is NULL.\n");
+    #endif
+    bad=1;
+    return 1;}
+   else if (set!=DECUNCONT
+     && (set->digits<1 || set->round>=DEC_ROUND_MAX)) {
+    bad=1;
+    #if DECTRACE || DECVERB
+    printf("Bad context [digits=%ld round=%ld].\n",
+          (LI)set->digits, (LI)set->round);
+    #endif
+    }
+   else {
+    if (res==NULL) {
+      bad=1;
+      #if DECTRACE
+      /* this one not DECVERB as standard tests include NULL */
+      printf("Reference to result is NULL.\n");
+      #endif
+      }
+    if (!bad && lhs!=DECUNUSED) bad=(decCheckNumber(lhs));
+    if (!bad && rhs!=DECUNUSED) bad=(decCheckNumber(rhs));
+    }
+  if (bad) {
+    if (set!=DECUNCONT) decContextSetStatus(set, DEC_Invalid_operation);
+    if (res!=DECUNRESU && res!=NULL) {
+      decNumberZero(res);
+      res->bits=DECNAN;              /* qNaN */
+      }
+    }
+  return bad;
+  } /* decCheckOperands */
+
+/* ------------------------------------------------------------------ */
+/* decCheckNumber -- check a number                                  */
+/*   dn is the number to check                                       */
+/*   returns 0 if the number is clean, or 1 otherwise                */
+/*                                                                   */
+/* The number is considered valid if it could be a result from some   */
+/* operation in some valid context.                                  */
+/* ------------------------------------------------------------------ */
+static Flag decCheckNumber(const decNumber *dn) {
+  const Unit *up;            /* work */
+  uInt maxuint;                      /* .. */
+  Int ae, d, digits;         /* .. */
+  Int emin, emax;            /* .. */
+
+  if (dn==NULL) {            /* hopeless */
+    #if DECTRACE
+    /* this one not DECVERB as standard tests include NULL */
+    printf("Reference to decNumber is NULL.\n");
+    #endif
+    return 1;}
+
+  /* check special values */
+  if (dn->bits & DECSPECIAL) {
+    if (dn->exponent!=0) {
+      #if DECTRACE || DECVERB
+      printf("Exponent %ld (not 0) for a special value [%02x].\n",
+            (LI)dn->exponent, dn->bits);
+      #endif
+      return 1;}
+
+    /* 2003.09.08: NaNs may now have coefficients, so next tests Inf only */
+    if (decNumberIsInfinite(dn)) {
+      if (dn->digits!=1) {
+       #if DECTRACE || DECVERB
+       printf("Digits %ld (not 1) for an infinity.\n", (LI)dn->digits);
+       #endif
+       return 1;}
+      if (*dn->lsu!=0) {
+       #if DECTRACE || DECVERB
+       printf("LSU %ld (not 0) for an infinity.\n", (LI)*dn->lsu);
+       #endif
+       decDumpAr('I', dn->lsu, D2U(dn->digits));
+       return 1;}
+      } /* Inf */
+    /* 2002.12.26: negative NaNs can now appear through proposed IEEE */
+    /*            concrete formats (decimal64, etc.). */
+    return 0;
+    }
+
+  /* check the coefficient */
+  if (dn->digits<1 || dn->digits>DECNUMMAXP) {
+    #if DECTRACE || DECVERB
+    printf("Digits %ld in number.\n", (LI)dn->digits);
+    #endif
+    return 1;}
+
+  d=dn->digits;
+
+  for (up=dn->lsu; d>0; up++) {
+    if (d>DECDPUN) maxuint=DECDPUNMAX;
+     else {                  /* reached the msu */
+      maxuint=powers[d]-1;
+      if (dn->digits>1 && *up<powers[d-1]) {
+       #if DECTRACE || DECVERB
+       printf("Leading 0 in number.\n");
+       decNumberShow(dn);
+       #endif
+       return 1;}
+      }
+    if (*up>maxuint) {
+      #if DECTRACE || DECVERB
+      printf("Bad Unit [%08lx] in %ld-digit number at offset %ld [maxuint %ld].\n",
+             (LI)*up, (LI)dn->digits, (LI)(up-dn->lsu), (LI)maxuint);
+      #endif
+      return 1;}
+    d-=DECDPUN;
+    }
+
+  /* check the exponent.  Note that input operands can have exponents */
+  /* which are out of the set->emin/set->emax and set->digits range */
+  /* (just as they can have more digits than set->digits). */
+  ae=dn->exponent+dn->digits-1;           /* adjusted exponent */
+  emax=DECNUMMAXE;
+  emin=DECNUMMINE;
+  digits=DECNUMMAXP;
+  if (ae<emin-(digits-1)) {
+    #if DECTRACE || DECVERB
+    printf("Adjusted exponent underflow [%ld].\n", (LI)ae);
+    decNumberShow(dn);
+    #endif
+    return 1;}
+  if (ae>+emax) {
+    #if DECTRACE || DECVERB
+    printf("Adjusted exponent overflow [%ld].\n", (LI)ae);
+    decNumberShow(dn);
+    #endif
+    return 1;}
+
+  return 0;             /* it's OK */
+  } /* decCheckNumber */
+
+/* ------------------------------------------------------------------ */
+/* decCheckInexact -- check a normal finite inexact result has digits */
+/*   dn is the number to check                                       */
+/*   set is the context (for status and precision)                   */
+/*   sets Invalid operation, etc., if some digits are missing        */
+/* [this check is not made for DECSUBSET compilation or when         */
+/* subnormal is not set]                                             */
+/* ------------------------------------------------------------------ */
+static void decCheckInexact(const decNumber *dn, decContext *set) {
+  #if !DECSUBSET && DECEXTFLAG
+    if ((set->status & (DEC_Inexact|DEC_Subnormal))==DEC_Inexact
+     && (set->digits!=dn->digits) && !(dn->bits & DECSPECIAL)) {
+      #if DECTRACE || DECVERB
+      printf("Insufficient digits [%ld] on normal Inexact result.\n",
+            (LI)dn->digits);
+      decNumberShow(dn);
+      #endif
+      decContextSetStatus(set, DEC_Invalid_operation);
+      }
+  #else
+    /* next is a noop for quiet compiler */
+    if (dn!=NULL && dn->digits==0) set->status|=DEC_Invalid_operation;
+  #endif
+  return;
+  } /* decCheckInexact */
+#endif
+
+#if DECALLOC
+#undef malloc
+#undef free
+/* ------------------------------------------------------------------ */
+/* decMalloc -- accountable allocation routine                       */
+/*   n is the number of bytes to allocate                            */
+/*                                                                   */
+/* Semantics is the same as the stdlib malloc routine, but bytes      */
+/* allocated are accounted for globally, and corruption fences are    */
+/* added before and after the 'actual' storage.                              */
+/* ------------------------------------------------------------------ */
+/* This routine allocates storage with an extra twelve bytes; 8 are   */
+/* at the start and hold:                                            */
+/*   0-3 the original length requested                               */
+/*   4-7 buffer corruption detection fence (DECFENCE, x4)            */
+/* The 4 bytes at the end also hold a corruption fence (DECFENCE, x4) */
+/* ------------------------------------------------------------------ */
+static void *decMalloc(size_t n) {
+  uInt size=n+12;                 /* true size */
+  void *alloc;                    /* -> allocated storage */
+  uInt *j;                        /* work */
+  uByte *b, *b0;                  /* .. */
+
+  alloc=malloc(size);             /* -> allocated storage */
+  if (alloc==NULL) return NULL;           /* out of strorage */
+  b0=(uByte *)alloc;              /* as bytes */
+  decAllocBytes+=n;               /* account for storage */
+  j=(uInt *)alloc;                /* -> first four bytes */
+  *j=n;                                   /* save n */
+  /* printf(" alloc ++ dAB: %ld (%d)\n", decAllocBytes, n); */
+  for (b=b0+4; b<b0+8; b++) *b=DECFENCE;
+  for (b=b0+n+8; b<b0+n+12; b++) *b=DECFENCE;
+  return b0+8;                    /* -> play area */
+  } /* decMalloc */
+
+/* ------------------------------------------------------------------ */
+/* decFree -- accountable free routine                               */
+/*   alloc is the storage to free                                    */
+/*                                                                   */
+/* Semantics is the same as the stdlib malloc routine, except that    */
+/* the global storage accounting is updated and the fences are       */
+/* checked to ensure that no routine has written 'out of bounds'.     */
+/* ------------------------------------------------------------------ */
+/* This routine first checks that the fences have not been corrupted. */
+/* It then frees the storage using the 'truw' storage address (that   */
+/* is, offset by 8).                                                 */
+/* ------------------------------------------------------------------ */
+static void decFree(void *alloc) {
+  uInt *j, n;                     /* pointer, original length */
+  uByte *b, *b0;                  /* work */
+
+  if (alloc==NULL) return;        /* allowed; it's a nop */
+  b0=(uByte *)alloc;              /* as bytes */
+  b0-=8;                          /* -> true start of storage */
+  j=(uInt *)b0;                           /* -> first four bytes */
+  n=*j;                                   /* lift */
+  for (b=b0+4; b<b0+8; b++) if (*b!=DECFENCE)
+    printf("=== Corrupt byte [%02x] at offset %d from %ld ===\n", *b,
+          b-b0-8, (Int)b0);
+  for (b=b0+n+8; b<b0+n+12; b++) if (*b!=DECFENCE)
+    printf("=== Corrupt byte [%02x] at offset +%d from %ld, n=%ld ===\n", *b,
+          b-b0-8, (Int)b0, n);
+  free(b0);                       /* drop the storage */
+  decAllocBytes-=n;               /* account for storage */
+  /* printf(" free -- dAB: %d (%d)\n", decAllocBytes, -n); */
+  } /* decFree */
+#define malloc(a) decMalloc(a)
+#define free(a) decFree(a)
+#endif
diff --git a/libdecnumber/dpd/decimal128.c b/libdecnumber/dpd/decimal128.c
new file mode 100644 (file)
index 0000000..7551b7c
--- /dev/null
@@ -0,0 +1,564 @@
+/* Decimal 128-bit format module for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal 128-bit format module                                     */
+/* ------------------------------------------------------------------ */
+/* This module comprises the routines for decimal128 format numbers.  */
+/* Conversions are supplied to and from decNumber and String.        */
+/*                                                                   */
+/* This is used when decNumber provides operations, either for all    */
+/* operations or as a proxy between decNumber and decSingle.         */
+/*                                                                   */
+/* Error handling is the same as decNumber (qv.).                    */
+/* ------------------------------------------------------------------ */
+#include <string.h>          /* [for memset/memcpy] */
+#include <stdio.h>           /* [for printf] */
+
+#include "libdecnumber/dconfig.h"
+#define         DECNUMDIGITS 34      /* make decNumbers with space for 34 */
+#include "libdecnumber/decNumber.h"
+#include "libdecnumber/decNumberLocal.h"
+#include "libdecnumber/dpd/decimal128.h"
+
+/* Utility routines and tables [in decimal64.c] */
+extern const uInt   COMBEXP[32], COMBMSD[32];
+extern const uByte  BIN2CHAR[4001];
+
+extern void decDigitsFromDPD(decNumber *, const uInt *, Int);
+extern void decDigitsToDPD(const decNumber *, uInt *, Int);
+
+#if DECTRACE || DECCHECK
+void decimal128Show(const decimal128 *);         /* for debug */
+extern void decNumberShow(const decNumber *);    /* .. */
+#endif
+
+/* Useful macro */
+/* Clear a structure (e.g., a decNumber) */
+#define DEC_clear(d) memset(d, 0, sizeof(*d))
+
+/* ------------------------------------------------------------------ */
+/* decimal128FromNumber -- convert decNumber to decimal128           */
+/*                                                                   */
+/*   ds is the target decimal128                                     */
+/*   dn is the source number (assumed valid)                         */
+/*   set is the context, used only for reporting errors                      */
+/*                                                                   */
+/* The set argument is used only for status reporting and for the     */
+/* rounding mode (used if the coefficient is more than DECIMAL128_Pmax*/
+/* digits or an overflow is detected). If the exponent is out of the */
+/* valid range then Overflow or Underflow will be raised.            */
+/* After Underflow a subnormal result is possible.                   */
+/*                                                                   */
+/* DEC_Clamped is set if the number has to be 'folded down' to fit,   */
+/* by reducing its exponent and multiplying the coefficient by a      */
+/* power of ten, or if the exponent on a zero had to be clamped.      */
+/* ------------------------------------------------------------------ */
+decimal128 * decimal128FromNumber(decimal128 *d128, const decNumber *dn,
+                                 decContext *set) {
+  uInt status=0;                  /* status accumulator */
+  Int ae;                         /* adjusted exponent */
+  decNumber  dw;                  /* work */
+  decContext dc;                  /* .. */
+  uInt *pu;                       /* .. */
+  uInt comb, exp;                 /* .. */
+  uInt targar[4]={0,0,0,0};       /* target 128-bit */
+  #define targhi targar[3]        /* name the word with the sign */
+  #define targmh targar[2]        /* name the words */
+  #define targml targar[1]        /* .. */
+  #define targlo targar[0]        /* .. */
+
+  /* If the number has too many digits, or the exponent could be */
+  /* out of range then reduce the number under the appropriate */
+  /* constraints.  This could push the number to Infinity or zero, */
+  /* so this check and rounding must be done before generating the */
+  /* decimal128] */
+  ae=dn->exponent+dn->digits-1;                     /* [0 if special] */
+  if (dn->digits>DECIMAL128_Pmax            /* too many digits */
+   || ae>DECIMAL128_Emax                    /* likely overflow */
+   || ae<DECIMAL128_Emin) {                 /* likely underflow */
+    decContextDefault(&dc, DEC_INIT_DECIMAL128); /* [no traps] */
+    dc.round=set->round;                    /* use supplied rounding */
+    decNumberPlus(&dw, dn, &dc);            /* (round and check) */
+    /* [this changes -0 to 0, so enforce the sign...] */
+    dw.bits|=dn->bits&DECNEG;
+    status=dc.status;                       /* save status */
+    dn=&dw;                                 /* use the work number */
+    } /* maybe out of range */
+
+  if (dn->bits&DECSPECIAL) {                     /* a special value */
+    if (dn->bits&DECINF) targhi=DECIMAL_Inf<<24;
+     else {                                      /* sNaN or qNaN */
+      if ((*dn->lsu!=0 || dn->digits>1)                  /* non-zero coefficient */
+       && (dn->digits<DECIMAL128_Pmax)) {        /* coefficient fits */
+       decDigitsToDPD(dn, targar, 0);
+       }
+      if (dn->bits&DECNAN) targhi|=DECIMAL_NaN<<24;
+       else targhi|=DECIMAL_sNaN<<24;
+      } /* a NaN */
+    } /* special */
+
+   else { /* is finite */
+    if (decNumberIsZero(dn)) {              /* is a zero */
+      /* set and clamp exponent */
+      if (dn->exponent<-DECIMAL128_Bias) {
+       exp=0;                               /* low clamp */
+       status|=DEC_Clamped;
+       }
+       else {
+       exp=dn->exponent+DECIMAL128_Bias;    /* bias exponent */
+       if (exp>DECIMAL128_Ehigh) {          /* top clamp */
+         exp=DECIMAL128_Ehigh;
+         status|=DEC_Clamped;
+         }
+       }
+      comb=(exp>>9) & 0x18;            /* msd=0, exp top 2 bits .. */
+      }
+     else {                            /* non-zero finite number */
+      uInt msd;                                /* work */
+      Int pad=0;                       /* coefficient pad digits */
+
+      /* the dn is known to fit, but it may need to be padded */
+      exp=(uInt)(dn->exponent+DECIMAL128_Bias);           /* bias exponent */
+      if (exp>DECIMAL128_Ehigh) {                 /* fold-down case */
+       pad=exp-DECIMAL128_Ehigh;
+       exp=DECIMAL128_Ehigh;                      /* [to maximum] */
+       status|=DEC_Clamped;
+       }
+
+      /* [fastpath for common case is not a win, here] */
+      decDigitsToDPD(dn, targar, pad);
+      /* save and clear the top digit */
+      msd=targhi>>14;
+      targhi&=0x00003fff;
+
+      /* create the combination field */
+      if (msd>=8) comb=0x18 | ((exp>>11) & 0x06) | (msd & 0x01);
+            else comb=((exp>>9) & 0x18) | msd;
+      }
+    targhi|=comb<<26;             /* add combination field .. */
+    targhi|=(exp&0xfff)<<14;      /* .. and exponent continuation */
+    } /* finite */
+
+  if (dn->bits&DECNEG) targhi|=0x80000000; /* add sign bit */
+
+  /* now write to storage; this is endian */
+  pu=(uInt *)d128->bytes;         /* overlay */
+  if (DECLITEND) {
+    pu[0]=targlo;                 /* directly store the low int */
+    pu[1]=targml;                 /* then the mid-low */
+    pu[2]=targmh;                 /* then the mid-high */
+    pu[3]=targhi;                 /* then the high int */
+    }
+   else {
+    pu[0]=targhi;                 /* directly store the high int */
+    pu[1]=targmh;                 /* then the mid-high */
+    pu[2]=targml;                 /* then the mid-low */
+    pu[3]=targlo;                 /* then the low int */
+    }
+
+  if (status!=0) decContextSetStatus(set, status); /* pass on status */
+  /* decimal128Show(d128); */
+  return d128;
+  } /* decimal128FromNumber */
+
+/* ------------------------------------------------------------------ */
+/* decimal128ToNumber -- convert decimal128 to decNumber             */
+/*   d128 is the source decimal128                                   */
+/*   dn is the target number, with appropriate space                 */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decNumber * decimal128ToNumber(const decimal128 *d128, decNumber *dn) {
+  uInt msd;                       /* coefficient MSD */
+  uInt exp;                       /* exponent top two bits */
+  uInt comb;                      /* combination field */
+  const uInt *pu;                 /* work */
+  Int  need;                      /* .. */
+  uInt sourar[4];                 /* source 128-bit */
+  #define sourhi sourar[3]        /* name the word with the sign */
+  #define sourmh sourar[2]        /* and the mid-high word */
+  #define sourml sourar[1]        /* and the mod-low word */
+  #define sourlo sourar[0]        /* and the lowest word */
+
+  /* load source from storage; this is endian */
+  pu=(const uInt *)d128->bytes;           /* overlay */
+  if (DECLITEND) {
+    sourlo=pu[0];                 /* directly load the low int */
+    sourml=pu[1];                 /* then the mid-low */
+    sourmh=pu[2];                 /* then the mid-high */
+    sourhi=pu[3];                 /* then the high int */
+    }
+   else {
+    sourhi=pu[0];                 /* directly load the high int */
+    sourmh=pu[1];                 /* then the mid-high */
+    sourml=pu[2];                 /* then the mid-low */
+    sourlo=pu[3];                 /* then the low int */
+    }
+
+  comb=(sourhi>>26)&0x1f;         /* combination field */
+
+  decNumberZero(dn);              /* clean number */
+  if (sourhi&0x80000000) dn->bits=DECNEG; /* set sign if negative */
+
+  msd=COMBMSD[comb];              /* decode the combination field */
+  exp=COMBEXP[comb];              /* .. */
+
+  if (exp==3) {                           /* is a special */
+    if (msd==0) {
+      dn->bits|=DECINF;
+      return dn;                  /* no coefficient needed */
+      }
+    else if (sourhi&0x02000000) dn->bits|=DECSNAN;
+    else dn->bits|=DECNAN;
+    msd=0;                        /* no top digit */
+    }
+   else {                         /* is a finite number */
+    dn->exponent=(exp<<12)+((sourhi>>14)&0xfff)-DECIMAL128_Bias; /* unbiased */
+    }
+
+  /* get the coefficient */
+  sourhi&=0x00003fff;             /* clean coefficient continuation */
+  if (msd) {                      /* non-zero msd */
+    sourhi|=msd<<14;              /* prefix to coefficient */
+    need=12;                      /* process 12 declets */
+    }
+   else { /* msd=0 */
+    if (sourhi) need=11;          /* declets to process */
+     else if (sourmh) need=10;
+     else if (sourml) need=7;
+     else if (sourlo) need=4;
+     else return dn;              /* easy: coefficient is 0 */
+    } /*msd=0 */
+
+  decDigitsFromDPD(dn, sourar, need);  /* process declets */
+  /* decNumberShow(dn); */
+  return dn;
+  } /* decimal128ToNumber */
+
+/* ------------------------------------------------------------------ */
+/* to-scientific-string -- conversion to numeric string                      */
+/* to-engineering-string -- conversion to numeric string             */
+/*                                                                   */
+/*   decimal128ToString(d128, string);                               */
+/*   decimal128ToEngString(d128, string);                            */
+/*                                                                   */
+/*  d128 is the decimal128 format number to convert                  */
+/*  string is the string where the result will be laid out           */
+/*                                                                   */
+/*  string must be at least 24 characters                            */
+/*                                                                   */
+/*  No error is possible, and no status can be set.                  */
+/* ------------------------------------------------------------------ */
+char * decimal128ToEngString(const decimal128 *d128, char *string){
+  decNumber dn;                                /* work */
+  decimal128ToNumber(d128, &dn);
+  decNumberToEngString(&dn, string);
+  return string;
+  } /* decimal128ToEngString */
+
+char * decimal128ToString(const decimal128 *d128, char *string){
+  uInt msd;                       /* coefficient MSD */
+  Int  exp;                       /* exponent top two bits or full */
+  uInt comb;                      /* combination field */
+  char *cstart;                           /* coefficient start */
+  char *c;                        /* output pointer in string */
+  const uInt *pu;                 /* work */
+  char *s, *t;                    /* .. (source, target) */
+  Int  dpd;                       /* .. */
+  Int  pre, e;                    /* .. */
+  const uByte *u;                 /* .. */
+
+  uInt sourar[4];                 /* source 128-bit */
+  #define sourhi sourar[3]        /* name the word with the sign */
+  #define sourmh sourar[2]        /* and the mid-high word */
+  #define sourml sourar[1]        /* and the mod-low word */
+  #define sourlo sourar[0]        /* and the lowest word */
+
+  /* load source from storage; this is endian */
+  pu=(const uInt *)d128->bytes;           /* overlay */
+  if (DECLITEND) {
+    sourlo=pu[0];                 /* directly load the low int */
+    sourml=pu[1];                 /* then the mid-low */
+    sourmh=pu[2];                 /* then the mid-high */
+    sourhi=pu[3];                 /* then the high int */
+    }
+   else {
+    sourhi=pu[0];                 /* directly load the high int */
+    sourmh=pu[1];                 /* then the mid-high */
+    sourml=pu[2];                 /* then the mid-low */
+    sourlo=pu[3];                 /* then the low int */
+    }
+
+  c=string;                       /* where result will go */
+  if (((Int)sourhi)<0) *c++='-';   /* handle sign */
+
+  comb=(sourhi>>26)&0x1f;         /* combination field */
+  msd=COMBMSD[comb];              /* decode the combination field */
+  exp=COMBEXP[comb];              /* .. */
+
+  if (exp==3) {
+    if (msd==0) {                 /* infinity */
+      strcpy(c,          "Inf");
+      strcpy(c+3, "inity");
+      return string;              /* easy */
+      }
+    if (sourhi&0x02000000) *c++='s'; /* sNaN */
+    strcpy(c, "NaN");             /* complete word */
+    c+=3;                         /* step past */
+    if (sourlo==0 && sourml==0 && sourmh==0
+     && (sourhi&0x0003ffff)==0) return string; /* zero payload */
+    /* otherwise drop through to add integer; set correct exp */
+    exp=0; msd=0;                 /* setup for following code */
+    }
+   else exp=(exp<<12)+((sourhi>>14)&0xfff)-DECIMAL128_Bias; /* unbiased */
+
+  /* convert 34 digits of significand to characters */
+  cstart=c;                       /* save start of coefficient */
+  if (msd) *c++='0'+(char)msd;    /* non-zero most significant digit */
+
+  /* Now decode the declets.  After extracting each one, it is */
+  /* decoded to binary and then to a 4-char sequence by table lookup; */
+  /* the 4-chars are a 1-char length (significant digits, except 000 */
+  /* has length 0).  This allows us to left-align the first declet */
+  /* with non-zero content, then remaining ones are full 3-char */
+  /* length.  We use fixed-length memcpys because variable-length */
+  /* causes a subroutine call in GCC.  (These are length 4 for speed */
+  /* and are safe because the array has an extra terminator byte.) */
+  #define dpd2char u=&BIN2CHAR[DPD2BIN[dpd]*4];                          \
+                  if (c!=cstart) {memcpy(c, u+1, 4); c+=3;}      \
+                   else if (*u)  {memcpy(c, u+4-*u, 4); c+=*u;}
+  dpd=(sourhi>>4)&0x3ff;                    /* declet 1 */
+  dpd2char;
+  dpd=((sourhi&0xf)<<6) | (sourmh>>26);             /* declet 2 */
+  dpd2char;
+  dpd=(sourmh>>16)&0x3ff;                   /* declet 3 */
+  dpd2char;
+  dpd=(sourmh>>6)&0x3ff;                    /* declet 4 */
+  dpd2char;
+  dpd=((sourmh&0x3f)<<4) | (sourml>>28);     /* declet 5 */
+  dpd2char;
+  dpd=(sourml>>18)&0x3ff;                   /* declet 6 */
+  dpd2char;
+  dpd=(sourml>>8)&0x3ff;                    /* declet 7 */
+  dpd2char;
+  dpd=((sourml&0xff)<<2) | (sourlo>>30);     /* declet 8 */
+  dpd2char;
+  dpd=(sourlo>>20)&0x3ff;                   /* declet 9 */
+  dpd2char;
+  dpd=(sourlo>>10)&0x3ff;                   /* declet 10 */
+  dpd2char;
+  dpd=(sourlo)&0x3ff;                       /* declet 11 */
+  dpd2char;
+
+  if (c==cstart) *c++='0';        /* all zeros -- make 0 */
+
+  if (exp==0) {                           /* integer or NaN case -- easy */
+    *c='\0';                      /* terminate */
+    return string;
+    }
+
+  /* non-0 exponent */
+  e=0;                            /* assume no E */
+  pre=c-cstart+exp;
+  /* [here, pre-exp is the digits count (==1 for zero)] */
+  if (exp>0 || pre<-5) {          /* need exponential form */
+    e=pre-1;                      /* calculate E value */
+    pre=1;                        /* assume one digit before '.' */
+    } /* exponential form */
+
+  /* modify the coefficient, adding 0s, '.', and E+nn as needed */
+  s=c-1;                          /* source (LSD) */
+  if (pre>0) {                    /* ddd.ddd (plain), perhaps with E */
+    char *dotat=cstart+pre;
+    if (dotat<c) {                /* if embedded dot needed... */
+      t=c;                             /* target */
+      for (; s>=dotat; s--, t--) *t=*s; /* open the gap; leave t at gap */
+      *t='.';                          /* insert the dot */
+      c++;                             /* length increased by one */
+      }
+
+    /* finally add the E-part, if needed; it will never be 0, and has */
+    /* a maximum length of 4 digits */
+    if (e!=0) {
+      *c++='E';                           /* starts with E */
+      *c++='+';                           /* assume positive */
+      if (e<0) {
+       *(c-1)='-';                /* oops, need '-' */
+       e=-e;                      /* uInt, please */
+       }
+      if (e<1000) {               /* 3 (or fewer) digits case */
+       u=&BIN2CHAR[e*4];          /* -> length byte */
+       memcpy(c, u+4-*u, 4);      /* copy fixed 4 characters [is safe] */
+       c+=*u;                     /* bump pointer appropriately */
+       }
+       else {                     /* 4-digits */
+       Int thou=((e>>3)*1049)>>17; /* e/1000 */
+       Int rem=e-(1000*thou);      /* e%1000 */
+       *c++='0'+(char)thou;
+       u=&BIN2CHAR[rem*4];        /* -> length byte */
+       memcpy(c, u+1, 4);         /* copy fixed 3+1 characters [is safe] */
+       c+=3;                      /* bump pointer, always 3 digits */
+       }
+      }
+    *c='\0';                      /* add terminator */
+    /*printf("res %s\n", string); */
+    return string;
+    } /* pre>0 */
+
+  /* -5<=pre<=0: here for plain 0.ddd or 0.000ddd forms (can never have E) */
+  t=c+1-pre;
+  *(t+1)='\0';                         /* can add terminator now */
+  for (; s>=cstart; s--, t--) *t=*s;   /* shift whole coefficient right */
+  c=cstart;
+  *c++='0';                            /* always starts with 0. */
+  *c++='.';
+  for (; pre<0; pre++) *c++='0';       /* add any 0's after '.' */
+  /*printf("res %s\n", string); */
+  return string;
+  } /* decimal128ToString */
+
+/* ------------------------------------------------------------------ */
+/* to-number -- conversion from numeric string                       */
+/*                                                                   */
+/*   decimal128FromString(result, string, set);                              */
+/*                                                                   */
+/*  result  is the decimal128 format number which gets the result of  */
+/*         the conversion                                            */
+/*  *string is the character string which should contain a valid      */
+/*         number (which may be a special value)                     */
+/*  set            is the context                                            */
+/*                                                                   */
+/* The context is supplied to this routine is used for error handling */
+/* (setting of status and traps) and for the rounding mode, only.     */
+/* If an error occurs, the result will be a valid decimal128 NaN.     */
+/* ------------------------------------------------------------------ */
+decimal128 * decimal128FromString(decimal128 *result, const char *string,
+                                 decContext *set) {
+  decContext dc;                            /* work */
+  decNumber dn;                                     /* .. */
+
+  decContextDefault(&dc, DEC_INIT_DECIMAL128); /* no traps, please */
+  dc.round=set->round;                        /* use supplied rounding */
+
+  decNumberFromString(&dn, string, &dc);     /* will round if needed */
+  decimal128FromNumber(result, &dn, &dc);
+  if (dc.status!=0) {                       /* something happened */
+    decContextSetStatus(set, dc.status);     /* .. pass it on */
+    }
+  return result;
+  } /* decimal128FromString */
+
+/* ------------------------------------------------------------------ */
+/* decimal128IsCanonical -- test whether encoding is canonical       */
+/*   d128 is the source decimal128                                   */
+/*   returns 1 if the encoding of d128 is canonical, 0 otherwise      */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+uint32_t decimal128IsCanonical(const decimal128 *d128) {
+  decNumber dn;                                /* work */
+  decimal128 canon;                     /* .. */
+  decContext dc;                       /* .. */
+  decContextDefault(&dc, DEC_INIT_DECIMAL128);
+  decimal128ToNumber(d128, &dn);
+  decimal128FromNumber(&canon, &dn, &dc);/* canon will now be canonical */
+  return memcmp(d128, &canon, DECIMAL128_Bytes)==0;
+  } /* decimal128IsCanonical */
+
+/* ------------------------------------------------------------------ */
+/* decimal128Canonical -- copy an encoding, ensuring it is canonical  */
+/*   d128 is the source decimal128                                   */
+/*   result is the target (may be the same decimal128)               */
+/*   returns result                                                  */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decimal128 * decimal128Canonical(decimal128 *result, const decimal128 *d128) {
+  decNumber dn;                                /* work */
+  decContext dc;                       /* .. */
+  decContextDefault(&dc, DEC_INIT_DECIMAL128);
+  decimal128ToNumber(d128, &dn);
+  decimal128FromNumber(result, &dn, &dc);/* result will now be canonical */
+  return result;
+  } /* decimal128Canonical */
+
+#if DECTRACE || DECCHECK
+/* Macros for accessing decimal128 fields.  These assume the argument
+   is a reference (pointer) to the decimal128 structure, and the
+   decimal128 is in network byte order (big-endian) */
+/* Get sign */
+#define decimal128Sign(d)      ((unsigned)(d)->bytes[0]>>7)
+
+/* Get combination field */
+#define decimal128Comb(d)      (((d)->bytes[0] & 0x7c)>>2)
+
+/* Get exponent continuation [does not remove bias] */
+#define decimal128ExpCon(d)    ((((d)->bytes[0] & 0x03)<<10)         \
+                             | ((unsigned)(d)->bytes[1]<<2)          \
+                             | ((unsigned)(d)->bytes[2]>>6))
+
+/* Set sign [this assumes sign previously 0] */
+#define decimal128SetSign(d, b) {                                    \
+  (d)->bytes[0]|=((unsigned)(b)<<7);}
+
+/* Set exponent continuation [does not apply bias] */
+/* This assumes range has been checked and exponent previously 0; */
+/* type of exponent must be unsigned */
+#define decimal128SetExpCon(d, e) {                                  \
+  (d)->bytes[0]|=(uint8_t)((e)>>10);                                 \
+  (d)->bytes[1] =(uint8_t)(((e)&0x3fc)>>2);                          \
+  (d)->bytes[2]|=(uint8_t)(((e)&0x03)<<6);}
+
+/* ------------------------------------------------------------------ */
+/* decimal128Show -- display a decimal128 in hexadecimal [debug aid]  */
+/*   d128 -- the number to show                                              */
+/* ------------------------------------------------------------------ */
+/* Also shows sign/cob/expconfields extracted */
+void decimal128Show(const decimal128 *d128) {
+  char buf[DECIMAL128_Bytes*2+1];
+  Int i, j=0;
+
+  if (DECLITEND) {
+    for (i=0; i<DECIMAL128_Bytes; i++, j+=2) {
+      sprintf(&buf[j], "%02x", d128->bytes[15-i]);
+      }
+    printf(" D128> %s [S:%d Cb:%02x Ec:%02x] LittleEndian\n", buf,
+          d128->bytes[15]>>7, (d128->bytes[15]>>2)&0x1f,
+          ((d128->bytes[15]&0x3)<<10)|(d128->bytes[14]<<2)|
+          (d128->bytes[13]>>6));
+    }
+   else {
+    for (i=0; i<DECIMAL128_Bytes; i++, j+=2) {
+      sprintf(&buf[j], "%02x", d128->bytes[i]);
+      }
+    printf(" D128> %s [S:%d Cb:%02x Ec:%02x] BigEndian\n", buf,
+          decimal128Sign(d128), decimal128Comb(d128),
+          decimal128ExpCon(d128));
+    }
+  } /* decimal128Show */
+#endif
diff --git a/libdecnumber/dpd/decimal128Local.h b/libdecnumber/dpd/decimal128Local.h
new file mode 100644 (file)
index 0000000..1963678
--- /dev/null
@@ -0,0 +1,42 @@
+/* Local definitions for use with the decNumber C Library.
+   Copyright (C) 2007, 2009 Free Software Foundation, Inc.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 3, or (at your option) any later
+   version.
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+Under Section 7 of GPL version 3, you are granted additional
+permissions described in the GCC Runtime Library Exception, version
+3.1, as published by the Free Software Foundation.
+
+You should have received a copy of the GNU General Public License and
+a copy of the GCC Runtime Library Exception along with this program;
+see the files COPYING3 and COPYING.RUNTIME respectively.  If not, see
+<http://www.gnu.org/licenses/>.  */
+
+#if !defined(DECIMAL128LOCAL)
+
+/* The compiler needs sign manipulation functions for decimal128 which
+   are not part of the decNumber package.  */
+
+/* Set sign; this assumes the sign was previously zero.  */
+#define decimal128SetSign(d,b) \
+  { (d)->bytes[WORDS_BIGENDIAN ? 0 : 15] |= ((unsigned) (b) << 7); }
+
+/* Clear sign.  */
+#define decimal128ClearSign(d) \
+  { (d)->bytes[WORDS_BIGENDIAN ? 0 : 15] &= ~0x80; }
+
+/* Flip sign.  */
+#define decimal128FlipSign(d) \
+  { (d)->bytes[WORDS_BIGENDIAN ? 0 : 15] ^= 0x80; }
+
+#endif
diff --git a/libdecnumber/dpd/decimal32.c b/libdecnumber/dpd/decimal32.c
new file mode 100644 (file)
index 0000000..095ab75
--- /dev/null
@@ -0,0 +1,489 @@
+/* Decimal 32-bit format module for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal 32-bit format module                                              */
+/* ------------------------------------------------------------------ */
+/* This module comprises the routines for decimal32 format numbers.   */
+/* Conversions are supplied to and from decNumber and String.        */
+/*                                                                   */
+/* This is used when decNumber provides operations, either for all    */
+/* operations or as a proxy between decNumber and decSingle.         */
+/*                                                                   */
+/* Error handling is the same as decNumber (qv.).                    */
+/* ------------------------------------------------------------------ */
+#include <string.h>          /* [for memset/memcpy] */
+#include <stdio.h>           /* [for printf] */
+
+#include "libdecnumber/dconfig.h"
+#define         DECNUMDIGITS  7      /* make decNumbers with space for 7 */
+#include "libdecnumber/decNumber.h"
+#include "libdecnumber/decNumberLocal.h"
+#include "libdecnumber/dpd/decimal32.h"
+
+/* Utility tables and routines [in decimal64.c] */
+extern const uInt   COMBEXP[32], COMBMSD[32];
+extern const uByte  BIN2CHAR[4001];
+
+extern void decDigitsToDPD(const decNumber *, uInt *, Int);
+extern void decDigitsFromDPD(decNumber *, const uInt *, Int);
+
+#if DECTRACE || DECCHECK
+void decimal32Show(const decimal32 *);           /* for debug */
+extern void decNumberShow(const decNumber *);    /* .. */
+#endif
+
+/* Useful macro */
+/* Clear a structure (e.g., a decNumber) */
+#define DEC_clear(d) memset(d, 0, sizeof(*d))
+
+/* ------------------------------------------------------------------ */
+/* decimal32FromNumber -- convert decNumber to decimal32             */
+/*                                                                   */
+/*   ds is the target decimal32                                              */
+/*   dn is the source number (assumed valid)                         */
+/*   set is the context, used only for reporting errors                      */
+/*                                                                   */
+/* The set argument is used only for status reporting and for the     */
+/* rounding mode (used if the coefficient is more than DECIMAL32_Pmax */
+/* digits or an overflow is detected). If the exponent is out of the */
+/* valid range then Overflow or Underflow will be raised.            */
+/* After Underflow a subnormal result is possible.                   */
+/*                                                                   */
+/* DEC_Clamped is set if the number has to be 'folded down' to fit,   */
+/* by reducing its exponent and multiplying the coefficient by a      */
+/* power of ten, or if the exponent on a zero had to be clamped.      */
+/* ------------------------------------------------------------------ */
+decimal32 * decimal32FromNumber(decimal32 *d32, const decNumber *dn,
+                             decContext *set) {
+  uInt status=0;                  /* status accumulator */
+  Int ae;                         /* adjusted exponent */
+  decNumber  dw;                  /* work */
+  decContext dc;                  /* .. */
+  uInt *pu;                       /* .. */
+  uInt comb, exp;                 /* .. */
+  uInt targ=0;                    /* target 32-bit */
+
+  /* If the number has too many digits, or the exponent could be */
+  /* out of range then reduce the number under the appropriate */
+  /* constraints.  This could push the number to Infinity or zero, */
+  /* so this check and rounding must be done before generating the */
+  /* decimal32] */
+  ae=dn->exponent+dn->digits-1;                     /* [0 if special] */
+  if (dn->digits>DECIMAL32_Pmax                     /* too many digits */
+   || ae>DECIMAL32_Emax                             /* likely overflow */
+   || ae<DECIMAL32_Emin) {                  /* likely underflow */
+    decContextDefault(&dc, DEC_INIT_DECIMAL32); /* [no traps] */
+    dc.round=set->round;                    /* use supplied rounding */
+    decNumberPlus(&dw, dn, &dc);            /* (round and check) */
+    /* [this changes -0 to 0, so enforce the sign...] */
+    dw.bits|=dn->bits&DECNEG;
+    status=dc.status;                       /* save status */
+    dn=&dw;                                 /* use the work number */
+    } /* maybe out of range */
+
+  if (dn->bits&DECSPECIAL) {                     /* a special value */
+    if (dn->bits&DECINF) targ=DECIMAL_Inf<<24;
+     else {                                      /* sNaN or qNaN */
+      if ((*dn->lsu!=0 || dn->digits>1)                  /* non-zero coefficient */
+       && (dn->digits<DECIMAL32_Pmax)) {         /* coefficient fits */
+       decDigitsToDPD(dn, &targ, 0);
+       }
+      if (dn->bits&DECNAN) targ|=DECIMAL_NaN<<24;
+       else targ|=DECIMAL_sNaN<<24;
+      } /* a NaN */
+    } /* special */
+
+   else { /* is finite */
+    if (decNumberIsZero(dn)) {              /* is a zero */
+      /* set and clamp exponent */
+      if (dn->exponent<-DECIMAL32_Bias) {
+       exp=0;                               /* low clamp */
+       status|=DEC_Clamped;
+       }
+       else {
+       exp=dn->exponent+DECIMAL32_Bias;     /* bias exponent */
+       if (exp>DECIMAL32_Ehigh) {           /* top clamp */
+         exp=DECIMAL32_Ehigh;
+         status|=DEC_Clamped;
+         }
+       }
+      comb=(exp>>3) & 0x18;            /* msd=0, exp top 2 bits .. */
+      }
+     else {                            /* non-zero finite number */
+      uInt msd;                                /* work */
+      Int pad=0;                       /* coefficient pad digits */
+
+      /* the dn is known to fit, but it may need to be padded */
+      exp=(uInt)(dn->exponent+DECIMAL32_Bias);   /* bias exponent */
+      if (exp>DECIMAL32_Ehigh) {                 /* fold-down case */
+       pad=exp-DECIMAL32_Ehigh;
+       exp=DECIMAL32_Ehigh;                      /* [to maximum] */
+       status|=DEC_Clamped;
+       }
+
+      /* fastpath common case */
+      if (DECDPUN==3 && pad==0) {
+       targ=BIN2DPD[dn->lsu[0]];
+       if (dn->digits>3) targ|=(uInt)(BIN2DPD[dn->lsu[1]])<<10;
+       msd=(dn->digits==7 ? dn->lsu[2] : 0);
+       }
+       else { /* general case */
+       decDigitsToDPD(dn, &targ, pad);
+       /* save and clear the top digit */
+       msd=targ>>20;
+       targ&=0x000fffff;
+       }
+
+      /* create the combination field */
+      if (msd>=8) comb=0x18 | ((exp>>5) & 0x06) | (msd & 0x01);
+            else comb=((exp>>3) & 0x18) | msd;
+      }
+    targ|=comb<<26;               /* add combination field .. */
+    targ|=(exp&0x3f)<<20;         /* .. and exponent continuation */
+    } /* finite */
+
+  if (dn->bits&DECNEG) targ|=0x80000000;  /* add sign bit */
+
+  /* now write to storage; this is endian */
+  pu=(uInt *)d32->bytes;          /* overlay */
+  *pu=targ;                       /* directly store the int */
+
+  if (status!=0) decContextSetStatus(set, status); /* pass on status */
+  /* decimal32Show(d32); */
+  return d32;
+  } /* decimal32FromNumber */
+
+/* ------------------------------------------------------------------ */
+/* decimal32ToNumber -- convert decimal32 to decNumber               */
+/*   d32 is the source decimal32                                     */
+/*   dn is the target number, with appropriate space                 */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decNumber * decimal32ToNumber(const decimal32 *d32, decNumber *dn) {
+  uInt msd;                       /* coefficient MSD */
+  uInt exp;                       /* exponent top two bits */
+  uInt comb;                      /* combination field */
+  uInt sour;                      /* source 32-bit */
+  const uInt *pu;                 /* work */
+
+  /* load source from storage; this is endian */
+  pu=(const uInt *)d32->bytes;    /* overlay */
+  sour=*pu;                       /* directly load the int */
+
+  comb=(sour>>26)&0x1f;                   /* combination field */
+
+  decNumberZero(dn);              /* clean number */
+  if (sour&0x80000000) dn->bits=DECNEG; /* set sign if negative */
+
+  msd=COMBMSD[comb];              /* decode the combination field */
+  exp=COMBEXP[comb];              /* .. */
+
+  if (exp==3) {                           /* is a special */
+    if (msd==0) {
+      dn->bits|=DECINF;
+      return dn;                  /* no coefficient needed */
+      }
+    else if (sour&0x02000000) dn->bits|=DECSNAN;
+    else dn->bits|=DECNAN;
+    msd=0;                        /* no top digit */
+    }
+   else {                         /* is a finite number */
+    dn->exponent=(exp<<6)+((sour>>20)&0x3f)-DECIMAL32_Bias; /* unbiased */
+    }
+
+  /* get the coefficient */
+  sour&=0x000fffff;               /* clean coefficient continuation */
+  if (msd) {                      /* non-zero msd */
+    sour|=msd<<20;                /* prefix to coefficient */
+    decDigitsFromDPD(dn, &sour, 3); /* process 3 declets */
+    return dn;
+    }
+  /* msd=0 */
+  if (!sour) return dn;                   /* easy: coefficient is 0 */
+  if (sour&0x000ffc00)            /* need 2 declets? */
+    decDigitsFromDPD(dn, &sour, 2); /* process 2 declets */
+   else
+    decDigitsFromDPD(dn, &sour, 1); /* process 1 declet */
+  return dn;
+  } /* decimal32ToNumber */
+
+/* ------------------------------------------------------------------ */
+/* to-scientific-string -- conversion to numeric string                      */
+/* to-engineering-string -- conversion to numeric string             */
+/*                                                                   */
+/*   decimal32ToString(d32, string);                                 */
+/*   decimal32ToEngString(d32, string);                                      */
+/*                                                                   */
+/*  d32 is the decimal32 format number to convert                    */
+/*  string is the string where the result will be laid out           */
+/*                                                                   */
+/*  string must be at least 24 characters                            */
+/*                                                                   */
+/*  No error is possible, and no status can be set.                  */
+/* ------------------------------------------------------------------ */
+char * decimal32ToEngString(const decimal32 *d32, char *string){
+  decNumber dn;                                /* work */
+  decimal32ToNumber(d32, &dn);
+  decNumberToEngString(&dn, string);
+  return string;
+  } /* decimal32ToEngString */
+
+char * decimal32ToString(const decimal32 *d32, char *string){
+  uInt msd;                       /* coefficient MSD */
+  Int  exp;                       /* exponent top two bits or full */
+  uInt comb;                      /* combination field */
+  char *cstart;                           /* coefficient start */
+  char *c;                        /* output pointer in string */
+  const uInt *pu;                 /* work */
+  const uByte *u;                 /* .. */
+  char *s, *t;                    /* .. (source, target) */
+  Int  dpd;                       /* .. */
+  Int  pre, e;                    /* .. */
+  uInt sour;                      /* source 32-bit */
+
+  /* load source from storage; this is endian */
+  pu=(const uInt *)d32->bytes;    /* overlay */
+  sour=*pu;                       /* directly load the int */
+
+  c=string;                       /* where result will go */
+  if (((Int)sour)<0) *c++='-';    /* handle sign */
+
+  comb=(sour>>26)&0x1f;                   /* combination field */
+  msd=COMBMSD[comb];              /* decode the combination field */
+  exp=COMBEXP[comb];              /* .. */
+
+  if (exp==3) {
+    if (msd==0) {                 /* infinity */
+      strcpy(c,          "Inf");
+      strcpy(c+3, "inity");
+      return string;              /* easy */
+      }
+    if (sour&0x02000000) *c++='s'; /* sNaN */
+    strcpy(c, "NaN");             /* complete word */
+    c+=3;                         /* step past */
+    if ((sour&0x000fffff)==0) return string; /* zero payload */
+    /* otherwise drop through to add integer; set correct exp */
+    exp=0; msd=0;                 /* setup for following code */
+    }
+   else exp=(exp<<6)+((sour>>20)&0x3f)-DECIMAL32_Bias; /* unbiased */
+
+  /* convert 7 digits of significand to characters */
+  cstart=c;                       /* save start of coefficient */
+  if (msd) *c++='0'+(char)msd;    /* non-zero most significant digit */
+
+  /* Now decode the declets.  After extracting each one, it is */
+  /* decoded to binary and then to a 4-char sequence by table lookup; */
+  /* the 4-chars are a 1-char length (significant digits, except 000 */
+  /* has length 0).  This allows us to left-align the first declet */
+  /* with non-zero content, then remaining ones are full 3-char */
+  /* length.  We use fixed-length memcpys because variable-length */
+  /* causes a subroutine call in GCC.  (These are length 4 for speed */
+  /* and are safe because the array has an extra terminator byte.) */
+  #define dpd2char u=&BIN2CHAR[DPD2BIN[dpd]*4];                          \
+                  if (c!=cstart) {memcpy(c, u+1, 4); c+=3;}      \
+                   else if (*u)  {memcpy(c, u+4-*u, 4); c+=*u;}
+
+  dpd=(sour>>10)&0x3ff;                   /* declet 1 */
+  dpd2char;
+  dpd=(sour)&0x3ff;               /* declet 2 */
+  dpd2char;
+
+  if (c==cstart) *c++='0';        /* all zeros -- make 0 */
+
+  if (exp==0) {                           /* integer or NaN case -- easy */
+    *c='\0';                      /* terminate */
+    return string;
+    }
+
+  /* non-0 exponent */
+  e=0;                            /* assume no E */
+  pre=c-cstart+exp;
+  /* [here, pre-exp is the digits count (==1 for zero)] */
+  if (exp>0 || pre<-5) {          /* need exponential form */
+    e=pre-1;                      /* calculate E value */
+    pre=1;                        /* assume one digit before '.' */
+    } /* exponential form */
+
+  /* modify the coefficient, adding 0s, '.', and E+nn as needed */
+  s=c-1;                          /* source (LSD) */
+  if (pre>0) {                    /* ddd.ddd (plain), perhaps with E */
+    char *dotat=cstart+pre;
+    if (dotat<c) {                /* if embedded dot needed... */
+      t=c;                             /* target */
+      for (; s>=dotat; s--, t--) *t=*s; /* open the gap; leave t at gap */
+      *t='.';                          /* insert the dot */
+      c++;                             /* length increased by one */
+      }
+
+    /* finally add the E-part, if needed; it will never be 0, and has */
+    /* a maximum length of 3 digits (E-101 case) */
+    if (e!=0) {
+      *c++='E';                           /* starts with E */
+      *c++='+';                           /* assume positive */
+      if (e<0) {
+       *(c-1)='-';                /* oops, need '-' */
+       e=-e;                      /* uInt, please */
+       }
+      u=&BIN2CHAR[e*4];                   /* -> length byte */
+      memcpy(c, u+4-*u, 4);       /* copy fixed 4 characters [is safe] */
+      c+=*u;                      /* bump pointer appropriately */
+      }
+    *c='\0';                      /* add terminator */
+    /*printf("res %s\n", string); */
+    return string;
+    } /* pre>0 */
+
+  /* -5<=pre<=0: here for plain 0.ddd or 0.000ddd forms (can never have E) */
+  t=c+1-pre;
+  *(t+1)='\0';                         /* can add terminator now */
+  for (; s>=cstart; s--, t--) *t=*s;   /* shift whole coefficient right */
+  c=cstart;
+  *c++='0';                            /* always starts with 0. */
+  *c++='.';
+  for (; pre<0; pre++) *c++='0';       /* add any 0's after '.' */
+  /*printf("res %s\n", string); */
+  return string;
+  } /* decimal32ToString */
+
+/* ------------------------------------------------------------------ */
+/* to-number -- conversion from numeric string                       */
+/*                                                                   */
+/*   decimal32FromString(result, string, set);                       */
+/*                                                                   */
+/*  result  is the decimal32 format number which gets the result of   */
+/*         the conversion                                            */
+/*  *string is the character string which should contain a valid      */
+/*         number (which may be a special value)                     */
+/*  set            is the context                                            */
+/*                                                                   */
+/* The context is supplied to this routine is used for error handling */
+/* (setting of status and traps) and for the rounding mode, only.     */
+/* If an error occurs, the result will be a valid decimal32 NaN.      */
+/* ------------------------------------------------------------------ */
+decimal32 * decimal32FromString(decimal32 *result, const char *string,
+                               decContext *set) {
+  decContext dc;                            /* work */
+  decNumber dn;                                     /* .. */
+
+  decContextDefault(&dc, DEC_INIT_DECIMAL32); /* no traps, please */
+  dc.round=set->round;                       /* use supplied rounding */
+
+  decNumberFromString(&dn, string, &dc);     /* will round if needed */
+  decimal32FromNumber(result, &dn, &dc);
+  if (dc.status!=0) {                       /* something happened */
+    decContextSetStatus(set, dc.status);     /* .. pass it on */
+    }
+  return result;
+  } /* decimal32FromString */
+
+/* ------------------------------------------------------------------ */
+/* decimal32IsCanonical -- test whether encoding is canonical        */
+/*   d32 is the source decimal32                                     */
+/*   returns 1 if the encoding of d32 is canonical, 0 otherwise              */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+uint32_t decimal32IsCanonical(const decimal32 *d32) {
+  decNumber dn;                                /* work */
+  decimal32 canon;                     /* .. */
+  decContext dc;                       /* .. */
+  decContextDefault(&dc, DEC_INIT_DECIMAL32);
+  decimal32ToNumber(d32, &dn);
+  decimal32FromNumber(&canon, &dn, &dc);/* canon will now be canonical */
+  return memcmp(d32, &canon, DECIMAL32_Bytes)==0;
+  } /* decimal32IsCanonical */
+
+/* ------------------------------------------------------------------ */
+/* decimal32Canonical -- copy an encoding, ensuring it is canonical   */
+/*   d32 is the source decimal32                                     */
+/*   result is the target (may be the same decimal32)                */
+/*   returns result                                                  */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decimal32 * decimal32Canonical(decimal32 *result, const decimal32 *d32) {
+  decNumber dn;                                /* work */
+  decContext dc;                       /* .. */
+  decContextDefault(&dc, DEC_INIT_DECIMAL32);
+  decimal32ToNumber(d32, &dn);
+  decimal32FromNumber(result, &dn, &dc);/* result will now be canonical */
+  return result;
+  } /* decimal32Canonical */
+
+#if DECTRACE || DECCHECK
+/* Macros for accessing decimal32 fields.  These assume the argument
+   is a reference (pointer) to the decimal32 structure, and the
+   decimal32 is in network byte order (big-endian) */
+/* Get sign */
+#define decimal32Sign(d)       ((unsigned)(d)->bytes[0]>>7)
+
+/* Get combination field */
+#define decimal32Comb(d)       (((d)->bytes[0] & 0x7c)>>2)
+
+/* Get exponent continuation [does not remove bias] */
+#define decimal32ExpCon(d)     ((((d)->bytes[0] & 0x03)<<4)          \
+                            | ((unsigned)(d)->bytes[1]>>4))
+
+/* Set sign [this assumes sign previously 0] */
+#define decimal32SetSign(d, b) {                                     \
+  (d)->bytes[0]|=((unsigned)(b)<<7);}
+
+/* Set exponent continuation [does not apply bias] */
+/* This assumes range has been checked and exponent previously 0; */
+/* type of exponent must be unsigned */
+#define decimal32SetExpCon(d, e) {                                   \
+  (d)->bytes[0]|=(uint8_t)((e)>>4);                                  \
+  (d)->bytes[1]|=(uint8_t)(((e)&0x0F)<<4);}
+
+/* ------------------------------------------------------------------ */
+/* decimal32Show -- display a decimal32 in hexadecimal [debug aid]    */
+/*   d32 -- the number to show                                       */
+/* ------------------------------------------------------------------ */
+/* Also shows sign/cob/expconfields extracted - valid bigendian only */
+void decimal32Show(const decimal32 *d32) {
+  char buf[DECIMAL32_Bytes*2+1];
+  Int i, j=0;
+
+  if (DECLITEND) {
+    for (i=0; i<DECIMAL32_Bytes; i++, j+=2) {
+      sprintf(&buf[j], "%02x", d32->bytes[3-i]);
+      }
+    printf(" D32> %s [S:%d Cb:%02x Ec:%02x] LittleEndian\n", buf,
+          d32->bytes[3]>>7, (d32->bytes[3]>>2)&0x1f,
+          ((d32->bytes[3]&0x3)<<4)| (d32->bytes[2]>>4));
+    }
+   else {
+    for (i=0; i<DECIMAL32_Bytes; i++, j+=2) {
+      sprintf(&buf[j], "%02x", d32->bytes[i]);
+      }
+    printf(" D32> %s [S:%d Cb:%02x Ec:%02x] BigEndian\n", buf,
+          decimal32Sign(d32), decimal32Comb(d32), decimal32ExpCon(d32));
+    }
+  } /* decimal32Show */
+#endif
diff --git a/libdecnumber/dpd/decimal64.c b/libdecnumber/dpd/decimal64.c
new file mode 100644 (file)
index 0000000..8256084
--- /dev/null
@@ -0,0 +1,850 @@
+/* Decimal 64-bit format module for the decNumber C Library.
+   Copyright (C) 2005, 2007 Free Software Foundation, Inc.
+   Contributed by IBM Corporation.  Author Mike Cowlishaw.
+
+   This file is part of GCC.
+
+   GCC is free software; you can redistribute it and/or modify it under
+   the terms of the GNU General Public License as published by the Free
+   Software Foundation; either version 2, or (at your option) any later
+   version.
+
+   In addition to the permissions in the GNU General Public License,
+   the Free Software Foundation gives you unlimited permission to link
+   the compiled version of this file into combinations with other
+   programs, and to distribute those combinations without any
+   restriction coming from the use of this file.  (The General Public
+   License restrictions do apply in other respects; for example, they
+   cover modification of the file, and distribution when not linked
+   into a combine executable.)
+
+   GCC is distributed in the hope that it will be useful, but WITHOUT ANY
+   WARRANTY; without even the implied warranty of MERCHANTABILITY or
+   FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+   for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING.  If not, write to the Free
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
+
+/* ------------------------------------------------------------------ */
+/* Decimal 64-bit format module                                              */
+/* ------------------------------------------------------------------ */
+/* This module comprises the routines for decimal64 format numbers.   */
+/* Conversions are supplied to and from decNumber and String.        */
+/*                                                                   */
+/* This is used when decNumber provides operations, either for all    */
+/* operations or as a proxy between decNumber and decSingle.         */
+/*                                                                   */
+/* Error handling is the same as decNumber (qv.).                    */
+/* ------------------------------------------------------------------ */
+#include <string.h>          /* [for memset/memcpy] */
+#include <stdio.h>           /* [for printf] */
+
+#include "libdecnumber/dconfig.h"
+#define         DECNUMDIGITS 16      /* make decNumbers with space for 16 */
+#include "libdecnumber/decNumber.h"
+#include "libdecnumber/decNumberLocal.h"
+#include "libdecnumber/dpd/decimal64.h"
+
+/* Utility routines and tables [in decimal64.c]; externs for C++ */
+extern const uInt COMBEXP[32], COMBMSD[32];
+extern const uByte  BIN2CHAR[4001];
+
+extern void decDigitsFromDPD(decNumber *, const uInt *, Int);
+extern void decDigitsToDPD(const decNumber *, uInt *, Int);
+
+#if DECTRACE || DECCHECK
+void decimal64Show(const decimal64 *);           /* for debug */
+extern void decNumberShow(const decNumber *);    /* .. */
+#endif
+
+/* Useful macro */
+/* Clear a structure (e.g., a decNumber) */
+#define DEC_clear(d) memset(d, 0, sizeof(*d))
+
+/* define and include the tables to use for conversions */
+#define DEC_BIN2CHAR 1
+#define DEC_DPD2BIN  1
+#define DEC_BIN2DPD  1            /* used for all sizes */
+#include "libdecnumber/decDPD.h"
+
+/* ------------------------------------------------------------------ */
+/* decimal64FromNumber -- convert decNumber to decimal64             */
+/*                                                                   */
+/*   ds is the target decimal64                                              */
+/*   dn is the source number (assumed valid)                         */
+/*   set is the context, used only for reporting errors                      */
+/*                                                                   */
+/* The set argument is used only for status reporting and for the     */
+/* rounding mode (used if the coefficient is more than DECIMAL64_Pmax */
+/* digits or an overflow is detected). If the exponent is out of the */
+/* valid range then Overflow or Underflow will be raised.            */
+/* After Underflow a subnormal result is possible.                   */
+/*                                                                   */
+/* DEC_Clamped is set if the number has to be 'folded down' to fit,   */
+/* by reducing its exponent and multiplying the coefficient by a      */
+/* power of ten, or if the exponent on a zero had to be clamped.      */
+/* ------------------------------------------------------------------ */
+decimal64 * decimal64FromNumber(decimal64 *d64, const decNumber *dn,
+                               decContext *set) {
+  uInt status=0;                  /* status accumulator */
+  Int ae;                         /* adjusted exponent */
+  decNumber  dw;                  /* work */
+  decContext dc;                  /* .. */
+  uInt *pu;                       /* .. */
+  uInt comb, exp;                 /* .. */
+  uInt targar[2]={0, 0};          /* target 64-bit */
+  #define targhi targar[1]        /* name the word with the sign */
+  #define targlo targar[0]        /* and the other */
+
+  /* If the number has too many digits, or the exponent could be */
+  /* out of range then reduce the number under the appropriate */
+  /* constraints.  This could push the number to Infinity or zero, */
+  /* so this check and rounding must be done before generating the */
+  /* decimal64] */
+  ae=dn->exponent+dn->digits-1;                     /* [0 if special] */
+  if (dn->digits>DECIMAL64_Pmax                     /* too many digits */
+   || ae>DECIMAL64_Emax                             /* likely overflow */
+   || ae<DECIMAL64_Emin) {                  /* likely underflow */
+    decContextDefault(&dc, DEC_INIT_DECIMAL64); /* [no traps] */
+    dc.round=set->round;                    /* use supplied rounding */
+    decNumberPlus(&dw, dn, &dc);            /* (round and check) */
+    /* [this changes -0 to 0, so enforce the sign...] */
+    dw.bits|=dn->bits&DECNEG;
+    status=dc.status;                       /* save status */
+    dn=&dw;                                 /* use the work number */
+    } /* maybe out of range */
+
+  if (dn->bits&DECSPECIAL) {                     /* a special value */
+    if (dn->bits&DECINF) targhi=DECIMAL_Inf<<24;
+     else {                                      /* sNaN or qNaN */
+      if ((*dn->lsu!=0 || dn->digits>1)                  /* non-zero coefficient */
+       && (dn->digits<DECIMAL64_Pmax)) {         /* coefficient fits */
+       decDigitsToDPD(dn, targar, 0);
+       }
+      if (dn->bits&DECNAN) targhi|=DECIMAL_NaN<<24;
+       else targhi|=DECIMAL_sNaN<<24;
+      } /* a NaN */
+    } /* special */
+
+   else { /* is finite */
+    if (decNumberIsZero(dn)) {              /* is a zero */
+      /* set and clamp exponent */
+      if (dn->exponent<-DECIMAL64_Bias) {
+       exp=0;                               /* low clamp */
+       status|=DEC_Clamped;
+       }
+       else {
+       exp=dn->exponent+DECIMAL64_Bias;     /* bias exponent */
+       if (exp>DECIMAL64_Ehigh) {           /* top clamp */
+         exp=DECIMAL64_Ehigh;
+         status|=DEC_Clamped;
+         }
+       }
+      comb=(exp>>5) & 0x18;            /* msd=0, exp top 2 bits .. */
+      }
+     else {                            /* non-zero finite number */
+      uInt msd;                                /* work */
+      Int pad=0;                       /* coefficient pad digits */
+
+      /* the dn is known to fit, but it may need to be padded */
+      exp=(uInt)(dn->exponent+DECIMAL64_Bias);   /* bias exponent */
+      if (exp>DECIMAL64_Ehigh) {                 /* fold-down case */
+       pad=exp-DECIMAL64_Ehigh;
+       exp=DECIMAL64_Ehigh;                      /* [to maximum] */
+       status|=DEC_Clamped;
+       }
+
+      /* fastpath common case */
+      if (DECDPUN==3 && pad==0) {
+       uInt dpd[6]={0,0,0,0,0,0};
+       uInt i;
+       Int d=dn->digits;
+       for (i=0; d>0; i++, d-=3) dpd[i]=BIN2DPD[dn->lsu[i]];
+       targlo =dpd[0];
+       targlo|=dpd[1]<<10;
+       targlo|=dpd[2]<<20;
+       if (dn->digits>6) {
+         targlo|=dpd[3]<<30;
+         targhi =dpd[3]>>2;
+         targhi|=dpd[4]<<8;
+         }
+       msd=dpd[5];                /* [did not really need conversion] */
+       }
+       else { /* general case */
+       decDigitsToDPD(dn, targar, pad);
+       /* save and clear the top digit */
+       msd=targhi>>18;
+       targhi&=0x0003ffff;
+       }
+
+      /* create the combination field */
+      if (msd>=8) comb=0x18 | ((exp>>7) & 0x06) | (msd & 0x01);
+            else comb=((exp>>5) & 0x18) | msd;
+      }
+    targhi|=comb<<26;             /* add combination field .. */
+    targhi|=(exp&0xff)<<18;       /* .. and exponent continuation */
+    } /* finite */
+
+  if (dn->bits&DECNEG) targhi|=0x80000000; /* add sign bit */
+
+  /* now write to storage; this is now always endian */
+  pu=(uInt *)d64->bytes;          /* overlay */
+  if (DECLITEND) {
+    pu[0]=targar[0];              /* directly store the low int */
+    pu[1]=targar[1];              /* then the high int */
+    }
+   else {
+    pu[0]=targar[1];              /* directly store the high int */
+    pu[1]=targar[0];              /* then the low int */
+    }
+
+  if (status!=0) decContextSetStatus(set, status); /* pass on status */
+  /* decimal64Show(d64); */
+  return d64;
+  } /* decimal64FromNumber */
+
+/* ------------------------------------------------------------------ */
+/* decimal64ToNumber -- convert decimal64 to decNumber               */
+/*   d64 is the source decimal64                                     */
+/*   dn is the target number, with appropriate space                 */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decNumber * decimal64ToNumber(const decimal64 *d64, decNumber *dn) {
+  uInt msd;                       /* coefficient MSD */
+  uInt exp;                       /* exponent top two bits */
+  uInt comb;                      /* combination field */
+  const uInt *pu;                 /* work */
+  Int  need;                      /* .. */
+  uInt sourar[2];                 /* source 64-bit */
+  #define sourhi sourar[1]        /* name the word with the sign */
+  #define sourlo sourar[0]        /* and the lower word */
+
+  /* load source from storage; this is endian */
+  pu=(const uInt *)d64->bytes;    /* overlay */
+  if (DECLITEND) {
+    sourlo=pu[0];                 /* directly load the low int */
+    sourhi=pu[1];                 /* then the high int */
+    }
+   else {
+    sourhi=pu[0];                 /* directly load the high int */
+    sourlo=pu[1];                 /* then the low int */
+    }
+
+  comb=(sourhi>>26)&0x1f;         /* combination field */
+
+  decNumberZero(dn);              /* clean number */
+  if (sourhi&0x80000000) dn->bits=DECNEG; /* set sign if negative */
+
+  msd=COMBMSD[comb];              /* decode the combination field */
+  exp=COMBEXP[comb];              /* .. */
+
+  if (exp==3) {                           /* is a special */
+    if (msd==0) {
+      dn->bits|=DECINF;
+      return dn;                  /* no coefficient needed */
+      }
+    else if (sourhi&0x02000000) dn->bits|=DECSNAN;
+    else dn->bits|=DECNAN;
+    msd=0;                        /* no top digit */
+    }
+   else {                         /* is a finite number */
+    dn->exponent=(exp<<8)+((sourhi>>18)&0xff)-DECIMAL64_Bias; /* unbiased */
+    }
+
+  /* get the coefficient */
+  sourhi&=0x0003ffff;             /* clean coefficient continuation */
+  if (msd) {                      /* non-zero msd */
+    sourhi|=msd<<18;              /* prefix to coefficient */
+    need=6;                       /* process 6 declets */
+    }
+   else { /* msd=0 */
+    if (!sourhi) {                /* top word 0 */
+      if (!sourlo) return dn;     /* easy: coefficient is 0 */
+      need=3;                     /* process at least 3 declets */
+      if (sourlo&0xc0000000) need++; /* process 4 declets */
+      /* [could reduce some more, here] */
+      }
+     else {                       /* some bits in top word, msd=0 */
+      need=4;                     /* process at least 4 declets */
+      if (sourhi&0x0003ff00) need++; /* top declet!=0, process 5 */
+      }
+    } /*msd=0 */
+
+  decDigitsFromDPD(dn, sourar, need);  /* process declets */
+  return dn;
+  } /* decimal64ToNumber */
+
+
+/* ------------------------------------------------------------------ */
+/* to-scientific-string -- conversion to numeric string                      */
+/* to-engineering-string -- conversion to numeric string             */
+/*                                                                   */
+/*   decimal64ToString(d64, string);                                 */
+/*   decimal64ToEngString(d64, string);                                      */
+/*                                                                   */
+/*  d64 is the decimal64 format number to convert                    */
+/*  string is the string where the result will be laid out           */
+/*                                                                   */
+/*  string must be at least 24 characters                            */
+/*                                                                   */
+/*  No error is possible, and no status can be set.                  */
+/* ------------------------------------------------------------------ */
+char * decimal64ToEngString(const decimal64 *d64, char *string){
+  decNumber dn;                                /* work */
+  decimal64ToNumber(d64, &dn);
+  decNumberToEngString(&dn, string);
+  return string;
+  } /* decimal64ToEngString */
+
+char * decimal64ToString(const decimal64 *d64, char *string){
+  uInt msd;                       /* coefficient MSD */
+  Int  exp;                       /* exponent top two bits or full */
+  uInt comb;                      /* combination field */
+  char *cstart;                           /* coefficient start */
+  char *c;                        /* output pointer in string */
+  const uInt *pu;                 /* work */
+  char *s, *t;                    /* .. (source, target) */
+  Int  dpd;                       /* .. */
+  Int  pre, e;                    /* .. */
+  const uByte *u;                 /* .. */
+
+  uInt sourar[2];                 /* source 64-bit */
+  #define sourhi sourar[1]        /* name the word with the sign */
+  #define sourlo sourar[0]        /* and the lower word */
+
+  /* load source from storage; this is endian */
+  pu=(const uInt *)d64->bytes;    /* overlay */
+  if (DECLITEND) {
+    sourlo=pu[0];                 /* directly load the low int */
+    sourhi=pu[1];                 /* then the high int */
+    }
+   else {
+    sourhi=pu[0];                 /* directly load the high int */
+    sourlo=pu[1];                 /* then the low int */
+    }
+
+  c=string;                       /* where result will go */
+  if (((Int)sourhi)<0) *c++='-';   /* handle sign */
+
+  comb=(sourhi>>26)&0x1f;         /* combination field */
+  msd=COMBMSD[comb];              /* decode the combination field */
+  exp=COMBEXP[comb];              /* .. */
+
+  if (exp==3) {
+    if (msd==0) {                 /* infinity */
+      strcpy(c,          "Inf");
+      strcpy(c+3, "inity");
+      return string;              /* easy */
+      }
+    if (sourhi&0x02000000) *c++='s'; /* sNaN */
+    strcpy(c, "NaN");             /* complete word */
+    c+=3;                         /* step past */
+    if (sourlo==0 && (sourhi&0x0003ffff)==0) return string; /* zero payload */
+    /* otherwise drop through to add integer; set correct exp */
+    exp=0; msd=0;                 /* setup for following code */
+    }
+   else exp=(exp<<8)+((sourhi>>18)&0xff)-DECIMAL64_Bias;
+
+  /* convert 16 digits of significand to characters */
+  cstart=c;                       /* save start of coefficient */
+  if (msd) *c++='0'+(char)msd;    /* non-zero most significant digit */
+
+  /* Now decode the declets.  After extracting each one, it is */
+  /* decoded to binary and then to a 4-char sequence by table lookup; */
+  /* the 4-chars are a 1-char length (significant digits, except 000 */
+  /* has length 0).  This allows us to left-align the first declet */
+  /* with non-zero content, then remaining ones are full 3-char */
+  /* length.  We use fixed-length memcpys because variable-length */
+  /* causes a subroutine call in GCC.  (These are length 4 for speed */
+  /* and are safe because the array has an extra terminator byte.) */
+  #define dpd2char u=&BIN2CHAR[DPD2BIN[dpd]*4];                          \
+                  if (c!=cstart) {memcpy(c, u+1, 4); c+=3;}      \
+                   else if (*u)  {memcpy(c, u+4-*u, 4); c+=*u;}
+
+  dpd=(sourhi>>8)&0x3ff;                    /* declet 1 */
+  dpd2char;
+  dpd=((sourhi&0xff)<<2) | (sourlo>>30);     /* declet 2 */
+  dpd2char;
+  dpd=(sourlo>>20)&0x3ff;                   /* declet 3 */
+  dpd2char;
+  dpd=(sourlo>>10)&0x3ff;                   /* declet 4 */
+  dpd2char;
+  dpd=(sourlo)&0x3ff;                       /* declet 5 */
+  dpd2char;
+
+  if (c==cstart) *c++='0';        /* all zeros -- make 0 */
+
+  if (exp==0) {                           /* integer or NaN case -- easy */
+    *c='\0';                      /* terminate */
+    return string;
+    }
+
+  /* non-0 exponent */
+  e=0;                            /* assume no E */
+  pre=c-cstart+exp;
+  /* [here, pre-exp is the digits count (==1 for zero)] */
+  if (exp>0 || pre<-5) {          /* need exponential form */
+    e=pre-1;                      /* calculate E value */
+    pre=1;                        /* assume one digit before '.' */
+    } /* exponential form */
+
+  /* modify the coefficient, adding 0s, '.', and E+nn as needed */
+  s=c-1;                          /* source (LSD) */
+  if (pre>0) {                    /* ddd.ddd (plain), perhaps with E */
+    char *dotat=cstart+pre;
+    if (dotat<c) {                /* if embedded dot needed... */
+      t=c;                             /* target */
+      for (; s>=dotat; s--, t--) *t=*s; /* open the gap; leave t at gap */
+      *t='.';                          /* insert the dot */
+      c++;                             /* length increased by one */
+      }
+
+    /* finally add the E-part, if needed; it will never be 0, and has */
+    /* a maximum length of 3 digits */
+    if (e!=0) {
+      *c++='E';                           /* starts with E */
+      *c++='+';                           /* assume positive */
+      if (e<0) {
+       *(c-1)='-';                /* oops, need '-' */
+       e=-e;                      /* uInt, please */
+       }
+      u=&BIN2CHAR[e*4];                   /* -> length byte */
+      memcpy(c, u+4-*u, 4);       /* copy fixed 4 characters [is safe] */
+      c+=*u;                      /* bump pointer appropriately */
+      }
+    *c='\0';                      /* add terminator */
+    /*printf("res %s\n", string); */
+    return string;
+    } /* pre>0 */
+
+  /* -5<=pre<=0: here for plain 0.ddd or 0.000ddd forms (can never have E) */
+  t=c+1-pre;
+  *(t+1)='\0';                         /* can add terminator now */
+  for (; s>=cstart; s--, t--) *t=*s;   /* shift whole coefficient right */
+  c=cstart;
+  *c++='0';                            /* always starts with 0. */
+  *c++='.';
+  for (; pre<0; pre++) *c++='0';       /* add any 0's after '.' */
+  /*printf("res %s\n", string); */
+  return string;
+  } /* decimal64ToString */
+
+/* ------------------------------------------------------------------ */
+/* to-number -- conversion from numeric string                       */
+/*                                                                   */
+/*   decimal64FromString(result, string, set);                       */
+/*                                                                   */
+/*  result  is the decimal64 format number which gets the result of   */
+/*         the conversion                                            */
+/*  *string is the character string which should contain a valid      */
+/*         number (which may be a special value)                     */
+/*  set            is the context                                            */
+/*                                                                   */
+/* The context is supplied to this routine is used for error handling */
+/* (setting of status and traps) and for the rounding mode, only.     */
+/* If an error occurs, the result will be a valid decimal64 NaN.      */
+/* ------------------------------------------------------------------ */
+decimal64 * decimal64FromString(decimal64 *result, const char *string,
+                               decContext *set) {
+  decContext dc;                            /* work */
+  decNumber dn;                                     /* .. */
+
+  decContextDefault(&dc, DEC_INIT_DECIMAL64); /* no traps, please */
+  dc.round=set->round;                       /* use supplied rounding */
+
+  decNumberFromString(&dn, string, &dc);     /* will round if needed */
+
+  decimal64FromNumber(result, &dn, &dc);
+  if (dc.status!=0) {                       /* something happened */
+    decContextSetStatus(set, dc.status);     /* .. pass it on */
+    }
+  return result;
+  } /* decimal64FromString */
+
+/* ------------------------------------------------------------------ */
+/* decimal64IsCanonical -- test whether encoding is canonical        */
+/*   d64 is the source decimal64                                     */
+/*   returns 1 if the encoding of d64 is canonical, 0 otherwise              */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+uint32_t decimal64IsCanonical(const decimal64 *d64) {
+  decNumber dn;                                /* work */
+  decimal64 canon;                     /* .. */
+  decContext dc;                       /* .. */
+  decContextDefault(&dc, DEC_INIT_DECIMAL64);
+  decimal64ToNumber(d64, &dn);
+  decimal64FromNumber(&canon, &dn, &dc);/* canon will now be canonical */
+  return memcmp(d64, &canon, DECIMAL64_Bytes)==0;
+  } /* decimal64IsCanonical */
+
+/* ------------------------------------------------------------------ */
+/* decimal64Canonical -- copy an encoding, ensuring it is canonical   */
+/*   d64 is the source decimal64                                     */
+/*   result is the target (may be the same decimal64)                */
+/*   returns result                                                  */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+decimal64 * decimal64Canonical(decimal64 *result, const decimal64 *d64) {
+  decNumber dn;                                /* work */
+  decContext dc;                       /* .. */
+  decContextDefault(&dc, DEC_INIT_DECIMAL64);
+  decimal64ToNumber(d64, &dn);
+  decimal64FromNumber(result, &dn, &dc);/* result will now be canonical */
+  return result;
+  } /* decimal64Canonical */
+
+#if DECTRACE || DECCHECK
+/* Macros for accessing decimal64 fields.  These assume the
+   argument is a reference (pointer) to the decimal64 structure,
+   and the decimal64 is in network byte order (big-endian) */
+/* Get sign */
+#define decimal64Sign(d)       ((unsigned)(d)->bytes[0]>>7)
+
+/* Get combination field */
+#define decimal64Comb(d)       (((d)->bytes[0] & 0x7c)>>2)
+
+/* Get exponent continuation [does not remove bias] */
+#define decimal64ExpCon(d)     ((((d)->bytes[0] & 0x03)<<6)          \
+                            | ((unsigned)(d)->bytes[1]>>2))
+
+/* Set sign [this assumes sign previously 0] */
+#define decimal64SetSign(d, b) {                                     \
+  (d)->bytes[0]|=((unsigned)(b)<<7);}
+
+/* Set exponent continuation [does not apply bias] */
+/* This assumes range has been checked and exponent previously 0; */
+/* type of exponent must be unsigned */
+#define decimal64SetExpCon(d, e) {                                   \
+  (d)->bytes[0]|=(uint8_t)((e)>>6);                                  \
+  (d)->bytes[1]|=(uint8_t)(((e)&0x3F)<<2);}
+
+/* ------------------------------------------------------------------ */
+/* decimal64Show -- display a decimal64 in hexadecimal [debug aid]    */
+/*   d64 -- the number to show                                       */
+/* ------------------------------------------------------------------ */
+/* Also shows sign/cob/expconfields extracted */
+void decimal64Show(const decimal64 *d64) {
+  char buf[DECIMAL64_Bytes*2+1];
+  Int i, j=0;
+
+  if (DECLITEND) {
+    for (i=0; i<DECIMAL64_Bytes; i++, j+=2) {
+      sprintf(&buf[j], "%02x", d64->bytes[7-i]);
+      }
+    printf(" D64> %s [S:%d Cb:%02x Ec:%02x] LittleEndian\n", buf,
+          d64->bytes[7]>>7, (d64->bytes[7]>>2)&0x1f,
+          ((d64->bytes[7]&0x3)<<6)| (d64->bytes[6]>>2));
+    }
+   else { /* big-endian */
+    for (i=0; i<DECIMAL64_Bytes; i++, j+=2) {
+      sprintf(&buf[j], "%02x", d64->bytes[i]);
+      }
+    printf(" D64> %s [S:%d Cb:%02x Ec:%02x] BigEndian\n", buf,
+          decimal64Sign(d64), decimal64Comb(d64), decimal64ExpCon(d64));
+    }
+  } /* decimal64Show */
+#endif
+
+/* ================================================================== */
+/* Shared utility routines and tables                                */
+/* ================================================================== */
+/* define and include the conversion tables to use for shared code */
+#if DECDPUN==3
+  #define DEC_DPD2BIN 1
+#else
+  #define DEC_DPD2BCD 1
+#endif
+#include "libdecnumber/decDPD.h"
+
+/* The maximum number of decNumberUnits needed for a working copy of */
+/* the units array is the ceiling of digits/DECDPUN, where digits is */
+/* the maximum number of digits in any of the formats for which this */
+/* is used.  decimal128.h must not be included in this module, so, as */
+/* a very special case, that number is defined as a literal here. */
+#define DECMAX754   34
+#define DECMAXUNITS ((DECMAX754+DECDPUN-1)/DECDPUN)
+
+/* ------------------------------------------------------------------ */
+/* Combination field lookup tables (uInts to save measurable work)    */
+/*                                                                   */
+/*     COMBEXP - 2-bit most-significant-bits of exponent             */
+/*               [11 if an Infinity or NaN]                          */
+/*     COMBMSD - 4-bit most-significant-digit                        */
+/*               [0=Infinity, 1=NaN if COMBEXP=11]                   */
+/*                                                                   */
+/* Both are indexed by the 5-bit combination field (0-31)            */
+/* ------------------------------------------------------------------ */
+const uInt COMBEXP[32]={0, 0, 0, 0, 0, 0, 0, 0,
+                       1, 1, 1, 1, 1, 1, 1, 1,
+                       2, 2, 2, 2, 2, 2, 2, 2,
+                       0, 0, 1, 1, 2, 2, 3, 3};
+const uInt COMBMSD[32]={0, 1, 2, 3, 4, 5, 6, 7,
+                       0, 1, 2, 3, 4, 5, 6, 7,
+                       0, 1, 2, 3, 4, 5, 6, 7,
+                       8, 9, 8, 9, 8, 9, 0, 1};
+
+/* ------------------------------------------------------------------ */
+/* decDigitsToDPD -- pack coefficient into DPD form                  */
+/*                                                                   */
+/*   dn          is the source number (assumed valid, max DECMAX754 digits)  */
+/*   targ is 1, 2, or 4-element uInt array, which the caller must     */
+/*       have cleared to zeros                                       */
+/*   shift is the number of 0 digits to add on the right (normally 0) */
+/*                                                                   */
+/* The coefficient must be known small enough to fit.  The full              */
+/* coefficient is copied, including the leading 'odd' digit.  This    */
+/* digit is retrieved and packed into the combination field by the    */
+/* caller.                                                           */
+/*                                                                   */
+/* The target uInts are altered only as necessary to receive the      */
+/* digits of the decNumber.  When more than one uInt is needed, they  */
+/* are filled from left to right (that is, the uInt at offset 0 will  */
+/* end up with the least-significant digits).                        */
+/*                                                                   */
+/* shift is used for 'fold-down' padding.                            */
+/*                                                                   */
+/* No error is possible.                                             */
+/* ------------------------------------------------------------------ */
+#if DECDPUN<=4
+/* Constant multipliers for divide-by-power-of five using reciprocal */
+/* multiply, after removing powers of 2 by shifting, and final shift */
+/* of 17 [we only need up to **4] */
+static const uInt multies[]={131073, 26215, 5243, 1049, 210};
+/* QUOT10 -- macro to return the quotient of unit u divided by 10**n */
+#define QUOT10(u, n) ((((uInt)(u)>>(n))*multies[n])>>17)
+#endif
+void decDigitsToDPD(const decNumber *dn, uInt *targ, Int shift) {
+  Int  cut;                  /* work */
+  Int  n;                    /* output bunch counter */
+  Int  digits=dn->digits;     /* digit countdown */
+  uInt dpd;                  /* densely packed decimal value */
+  uInt bin;                  /* binary value 0-999 */
+  uInt *uout=targ;           /* -> current output uInt */
+  uInt uoff=0;               /* -> current output offset [from right] */
+  const Unit *inu=dn->lsu;    /* -> current input unit */
+  Unit uar[DECMAXUNITS];     /* working copy of units, iff shifted */
+  #if DECDPUN!=3             /* not fast path */
+    Unit in;                 /* current unit */
+  #endif
+
+  if (shift!=0) {            /* shift towards most significant required */
+    /* shift the units array to the left by pad digits and copy */
+    /* [this code is a special case of decShiftToMost, which could */
+    /* be used instead if exposed and the array were copied first] */
+    const Unit *source;                        /* .. */
+    Unit  *target, *first;             /* .. */
+    uInt  next=0;                      /* work */
+
+    source=dn->lsu+D2U(digits)-1;      /* where msu comes from */
+    target=uar+D2U(digits)-1+D2U(shift);/* where upper part of first cut goes */
+    cut=DECDPUN-MSUDIGITS(shift);      /* where to slice */
+    if (cut==0) {                      /* unit-boundary case */
+      for (; source>=dn->lsu; source--, target--) *target=*source;
+      }
+     else {
+      first=uar+D2U(digits+shift)-1;   /* where msu will end up */
+      for (; source>=dn->lsu; source--, target--) {
+       /* split the source Unit and accumulate remainder for next */
+       #if DECDPUN<=4
+         uInt quot=QUOT10(*source, cut);
+         uInt rem=*source-quot*DECPOWERS[cut];
+         next+=quot;
+       #else
+         uInt rem=*source%DECPOWERS[cut];
+         next+=*source/DECPOWERS[cut];
+       #endif
+       if (target<=first) *target=(Unit)next; /* write to target iff valid */
+       next=rem*DECPOWERS[DECDPUN-cut];       /* save remainder for next Unit */
+       }
+      } /* shift-move */
+    /* propagate remainder to one below and clear the rest */
+    for (; target>=uar; target--) {
+      *target=(Unit)next;
+      next=0;
+      }
+    digits+=shift;                /* add count (shift) of zeros added */
+    inu=uar;                      /* use units in working array */
+    }
+
+  /* now densely pack the coefficient into DPD declets */
+
+  #if DECDPUN!=3                  /* not fast path */
+    in=*inu;                      /* current unit */
+    cut=0;                        /* at lowest digit */
+    bin=0;                        /* [keep compiler quiet] */
+  #endif
+
+  for(n=0; digits>0; n++) {       /* each output bunch */
+    #if DECDPUN==3                /* fast path, 3-at-a-time */
+      bin=*inu;                           /* 3 digits ready for convert */
+      digits-=3;                  /* [may go negative] */
+      inu++;                      /* may need another */
+
+    #else                         /* must collect digit-by-digit */
+      Unit dig;                           /* current digit */
+      Int j;                      /* digit-in-declet count */
+      for (j=0; j<3; j++) {
+       #if DECDPUN<=4
+         Unit temp=(Unit)((uInt)(in*6554)>>16);
+         dig=(Unit)(in-X10(temp));
+         in=temp;
+       #else
+         dig=in%10;
+         in=in/10;
+       #endif
+       if (j==0) bin=dig;
+        else if (j==1)  bin+=X10(dig);
+        else /* j==2 */ bin+=X100(dig);
+       digits--;
+       if (digits==0) break;      /* [also protects *inu below] */
+       cut++;
+       if (cut==DECDPUN) {inu++; in=*inu; cut=0;}
+       }
+    #endif
+    /* here there are 3 digits in bin, or have used all input digits */
+
+    dpd=BIN2DPD[bin];
+
+    /* write declet to uInt array */
+    *uout|=dpd<<uoff;
+    uoff+=10;
+    if (uoff<32) continue;        /* no uInt boundary cross */
+    uout++;
+    uoff-=32;
+    *uout|=dpd>>(10-uoff);        /* collect top bits */
+    } /* n declets */
+  return;
+  } /* decDigitsToDPD */
+
+/* ------------------------------------------------------------------ */
+/* decDigitsFromDPD -- unpack a format's coefficient                 */
+/*                                                                   */
+/*   dn is the target number, with 7, 16, or 34-digit space.         */
+/*   sour is a 1, 2, or 4-element uInt array containing only declets  */
+/*   declets is the number of (right-aligned) declets in sour to      */
+/*     be processed.  This may be 1 more than the obvious number in   */
+/*     a format, as any top digit is prefixed to the coefficient      */
+/*     continuation field.  It also may be as small as 1, as the      */
+/*     caller may pre-process leading zero declets.                  */
+/*                                                                   */
+/* When doing the 'extra declet' case care is taken to avoid writing  */
+/* extra digits when there are leading zeros, as these could overflow */
+/* the units array when DECDPUN is not 3.                            */
+/*                                                                   */
+/* The target uInts are used only as necessary to process declets     */
+/* declets into the decNumber. When more than one uInt is needed,    */
+/* they are used from left to right (that is, the uInt at offset 0    */
+/* provides the least-significant digits).                           */
+/*                                                                   */
+/* dn->digits is set, but not the sign or exponent.                  */
+/* No error is possible [the redundant 888 codes are allowed].       */
+/* ------------------------------------------------------------------ */
+void decDigitsFromDPD(decNumber *dn, const uInt *sour, Int declets) {
+
+  uInt dpd;                       /* collector for 10 bits */
+  Int  n;                         /* counter */
+  Unit *uout=dn->lsu;             /* -> current output unit */
+  Unit *last=uout;                /* will be unit containing msd */
+  const uInt *uin=sour;                   /* -> current input uInt */
+  uInt uoff=0;                    /* -> current input offset [from right] */
+
+  #if DECDPUN!=3
+  uInt bcd;                       /* BCD result */
+  uInt nibble;                    /* work */
+  Unit out=0;                     /* accumulator */
+  Int  cut=0;                     /* power of ten in current unit */
+  #endif
+  #if DECDPUN>4
+  uInt const *pow;                /* work */
+  #endif
+
+  /* Expand the densely-packed integer, right to left */
+  for (n=declets-1; n>=0; n--) {   /* count down declets of 10 bits */
+    dpd=*uin>>uoff;
+    uoff+=10;
+    if (uoff>32) {                /* crossed uInt boundary */
+      uin++;
+      uoff-=32;
+      dpd|=*uin<<(10-uoff);       /* get waiting bits */
+      }
+    dpd&=0x3ff;                           /* clear uninteresting bits */
+
+  #if DECDPUN==3
+    if (dpd==0) *uout=0;
+     else {
+      *uout=DPD2BIN[dpd];         /* convert 10 bits to binary 0-999 */
+      last=uout;                  /* record most significant unit */
+      }
+    uout++;
+    } /* n */
+
+  #else /* DECDPUN!=3 */
+    if (dpd==0) {                 /* fastpath [e.g., leading zeros] */
+      /* write out three 0 digits (nibbles); out may have digit(s) */
+      cut++;
+      if (cut==DECDPUN) {*uout=out; if (out) {last=uout; out=0;} uout++; cut=0;}
+      if (n==0) break;            /* [as below, works even if MSD=0] */
+      cut++;
+      if (cut==DECDPUN) {*uout=out; if (out) {last=uout; out=0;} uout++; cut=0;}
+      cut++;
+      if (cut==DECDPUN) {*uout=out; if (out) {last=uout; out=0;} uout++; cut=0;}
+      continue;
+      }
+
+    bcd=DPD2BCD[dpd];             /* convert 10 bits to 12 bits BCD */
+
+    /* now accumulate the 3 BCD nibbles into units */
+    nibble=bcd & 0x00f;
+    if (nibble) out=(Unit)(out+nibble*DECPOWERS[cut]);
+    cut++;
+    if (cut==DECDPUN) {*uout=out; if (out) {last=uout; out=0;} uout++; cut=0;}
+    bcd>>=4;
+
+    /* if this is the last declet and the remaining nibbles in bcd */
+    /* are 00 then process no more nibbles, because this could be */
+    /* the 'odd' MSD declet and writing any more Units would then */
+    /* overflow the unit array */
+    if (n==0 && !bcd) break;
+
+    nibble=bcd & 0x00f;
+    if (nibble) out=(Unit)(out+nibble*DECPOWERS[cut]);
+    cut++;
+    if (cut==DECDPUN) {*uout=out; if (out) {last=uout; out=0;} uout++; cut=0;}
+    bcd>>=4;
+
+    nibble=bcd & 0x00f;
+    if (nibble) out=(Unit)(out+nibble*DECPOWERS[cut]);
+    cut++;
+    if (cut==DECDPUN) {*uout=out; if (out) {last=uout; out=0;} uout++; cut=0;}
+    } /* n */
+  if (cut!=0) {                                /* some more left over */
+    *uout=out;                         /* write out final unit */
+    if (out) last=uout;                        /* and note if non-zero */
+    }
+  #endif
+
+  /* here, last points to the most significant unit with digits; */
+  /* inspect it to get the final digits count -- this is essentially */
+  /* the same code as decGetDigits in decNumber.c */
+  dn->digits=(last-dn->lsu)*DECDPUN+1; /* floor of digits, plus */
+                                       /* must be at least 1 digit */
+  #if DECDPUN>1
+  if (*last<10) return;                        /* common odd digit or 0 */
+  dn->digits++;                                /* must be 2 at least */
+  #if DECDPUN>2
+  if (*last<100) return;               /* 10-99 */
+  dn->digits++;                                /* must be 3 at least */
+  #if DECDPUN>3
+  if (*last<1000) return;              /* 100-999 */
+  dn->digits++;                                /* must be 4 at least */
+  #if DECDPUN>4
+  for (pow=&DECPOWERS[4]; *last>=*pow; pow++) dn->digits++;
+  #endif
+  #endif
+  #endif
+  #endif
+  return;
+  } /*decDigitsFromDPD */
index ef0c8785ba165f62be49e1498653f403a6a3c757..e6ebdd3471e566f7e3d39e8c387f583342c2b9c7 100644 (file)
@@ -20,6 +20,7 @@
 #define __ARM_KVM_H__
 
 #include <linux/types.h>
+#include <linux/psci.h>
 #include <asm/ptrace.h>
 
 #define __KVM_HAVE_GUEST_DEBUG
@@ -83,6 +84,7 @@ struct kvm_regs {
 #define KVM_VGIC_V2_CPU_SIZE           0x2000
 
 #define KVM_ARM_VCPU_POWER_OFF         0 /* CPU is started in OFF state */
+#define KVM_ARM_VCPU_PSCI_0_2          1 /* CPU uses PSCI v0.2 */
 
 struct kvm_vcpu_init {
        __u32 target;
@@ -201,9 +203,9 @@ struct kvm_arch_memory_slot {
 #define KVM_PSCI_FN_CPU_ON             KVM_PSCI_FN(2)
 #define KVM_PSCI_FN_MIGRATE            KVM_PSCI_FN(3)
 
-#define KVM_PSCI_RET_SUCCESS           0
-#define KVM_PSCI_RET_NI                        ((unsigned long)-1)
-#define KVM_PSCI_RET_INVAL             ((unsigned long)-2)
-#define KVM_PSCI_RET_DENIED            ((unsigned long)-3)
+#define KVM_PSCI_RET_SUCCESS           PSCI_RET_SUCCESS
+#define KVM_PSCI_RET_NI                        PSCI_RET_NOT_SUPPORTED
+#define KVM_PSCI_RET_INVAL             PSCI_RET_INVALID_PARAMS
+#define KVM_PSCI_RET_DENIED            PSCI_RET_DENIED
 
 #endif /* __ARM_KVM_H__ */
index eaf54a30bedcef3ee1b88b93e2e0f4741f0ef10d..e633ff8cdec8d8bc93bfcb4f486f03a74b3f9f59 100644 (file)
@@ -31,6 +31,7 @@
 #define KVM_NR_SPSR    5
 
 #ifndef __ASSEMBLY__
+#include <linux/psci.h>
 #include <asm/types.h>
 #include <asm/ptrace.h>
 
@@ -56,8 +57,9 @@ struct kvm_regs {
 #define KVM_ARM_TARGET_FOUNDATION_V8   1
 #define KVM_ARM_TARGET_CORTEX_A57      2
 #define KVM_ARM_TARGET_XGENE_POTENZA   3
+#define KVM_ARM_TARGET_CORTEX_A53      4
 
-#define KVM_ARM_NUM_TARGETS            4
+#define KVM_ARM_NUM_TARGETS            5
 
 /* KVM_ARM_SET_DEVICE_ADDR ioctl id encoding */
 #define KVM_ARM_DEVICE_TYPE_SHIFT      0
@@ -77,6 +79,7 @@ struct kvm_regs {
 
 #define KVM_ARM_VCPU_POWER_OFF         0 /* CPU is started in OFF state */
 #define KVM_ARM_VCPU_EL1_32BIT         1 /* CPU running a 32bit VM */
+#define KVM_ARM_VCPU_PSCI_0_2          2 /* CPU uses PSCI v0.2 */
 
 struct kvm_vcpu_init {
        __u32 target;
@@ -186,10 +189,10 @@ struct kvm_arch_memory_slot {
 #define KVM_PSCI_FN_CPU_ON             KVM_PSCI_FN(2)
 #define KVM_PSCI_FN_MIGRATE            KVM_PSCI_FN(3)
 
-#define KVM_PSCI_RET_SUCCESS           0
-#define KVM_PSCI_RET_NI                        ((unsigned long)-1)
-#define KVM_PSCI_RET_INVAL             ((unsigned long)-2)
-#define KVM_PSCI_RET_DENIED            ((unsigned long)-3)
+#define KVM_PSCI_RET_SUCCESS           PSCI_RET_SUCCESS
+#define KVM_PSCI_RET_NI                        PSCI_RET_NOT_SUPPORTED
+#define KVM_PSCI_RET_INVAL             PSCI_RET_INVALID_PARAMS
+#define KVM_PSCI_RET_DENIED            PSCI_RET_DENIED
 
 #endif
 
index f09ff5ae20593497f9888796c143895122f2b1c4..2c04b6d9ff85380de722745e934944411a5e33d3 100644 (file)
@@ -106,6 +106,41 @@ struct kvm_fpu {
 #define KVM_REG_MIPS_LO (KVM_REG_MIPS | KVM_REG_SIZE_U64 | 33)
 #define KVM_REG_MIPS_PC (KVM_REG_MIPS | KVM_REG_SIZE_U64 | 34)
 
+/* KVM specific control registers */
+
+/*
+ * CP0_Count control
+ * DC:    Set 0: Master disable CP0_Count and set COUNT_RESUME to now
+ *        Set 1: Master re-enable CP0_Count with unchanged bias, handling timer
+ *               interrupts since COUNT_RESUME
+ *        This can be used to freeze the timer to get a consistent snapshot of
+ *        the CP0_Count and timer interrupt pending state, while also resuming
+ *        safely without losing time or guest timer interrupts.
+ * Other: Reserved, do not change.
+ */
+#define KVM_REG_MIPS_COUNT_CTL         (KVM_REG_MIPS | KVM_REG_SIZE_U64 | \
+                                        0x20000 | 0)
+#define KVM_REG_MIPS_COUNT_CTL_DC      0x00000001
+
+/*
+ * CP0_Count resume monotonic nanoseconds
+ * The monotonic nanosecond time of the last set of COUNT_CTL.DC (master
+ * disable). Any reads and writes of Count related registers while
+ * COUNT_CTL.DC=1 will appear to occur at this time. When COUNT_CTL.DC is
+ * cleared again (master enable) any timer interrupts since this time will be
+ * emulated.
+ * Modifications to times in the future are rejected.
+ */
+#define KVM_REG_MIPS_COUNT_RESUME      (KVM_REG_MIPS | KVM_REG_SIZE_U64 | \
+                                        0x20000 | 1)
+/*
+ * CP0_Count rate in Hz
+ * Specifies the rate of the CP0_Count timer in Hz. Modifications occur without
+ * discontinuities in CP0_Count.
+ */
+#define KVM_REG_MIPS_COUNT_HZ          (KVM_REG_MIPS | KVM_REG_SIZE_U64 | \
+                                        0x20000 | 2)
+
 /*
  * KVM MIPS specific structures and definitions
  *
index a6665be4f3ab81dfd35ab1f08b8f6a3cce6a8493..2bc4a9409a934e4e7416e5a058191eca9dfe2e72 100644 (file)
@@ -545,7 +545,6 @@ struct kvm_get_htab_header {
 #define KVM_REG_PPC_TCSCR      (KVM_REG_PPC | KVM_REG_SIZE_U64 | 0xb1)
 #define KVM_REG_PPC_PID                (KVM_REG_PPC | KVM_REG_SIZE_U64 | 0xb2)
 #define KVM_REG_PPC_ACOP       (KVM_REG_PPC | KVM_REG_SIZE_U64 | 0xb3)
-#define KVM_REG_PPC_WORT       (KVM_REG_PPC | KVM_REG_SIZE_U64 | 0xb4)
 
 #define KVM_REG_PPC_VRSAVE     (KVM_REG_PPC | KVM_REG_SIZE_U32 | 0xb4)
 #define KVM_REG_PPC_LPCR       (KVM_REG_PPC | KVM_REG_SIZE_U32 | 0xb5)
@@ -555,6 +554,7 @@ struct kvm_get_htab_header {
 #define KVM_REG_PPC_ARCH_COMPAT        (KVM_REG_PPC | KVM_REG_SIZE_U32 | 0xb7)
 
 #define KVM_REG_PPC_DABRX      (KVM_REG_PPC | KVM_REG_SIZE_U32 | 0xb8)
+#define KVM_REG_PPC_WORT       (KVM_REG_PPC | KVM_REG_SIZE_U64 | 0xb9)
 
 /* Transactional Memory checkpointed state:
  * This is all GPRs, all VSX regs and a subset of SPRs
index 7e64f575f670e5318da03ab39e2f397c5320f737..2abcc46382eedb1551d810b87b1067104a4b7ceb 100644 (file)
@@ -82,10 +82,16 @@ struct kvm_vcpu_arch_shared {
 
 #define KVM_FEATURE_MAGIC_PAGE 1
 
+/* Magic page flags from host to guest */
+
 #define KVM_MAGIC_FEAT_SR              (1 << 0)
 
 /* MASn, ESR, PIR, and high SPRGs */
 #define KVM_MAGIC_FEAT_MAS0_TO_SPRG7   (1 << 1)
 
+/* Magic page flags from guest to host */
+
+#define MAGIC_PAGE_FLAG_NOT_MAPPED_NX  (1 << 0)
+
 
 #endif /* __POWERPC_KVM_PARA_H__ */
index 42ddc2cabb36a1ffba2c2de8903382c705e05ca8..f5d2c38ded3f3f05a3bff66eaea1e4cd9b244bc3 100644 (file)
@@ -171,6 +171,7 @@ struct kvm_pit_config {
 #define KVM_EXIT_WATCHDOG         21
 #define KVM_EXIT_S390_TSCH        22
 #define KVM_EXIT_EPR              23
+#define KVM_EXIT_SYSTEM_EVENT     24
 
 /* For KVM_EXIT_INTERNAL_ERROR */
 /* Emulate instruction failed. */
@@ -301,6 +302,13 @@ struct kvm_run {
                struct {
                        __u32 epr;
                } epr;
+               /* KVM_EXIT_SYSTEM_EVENT */
+               struct {
+#define KVM_SYSTEM_EVENT_SHUTDOWN       1
+#define KVM_SYSTEM_EVENT_RESET          2
+                       __u32 type;
+                       __u64 flags;
+               } system_event;
                /* Fix the size of the union. */
                char padding[256];
        };
@@ -748,6 +756,8 @@ struct kvm_ppc_smmu_info {
 #define KVM_CAP_S390_IRQCHIP 99
 #define KVM_CAP_IOEVENTFD_NO_LENGTH 100
 #define KVM_CAP_VM_ATTRIBUTES 101
+#define KVM_CAP_ARM_PSCI_0_2 102
+#define KVM_CAP_PPC_FIXUP_HCALL 103
 
 #ifdef KVM_CAP_IRQ_ROUTING
 
diff --git a/linux-headers/linux/psci.h b/linux-headers/linux/psci.h
new file mode 100644 (file)
index 0000000..5a76763
--- /dev/null
@@ -0,0 +1,90 @@
+/*
+ * ARM Power State and Coordination Interface (PSCI) header
+ *
+ * This header holds common PSCI defines and macros shared
+ * by: ARM kernel, ARM64 kernel, KVM ARM/ARM64 and user space.
+ *
+ * Copyright (C) 2014 Linaro Ltd.
+ * Author: Anup Patel <anup.patel@linaro.org>
+ */
+
+#ifndef _LINUX_PSCI_H
+#define _LINUX_PSCI_H
+
+/*
+ * PSCI v0.1 interface
+ *
+ * The PSCI v0.1 function numbers are implementation defined.
+ *
+ * Only PSCI return values such as: SUCCESS, NOT_SUPPORTED,
+ * INVALID_PARAMS, and DENIED defined below are applicable
+ * to PSCI v0.1.
+ */
+
+/* PSCI v0.2 interface */
+#define PSCI_0_2_FN_BASE                       0x84000000
+#define PSCI_0_2_FN(n)                         (PSCI_0_2_FN_BASE + (n))
+#define PSCI_0_2_64BIT                         0x40000000
+#define PSCI_0_2_FN64_BASE                     \
+                                       (PSCI_0_2_FN_BASE + PSCI_0_2_64BIT)
+#define PSCI_0_2_FN64(n)                       (PSCI_0_2_FN64_BASE + (n))
+
+#define PSCI_0_2_FN_PSCI_VERSION               PSCI_0_2_FN(0)
+#define PSCI_0_2_FN_CPU_SUSPEND                        PSCI_0_2_FN(1)
+#define PSCI_0_2_FN_CPU_OFF                    PSCI_0_2_FN(2)
+#define PSCI_0_2_FN_CPU_ON                     PSCI_0_2_FN(3)
+#define PSCI_0_2_FN_AFFINITY_INFO              PSCI_0_2_FN(4)
+#define PSCI_0_2_FN_MIGRATE                    PSCI_0_2_FN(5)
+#define PSCI_0_2_FN_MIGRATE_INFO_TYPE          PSCI_0_2_FN(6)
+#define PSCI_0_2_FN_MIGRATE_INFO_UP_CPU                PSCI_0_2_FN(7)
+#define PSCI_0_2_FN_SYSTEM_OFF                 PSCI_0_2_FN(8)
+#define PSCI_0_2_FN_SYSTEM_RESET               PSCI_0_2_FN(9)
+
+#define PSCI_0_2_FN64_CPU_SUSPEND              PSCI_0_2_FN64(1)
+#define PSCI_0_2_FN64_CPU_ON                   PSCI_0_2_FN64(3)
+#define PSCI_0_2_FN64_AFFINITY_INFO            PSCI_0_2_FN64(4)
+#define PSCI_0_2_FN64_MIGRATE                  PSCI_0_2_FN64(5)
+#define PSCI_0_2_FN64_MIGRATE_INFO_UP_CPU      PSCI_0_2_FN64(7)
+
+/* PSCI v0.2 power state encoding for CPU_SUSPEND function */
+#define PSCI_0_2_POWER_STATE_ID_MASK           0xffff
+#define PSCI_0_2_POWER_STATE_ID_SHIFT          0
+#define PSCI_0_2_POWER_STATE_TYPE_SHIFT                16
+#define PSCI_0_2_POWER_STATE_TYPE_MASK         \
+                               (0x1 << PSCI_0_2_POWER_STATE_TYPE_SHIFT)
+#define PSCI_0_2_POWER_STATE_AFFL_SHIFT                24
+#define PSCI_0_2_POWER_STATE_AFFL_MASK         \
+                               (0x3 << PSCI_0_2_POWER_STATE_AFFL_SHIFT)
+
+/* PSCI v0.2 affinity level state returned by AFFINITY_INFO */
+#define PSCI_0_2_AFFINITY_LEVEL_ON             0
+#define PSCI_0_2_AFFINITY_LEVEL_OFF            1
+#define PSCI_0_2_AFFINITY_LEVEL_ON_PENDING     2
+
+/* PSCI v0.2 multicore support in Trusted OS returned by MIGRATE_INFO_TYPE */
+#define PSCI_0_2_TOS_UP_MIGRATE                        0
+#define PSCI_0_2_TOS_UP_NO_MIGRATE             1
+#define PSCI_0_2_TOS_MP                                2
+
+/* PSCI version decoding (independent of PSCI version) */
+#define PSCI_VERSION_MAJOR_SHIFT               16
+#define PSCI_VERSION_MINOR_MASK                        \
+               ((1U << PSCI_VERSION_MAJOR_SHIFT) - 1)
+#define PSCI_VERSION_MAJOR_MASK                        ~PSCI_VERSION_MINOR_MASK
+#define PSCI_VERSION_MAJOR(ver)                        \
+               (((ver) & PSCI_VERSION_MAJOR_MASK) >> PSCI_VERSION_MAJOR_SHIFT)
+#define PSCI_VERSION_MINOR(ver)                        \
+               ((ver) & PSCI_VERSION_MINOR_MASK)
+
+/* PSCI return values (inclusive of all PSCI versions) */
+#define PSCI_RET_SUCCESS                       0
+#define PSCI_RET_NOT_SUPPORTED                 -1
+#define PSCI_RET_INVALID_PARAMS                        -2
+#define PSCI_RET_DENIED                                -3
+#define PSCI_RET_ALREADY_ON                    -4
+#define PSCI_RET_ON_PENDING                    -5
+#define PSCI_RET_INTERNAL_FAILURE              -6
+#define PSCI_RET_NOT_PRESENT                   -7
+#define PSCI_RET_DISABLED                      -8
+
+#endif /* _LINUX_PSCI_H */
index 68b979364907f7895e26239fd2f4484154e7944e..c123244ecd48c20eea66265b7b1979e31ac66be3 100644 (file)
@@ -784,12 +784,18 @@ static uint32_t get_elf_hwcap(void)
         NEW_AUX_ENT(AT_IGNOREPPC, AT_IGNOREPPC);        \
     } while (0)
 
+static inline uint32_t get_ppc64_abi(struct image_info *infop);
+
 static inline void init_thread(struct target_pt_regs *_regs, struct image_info *infop)
 {
     _regs->gpr[1] = infop->start_stack;
 #if defined(TARGET_PPC64) && !defined(TARGET_ABI32)
-    _regs->gpr[2] = ldq_raw(infop->entry + 8) + infop->load_bias;
-    infop->entry = ldq_raw(infop->entry) + infop->load_bias;
+    if (get_ppc64_abi(infop) < 2) {
+        _regs->gpr[2] = ldq_raw(infop->entry + 8) + infop->load_bias;
+        infop->entry = ldq_raw(infop->entry) + infop->load_bias;
+    } else {
+        _regs->gpr[12] = infop->entry;  /* r12 set to global entry address */
+    }
 #endif
     _regs->nip = infop->entry;
 }
@@ -1159,6 +1165,13 @@ static inline void init_thread(struct target_pt_regs *regs, struct image_info *i
 
 #include "elf.h"
 
+#ifdef TARGET_PPC
+static inline uint32_t get_ppc64_abi(struct image_info *infop)
+{
+  return infop->elf_flags & EF_PPC64_ABI;
+}
+#endif
+
 struct exec
 {
     unsigned int a_info;   /* Use macros N_MAGIC, etc for access */
@@ -1412,10 +1425,11 @@ static void zero_bss(abi_ulong elf_bss, abi_ulong last_bss, int prot)
             perror("cannot mmap brk");
             exit(-1);
         }
+    }
 
-        /* Since we didn't use target_mmap, make sure to record
-           the validity of the pages with qemu.  */
-        page_set_flags(elf_bss & TARGET_PAGE_MASK, last_bss, prot|PAGE_VALID);
+    /* Ensure that the bss page(s) are valid */
+    if ((page_get_flags(last_bss-1) & prot) != prot) {
+        page_set_flags(elf_bss & TARGET_PAGE_MASK, last_bss, prot | PAGE_VALID);
     }
 
     if (host_start < host_map_start) {
@@ -1538,7 +1552,7 @@ static abi_ulong create_elf_tables(abi_ulong p, int argc, int envc,
     NEW_AUX_ENT(AT_PHDR, (abi_ulong)(info->load_addr + exec->e_phoff));
     NEW_AUX_ENT(AT_PHENT, (abi_ulong)(sizeof (struct elf_phdr)));
     NEW_AUX_ENT(AT_PHNUM, (abi_ulong)(exec->e_phnum));
-    NEW_AUX_ENT(AT_PAGESZ, (abi_ulong)(TARGET_PAGE_SIZE));
+    NEW_AUX_ENT(AT_PAGESZ, (abi_ulong)(MAX(TARGET_PAGE_SIZE, getpagesize())));
     NEW_AUX_ENT(AT_BASE, (abi_ulong)(interp_info ? interp_info->load_addr : 0));
     NEW_AUX_ENT(AT_FLAGS, (abi_ulong)0);
     NEW_AUX_ENT(AT_ENTRY, info->entry);
index 3e210240566ed0d275b562405c581b5a9ac81067..a87c6f7ed4ad94ed991469d6f3c01948d29501f3 100644 (file)
@@ -1484,7 +1484,7 @@ static int do_store_exclusive(CPUPPCState *env)
 {
     target_ulong addr;
     target_ulong page_addr;
-    target_ulong val, val2 __attribute__((unused));
+    target_ulong val, val2 __attribute__((unused)) = 0;
     int flags;
     int segv = 0;
 
@@ -1497,7 +1497,7 @@ static int do_store_exclusive(CPUPPCState *env)
         segv = 1;
     } else {
         int reg = env->reserve_info & 0x1f;
-        int size = (env->reserve_info >> 5) & 0xf;
+        int size = env->reserve_info >> 5;
         int stored = 0;
 
         if (addr == env->reserve_addr) {
@@ -1527,6 +1527,12 @@ static int do_store_exclusive(CPUPPCState *env)
                 case 8: segv = put_user_u64(val, addr); break;
                 case 16: {
                     if (val2 == env->reserve_val2) {
+                        if (msr_le) {
+                            val2 = val;
+                            val = env->gpr[reg+1];
+                        } else {
+                            val2 = env->gpr[reg+1];
+                        }
                         segv = put_user_u64(val, addr);
                         if (!segv) {
                             segv = put_user_u64(val2, addr + 8);
index 6514c637a5847c2ccae311958de6b9791e90efd3..db92bbee17f9cd82443fd9e08a87ca9742c3660f 100644 (file)
@@ -58,8 +58,12 @@ struct target_revectored_struct {
  */
 
 #if defined(TARGET_PPC64) && !defined(TARGET_ABI32)
+#ifdef TARGET_WORDS_BIGENDIAN
 #define UNAME_MACHINE "ppc64"
 #else
+#define UNAME_MACHINE "ppc64le"
+#endif
+#else
 #define UNAME_MACHINE "ppc"
 #endif
 #define UNAME_MINIMUM_RELEASE "2.6.32"
index ee9390f659cd28a4c547e94d26c5d85dc1f03aec..2901187f5fa748e159ac0e2a67eb8a600a6dc861 100644 (file)
--- a/monitor.c
+++ b/monitor.c
@@ -1284,6 +1284,10 @@ static void memory_dump(Monitor *mon, int count, int format, int wsize,
                     flags = 1;
             }
         }
+#endif
+#ifdef TARGET_PPC
+        flags = msr_le << 16;
+        flags |= env->bfd_mach;
 #endif
         monitor_disas(mon, env, addr, count, is_physical, flags);
         return;
index 4381718e1525247d19c1c5193d82d836c37239ed..49cdacfaa50fc0933ff71c213efd169707474347 100644 (file)
@@ -41,3 +41,8 @@
 
 - The sources for the Alpha palcode image is available from:
   git://github.com/rth7680/qemu-palcode.git
+
+- The u-boot binary for e500 comes from the upstream denx u-boot project where
+  it was compiled using the qemu-ppce500 target.
+  A git mirror is available at: git://git.qemu-project.org/u-boot.git
+  The hash used to compile the current version is: 2072e72
diff --git a/pc-bios/u-boot.e500 b/pc-bios/u-boot.e500
new file mode 100755 (executable)
index 0000000..bdb2a5e
Binary files /dev/null and b/pc-bios/u-boot.e500 differ
index 2721b02b13aa34aaa950df3c219a89d056debefd..610b5346285b4560a45d81bfd1fb27659222fccd 100644 (file)
@@ -31,6 +31,7 @@ find-cross-gcc = $(firstword $(wildcard $(patsubst %ld,%gcc,$(call find-cross-ld
 find-cross-prefix = $(subst gcc,,$(notdir $(call find-cross-gcc,$(1))))
 
 powerpc64_cross_prefix := $(call find-cross-prefix,powerpc64)
+powerpc_cross_prefix := $(call find-cross-prefix,powerpc)
 x86_64_cross_prefix := $(call find-cross-prefix,x86_64)
 
 #
@@ -55,6 +56,7 @@ default:
        @echo "  efirom         -- update nic roms (bios+efi, this needs"
        @echo "                    the EfiRom utility from edk2 / tianocore)"
        @echo "  slof           -- update slof.bin"
+       @echo "  u-boot.e500    -- update u-boot.e500"
 
 bios: build-seabios-config-seabios-128k build-seabios-config-seabios-256k
        cp seabios/builds/seabios-128k/bios.bin ../pc-bios/bios.bin
@@ -132,6 +134,12 @@ slof:
        $(MAKE) -C SLOF CROSS=$(powerpc64_cross_prefix) qemu
        cp SLOF/boot_rom.bin ../pc-bios/slof.bin
 
+u-boot.e500:
+       $(MAKE) -C u-boot O=build.e500 qemu-ppce500_config
+       $(MAKE) -C u-boot CROSS_COMPILE=$(powerpc_cross_prefix) \
+               O=build.e500
+       $(powerpc_cross_prefix)strip u-boot/build.e500/u-boot -o \
+               ../pc-bios/u-boot.e500
 
 clean:
        rm -rf seabios/.config seabios/out seabios/builds
@@ -141,3 +149,4 @@ clean:
        rm -f sgabios/.depend
        $(MAKE) -C ipxe/src veryclean
        $(MAKE) -C SLOF clean
+       rm -rf u-boot/build.e500
diff --git a/roms/u-boot b/roms/u-boot
new file mode 160000 (submodule)
index 0000000..2072e72
--- /dev/null
@@ -0,0 +1 @@
+Subproject commit 2072e7262965bb48d7fffb1e283101e6ed8b21a8
index 120a694313f488334f9156c4a7972832c167f26d..c8e026d37e31f16cd116d5f1bceb09f5656ba610 100755 (executable)
@@ -61,7 +61,8 @@ done
 
 rm -rf "$output/linux-headers/linux"
 mkdir -p "$output/linux-headers/linux"
-for header in kvm.h kvm_para.h vfio.h vhost.h virtio_config.h virtio_ring.h; do
+for header in kvm.h kvm_para.h vfio.h vhost.h virtio_config.h virtio_ring.h \
+              psci.h; do
     cp "$tmpdir/include/linux/$header" "$output/linux-headers/linux"
 done
 rm -rf "$output/linux-headers/asm-generic"
index 370cd96eb2fc650cb22c1faa9b04917ebfe565d6..fac70191eb4a5545ca9996b6e2456b261a393083 100644 (file)
@@ -12,7 +12,7 @@
  */
 
 #include "qemu-common.h"
-#include "sysemu/dump.h"
+#include "sysemu/dump-arch.h"
 #include "qapi/qmp/qerror.h"
 #include "qmp-commands.h"
 
index 3e4b5f7c48080004d3d8a5a02ee6013e6cb4fbe4..dd60d0b81a4cabcd467b2113902db92b273e6c14 100644 (file)
@@ -14,6 +14,7 @@
 #include "cpu.h"
 #include "exec/exec-all.h"
 #include "exec/helper-proto.h"
+#include "qemu/aes.h"
 
 union CRYPTO_STATE {
     uint8_t    bytes[16];
@@ -24,81 +25,9 @@ union CRYPTO_STATE {
 void HELPER(crypto_aese)(CPUARMState *env, uint32_t rd, uint32_t rm,
                          uint32_t decrypt)
 {
-    static uint8_t const sbox[][256] = { {
-        /* S-box for encryption */
-        0x63, 0x7c, 0x77, 0x7b, 0xf2, 0x6b, 0x6f, 0xc5,
-        0x30, 0x01, 0x67, 0x2b, 0xfe, 0xd7, 0xab, 0x76,
-        0xca, 0x82, 0xc9, 0x7d, 0xfa, 0x59, 0x47, 0xf0,
-        0xad, 0xd4, 0xa2, 0xaf, 0x9c, 0xa4, 0x72, 0xc0,
-        0xb7, 0xfd, 0x93, 0x26, 0x36, 0x3f, 0xf7, 0xcc,
-        0x34, 0xa5, 0xe5, 0xf1, 0x71, 0xd8, 0x31, 0x15,
-        0x04, 0xc7, 0x23, 0xc3, 0x18, 0x96, 0x05, 0x9a,
-        0x07, 0x12, 0x80, 0xe2, 0xeb, 0x27, 0xb2, 0x75,
-        0x09, 0x83, 0x2c, 0x1a, 0x1b, 0x6e, 0x5a, 0xa0,
-        0x52, 0x3b, 0xd6, 0xb3, 0x29, 0xe3, 0x2f, 0x84,
-        0x53, 0xd1, 0x00, 0xed, 0x20, 0xfc, 0xb1, 0x5b,
-        0x6a, 0xcb, 0xbe, 0x39, 0x4a, 0x4c, 0x58, 0xcf,
-        0xd0, 0xef, 0xaa, 0xfb, 0x43, 0x4d, 0x33, 0x85,
-        0x45, 0xf9, 0x02, 0x7f, 0x50, 0x3c, 0x9f, 0xa8,
-        0x51, 0xa3, 0x40, 0x8f, 0x92, 0x9d, 0x38, 0xf5,
-        0xbc, 0xb6, 0xda, 0x21, 0x10, 0xff, 0xf3, 0xd2,
-        0xcd, 0x0c, 0x13, 0xec, 0x5f, 0x97, 0x44, 0x17,
-        0xc4, 0xa7, 0x7e, 0x3d, 0x64, 0x5d, 0x19, 0x73,
-        0x60, 0x81, 0x4f, 0xdc, 0x22, 0x2a, 0x90, 0x88,
-        0x46, 0xee, 0xb8, 0x14, 0xde, 0x5e, 0x0b, 0xdb,
-        0xe0, 0x32, 0x3a, 0x0a, 0x49, 0x06, 0x24, 0x5c,
-        0xc2, 0xd3, 0xac, 0x62, 0x91, 0x95, 0xe4, 0x79,
-        0xe7, 0xc8, 0x37, 0x6d, 0x8d, 0xd5, 0x4e, 0xa9,
-        0x6c, 0x56, 0xf4, 0xea, 0x65, 0x7a, 0xae, 0x08,
-        0xba, 0x78, 0x25, 0x2e, 0x1c, 0xa6, 0xb4, 0xc6,
-        0xe8, 0xdd, 0x74, 0x1f, 0x4b, 0xbd, 0x8b, 0x8a,
-        0x70, 0x3e, 0xb5, 0x66, 0x48, 0x03, 0xf6, 0x0e,
-        0x61, 0x35, 0x57, 0xb9, 0x86, 0xc1, 0x1d, 0x9e,
-        0xe1, 0xf8, 0x98, 0x11, 0x69, 0xd9, 0x8e, 0x94,
-        0x9b, 0x1e, 0x87, 0xe9, 0xce, 0x55, 0x28, 0xdf,
-        0x8c, 0xa1, 0x89, 0x0d, 0xbf, 0xe6, 0x42, 0x68,
-        0x41, 0x99, 0x2d, 0x0f, 0xb0, 0x54, 0xbb, 0x16
-    }, {
-        /* S-box for decryption */
-        0x52, 0x09, 0x6a, 0xd5, 0x30, 0x36, 0xa5, 0x38,
-        0xbf, 0x40, 0xa3, 0x9e, 0x81, 0xf3, 0xd7, 0xfb,
-        0x7c, 0xe3, 0x39, 0x82, 0x9b, 0x2f, 0xff, 0x87,
-        0x34, 0x8e, 0x43, 0x44, 0xc4, 0xde, 0xe9, 0xcb,
-        0x54, 0x7b, 0x94, 0x32, 0xa6, 0xc2, 0x23, 0x3d,
-        0xee, 0x4c, 0x95, 0x0b, 0x42, 0xfa, 0xc3, 0x4e,
-        0x08, 0x2e, 0xa1, 0x66, 0x28, 0xd9, 0x24, 0xb2,
-        0x76, 0x5b, 0xa2, 0x49, 0x6d, 0x8b, 0xd1, 0x25,
-        0x72, 0xf8, 0xf6, 0x64, 0x86, 0x68, 0x98, 0x16,
-        0xd4, 0xa4, 0x5c, 0xcc, 0x5d, 0x65, 0xb6, 0x92,
-        0x6c, 0x70, 0x48, 0x50, 0xfd, 0xed, 0xb9, 0xda,
-        0x5e, 0x15, 0x46, 0x57, 0xa7, 0x8d, 0x9d, 0x84,
-        0x90, 0xd8, 0xab, 0x00, 0x8c, 0xbc, 0xd3, 0x0a,
-        0xf7, 0xe4, 0x58, 0x05, 0xb8, 0xb3, 0x45, 0x06,
-        0xd0, 0x2c, 0x1e, 0x8f, 0xca, 0x3f, 0x0f, 0x02,
-        0xc1, 0xaf, 0xbd, 0x03, 0x01, 0x13, 0x8a, 0x6b,
-        0x3a, 0x91, 0x11, 0x41, 0x4f, 0x67, 0xdc, 0xea,
-        0x97, 0xf2, 0xcf, 0xce, 0xf0, 0xb4, 0xe6, 0x73,
-        0x96, 0xac, 0x74, 0x22, 0xe7, 0xad, 0x35, 0x85,
-        0xe2, 0xf9, 0x37, 0xe8, 0x1c, 0x75, 0xdf, 0x6e,
-        0x47, 0xf1, 0x1a, 0x71, 0x1d, 0x29, 0xc5, 0x89,
-        0x6f, 0xb7, 0x62, 0x0e, 0xaa, 0x18, 0xbe, 0x1b,
-        0xfc, 0x56, 0x3e, 0x4b, 0xc6, 0xd2, 0x79, 0x20,
-        0x9a, 0xdb, 0xc0, 0xfe, 0x78, 0xcd, 0x5a, 0xf4,
-        0x1f, 0xdd, 0xa8, 0x33, 0x88, 0x07, 0xc7, 0x31,
-        0xb1, 0x12, 0x10, 0x59, 0x27, 0x80, 0xec, 0x5f,
-        0x60, 0x51, 0x7f, 0xa9, 0x19, 0xb5, 0x4a, 0x0d,
-        0x2d, 0xe5, 0x7a, 0x9f, 0x93, 0xc9, 0x9c, 0xef,
-        0xa0, 0xe0, 0x3b, 0x4d, 0xae, 0x2a, 0xf5, 0xb0,
-        0xc8, 0xeb, 0xbb, 0x3c, 0x83, 0x53, 0x99, 0x61,
-        0x17, 0x2b, 0x04, 0x7e, 0xba, 0x77, 0xd6, 0x26,
-        0xe1, 0x69, 0x14, 0x63, 0x55, 0x21, 0x0c, 0x7d
-    } };
-    static uint8_t const shift[][16] = {
-        /* ShiftRows permutation vector for encryption */
-        { 0,  5, 10, 15, 4, 9, 14,  3, 8, 13, 2,  7, 12, 1, 6, 11 },
-        /* ShiftRows permutation vector for decryption */
-        { 0, 13, 10,  7, 4, 1, 14, 11, 8,  5, 2, 15, 12, 9, 6,  3 },
-    };
+    static uint8_t const * const sbox[2] = { AES_sbox, AES_isbox };
+    static uint8_t const * const shift[2] = { AES_shifts, AES_ishifts };
+
     union CRYPTO_STATE rk = { .l = {
         float64_val(env->vfp.regs[rm]),
         float64_val(env->vfp.regs[rm + 1])
index eb24b5f721102cf28918feb6f2e54b5cc6a3c7a2..886e0a824316dae3616eff964d5a7ac0a97c230d 100644 (file)
@@ -17,6 +17,9 @@
  * You should have received a copy of the GNU Lesser General Public
  * License along with this library; if not, see <http://www.gnu.org/licenses/>.
  */
+
+#include "qemu/aes.h"
+
 #if SHIFT == 0
 #define Reg MMXReg
 #define XMM_ONLY(...)
@@ -2204,15 +2207,6 @@ void glue(helper_pclmulqdq, SUFFIX)(CPUX86State *env, Reg *d, Reg *s,
     d->Q(1) = resh;
 }
 
-/* AES-NI op helpers */
-static const uint8_t aes_shifts[16] = {
-    0, 5, 10, 15, 4, 9, 14, 3, 8, 13, 2, 7, 12, 1, 6, 11
-};
-
-static const uint8_t aes_ishifts[16] = {
-    0, 13, 10, 7, 4, 1, 14, 11, 8, 5, 2, 15, 12, 9, 6, 3
-};
-
 void glue(helper_aesdec, SUFFIX)(CPUX86State *env, Reg *d, Reg *s)
 {
     int i;
@@ -2220,10 +2214,10 @@ void glue(helper_aesdec, SUFFIX)(CPUX86State *env, Reg *d, Reg *s)
     Reg rk = *s;
 
     for (i = 0 ; i < 4 ; i++) {
-        d->L(i) = rk.L(i) ^ bswap32(AES_Td0[st.B(aes_ishifts[4*i+0])] ^
-                                    AES_Td1[st.B(aes_ishifts[4*i+1])] ^
-                                    AES_Td2[st.B(aes_ishifts[4*i+2])] ^
-                                    AES_Td3[st.B(aes_ishifts[4*i+3])]);
+        d->L(i) = rk.L(i) ^ bswap32(AES_Td0[st.B(AES_ishifts[4*i+0])] ^
+                                    AES_Td1[st.B(AES_ishifts[4*i+1])] ^
+                                    AES_Td2[st.B(AES_ishifts[4*i+2])] ^
+                                    AES_Td3[st.B(AES_ishifts[4*i+3])]);
     }
 }
 
@@ -2234,7 +2228,7 @@ void glue(helper_aesdeclast, SUFFIX)(CPUX86State *env, Reg *d, Reg *s)
     Reg rk = *s;
 
     for (i = 0; i < 16; i++) {
-        d->B(i) = rk.B(i) ^ (AES_Td4[st.B(aes_ishifts[i])] & 0xff);
+        d->B(i) = rk.B(i) ^ (AES_Td4[st.B(AES_ishifts[i])] & 0xff);
     }
 }
 
@@ -2245,10 +2239,10 @@ void glue(helper_aesenc, SUFFIX)(CPUX86State *env, Reg *d, Reg *s)
     Reg rk = *s;
 
     for (i = 0 ; i < 4 ; i++) {
-        d->L(i) = rk.L(i) ^ bswap32(AES_Te0[st.B(aes_shifts[4*i+0])] ^
-                                    AES_Te1[st.B(aes_shifts[4*i+1])] ^
-                                    AES_Te2[st.B(aes_shifts[4*i+2])] ^
-                                    AES_Te3[st.B(aes_shifts[4*i+3])]);
+        d->L(i) = rk.L(i) ^ bswap32(AES_Te0[st.B(AES_shifts[4*i+0])] ^
+                                    AES_Te1[st.B(AES_shifts[4*i+1])] ^
+                                    AES_Te2[st.B(AES_shifts[4*i+2])] ^
+                                    AES_Te3[st.B(AES_shifts[4*i+3])]);
     }
 }
 
@@ -2259,7 +2253,7 @@ void glue(helper_aesenclast, SUFFIX)(CPUX86State *env, Reg *d, Reg *s)
     Reg rk = *s;
 
     for (i = 0; i < 16; i++) {
-        d->B(i) = rk.B(i) ^ (AES_Te4[st.B(aes_shifts[i])] & 0xff);
+        d->B(i) = rk.B(i) ^ (AES_Te4[st.B(AES_shifts[i])] & 0xff);
     }
 
 }
index 3cb23e0f118c99b861953e5a50c88b1dd380e56b..a7ae392cc00f88d0aca298fb39b09b5863c0fe42 100644 (file)
@@ -6,6 +6,7 @@ obj-$(TARGET_PPC64) += mmu-hash64.o arch_dump.o
 endif
 obj-$(CONFIG_KVM) += kvm.o kvm_ppc.o
 obj-$(call lnot,$(CONFIG_KVM)) += kvm-stub.o
+obj-y += dfp_helper.o
 obj-y += excp_helper.o
 obj-y += fpu_helper.o
 obj-y += int_helper.o
index 9dccf1ae1f8ffb560fb1b3a2aa48826f1a24f599..5acafc68a4e396f7ccd8cf24711d7d8b0f75ae02 100644 (file)
@@ -79,94 +79,122 @@ typedef struct noteStruct {
     } contents;
 } QEMU_PACKED Note;
 
+typedef struct NoteFuncArg {
+    Note note;
+    DumpState *state;
+} NoteFuncArg;
 
-static void ppc64_write_elf64_prstatus(Note *note, PowerPCCPU *cpu)
+static void ppc64_write_elf64_prstatus(NoteFuncArg *arg, PowerPCCPU *cpu)
 {
     int i;
     uint64_t cr;
     struct PPC64ElfPrstatus *prstatus;
     struct PPC64UserRegStruct *reg;
+    Note *note = &arg->note;
+    DumpState *s = arg->state;
 
-    note->hdr.n_type = cpu_to_be32(NT_PRSTATUS);
+    note->hdr.n_type = cpu_to_dump32(s, NT_PRSTATUS);
 
     prstatus = &note->contents.prstatus;
     memset(prstatus, 0, sizeof(*prstatus));
     reg = &prstatus->pr_reg;
 
     for (i = 0; i < 32; i++) {
-        reg->gpr[i] = cpu_to_be64(cpu->env.gpr[i]);
+        reg->gpr[i] = cpu_to_dump64(s, cpu->env.gpr[i]);
     }
-    reg->nip = cpu_to_be64(cpu->env.nip);
-    reg->msr = cpu_to_be64(cpu->env.msr);
-    reg->ctr = cpu_to_be64(cpu->env.ctr);
-    reg->link = cpu_to_be64(cpu->env.lr);
-    reg->xer = cpu_to_be64(cpu_read_xer(&cpu->env));
+    reg->nip = cpu_to_dump64(s, cpu->env.nip);
+    reg->msr = cpu_to_dump64(s, cpu->env.msr);
+    reg->ctr = cpu_to_dump64(s, cpu->env.ctr);
+    reg->link = cpu_to_dump64(s, cpu->env.lr);
+    reg->xer = cpu_to_dump64(s, cpu_read_xer(&cpu->env));
 
     cr = 0;
     for (i = 0; i < 8; i++) {
         cr |= (cpu->env.crf[i] & 15) << (4 * (7 - i));
     }
-    reg->ccr = cpu_to_be64(cr);
+    reg->ccr = cpu_to_dump64(s, cr);
 }
 
-static void ppc64_write_elf64_fpregset(Note *note, PowerPCCPU *cpu)
+static void ppc64_write_elf64_fpregset(NoteFuncArg *arg, PowerPCCPU *cpu)
 {
     int i;
     struct PPC64ElfFpregset  *fpregset;
+    Note *note = &arg->note;
+    DumpState *s = arg->state;
 
-    note->hdr.n_type = cpu_to_be32(NT_PRFPREG);
+    note->hdr.n_type = cpu_to_dump32(s, NT_PRFPREG);
 
     fpregset = &note->contents.fpregset;
     memset(fpregset, 0, sizeof(*fpregset));
 
     for (i = 0; i < 32; i++) {
-        fpregset->fpr[i] = cpu_to_be64(cpu->env.fpr[i]);
+        fpregset->fpr[i] = cpu_to_dump64(s, cpu->env.fpr[i]);
     }
-    fpregset->fpscr = cpu_to_be64(cpu->env.fpscr);
+    fpregset->fpscr = cpu_to_dump64(s, cpu->env.fpscr);
 }
 
-static void ppc64_write_elf64_vmxregset(Note *note, PowerPCCPU *cpu)
+static void ppc64_write_elf64_vmxregset(NoteFuncArg *arg, PowerPCCPU *cpu)
 {
     int i;
     struct PPC64ElfVmxregset *vmxregset;
+    Note *note = &arg->note;
+    DumpState *s = arg->state;
 
-    note->hdr.n_type = cpu_to_be32(NT_PPC_VMX);
+    note->hdr.n_type = cpu_to_dump32(s, NT_PPC_VMX);
     vmxregset = &note->contents.vmxregset;
     memset(vmxregset, 0, sizeof(*vmxregset));
 
     for (i = 0; i < 32; i++) {
-        vmxregset->avr[i].u64[0] = cpu_to_be64(cpu->env.avr[i].u64[0]);
-        vmxregset->avr[i].u64[1] = cpu_to_be64(cpu->env.avr[i].u64[1]);
+        bool needs_byteswap;
+
+#ifdef HOST_WORDS_BIGENDIAN
+        needs_byteswap = s->dump_info.d_endian == ELFDATA2LSB;
+#else
+        needs_byteswap = s->dump_info.d_endian == ELFDATA2MSB;
+#endif
+
+        if (needs_byteswap) {
+            vmxregset->avr[i].u64[0] = bswap64(cpu->env.avr[i].u64[1]);
+            vmxregset->avr[i].u64[1] = bswap64(cpu->env.avr[i].u64[0]);
+        } else {
+            vmxregset->avr[i].u64[0] = cpu->env.avr[i].u64[0];
+            vmxregset->avr[i].u64[1] = cpu->env.avr[i].u64[1];
+        }
     }
-    vmxregset->vscr.u32[3] = cpu_to_be32(cpu->env.vscr);
+    vmxregset->vscr.u32[3] = cpu_to_dump32(s, cpu->env.vscr);
 }
-static void ppc64_write_elf64_vsxregset(Note *note, PowerPCCPU *cpu)
+static void ppc64_write_elf64_vsxregset(NoteFuncArg *arg, PowerPCCPU *cpu)
 {
     int i;
     struct PPC64ElfVsxregset *vsxregset;
+    Note *note = &arg->note;
+    DumpState *s = arg->state;
 
-    note->hdr.n_type = cpu_to_be32(NT_PPC_VSX);
+    note->hdr.n_type = cpu_to_dump32(s, NT_PPC_VSX);
     vsxregset = &note->contents.vsxregset;
     memset(vsxregset, 0, sizeof(*vsxregset));
 
     for (i = 0; i < 32; i++) {
-        vsxregset->vsr[i] = cpu_to_be64(cpu->env.vsr[i]);
+        vsxregset->vsr[i] = cpu_to_dump64(s, cpu->env.vsr[i]);
     }
 }
-static void ppc64_write_elf64_speregset(Note *note, PowerPCCPU *cpu)
+static void ppc64_write_elf64_speregset(NoteFuncArg *arg, PowerPCCPU *cpu)
 {
     struct PPC64ElfSperegset *speregset;
-    note->hdr.n_type = cpu_to_be32(NT_PPC_SPE);
+    Note *note = &arg->note;
+    DumpState *s = arg->state;
+
+    note->hdr.n_type = cpu_to_dump32(s, NT_PPC_SPE);
     speregset = &note->contents.speregset;
     memset(speregset, 0, sizeof(*speregset));
 
-    speregset->spe_acc = cpu_to_be64(cpu->env.spe_acc);
-    speregset->spe_fscr = cpu_to_be32(cpu->env.spe_fscr);
+    speregset->spe_acc = cpu_to_dump64(s, cpu->env.spe_acc);
+    speregset->spe_fscr = cpu_to_dump32(s, cpu->env.spe_fscr);
 }
 
 static const struct NoteFuncDescStruct {
     int contents_size;
-    void (*note_contents_func)(Note *note, PowerPCCPU *cpu);
+    void (*note_contents_func)(NoteFuncArg *arg, PowerPCCPU *cpu);
 } note_func[] = {
     {sizeof(((Note *)0)->contents.prstatus),  ppc64_write_elf64_prstatus},
     {sizeof(((Note *)0)->contents.fpregset),  ppc64_write_elf64_fpregset},
@@ -181,12 +209,16 @@ typedef struct NoteFuncDescStruct NoteFuncDesc;
 int cpu_get_dump_info(ArchDumpInfo *info,
                       const struct GuestPhysBlockList *guest_phys_blocks)
 {
-    /*
-     * Currently only handling PPC64 big endian.
-     */
+    PowerPCCPU *cpu = POWERPC_CPU(first_cpu);
+    PowerPCCPUClass *pcc = POWERPC_CPU_GET_CLASS(cpu);
+
     info->d_machine = EM_PPC64;
-    info->d_endian = ELFDATA2MSB;
     info->d_class = ELFCLASS64;
+    if ((*pcc->interrupts_big_endian)(cpu)) {
+        info->d_endian = ELFDATA2MSB;
+    } else {
+        info->d_endian = ELFDATA2LSB;
+    }
 
     return 0;
 }
@@ -218,20 +250,21 @@ static int ppc64_write_all_elf64_notes(const char *note_name,
                                        PowerPCCPU *cpu, int id,
                                        void *opaque)
 {
-    Note note;
+    NoteFuncArg arg = { .state = opaque };
     int ret = -1;
     int note_size;
     const NoteFuncDesc *nf;
 
     for (nf = note_func; nf->note_contents_func; nf++) {
-        note.hdr.n_namesz = cpu_to_be32(sizeof(note.name));
-        note.hdr.n_descsz = cpu_to_be32(nf->contents_size);
-        strncpy(note.name, note_name, sizeof(note.name));
+        arg.note.hdr.n_namesz = cpu_to_dump32(opaque, sizeof(arg.note.name));
+        arg.note.hdr.n_descsz = cpu_to_dump32(opaque, nf->contents_size);
+        strncpy(arg.note.name, note_name, sizeof(arg.note.name));
 
-        (*nf->note_contents_func)(&note, cpu);
+        (*nf->note_contents_func)(&arg, cpu);
 
-        note_size = sizeof(note) - sizeof(note.contents) + nf->contents_size;
-        ret = f(&note, note_size, opaque);
+        note_size =
+            sizeof(arg.note) - sizeof(arg.note.contents) + nf->contents_size;
+        ret = f(&arg.note, note_size, opaque);
         if (ret < 0) {
             return -1;
         }
index f6c9b3ab01290ffee22afa50e8c57e771de9ec22..97a81d8660f7765381edda51f26be1f204917adc 100644 (file)
     POWERPC_DEF_SVR("MPC8379E", "MPC8379E",
                     CPU_POWERPC_MPC837x,      POWERPC_SVR_8379E,     e300)
     /* e500 family                                                           */
-    POWERPC_DEF("e500_v10",      CPU_POWERPC_e500v1_v10,             e500v1,
-                "PowerPC e500 v1.0 core")
-    POWERPC_DEF("e500_v20",      CPU_POWERPC_e500v1_v20,             e500v1,
-                "PowerPC e500 v2.0 core")
-    POWERPC_DEF("e500v2_v10",    CPU_POWERPC_e500v2_v10,             e500v2,
-                "PowerPC e500v2 v1.0 core")
-    POWERPC_DEF("e500v2_v20",    CPU_POWERPC_e500v2_v20,             e500v2,
-                "PowerPC e500v2 v2.0 core")
-    POWERPC_DEF("e500v2_v21",    CPU_POWERPC_e500v2_v21,             e500v2,
-                "PowerPC e500v2 v2.1 core")
-    POWERPC_DEF("e500v2_v22",    CPU_POWERPC_e500v2_v22,             e500v2,
-                "PowerPC e500v2 v2.2 core")
-    POWERPC_DEF("e500v2_v30",    CPU_POWERPC_e500v2_v30,             e500v2,
-                "PowerPC e500v2 v3.0 core")
+    POWERPC_DEF_SVR("e500_v10", "PowerPC e500 v1.0 core",
+                    CPU_POWERPC_e500v1_v10,   POWERPC_SVR_E500,      e500v1);
+    POWERPC_DEF_SVR("e500_v20", "PowerPC e500 v2.0 core",
+                    CPU_POWERPC_e500v1_v20,   POWERPC_SVR_E500,      e500v1);
+    POWERPC_DEF_SVR("e500v2_v10", "PowerPC e500v2 v1.0 core",
+                    CPU_POWERPC_e500v2_v10,   POWERPC_SVR_E500,      e500v2);
+    POWERPC_DEF_SVR("e500v2_v20", "PowerPC e500v2 v2.0 core",
+                    CPU_POWERPC_e500v2_v20,   POWERPC_SVR_E500,      e500v2);
+    POWERPC_DEF_SVR("e500v2_v21", "PowerPC e500v2 v2.1 core",
+                    CPU_POWERPC_e500v2_v21,   POWERPC_SVR_E500,      e500v2);
+    POWERPC_DEF_SVR("e500v2_v22", "PowerPC e500v2 v2.2 core",
+                    CPU_POWERPC_e500v2_v22,   POWERPC_SVR_E500,      e500v2);
+    POWERPC_DEF_SVR("e500v2_v30", "PowerPC e500v2 v3.0 core",
+                    CPU_POWERPC_e500v2_v30,   POWERPC_SVR_E500,      e500v2);
     POWERPC_DEF_SVR("e500mc", "e500mc",
                     CPU_POWERPC_e500mc,       POWERPC_SVR_E500,      e500mc)
 #ifdef TARGET_PPC64
     POWERPC_DEF("POWER6A",       CPU_POWERPC_POWER6A,                POWER6,
                 "POWER6A")
 #endif
-    POWERPC_DEF("POWER7_v2.0",   CPU_POWERPC_POWER7_v20,             POWER7,
-                "POWER7 v2.0")
-    POWERPC_DEF("POWER7_v2.1",   CPU_POWERPC_POWER7_v21,             POWER7,
-                "POWER7 v2.1")
     POWERPC_DEF("POWER7_v2.3",   CPU_POWERPC_POWER7_v23,             POWER7,
                 "POWER7 v2.3")
     POWERPC_DEF("POWER7+_v2.1",  CPU_POWERPC_POWER7P_v21,            POWER7P,
                 "POWER8 v1.0")
     POWERPC_DEF("970",           CPU_POWERPC_970,                    970,
                 "PowerPC 970")
-    POWERPC_DEF("970fx_v1.0",    CPU_POWERPC_970FX_v10,              970FX,
+    POWERPC_DEF("970fx_v1.0",    CPU_POWERPC_970FX_v10,              970,
                 "PowerPC 970FX v1.0 (G5)")
-    POWERPC_DEF("970fx_v2.0",    CPU_POWERPC_970FX_v20,              970FX,
+    POWERPC_DEF("970fx_v2.0",    CPU_POWERPC_970FX_v20,              970,
                 "PowerPC 970FX v2.0 (G5)")
-    POWERPC_DEF("970fx_v2.1",    CPU_POWERPC_970FX_v21,              970FX,
+    POWERPC_DEF("970fx_v2.1",    CPU_POWERPC_970FX_v21,              970,
                 "PowerPC 970FX v2.1 (G5)")
-    POWERPC_DEF("970fx_v3.0",    CPU_POWERPC_970FX_v30,              970FX,
+    POWERPC_DEF("970fx_v3.0",    CPU_POWERPC_970FX_v30,              970,
                 "PowerPC 970FX v3.0 (G5)")
-    POWERPC_DEF("970fx_v3.1",    CPU_POWERPC_970FX_v31,              970FX,
+    POWERPC_DEF("970fx_v3.1",    CPU_POWERPC_970FX_v31,              970,
                 "PowerPC 970FX v3.1 (G5)")
-    POWERPC_DEF("970mp_v1.0",    CPU_POWERPC_970MP_v10,              970MP,
+    POWERPC_DEF("970mp_v1.0",    CPU_POWERPC_970MP_v10,              970,
                 "PowerPC 970MP v1.0")
-    POWERPC_DEF("970mp_v1.1",    CPU_POWERPC_970MP_v11,              970MP,
+    POWERPC_DEF("970mp_v1.1",    CPU_POWERPC_970MP_v11,              970,
                 "PowerPC 970MP v1.1")
 #if defined(TODO)
     POWERPC_DEF("Cell",          CPU_POWERPC_CELL,                   970,
index 644a1264599c3a832368f996cf7fbb397128c82d..db75896012a810906949239d92b63faf8286a9c2 100644 (file)
@@ -555,8 +555,6 @@ enum {
     CPU_POWERPC_POWER6A            = 0x0F000002,
     CPU_POWERPC_POWER7_BASE        = 0x003F0000,
     CPU_POWERPC_POWER7_MASK        = 0xFFFF0000,
-    CPU_POWERPC_POWER7_v20         = 0x003F0200,
-    CPU_POWERPC_POWER7_v21         = 0x003F0201,
     CPU_POWERPC_POWER7_v23         = 0x003F0203,
     CPU_POWERPC_POWER7P_BASE       = 0x004A0000,
     CPU_POWERPC_POWER7P_MASK       = 0xFFFF0000,
@@ -597,6 +595,16 @@ enum {
     CPU_POWERPC_PA6T               = 0x00900000,
 };
 
+/* Logical PVR definitions for sPAPR */
+enum {
+    CPU_POWERPC_LOGICAL_2_04       = 0x0F000001,
+    CPU_POWERPC_LOGICAL_2_05       = 0x0F000002,
+    CPU_POWERPC_LOGICAL_2_06       = 0x0F000003,
+    CPU_POWERPC_LOGICAL_2_06_PLUS  = 0x0F100003,
+    CPU_POWERPC_LOGICAL_2_07       = 0x0F000004,
+    CPU_POWERPC_LOGICAL_2_08       = 0x0F000005,
+};
+
 /* System version register (used on MPC 8xxx)                                */
 enum {
     POWERPC_SVR_NONE               = 0x00000000,
index 47dc8e6fdfd4b39bd33fe1a6578fbde24463fb5c..13c70312652db5a61e691707fa180dd299d6993a 100644 (file)
@@ -57,6 +57,7 @@ typedef struct PowerPCCPUClass {
 
     uint32_t pvr;
     uint32_t pvr_mask;
+    uint64_t pcr_mask;
     uint32_t svr;
     uint64_t insns_flags;
     uint64_t insns_flags2;
@@ -76,12 +77,15 @@ typedef struct PowerPCCPUClass {
     int (*handle_mmu_fault)(PowerPCCPU *cpu, target_ulong eaddr, int rwx,
                             int mmu_idx);
 #endif
+    bool (*interrupts_big_endian)(PowerPCCPU *cpu);
 } PowerPCCPUClass;
 
 /**
  * PowerPCCPU:
  * @env: #CPUPPCState
  * @cpu_dt_id: CPU index used in the device tree. KVM uses this index too
+ * @max_compat: Maximal supported logical PVR from the command line
+ * @cpu_version: Current logical PVR, zero if in "raw" mode
  *
  * A PowerPC CPU.
  */
@@ -92,6 +96,8 @@ struct PowerPCCPU {
 
     CPUPPCState env;
     int cpu_dt_id;
+    uint32_t max_compat;
+    uint32_t cpu_version;
 };
 
 static inline PowerPCCPU *ppc_env_get_cpu(CPUPPCState *env)
@@ -120,6 +126,22 @@ int ppc64_cpu_write_elf64_note(WriteCoreDumpFunction f, CPUState *cs,
                                int cpuid, void *opaque);
 #ifndef CONFIG_USER_ONLY
 extern const struct VMStateDescription vmstate_ppc_cpu;
+
+typedef struct PPCTimebase {
+    uint64_t guest_timebase;
+    int64_t time_of_the_day_ns;
+} PPCTimebase;
+
+extern const struct VMStateDescription vmstate_ppc_timebase;
+
+#define VMSTATE_PPC_TIMEBASE_V(_field, _state, _version) {            \
+    .name       = (stringify(_field)),                                \
+    .version_id = (_version),                                         \
+    .size       = sizeof(PPCTimebase),                                \
+    .vmsd       = &vmstate_ppc_timebase,                              \
+    .flags      = VMS_STRUCT,                                         \
+    .offset     = vmstate_offset_value(_state, _field, PPCTimebase),  \
+}
 #endif
 
 #endif
index 75ed5fa636bad82922e2ed8ee4ee1f2b7c1781c1..74407ee209d3a290cc96023e8b4884a37346c024 100644 (file)
@@ -238,6 +238,7 @@ enum {
     POWERPC_EXCP_DTLBE    = 93, /* Data TLB error                            */
     /* VSX Unavailable (Power ISA 2.06 and later)                            */
     POWERPC_EXCP_VSXU     = 94, /* VSX Unavailable                           */
+    POWERPC_EXCP_FU       = 95, /* Facility Unavailable                      */
     /* EOL                                                                   */
     POWERPC_EXCP_NB       = 96,
     /* QEMU exceptions: used internally during code translation              */
@@ -426,6 +427,9 @@ struct ppc_slb_t {
 #define MSR_TAG  62 /* Tag-active mode (POWERx ?)                            */
 #define MSR_ISF  61 /* Sixty-four-bit interrupt mode on 630                  */
 #define MSR_SHV  60 /* hypervisor state                               hflags */
+#define MSR_TS0  34 /* Transactional state, 2 bits (Book3s)                  */
+#define MSR_TS1  33
+#define MSR_TM   32 /* Transactional Memory Available (Book3s)               */
 #define MSR_CM   31 /* Computation mode for BookE                     hflags */
 #define MSR_ICM  30 /* Interrupt computation mode for BookE                  */
 #define MSR_THV  29 /* hypervisor state for 32 bits PowerPC           hflags */
@@ -463,6 +467,8 @@ struct ppc_slb_t {
 #define MSR_LE   0  /* Little-endian mode                           1 hflags */
 
 #define LPCR_ILE (1 << (63-38))
+#define LPCR_AIL_SHIFT (63-40)      /* Alternate interrupt location */
+#define LPCR_AIL (3 << LPCR_AIL_SHIFT)
 
 #define msr_sf   ((env->msr >> MSR_SF)   & 1)
 #define msr_isf  ((env->msr >> MSR_ISF)  & 1)
@@ -502,6 +508,9 @@ struct ppc_slb_t {
 #define msr_pmm  ((env->msr >> MSR_PMM)  & 1)
 #define msr_ri   ((env->msr >> MSR_RI)   & 1)
 #define msr_le   ((env->msr >> MSR_LE)   & 1)
+#define msr_ts   ((env->msr >> MSR_TS1)  & 3)
+#define msr_tm   ((env->msr >> MSR_TM)   & 1)
+
 /* Hypervisor bit is more specific */
 #if defined(TARGET_PPC64)
 #define MSR_HVB (1ULL << MSR_SHV)
@@ -516,6 +525,19 @@ struct ppc_slb_t {
 #endif
 #endif
 
+/* Facility Status and Control (FSCR) bits */
+#define FSCR_EBB        (63 - 56) /* Event-Based Branch Facility */
+#define FSCR_TAR        (63 - 55) /* Target Address Register */
+/* Interrupt cause mask and position in FSCR. HFSCR has the same format */
+#define FSCR_IC_MASK    (0xFFULL)
+#define FSCR_IC_POS     (63 - 7)
+#define FSCR_IC_DSCR_SPR3   2
+#define FSCR_IC_PMU         3
+#define FSCR_IC_BHRB        4
+#define FSCR_IC_TM          5
+#define FSCR_IC_EBB         7
+#define FSCR_IC_TAR         8
+
 /* Exception state register bits definition                                  */
 #define ESR_PIL   (1 << (63 - 36)) /* Illegal Instruction                    */
 #define ESR_PPR   (1 << (63 - 37)) /* Privileged Instruction                 */
@@ -908,10 +930,8 @@ struct CPUPPCState {
      */
     /* general purpose registers */
     target_ulong gpr[32];
-#if !defined(TARGET_PPC64)
     /* Storage for GPR MSB, used by the SPE extension */
     target_ulong gprh[32];
-#endif
     /* LR */
     target_ulong lr;
     /* CTR */
@@ -1081,6 +1101,20 @@ struct CPUPPCState {
      */
     uint8_t fit_period[4];
     uint8_t wdt_period[4];
+
+    /* Transactional memory state */
+    target_ulong tm_gpr[32];
+    ppc_avr_t tm_vsr[64];
+    uint64_t tm_cr;
+    uint64_t tm_lr;
+    uint64_t tm_ctr;
+    uint64_t tm_fpscr;
+    uint64_t tm_amr;
+    uint64_t tm_ppr;
+    uint64_t tm_vrsave;
+    uint32_t tm_vscr;
+    uint64_t tm_dscr;
+    uint64_t tm_tar;
 };
 
 #define SET_FIT_PERIOD(a_, b_, c_, d_)          \
@@ -1104,6 +1138,7 @@ do {                                            \
 /*****************************************************************************/
 PowerPCCPU *cpu_ppc_init(const char *cpu_model);
 void ppc_translate_init(void);
+void gen_update_current_nip(void *opaque);
 int cpu_ppc_exec (CPUPPCState *s);
 /* you can call this signal handler from your SIGBUS and SIGSEGV
    signal handlers to inform the virtual CPU of exceptions. non zero
@@ -1122,6 +1157,8 @@ void ppc_store_sdr1 (CPUPPCState *env, target_ulong value);
 void ppc_store_msr (CPUPPCState *env, target_ulong value);
 
 void ppc_cpu_list (FILE *f, fprintf_function cpu_fprintf);
+int ppc_get_compat_smt_threads(PowerPCCPU *cpu);
+int ppc_set_compat(PowerPCCPU *cpu, uint32_t cpu_version);
 
 /* Time-base and decrementer management */
 #ifndef NO_CPU_IO_DEFS
@@ -1162,7 +1199,6 @@ static inline uint64_t ppc_dump_gpr(CPUPPCState *env, int gprn)
     uint64_t gprv;
 
     gprv = env->gpr[gprn];
-#if !defined(TARGET_PPC64)
     if (env->flags & POWERPC_FLAG_SPE) {
         /* If the CPU implements the SPE extension, we have to get the
          * high bits of the GPR from the gprh storage area
@@ -1170,7 +1206,6 @@ static inline uint64_t ppc_dump_gpr(CPUPPCState *env, int gprn)
         gprv &= 0xFFFFFFFFULL;
         gprv |= (uint64_t)env->gprh[gprn] << 32;
     }
-#endif
 
     return gprv;
 }
@@ -1258,6 +1293,10 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_MPC_EIE           (0x050)
 #define SPR_MPC_EID           (0x051)
 #define SPR_MPC_NRI           (0x052)
+#define SPR_TFHAR             (0x080)
+#define SPR_TFIAR             (0x081)
+#define SPR_TEXASR            (0x082)
+#define SPR_TEXASRU           (0x083)
 #define SPR_UCTRL             (0x088)
 #define SPR_MPC_CMPA          (0x090)
 #define SPR_MPC_CMPB          (0x091)
@@ -1270,6 +1309,7 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_CTRL              (0x098)
 #define SPR_MPC_CMPE          (0x098)
 #define SPR_MPC_CMPF          (0x099)
+#define SPR_FSCR              (0x099)
 #define SPR_MPC_CMPG          (0x09A)
 #define SPR_MPC_CMPH          (0x09B)
 #define SPR_MPC_LCTRL1        (0x09C)
@@ -1338,6 +1378,7 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_LPCR              (0x13E)
 #define SPR_BOOKE_DVC2        (0x13F)
 #define SPR_BOOKE_TSR         (0x150)
+#define SPR_PCR               (0x152)
 #define SPR_BOOKE_TCR         (0x154)
 #define SPR_BOOKE_TLB0PS      (0x158)
 #define SPR_BOOKE_TLB1PS      (0x159)
@@ -1365,10 +1406,18 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_BOOKE_IVOR40      (0x1B2)
 #define SPR_BOOKE_IVOR41      (0x1B3)
 #define SPR_BOOKE_IVOR42      (0x1B4)
+#define SPR_BOOKE_GIVOR2      (0x1B8)
+#define SPR_BOOKE_GIVOR3      (0x1B9)
+#define SPR_BOOKE_GIVOR4      (0x1BA)
+#define SPR_BOOKE_GIVOR8      (0x1BB)
+#define SPR_BOOKE_GIVOR13     (0x1BC)
+#define SPR_BOOKE_GIVOR14     (0x1BD)
+#define SPR_TIR               (0x1BE)
 #define SPR_BOOKE_SPEFSCR     (0x200)
 #define SPR_Exxx_BBEAR        (0x201)
 #define SPR_Exxx_BBTAR        (0x202)
 #define SPR_Exxx_L1CFG0       (0x203)
+#define SPR_Exxx_L1CFG1       (0x204)
 #define SPR_Exxx_NPIDR        (0x205)
 #define SPR_ATBL              (0x20E)
 #define SPR_ATBU              (0x20F)
@@ -1453,62 +1502,96 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_MPC_MI_CTR        (0x300)
 #define SPR_PERF1             (0x301)
 #define SPR_RCPU_MI_RBA1      (0x301)
+#define SPR_POWER_UMMCR2      (0x301)
 #define SPR_PERF2             (0x302)
 #define SPR_RCPU_MI_RBA2      (0x302)
 #define SPR_MPC_MI_AP         (0x302)
-#define SPR_MMCRA             (0x302)
+#define SPR_POWER_UMMCRA      (0x302)
 #define SPR_PERF3             (0x303)
 #define SPR_RCPU_MI_RBA3      (0x303)
 #define SPR_MPC_MI_EPN        (0x303)
+#define SPR_POWER_UPMC1       (0x303)
 #define SPR_PERF4             (0x304)
+#define SPR_POWER_UPMC2       (0x304)
 #define SPR_PERF5             (0x305)
 #define SPR_MPC_MI_TWC        (0x305)
+#define SPR_POWER_UPMC3       (0x305)
 #define SPR_PERF6             (0x306)
 #define SPR_MPC_MI_RPN        (0x306)
+#define SPR_POWER_UPMC4       (0x306)
 #define SPR_PERF7             (0x307)
+#define SPR_POWER_UPMC5       (0x307)
 #define SPR_PERF8             (0x308)
 #define SPR_RCPU_L2U_RBA0     (0x308)
 #define SPR_MPC_MD_CTR        (0x308)
+#define SPR_POWER_UPMC6       (0x308)
 #define SPR_PERF9             (0x309)
 #define SPR_RCPU_L2U_RBA1     (0x309)
 #define SPR_MPC_MD_CASID      (0x309)
+#define SPR_970_UPMC7         (0X309)
 #define SPR_PERFA             (0x30A)
 #define SPR_RCPU_L2U_RBA2     (0x30A)
 #define SPR_MPC_MD_AP         (0x30A)
+#define SPR_970_UPMC8         (0X30A)
 #define SPR_PERFB             (0x30B)
 #define SPR_RCPU_L2U_RBA3     (0x30B)
 #define SPR_MPC_MD_EPN        (0x30B)
+#define SPR_POWER_UMMCR0      (0X30B)
 #define SPR_PERFC             (0x30C)
 #define SPR_MPC_MD_TWB        (0x30C)
+#define SPR_POWER_USIAR       (0X30C)
 #define SPR_PERFD             (0x30D)
 #define SPR_MPC_MD_TWC        (0x30D)
+#define SPR_POWER_USDAR       (0X30D)
 #define SPR_PERFE             (0x30E)
 #define SPR_MPC_MD_RPN        (0x30E)
+#define SPR_POWER_UMMCR1      (0X30E)
 #define SPR_PERFF             (0x30F)
 #define SPR_MPC_MD_TW         (0x30F)
 #define SPR_UPERF0            (0x310)
 #define SPR_UPERF1            (0x311)
+#define SPR_POWER_MMCR2       (0x311)
 #define SPR_UPERF2            (0x312)
+#define SPR_POWER_MMCRA       (0X312)
 #define SPR_UPERF3            (0x313)
+#define SPR_POWER_PMC1        (0X313)
 #define SPR_UPERF4            (0x314)
+#define SPR_POWER_PMC2        (0X314)
 #define SPR_UPERF5            (0x315)
+#define SPR_POWER_PMC3        (0X315)
 #define SPR_UPERF6            (0x316)
+#define SPR_POWER_PMC4        (0X316)
 #define SPR_UPERF7            (0x317)
+#define SPR_POWER_PMC5        (0X317)
 #define SPR_UPERF8            (0x318)
+#define SPR_POWER_PMC6        (0X318)
 #define SPR_UPERF9            (0x319)
+#define SPR_970_PMC7          (0X319)
 #define SPR_UPERFA            (0x31A)
+#define SPR_970_PMC8          (0X31A)
 #define SPR_UPERFB            (0x31B)
+#define SPR_POWER_MMCR0       (0X31B)
 #define SPR_UPERFC            (0x31C)
+#define SPR_POWER_SIAR        (0X31C)
 #define SPR_UPERFD            (0x31D)
+#define SPR_POWER_SDAR        (0X31D)
 #define SPR_UPERFE            (0x31E)
+#define SPR_POWER_MMCR1       (0X31E)
 #define SPR_UPERFF            (0x31F)
 #define SPR_RCPU_MI_RA0       (0x320)
 #define SPR_MPC_MI_DBCAM      (0x320)
+#define SPR_BESCRS            (0x320)
 #define SPR_RCPU_MI_RA1       (0x321)
 #define SPR_MPC_MI_DBRAM0     (0x321)
+#define SPR_BESCRSU           (0x321)
 #define SPR_RCPU_MI_RA2       (0x322)
 #define SPR_MPC_MI_DBRAM1     (0x322)
+#define SPR_BESCRR            (0x322)
 #define SPR_RCPU_MI_RA3       (0x323)
+#define SPR_BESCRRU           (0x323)
+#define SPR_EBBHR             (0x324)
+#define SPR_EBBRR             (0x325)
+#define SPR_BESCR             (0x326)
 #define SPR_RCPU_L2U_RA0      (0x328)
 #define SPR_MPC_MD_DBCAM      (0x328)
 #define SPR_RCPU_L2U_RA1      (0x329)
@@ -1527,6 +1610,7 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_440_ITV3          (0x377)
 #define SPR_440_CCR1          (0x378)
 #define SPR_DCRIPR            (0x37B)
+#define SPR_POWER_MMCRS       (0x37E)
 #define SPR_PPR               (0x380)
 #define SPR_750_GQR0          (0x390)
 #define SPR_440_DNV0          (0x390)
@@ -1556,24 +1640,24 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_BOOKE_DCDBTRH     (0x39D)
 #define SPR_BOOKE_ICDBTRL     (0x39E)
 #define SPR_BOOKE_ICDBTRH     (0x39F)
-#define SPR_UMMCR2            (0x3A0)
-#define SPR_UPMC5             (0x3A1)
-#define SPR_UPMC6             (0x3A2)
+#define SPR_74XX_UMMCR2       (0x3A0)
+#define SPR_7XX_UPMC5         (0x3A1)
+#define SPR_7XX_UPMC6         (0x3A2)
 #define SPR_UBAMR             (0x3A7)
-#define SPR_UMMCR0            (0x3A8)
-#define SPR_UPMC1             (0x3A9)
-#define SPR_UPMC2             (0x3AA)
-#define SPR_USIAR             (0x3AB)
-#define SPR_UMMCR1            (0x3AC)
-#define SPR_UPMC3             (0x3AD)
-#define SPR_UPMC4             (0x3AE)
+#define SPR_7XX_UMMCR0        (0x3A8)
+#define SPR_7XX_UPMC1         (0x3A9)
+#define SPR_7XX_UPMC2         (0x3AA)
+#define SPR_7XX_USIAR         (0x3AB)
+#define SPR_7XX_UMMCR1        (0x3AC)
+#define SPR_7XX_UPMC3         (0x3AD)
+#define SPR_7XX_UPMC4         (0x3AE)
 #define SPR_USDA              (0x3AF)
 #define SPR_40x_ZPR           (0x3B0)
 #define SPR_BOOKE_MAS7        (0x3B0)
-#define SPR_MMCR2             (0x3B0)
-#define SPR_PMC5              (0x3B1)
+#define SPR_74XX_MMCR2        (0x3B0)
+#define SPR_7XX_PMC5          (0x3B1)
 #define SPR_40x_PID           (0x3B1)
-#define SPR_PMC6              (0x3B2)
+#define SPR_7XX_PMC6          (0x3B2)
 #define SPR_440_MMUCR         (0x3B2)
 #define SPR_4xx_CCR0          (0x3B3)
 #define SPR_BOOKE_EPLC        (0x3B3)
@@ -1583,19 +1667,19 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_405_DVC1          (0x3B6)
 #define SPR_405_DVC2          (0x3B7)
 #define SPR_BAMR              (0x3B7)
-#define SPR_MMCR0             (0x3B8)
-#define SPR_PMC1              (0x3B9)
+#define SPR_7XX_MMCR0         (0x3B8)
+#define SPR_7XX_PMC1          (0x3B9)
 #define SPR_40x_SGR           (0x3B9)
-#define SPR_PMC2              (0x3BA)
+#define SPR_7XX_PMC2          (0x3BA)
 #define SPR_40x_DCWR          (0x3BA)
-#define SPR_SIAR              (0x3BB)
+#define SPR_7XX_SIAR          (0x3BB)
 #define SPR_405_SLER          (0x3BB)
-#define SPR_MMCR1             (0x3BC)
+#define SPR_7XX_MMCR1         (0x3BC)
 #define SPR_405_SU0R          (0x3BC)
 #define SPR_401_SKR           (0x3BC)
-#define SPR_PMC3              (0x3BD)
+#define SPR_7XX_PMC3          (0x3BD)
 #define SPR_405_DBCR1         (0x3BD)
-#define SPR_PMC4              (0x3BE)
+#define SPR_7XX_PMC4          (0x3BE)
 #define SPR_SDA               (0x3BF)
 #define SPR_403_VTBL          (0x3CC)
 #define SPR_403_VTBU          (0x3CD)
@@ -1648,6 +1732,7 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 #define SPR_750_TDCL          (0x3F4)
 #define SPR_40x_IAC1          (0x3F4)
 #define SPR_MMUCSR0           (0x3F4)
+#define SPR_970_HID4          (0x3F4)
 #define SPR_DABR              (0x3F5)
 #define DABR_MASK (~(target_ulong)0x7)
 #define SPR_Exxx_BUCSR        (0x3F5)
@@ -1709,6 +1794,23 @@ static inline int cpu_mmu_index (CPUPPCState *env)
 /* External Input Interrupt Directed to Guest State */
 #define EPCR_EXTGS            (1 << 31)
 
+#define   L1CSR0_CPE           0x00010000      /* Data Cache Parity Enable */
+#define   L1CSR0_CUL           0x00000400      /* (D-)Cache Unable to Lock */
+#define   L1CSR0_DCLFR         0x00000100      /* D-Cache Lock Flash Reset */
+#define   L1CSR0_DCFI          0x00000002      /* Data Cache Flash Invalidate */
+#define   L1CSR0_DCE           0x00000001      /* Data Cache Enable */
+
+#define   L1CSR1_CPE           0x00010000      /* Instruction Cache Parity Enable */
+#define   L1CSR1_ICUL          0x00000400      /* I-Cache Unable to Lock */
+#define   L1CSR1_ICLFR         0x00000100      /* I-Cache Lock Flash Reset */
+#define   L1CSR1_ICFI          0x00000002      /* Instruction Cache Flash Invalidate */
+#define   L1CSR1_ICE           0x00000001      /* Instruction Cache Enable */
+
+/* HID0 bits */
+#define HID0_DEEPNAP        (1 << 24)
+#define HID0_DOZE           (1 << 23)
+#define HID0_NAP            (1 << 22)
+
 /*****************************************************************************/
 /* PowerPC Instructions types definitions                                    */
 enum {
@@ -1910,7 +2012,7 @@ enum {
                         PPC2_DIVE_ISA206 | PPC2_ATOMIC_ISA206 | \
                         PPC2_FP_CVT_ISA206 | PPC2_FP_TST_ISA206 | \
                         PPC2_BCTAR_ISA207 | PPC2_LSQ_ISA207 | \
-                        PPC2_ALTIVEC_207)
+                        PPC2_ALTIVEC_207 | PPC2_ISA207S)
 };
 
 /*****************************************************************************/
@@ -2042,6 +2144,15 @@ enum {
     PPC_INTERRUPT_PERFM,          /* Performance monitor interrupt        */
 };
 
+/* Processor Compatibility mask (PCR) */
+enum {
+    PCR_COMPAT_2_05     = 1ull << (63-62),
+    PCR_COMPAT_2_06     = 1ull << (63-61),
+    PCR_VEC_DIS         = 1ull << (63-0), /* Vec. disable (bit NA since POWER8) */
+    PCR_VSX_DIS         = 1ull << (63-1), /* VSX disable (bit NA since POWER8) */
+    PCR_TM_DIS          = 1ull << (63-2), /* Trans. memory disable (POWER8) */
+};
+
 /*****************************************************************************/
 
 static inline target_ulong cpu_read_xer(CPUPPCState *env)
diff --git a/target-ppc/dfp_helper.c b/target-ppc/dfp_helper.c
new file mode 100644 (file)
index 0000000..773803a
--- /dev/null
@@ -0,0 +1,1317 @@
+/*
+ *  PowerPC Decimal Floating Point (DPF) emulation helpers for QEMU.
+ *
+ *  Copyright (c) 2014 IBM Corporation.
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, see <http://www.gnu.org/licenses/>.
+ */
+
+#include "cpu.h"
+#include "exec/helper-proto.h"
+
+#define DECNUMDIGITS 34
+#include "libdecnumber/decContext.h"
+#include "libdecnumber/decNumber.h"
+#include "libdecnumber/dpd/decimal32.h"
+#include "libdecnumber/dpd/decimal64.h"
+#include "libdecnumber/dpd/decimal128.h"
+
+#if defined(HOST_WORDS_BIGENDIAN)
+#define HI_IDX 0
+#define LO_IDX 1
+#else
+#define HI_IDX 1
+#define LO_IDX 0
+#endif
+
+struct PPC_DFP {
+    CPUPPCState *env;
+    uint64_t t64[2], a64[2], b64[2];
+    decNumber t, a, b;
+    decContext context;
+    uint8_t crbf;
+};
+
+static void dfp_prepare_rounding_mode(decContext *context, uint64_t fpscr)
+{
+    enum rounding rnd;
+
+    switch ((fpscr >> 32) & 0x7) {
+    case 0:
+        rnd = DEC_ROUND_HALF_EVEN;
+        break;
+    case 1:
+        rnd = DEC_ROUND_DOWN;
+        break;
+    case 2:
+         rnd = DEC_ROUND_CEILING;
+         break;
+    case 3:
+         rnd = DEC_ROUND_FLOOR;
+         break;
+    case 4:
+         rnd = DEC_ROUND_HALF_UP;
+         break;
+    case 5:
+         rnd = DEC_ROUND_HALF_DOWN;
+         break;
+    case 6:
+         rnd = DEC_ROUND_UP;
+         break;
+    case 7:
+         rnd = DEC_ROUND_05UP;
+         break;
+    default:
+        g_assert_not_reached();
+    }
+
+    decContextSetRounding(context, rnd);
+}
+
+static void dfp_set_round_mode_from_immediate(uint8_t r, uint8_t rmc,
+                                                  struct PPC_DFP *dfp)
+{
+    enum rounding rnd;
+    if (r == 0) {
+        switch (rmc & 3) {
+        case 0:
+            rnd = DEC_ROUND_HALF_EVEN;
+            break;
+        case 1:
+            rnd = DEC_ROUND_DOWN;
+            break;
+        case 2:
+            rnd = DEC_ROUND_HALF_UP;
+            break;
+        case 3: /* use FPSCR rounding mode */
+            return;
+        default:
+            assert(0); /* cannot get here */
+        }
+    } else { /* r == 1 */
+        switch (rmc & 3) {
+        case 0:
+            rnd = DEC_ROUND_CEILING;
+            break;
+        case 1:
+            rnd = DEC_ROUND_FLOOR;
+            break;
+        case 2:
+            rnd = DEC_ROUND_UP;
+            break;
+        case 3:
+            rnd = DEC_ROUND_HALF_DOWN;
+            break;
+        default:
+            assert(0); /* cannot get here */
+        }
+    }
+    decContextSetRounding(&dfp->context, rnd);
+}
+
+static void dfp_prepare_decimal64(struct PPC_DFP *dfp, uint64_t *a,
+                uint64_t *b, CPUPPCState *env)
+{
+    decContextDefault(&dfp->context, DEC_INIT_DECIMAL64);
+    dfp_prepare_rounding_mode(&dfp->context, env->fpscr);
+    dfp->env = env;
+
+    if (a) {
+        dfp->a64[0] = *a;
+        decimal64ToNumber((decimal64 *)dfp->a64, &dfp->a);
+    } else {
+        dfp->a64[0] = 0;
+        decNumberZero(&dfp->a);
+    }
+
+    if (b) {
+        dfp->b64[0] = *b;
+        decimal64ToNumber((decimal64 *)dfp->b64, &dfp->b);
+    } else {
+        dfp->b64[0] = 0;
+        decNumberZero(&dfp->b);
+    }
+}
+
+static void dfp_prepare_decimal128(struct PPC_DFP *dfp, uint64_t *a,
+                uint64_t *b, CPUPPCState *env)
+{
+    decContextDefault(&dfp->context, DEC_INIT_DECIMAL128);
+    dfp_prepare_rounding_mode(&dfp->context, env->fpscr);
+    dfp->env = env;
+
+    if (a) {
+        dfp->a64[0] = a[HI_IDX];
+        dfp->a64[1] = a[LO_IDX];
+        decimal128ToNumber((decimal128 *)dfp->a64, &dfp->a);
+    } else {
+        dfp->a64[0] = dfp->a64[1] = 0;
+        decNumberZero(&dfp->a);
+    }
+
+    if (b) {
+        dfp->b64[0] = b[HI_IDX];
+        dfp->b64[1] = b[LO_IDX];
+        decimal128ToNumber((decimal128 *)dfp->b64, &dfp->b);
+    } else {
+        dfp->b64[0] = dfp->b64[1] = 0;
+        decNumberZero(&dfp->b);
+    }
+}
+
+#define FP_FX       (1ull << FPSCR_FX)
+#define FP_FEX      (1ull << FPSCR_FEX)
+#define FP_OX       (1ull << FPSCR_OX)
+#define FP_OE       (1ull << FPSCR_OE)
+#define FP_UX       (1ull << FPSCR_UX)
+#define FP_UE       (1ull << FPSCR_UE)
+#define FP_XX       (1ull << FPSCR_XX)
+#define FP_XE       (1ull << FPSCR_XE)
+#define FP_ZX       (1ull << FPSCR_ZX)
+#define FP_ZE       (1ull << FPSCR_ZE)
+#define FP_VX       (1ull << FPSCR_VX)
+#define FP_VXSNAN   (1ull << FPSCR_VXSNAN)
+#define FP_VXISI    (1ull << FPSCR_VXISI)
+#define FP_VXIMZ    (1ull << FPSCR_VXIMZ)
+#define FP_VXZDZ    (1ull << FPSCR_VXZDZ)
+#define FP_VXIDI    (1ull << FPSCR_VXIDI)
+#define FP_VXVC     (1ull << FPSCR_VXVC)
+#define FP_VXCVI    (1ull << FPSCR_VXCVI)
+#define FP_VE       (1ull << FPSCR_VE)
+#define FP_FI       (1ull << FPSCR_FI)
+
+static void dfp_set_FPSCR_flag(struct PPC_DFP *dfp, uint64_t flag,
+                uint64_t enabled)
+{
+    dfp->env->fpscr |= (flag | FP_FX);
+    if (dfp->env->fpscr & enabled) {
+        dfp->env->fpscr |= FP_FEX;
+    }
+}
+
+static void dfp_set_FPRF_from_FRT_with_context(struct PPC_DFP *dfp,
+                decContext *context)
+{
+    uint64_t fprf = 0;
+
+    /* construct FPRF */
+    switch (decNumberClass(&dfp->t, context)) {
+    case DEC_CLASS_SNAN:
+        fprf = 0x01;
+        break;
+    case DEC_CLASS_QNAN:
+        fprf = 0x11;
+        break;
+    case DEC_CLASS_NEG_INF:
+        fprf = 0x09;
+        break;
+    case DEC_CLASS_NEG_NORMAL:
+        fprf = 0x08;
+        break;
+    case DEC_CLASS_NEG_SUBNORMAL:
+        fprf = 0x18;
+        break;
+    case DEC_CLASS_NEG_ZERO:
+        fprf = 0x12;
+        break;
+    case DEC_CLASS_POS_ZERO:
+        fprf = 0x02;
+        break;
+    case DEC_CLASS_POS_SUBNORMAL:
+        fprf = 0x14;
+        break;
+    case DEC_CLASS_POS_NORMAL:
+        fprf = 0x04;
+        break;
+    case DEC_CLASS_POS_INF:
+        fprf = 0x05;
+        break;
+    default:
+        assert(0); /* should never get here */
+    }
+    dfp->env->fpscr &= ~(0x1F << 12);
+    dfp->env->fpscr |= (fprf << 12);
+}
+
+static void dfp_set_FPRF_from_FRT(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT_with_context(dfp, &dfp->context);
+}
+
+static void dfp_set_FPRF_from_FRT_short(struct PPC_DFP *dfp)
+{
+    decContext shortContext;
+    decContextDefault(&shortContext, DEC_INIT_DECIMAL32);
+    dfp_set_FPRF_from_FRT_with_context(dfp, &shortContext);
+}
+
+static void dfp_set_FPRF_from_FRT_long(struct PPC_DFP *dfp)
+{
+    decContext longContext;
+    decContextDefault(&longContext, DEC_INIT_DECIMAL64);
+    dfp_set_FPRF_from_FRT_with_context(dfp, &longContext);
+}
+
+static void dfp_check_for_OX(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Overflow) {
+        dfp_set_FPSCR_flag(dfp, FP_OX, FP_OE);
+    }
+}
+
+static void dfp_check_for_UX(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Underflow) {
+        dfp_set_FPSCR_flag(dfp, FP_UX, FP_UE);
+    }
+}
+
+static void dfp_check_for_XX(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Inexact) {
+        dfp_set_FPSCR_flag(dfp, FP_XX | FP_FI, FP_XE);
+    }
+}
+
+static void dfp_check_for_ZX(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Division_by_zero) {
+        dfp_set_FPSCR_flag(dfp, FP_ZX, FP_ZE);
+    }
+}
+
+static void dfp_check_for_VXSNAN(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Invalid_operation) {
+        if (decNumberIsSNaN(&dfp->a) || decNumberIsSNaN(&dfp->b)) {
+            dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXSNAN, FP_VE);
+        }
+    }
+}
+
+static void dfp_check_for_VXSNAN_and_convert_to_QNaN(struct PPC_DFP *dfp)
+{
+    if (decNumberIsSNaN(&dfp->t)) {
+        dfp->t.bits &= ~DECSNAN;
+        dfp->t.bits |= DECNAN;
+        dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXSNAN, FP_VE);
+    }
+}
+
+static void dfp_check_for_VXISI(struct PPC_DFP *dfp, int testForSameSign)
+{
+    if (dfp->context.status & DEC_Invalid_operation) {
+        if (decNumberIsInfinite(&dfp->a) && decNumberIsInfinite(&dfp->b)) {
+            int same = decNumberClass(&dfp->a, &dfp->context) ==
+                       decNumberClass(&dfp->b, &dfp->context);
+            if ((same && testForSameSign) || (!same && !testForSameSign)) {
+                dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXISI, FP_VE);
+            }
+        }
+    }
+}
+
+static void dfp_check_for_VXISI_add(struct PPC_DFP *dfp)
+{
+    dfp_check_for_VXISI(dfp, 0);
+}
+
+static void dfp_check_for_VXISI_subtract(struct PPC_DFP *dfp)
+{
+    dfp_check_for_VXISI(dfp, 1);
+}
+
+static void dfp_check_for_VXIMZ(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Invalid_operation) {
+        if ((decNumberIsInfinite(&dfp->a) && decNumberIsZero(&dfp->b)) ||
+            (decNumberIsInfinite(&dfp->b) && decNumberIsZero(&dfp->a))) {
+            dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXIMZ, FP_VE);
+        }
+    }
+}
+
+static void dfp_check_for_VXZDZ(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Division_undefined) {
+        dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXZDZ, FP_VE);
+    }
+}
+
+static void dfp_check_for_VXIDI(struct PPC_DFP *dfp)
+{
+    if (dfp->context.status & DEC_Invalid_operation) {
+        if (decNumberIsInfinite(&dfp->a) && decNumberIsInfinite(&dfp->b)) {
+            dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXIDI, FP_VE);
+        }
+    }
+}
+
+static void dfp_check_for_VXVC(struct PPC_DFP *dfp)
+{
+    if (decNumberIsNaN(&dfp->a) || decNumberIsNaN(&dfp->b)) {
+        dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXVC, FP_VE);
+    }
+}
+
+static void dfp_check_for_VXCVI(struct PPC_DFP *dfp)
+{
+    if ((dfp->context.status & DEC_Invalid_operation) &&
+        (!decNumberIsSNaN(&dfp->a)) &&
+        (!decNumberIsSNaN(&dfp->b))) {
+        dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXCVI, FP_VE);
+    }
+}
+
+static void dfp_set_CRBF_from_T(struct PPC_DFP *dfp)
+{
+    if (decNumberIsNaN(&dfp->t)) {
+        dfp->crbf = 1;
+    } else if (decNumberIsZero(&dfp->t)) {
+        dfp->crbf = 2;
+    } else if (decNumberIsNegative(&dfp->t)) {
+        dfp->crbf = 8;
+    } else {
+        dfp->crbf = 4;
+    }
+}
+
+static void dfp_set_FPCC_from_CRBF(struct PPC_DFP *dfp)
+{
+    dfp->env->fpscr &= ~(0xF << 12);
+    dfp->env->fpscr |= (dfp->crbf << 12);
+}
+
+static inline void dfp_makeQNaN(decNumber *dn)
+{
+    dn->bits &= ~DECSPECIAL;
+    dn->bits |= DECNAN;
+}
+
+static inline int dfp_get_digit(decNumber *dn, int n)
+{
+    assert(DECDPUN == 3);
+    int unit = n / DECDPUN;
+    int dig = n % DECDPUN;
+    switch (dig) {
+    case 0:
+        return dn->lsu[unit] % 10;
+    case 1:
+        return (dn->lsu[unit] / 10) % 10;
+    case 2:
+        return dn->lsu[unit] / 100;
+    default:
+        assert(0);
+    }
+}
+
+#define DFP_HELPER_TAB(op, dnop, postprocs, size)                              \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *a, uint64_t *b)      \
+{                                                                              \
+    struct PPC_DFP dfp;                                                        \
+    dfp_prepare_decimal##size(&dfp, a, b, env);                                \
+    dnop(&dfp.t, &dfp.a, &dfp.b, &dfp.context);                                \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t, &dfp.context); \
+    postprocs(&dfp);                                                           \
+    if (size == 64) {                                                          \
+        t[0] = dfp.t64[0];                                                     \
+    } else if (size == 128) {                                                  \
+        t[0] = dfp.t64[HI_IDX];                                                \
+        t[1] = dfp.t64[LO_IDX];                                                \
+    }                                                                          \
+}
+
+static void ADD_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_OX(dfp);
+    dfp_check_for_UX(dfp);
+    dfp_check_for_XX(dfp);
+    dfp_check_for_VXSNAN(dfp);
+    dfp_check_for_VXISI_add(dfp);
+}
+
+DFP_HELPER_TAB(dadd, decNumberAdd, ADD_PPs, 64)
+DFP_HELPER_TAB(daddq, decNumberAdd, ADD_PPs, 128)
+
+static void SUB_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_OX(dfp);
+    dfp_check_for_UX(dfp);
+    dfp_check_for_XX(dfp);
+    dfp_check_for_VXSNAN(dfp);
+    dfp_check_for_VXISI_subtract(dfp);
+}
+
+DFP_HELPER_TAB(dsub, decNumberSubtract, SUB_PPs, 64)
+DFP_HELPER_TAB(dsubq, decNumberSubtract, SUB_PPs, 128)
+
+static void MUL_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_OX(dfp);
+    dfp_check_for_UX(dfp);
+    dfp_check_for_XX(dfp);
+    dfp_check_for_VXSNAN(dfp);
+    dfp_check_for_VXIMZ(dfp);
+}
+
+DFP_HELPER_TAB(dmul, decNumberMultiply, MUL_PPs, 64)
+DFP_HELPER_TAB(dmulq, decNumberMultiply, MUL_PPs, 128)
+
+static void DIV_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_OX(dfp);
+    dfp_check_for_UX(dfp);
+    dfp_check_for_ZX(dfp);
+    dfp_check_for_XX(dfp);
+    dfp_check_for_VXSNAN(dfp);
+    dfp_check_for_VXZDZ(dfp);
+    dfp_check_for_VXIDI(dfp);
+}
+
+DFP_HELPER_TAB(ddiv, decNumberDivide, DIV_PPs, 64)
+DFP_HELPER_TAB(ddivq, decNumberDivide, DIV_PPs, 128)
+
+#define DFP_HELPER_BF_AB(op, dnop, postprocs, size)                            \
+uint32_t helper_##op(CPUPPCState *env, uint64_t *a, uint64_t *b)               \
+{                                                                              \
+    struct PPC_DFP dfp;                                                        \
+    dfp_prepare_decimal##size(&dfp, a, b, env);                                \
+    dnop(&dfp.t, &dfp.a, &dfp.b, &dfp.context);                                \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t, &dfp.context); \
+    postprocs(&dfp);                                                           \
+    return dfp.crbf;                                                           \
+}
+
+static void CMPU_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_CRBF_from_T(dfp);
+    dfp_set_FPCC_from_CRBF(dfp);
+    dfp_check_for_VXSNAN(dfp);
+}
+
+DFP_HELPER_BF_AB(dcmpu, decNumberCompare, CMPU_PPs, 64)
+DFP_HELPER_BF_AB(dcmpuq, decNumberCompare, CMPU_PPs, 128)
+
+static void CMPO_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_CRBF_from_T(dfp);
+    dfp_set_FPCC_from_CRBF(dfp);
+    dfp_check_for_VXSNAN(dfp);
+    dfp_check_for_VXVC(dfp);
+}
+
+DFP_HELPER_BF_AB(dcmpo, decNumberCompare, CMPO_PPs, 64)
+DFP_HELPER_BF_AB(dcmpoq, decNumberCompare, CMPO_PPs, 128)
+
+#define DFP_HELPER_TSTDC(op, size)                                       \
+uint32_t helper_##op(CPUPPCState *env, uint64_t *a, uint32_t dcm)        \
+{                                                                        \
+    struct PPC_DFP dfp;                                                  \
+    int match = 0;                                                       \
+                                                                         \
+    dfp_prepare_decimal##size(&dfp, a, 0, env);                          \
+                                                                         \
+    match |= (dcm & 0x20) && decNumberIsZero(&dfp.a);                    \
+    match |= (dcm & 0x10) && decNumberIsSubnormal(&dfp.a, &dfp.context); \
+    match |= (dcm & 0x08) && decNumberIsNormal(&dfp.a, &dfp.context);    \
+    match |= (dcm & 0x04) && decNumberIsInfinite(&dfp.a);                \
+    match |= (dcm & 0x02) && decNumberIsQNaN(&dfp.a);                    \
+    match |= (dcm & 0x01) && decNumberIsSNaN(&dfp.a);                    \
+                                                                         \
+    if (decNumberIsNegative(&dfp.a)) {                                   \
+        dfp.crbf = match ? 0xA : 0x8;                                    \
+    } else {                                                             \
+        dfp.crbf = match ? 0x2 : 0x0;                                    \
+    }                                                                    \
+                                                                         \
+    dfp_set_FPCC_from_CRBF(&dfp);                                        \
+    return dfp.crbf;                                                     \
+}
+
+DFP_HELPER_TSTDC(dtstdc, 64)
+DFP_HELPER_TSTDC(dtstdcq, 128)
+
+#define DFP_HELPER_TSTDG(op, size)                                       \
+uint32_t helper_##op(CPUPPCState *env, uint64_t *a, uint32_t dcm)        \
+{                                                                        \
+    struct PPC_DFP dfp;                                                  \
+    int minexp, maxexp, nzero_digits, nzero_idx, is_negative, is_zero,   \
+        is_extreme_exp, is_subnormal, is_normal, leftmost_is_nonzero,    \
+        match;                                                           \
+                                                                         \
+    dfp_prepare_decimal##size(&dfp, a, 0, env);                          \
+                                                                         \
+    if ((size) == 64) {                                                  \
+        minexp = -398;                                                   \
+        maxexp = 369;                                                    \
+        nzero_digits = 16;                                               \
+        nzero_idx = 5;                                                   \
+    } else if ((size) == 128) {                                          \
+        minexp = -6176;                                                  \
+        maxexp = 6111;                                                   \
+        nzero_digits = 34;                                               \
+        nzero_idx = 11;                                                  \
+    }                                                                    \
+                                                                         \
+    is_negative = decNumberIsNegative(&dfp.a);                           \
+    is_zero = decNumberIsZero(&dfp.a);                                   \
+    is_extreme_exp = (dfp.a.exponent == maxexp) ||                       \
+                     (dfp.a.exponent == minexp);                         \
+    is_subnormal = decNumberIsSubnormal(&dfp.a, &dfp.context);           \
+    is_normal = decNumberIsNormal(&dfp.a, &dfp.context);                 \
+    leftmost_is_nonzero = (dfp.a.digits == nzero_digits) &&              \
+                          (dfp.a.lsu[nzero_idx] != 0);                   \
+    match = 0;                                                           \
+                                                                         \
+    match |= (dcm & 0x20) && is_zero && !is_extreme_exp;                 \
+    match |= (dcm & 0x10) && is_zero && is_extreme_exp;                  \
+    match |= (dcm & 0x08) &&                                             \
+             (is_subnormal || (is_normal && is_extreme_exp));            \
+    match |= (dcm & 0x04) && is_normal && !is_extreme_exp &&             \
+             !leftmost_is_nonzero;                                       \
+    match |= (dcm & 0x02) && is_normal && !is_extreme_exp &&             \
+             leftmost_is_nonzero;                                        \
+    match |= (dcm & 0x01) && decNumberIsSpecial(&dfp.a);                 \
+                                                                         \
+    if (is_negative) {                                                   \
+        dfp.crbf = match ? 0xA : 0x8;                                    \
+    } else {                                                             \
+        dfp.crbf = match ? 0x2 : 0x0;                                    \
+    }                                                                    \
+                                                                         \
+    dfp_set_FPCC_from_CRBF(&dfp);                                        \
+    return dfp.crbf;                                                     \
+}
+
+DFP_HELPER_TSTDG(dtstdg, 64)
+DFP_HELPER_TSTDG(dtstdgq, 128)
+
+#define DFP_HELPER_TSTEX(op, size)                                       \
+uint32_t helper_##op(CPUPPCState *env, uint64_t *a, uint64_t *b)         \
+{                                                                        \
+    struct PPC_DFP dfp;                                                  \
+    int expa, expb, a_is_special, b_is_special;                          \
+                                                                         \
+    dfp_prepare_decimal##size(&dfp, a, b, env);                          \
+                                                                         \
+    expa = dfp.a.exponent;                                               \
+    expb = dfp.b.exponent;                                               \
+    a_is_special = decNumberIsSpecial(&dfp.a);                           \
+    b_is_special = decNumberIsSpecial(&dfp.b);                           \
+                                                                         \
+    if (a_is_special || b_is_special) {                                  \
+        int atype = a_is_special ? (decNumberIsNaN(&dfp.a) ? 4 : 2) : 1; \
+        int btype = b_is_special ? (decNumberIsNaN(&dfp.b) ? 4 : 2) : 1; \
+        dfp.crbf = (atype ^ btype) ? 0x1 : 0x2;                          \
+    } else if (expa < expb) {                                            \
+        dfp.crbf = 0x8;                                                  \
+    } else if (expa > expb) {                                            \
+        dfp.crbf = 0x4;                                                  \
+    } else {                                                             \
+        dfp.crbf = 0x2;                                                  \
+    }                                                                    \
+                                                                         \
+    dfp_set_FPCC_from_CRBF(&dfp);                                        \
+    return dfp.crbf;                                                     \
+}
+
+DFP_HELPER_TSTEX(dtstex, 64)
+DFP_HELPER_TSTEX(dtstexq, 128)
+
+#define DFP_HELPER_TSTSF(op, size)                                       \
+uint32_t helper_##op(CPUPPCState *env, uint64_t *a, uint64_t *b)         \
+{                                                                        \
+    struct PPC_DFP dfp;                                                  \
+    unsigned k;                                                          \
+                                                                         \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                          \
+                                                                         \
+    k = *a & 0x3F;                                                       \
+                                                                         \
+    if (unlikely(decNumberIsSpecial(&dfp.b))) {                          \
+        dfp.crbf = 1;                                                    \
+    } else if (k == 0) {                                                 \
+        dfp.crbf = 4;                                                    \
+    } else if (unlikely(decNumberIsZero(&dfp.b))) {                      \
+        /* Zero has no sig digits */                                     \
+        dfp.crbf = 4;                                                    \
+    } else {                                                             \
+        unsigned nsd = dfp.b.digits;                                     \
+        if (k < nsd) {                                                   \
+            dfp.crbf = 8;                                                \
+        } else if (k > nsd) {                                            \
+            dfp.crbf = 4;                                                \
+        } else {                                                         \
+            dfp.crbf = 2;                                                \
+        }                                                                \
+    }                                                                    \
+                                                                         \
+    dfp_set_FPCC_from_CRBF(&dfp);                                        \
+    return dfp.crbf;                                                     \
+}
+
+DFP_HELPER_TSTSF(dtstsf, 64)
+DFP_HELPER_TSTSF(dtstsfq, 128)
+
+static void QUA_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_XX(dfp);
+    dfp_check_for_VXSNAN(dfp);
+    dfp_check_for_VXCVI(dfp);
+}
+
+static void dfp_quantize(uint8_t rmc, struct PPC_DFP *dfp)
+{
+    dfp_set_round_mode_from_immediate(0, rmc, dfp);
+    decNumberQuantize(&dfp->t, &dfp->b, &dfp->a, &dfp->context);
+    if (decNumberIsSNaN(&dfp->a)) {
+        dfp->t = dfp->a;
+        dfp_makeQNaN(&dfp->t);
+    } else if (decNumberIsSNaN(&dfp->b)) {
+        dfp->t = dfp->b;
+        dfp_makeQNaN(&dfp->t);
+    } else if (decNumberIsQNaN(&dfp->a)) {
+        dfp->t = dfp->a;
+    } else if (decNumberIsQNaN(&dfp->b)) {
+        dfp->t = dfp->b;
+    }
+}
+
+#define DFP_HELPER_QUAI(op, size)                                       \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *b,            \
+                 uint32_t te, uint32_t rmc)                             \
+{                                                                       \
+    struct PPC_DFP dfp;                                                 \
+                                                                        \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                         \
+                                                                        \
+    decNumberFromUInt32(&dfp.a, 1);                                     \
+    dfp.a.exponent = (int32_t)((int8_t)(te << 3) >> 3);                 \
+                                                                        \
+    dfp_quantize(rmc, &dfp);                                            \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t,         \
+                              &dfp.context);                            \
+    QUA_PPs(&dfp);                                                      \
+                                                                        \
+    if (size == 64) {                                                   \
+        t[0] = dfp.t64[0];                                              \
+    } else if (size == 128) {                                           \
+        t[0] = dfp.t64[HI_IDX];                                         \
+        t[1] = dfp.t64[LO_IDX];                                         \
+    }                                                                   \
+}
+
+DFP_HELPER_QUAI(dquai, 64)
+DFP_HELPER_QUAI(dquaiq, 128)
+
+#define DFP_HELPER_QUA(op, size)                                        \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *a,            \
+                 uint64_t *b, uint32_t rmc)                             \
+{                                                                       \
+    struct PPC_DFP dfp;                                                 \
+                                                                        \
+    dfp_prepare_decimal##size(&dfp, a, b, env);                         \
+                                                                        \
+    dfp_quantize(rmc, &dfp);                                            \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t,         \
+                              &dfp.context);                            \
+    QUA_PPs(&dfp);                                                      \
+                                                                        \
+    if (size == 64) {                                                   \
+        t[0] = dfp.t64[0];                                              \
+    } else if (size == 128) {                                           \
+        t[0] = dfp.t64[HI_IDX];                                         \
+        t[1] = dfp.t64[LO_IDX];                                         \
+    }                                                                   \
+}
+
+DFP_HELPER_QUA(dqua, 64)
+DFP_HELPER_QUA(dquaq, 128)
+
+static void _dfp_reround(uint8_t rmc, int32_t ref_sig, int32_t xmax,
+                             struct PPC_DFP *dfp)
+{
+    int msd_orig, msd_rslt;
+
+    if (unlikely((ref_sig == 0) || (dfp->b.digits <= ref_sig))) {
+        dfp->t = dfp->b;
+        if (decNumberIsSNaN(&dfp->b)) {
+            dfp_makeQNaN(&dfp->t);
+            dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXSNAN, FPSCR_VE);
+        }
+        return;
+    }
+
+    /* Reround is equivalent to quantizing b with 1**E(n) where */
+    /* n = exp(b) + numDigits(b) - reference_significance.      */
+
+    decNumberFromUInt32(&dfp->a, 1);
+    dfp->a.exponent = dfp->b.exponent + dfp->b.digits - ref_sig;
+
+    if (unlikely(dfp->a.exponent > xmax)) {
+        dfp->t.digits = 0;
+        dfp->t.bits &= ~DECNEG;
+        dfp_makeQNaN(&dfp->t);
+        dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXCVI, FPSCR_VE);
+        return;
+    }
+
+    dfp_quantize(rmc, dfp);
+
+    msd_orig = dfp_get_digit(&dfp->b, dfp->b.digits-1);
+    msd_rslt = dfp_get_digit(&dfp->t, dfp->t.digits-1);
+
+    /* If the quantization resulted in rounding up to the next magnitude, */
+    /* then we need to shift the significand and adjust the exponent.     */
+
+    if (unlikely((msd_orig == 9) && (msd_rslt == 1))) {
+
+        decNumber negone;
+
+        decNumberFromInt32(&negone, -1);
+        decNumberShift(&dfp->t, &dfp->t, &negone, &dfp->context);
+        dfp->t.exponent++;
+
+        if (unlikely(dfp->t.exponent > xmax)) {
+            dfp_makeQNaN(&dfp->t);
+            dfp->t.digits = 0;
+            dfp_set_FPSCR_flag(dfp, FP_VX | FP_VXCVI, FP_VE);
+            /* Inhibit XX in this case */
+            decContextClearStatus(&dfp->context, DEC_Inexact);
+        }
+    }
+}
+
+#define DFP_HELPER_RRND(op, size)                                       \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *a,            \
+                 uint64_t *b, uint32_t rmc)                             \
+{                                                                       \
+    struct PPC_DFP dfp;                                                 \
+    int32_t ref_sig = *a & 0x3F;                                        \
+    int32_t xmax = ((size) == 64) ? 369 : 6111;                         \
+                                                                        \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                         \
+                                                                        \
+    _dfp_reround(rmc, ref_sig, xmax, &dfp);                             \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t,         \
+                              &dfp.context);                            \
+    QUA_PPs(&dfp);                                                      \
+                                                                        \
+    if (size == 64) {                                                   \
+        t[0] = dfp.t64[0];                                              \
+    } else if (size == 128) {                                           \
+        t[0] = dfp.t64[HI_IDX];                                         \
+        t[1] = dfp.t64[LO_IDX];                                         \
+    }                                                                   \
+}
+
+DFP_HELPER_RRND(drrnd, 64)
+DFP_HELPER_RRND(drrndq, 128)
+
+#define DFP_HELPER_RINT(op, postprocs, size)                                   \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *b,                   \
+             uint32_t r, uint32_t rmc)                                         \
+{                                                                              \
+    struct PPC_DFP dfp;                                                        \
+                                                                               \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                                \
+                                                                               \
+    dfp_set_round_mode_from_immediate(r, rmc, &dfp);                           \
+    decNumberToIntegralExact(&dfp.t, &dfp.b, &dfp.context);                    \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t, &dfp.context); \
+    postprocs(&dfp);                                                           \
+                                                                               \
+    if (size == 64) {                                                          \
+        t[0] = dfp.t64[0];                                                     \
+    } else if (size == 128) {                                                  \
+        t[0] = dfp.t64[HI_IDX];                                                \
+        t[1] = dfp.t64[LO_IDX];                                                \
+    }                                                                          \
+}
+
+static void RINTX_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_XX(dfp);
+    dfp_check_for_VXSNAN(dfp);
+}
+
+DFP_HELPER_RINT(drintx, RINTX_PPs, 64)
+DFP_HELPER_RINT(drintxq, RINTX_PPs, 128)
+
+static void RINTN_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_VXSNAN(dfp);
+}
+
+DFP_HELPER_RINT(drintn, RINTN_PPs, 64)
+DFP_HELPER_RINT(drintnq, RINTN_PPs, 128)
+
+void helper_dctdp(CPUPPCState *env, uint64_t *t, uint64_t *b)
+{
+    struct PPC_DFP dfp;
+    uint32_t b_short = *b;
+    dfp_prepare_decimal64(&dfp, 0, 0, env);
+    decimal32ToNumber((decimal32 *)&b_short, &dfp.t);
+    decimal64FromNumber((decimal64 *)t, &dfp.t, &dfp.context);
+    dfp_set_FPRF_from_FRT(&dfp);
+}
+
+void helper_dctqpq(CPUPPCState *env, uint64_t *t, uint64_t *b)
+{
+    struct PPC_DFP dfp;
+    dfp_prepare_decimal128(&dfp, 0, 0, env);
+    decimal64ToNumber((decimal64 *)b, &dfp.t);
+
+    dfp_check_for_VXSNAN_and_convert_to_QNaN(&dfp);
+    dfp_set_FPRF_from_FRT(&dfp);
+
+    decimal128FromNumber((decimal128 *)&dfp.t64, &dfp.t, &dfp.context);
+    t[0] = dfp.t64[HI_IDX];
+    t[1] = dfp.t64[LO_IDX];
+}
+
+void helper_drsp(CPUPPCState *env, uint64_t *t, uint64_t *b)
+{
+    struct PPC_DFP dfp;
+    uint32_t t_short = 0;
+    dfp_prepare_decimal64(&dfp, 0, b, env);
+    decimal32FromNumber((decimal32 *)&t_short, &dfp.b, &dfp.context);
+    decimal32ToNumber((decimal32 *)&t_short, &dfp.t);
+
+    dfp_set_FPRF_from_FRT_short(&dfp);
+    dfp_check_for_OX(&dfp);
+    dfp_check_for_UX(&dfp);
+    dfp_check_for_XX(&dfp);
+
+    *t = t_short;
+}
+
+void helper_drdpq(CPUPPCState *env, uint64_t *t, uint64_t *b)
+{
+    struct PPC_DFP dfp;
+    dfp_prepare_decimal128(&dfp, 0, b, env);
+    decimal64FromNumber((decimal64 *)&dfp.t64, &dfp.b, &dfp.context);
+    decimal64ToNumber((decimal64 *)&dfp.t64, &dfp.t);
+
+    dfp_check_for_VXSNAN_and_convert_to_QNaN(&dfp);
+    dfp_set_FPRF_from_FRT_long(&dfp);
+    dfp_check_for_OX(&dfp);
+    dfp_check_for_UX(&dfp);
+    dfp_check_for_XX(&dfp);
+
+    decimal64FromNumber((decimal64 *)dfp.t64, &dfp.t, &dfp.context);
+    t[0] = dfp.t64[0];
+    t[1] = 0;
+}
+
+#define DFP_HELPER_CFFIX(op, size)                                             \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *b)                   \
+{                                                                              \
+    struct PPC_DFP dfp;                                                        \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                                \
+    decNumberFromInt64(&dfp.t, (int64_t)(*b));                                 \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t, &dfp.context); \
+    CFFIX_PPs(&dfp);                                                           \
+                                                                               \
+    if (size == 64) {                                                          \
+        t[0] = dfp.t64[0];                                                     \
+    } else if (size == 128) {                                                  \
+        t[0] = dfp.t64[HI_IDX];                                                \
+        t[1] = dfp.t64[LO_IDX];                                                \
+    }                                                                          \
+}
+
+static void CFFIX_PPs(struct PPC_DFP *dfp)
+{
+    dfp_set_FPRF_from_FRT(dfp);
+    dfp_check_for_XX(dfp);
+}
+
+DFP_HELPER_CFFIX(dcffix, 64)
+DFP_HELPER_CFFIX(dcffixq, 128)
+
+#define DFP_HELPER_CTFIX(op, size)                                            \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *b)                  \
+{                                                                             \
+    struct PPC_DFP dfp;                                                       \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                               \
+                                                                              \
+    if (unlikely(decNumberIsSpecial(&dfp.b))) {                               \
+        uint64_t invalid_flags = FP_VX | FP_VXCVI;                            \
+        if (decNumberIsInfinite(&dfp.b)) {                                    \
+            dfp.t64[0] = decNumberIsNegative(&dfp.b) ? INT64_MIN : INT64_MAX; \
+        } else { /* NaN */                                                    \
+            dfp.t64[0] = INT64_MIN;                                           \
+            if (decNumberIsSNaN(&dfp.b)) {                                    \
+                invalid_flags |= FP_VXSNAN;                                   \
+            }                                                                 \
+        }                                                                     \
+        dfp_set_FPSCR_flag(&dfp, invalid_flags, FP_VE);                       \
+    } else if (unlikely(decNumberIsZero(&dfp.b))) {                           \
+        dfp.t64[0] = 0;                                                       \
+    } else {                                                                  \
+        decNumberToIntegralExact(&dfp.b, &dfp.b, &dfp.context);               \
+        dfp.t64[0] = decNumberIntegralToInt64(&dfp.b, &dfp.context);          \
+        if (decContextTestStatus(&dfp.context, DEC_Invalid_operation)) {      \
+            dfp.t64[0] = decNumberIsNegative(&dfp.b) ? INT64_MIN : INT64_MAX; \
+            dfp_set_FPSCR_flag(&dfp, FP_VX | FP_VXCVI, FP_VE);                \
+        } else {                                                              \
+            dfp_check_for_XX(&dfp);                                           \
+        }                                                                     \
+    }                                                                         \
+                                                                              \
+    *t = dfp.t64[0];                                                          \
+}
+
+DFP_HELPER_CTFIX(dctfix, 64)
+DFP_HELPER_CTFIX(dctfixq, 128)
+
+static inline void dfp_set_bcd_digit_64(uint64_t *t, uint8_t digit,
+                                            unsigned n)
+{
+    *t |= ((uint64_t)(digit & 0xF) << (n << 2));
+}
+
+static inline void dfp_set_bcd_digit_128(uint64_t *t, uint8_t digit,
+                                             unsigned n)
+{
+    t[(n & 0x10) ? HI_IDX : LO_IDX] |=
+        ((uint64_t)(digit & 0xF) << ((n & 15) << 2));
+}
+
+static inline void dfp_set_sign_64(uint64_t *t, uint8_t sgn)
+{
+    *t <<= 4;
+    *t |= (sgn & 0xF);
+}
+
+static inline void dfp_set_sign_128(uint64_t *t, uint8_t sgn)
+{
+    t[HI_IDX] <<= 4;
+    t[HI_IDX] |= (t[LO_IDX] >> 60);
+    t[LO_IDX] <<= 4;
+    t[LO_IDX] |= (sgn & 0xF);
+}
+
+#define DFP_HELPER_DEDPD(op, size)                                        \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *b, uint32_t sp) \
+{                                                                         \
+    struct PPC_DFP dfp;                                                   \
+    uint8_t digits[34];                                                   \
+    int i, N;                                                             \
+                                                                          \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                           \
+                                                                          \
+    decNumberGetBCD(&dfp.b, digits);                                      \
+    dfp.t64[0] = dfp.t64[1] = 0;                                          \
+    N = dfp.b.digits;                                                     \
+                                                                          \
+    for (i = 0; (i < N) && (i < (size)/4); i++) {                         \
+        dfp_set_bcd_digit_##size(dfp.t64, digits[N-i-1], i);              \
+    }                                                                     \
+                                                                          \
+    if (sp & 2) {                                                         \
+        uint8_t sgn;                                                      \
+                                                                          \
+        if (decNumberIsNegative(&dfp.b)) {                                \
+            sgn = 0xD;                                                    \
+        } else {                                                          \
+            sgn = ((sp & 1) ? 0xF : 0xC);                                 \
+        }                                                                 \
+        dfp_set_sign_##size(dfp.t64, sgn);                                \
+    }                                                                     \
+                                                                          \
+    if (size == 64) {                                                     \
+        t[0] = dfp.t64[0];                                                \
+    } else if (size == 128) {                                             \
+        t[0] = dfp.t64[HI_IDX];                                           \
+        t[1] = dfp.t64[LO_IDX];                                           \
+    }                                                                     \
+}
+
+DFP_HELPER_DEDPD(ddedpd, 64)
+DFP_HELPER_DEDPD(ddedpdq, 128)
+
+static inline uint8_t dfp_get_bcd_digit_64(uint64_t *t, unsigned n)
+{
+    return *t >> ((n << 2) & 63) & 15;
+}
+
+static inline uint8_t dfp_get_bcd_digit_128(uint64_t *t, unsigned n)
+{
+    return t[(n & 0x10) ? HI_IDX : LO_IDX] >> ((n << 2) & 63) & 15;
+}
+
+#define DFP_HELPER_ENBCD(op, size)                                           \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *b, uint32_t s)     \
+{                                                                            \
+    struct PPC_DFP dfp;                                                      \
+    uint8_t digits[32];                                                      \
+    int n = 0, offset = 0, sgn = 0, nonzero = 0;                             \
+                                                                             \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                              \
+                                                                             \
+    decNumberZero(&dfp.t);                                                   \
+                                                                             \
+    if (s) {                                                                 \
+        uint8_t sgnNibble = dfp_get_bcd_digit_##size(dfp.b64, offset++);     \
+        switch (sgnNibble) {                                                 \
+        case 0xD:                                                            \
+        case 0xB:                                                            \
+            sgn = 1;                                                         \
+            break;                                                           \
+        case 0xC:                                                            \
+        case 0xF:                                                            \
+        case 0xA:                                                            \
+        case 0xE:                                                            \
+            sgn = 0;                                                         \
+            break;                                                           \
+        default:                                                             \
+            dfp_set_FPSCR_flag(&dfp, FP_VX | FP_VXCVI, FPSCR_VE);            \
+            return;                                                          \
+        }                                                                    \
+        }                                                                    \
+                                                                             \
+    while (offset < (size)/4) {                                              \
+        n++;                                                                 \
+        digits[(size)/4-n] = dfp_get_bcd_digit_##size(dfp.b64, offset++);    \
+        if (digits[(size)/4-n] > 10) {                                       \
+            dfp_set_FPSCR_flag(&dfp, FP_VX | FP_VXCVI, FPSCR_VE);            \
+            return;                                                          \
+        } else {                                                             \
+            nonzero |= (digits[(size)/4-n] > 0);                             \
+        }                                                                    \
+    }                                                                        \
+                                                                             \
+    if (nonzero) {                                                           \
+        decNumberSetBCD(&dfp.t, digits+((size)/4)-n, n);                     \
+    }                                                                        \
+                                                                             \
+    if (s && sgn)  {                                                         \
+        dfp.t.bits |= DECNEG;                                                \
+    }                                                                        \
+    decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t,              \
+                              &dfp.context);                                 \
+    dfp_set_FPRF_from_FRT(&dfp);                                             \
+    if ((size) == 64) {                                                      \
+        t[0] = dfp.t64[0];                                                   \
+    } else if ((size) == 128) {                                              \
+        t[0] = dfp.t64[HI_IDX];                                              \
+        t[1] = dfp.t64[LO_IDX];                                              \
+    }                                                                        \
+}
+
+DFP_HELPER_ENBCD(denbcd, 64)
+DFP_HELPER_ENBCD(denbcdq, 128)
+
+#define DFP_HELPER_XEX(op, size)                               \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *b)   \
+{                                                              \
+    struct PPC_DFP dfp;                                        \
+                                                               \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                \
+                                                               \
+    if (unlikely(decNumberIsSpecial(&dfp.b))) {                \
+        if (decNumberIsInfinite(&dfp.b)) {                     \
+            *t = -1;                                           \
+        } else if (decNumberIsSNaN(&dfp.b)) {                  \
+            *t = -3;                                           \
+        } else if (decNumberIsQNaN(&dfp.b)) {                  \
+            *t = -2;                                           \
+        } else {                                               \
+            assert(0);                                         \
+        }                                                      \
+    } else {                                                   \
+        if ((size) == 64) {                                    \
+            *t = dfp.b.exponent + 398;                         \
+        } else if ((size) == 128) {                            \
+            *t = dfp.b.exponent + 6176;                        \
+        } else {                                               \
+            assert(0);                                         \
+        }                                                      \
+    }                                                          \
+}
+
+DFP_HELPER_XEX(dxex, 64)
+DFP_HELPER_XEX(dxexq, 128)
+
+static void dfp_set_raw_exp_64(uint64_t *t, uint64_t raw)
+{
+    *t &= 0x8003ffffffffffffULL;
+    *t |= (raw << (63-13));
+}
+
+static void dfp_set_raw_exp_128(uint64_t *t, uint64_t raw)
+{
+    t[HI_IDX] &= 0x80003fffffffffffULL;
+    t[HI_IDX] |= (raw << (63-17));
+}
+
+#define DFP_HELPER_IEX(op, size)                                          \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *a, uint64_t *b) \
+{                                                                         \
+    struct PPC_DFP dfp;                                                   \
+    uint64_t raw_qnan, raw_snan, raw_inf, max_exp;                        \
+    int bias;                                                             \
+    int64_t exp = *((int64_t *)a);                                        \
+                                                                          \
+    dfp_prepare_decimal##size(&dfp, 0, b, env);                           \
+                                                                          \
+    if ((size) == 64) {                                                   \
+        max_exp = 767;                                                    \
+        raw_qnan = 0x1F00;                                                \
+        raw_snan = 0x1F80;                                                \
+        raw_inf = 0x1E00;                                                 \
+        bias = 398;                                                       \
+    } else if ((size) == 128) {                                           \
+        max_exp = 12287;                                                  \
+        raw_qnan = 0x1f000;                                               \
+        raw_snan = 0x1f800;                                               \
+        raw_inf = 0x1e000;                                                \
+        bias = 6176;                                                      \
+    } else {                                                              \
+        assert(0);                                                        \
+    }                                                                     \
+                                                                          \
+    if (unlikely((exp < 0) || (exp > max_exp))) {                         \
+        dfp.t64[0] = dfp.b64[0];                                          \
+        dfp.t64[1] = dfp.b64[1];                                          \
+        if (exp == -1) {                                                  \
+            dfp_set_raw_exp_##size(dfp.t64, raw_inf);                     \
+        } else if (exp == -3) {                                           \
+            dfp_set_raw_exp_##size(dfp.t64, raw_snan);                    \
+        } else {                                                          \
+            dfp_set_raw_exp_##size(dfp.t64, raw_qnan);                    \
+        }                                                                 \
+    } else {                                                              \
+        dfp.t = dfp.b;                                                    \
+        if (unlikely(decNumberIsSpecial(&dfp.t))) {                       \
+            dfp.t.bits &= ~DECSPECIAL;                                    \
+        }                                                                 \
+        dfp.t.exponent = exp - bias;                                      \
+        decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t,       \
+                                  &dfp.context);                          \
+    }                                                                     \
+    if (size == 64) {                                                     \
+        t[0] = dfp.t64[0];                                                \
+    } else if (size == 128) {                                             \
+        t[0] = dfp.t64[HI_IDX];                                           \
+        t[1] = dfp.t64[LO_IDX];                                           \
+    }                                                                     \
+}
+
+DFP_HELPER_IEX(diex, 64)
+DFP_HELPER_IEX(diexq, 128)
+
+static void dfp_clear_lmd_from_g5msb(uint64_t *t)
+{
+
+    /* The most significant 5 bits of the PowerPC DFP format combine bits  */
+    /* from the left-most decimal digit (LMD) and the biased exponent.     */
+    /* This  routine clears the LMD bits while preserving the exponent     */
+    /*  bits.  See "Figure 80: Encoding of bits 0:4 of the G field for     */
+    /*  Finite Numbers" in the Power ISA for additional details.           */
+
+    uint64_t g5msb = (*t >> 58) & 0x1F;
+
+    if ((g5msb >> 3) < 3) { /* LMD in [0-7] ? */
+       *t &= ~(7ULL << 58);
+    } else {
+       switch (g5msb & 7) {
+       case 0:
+       case 1:
+           g5msb = 0;
+           break;
+       case 2:
+       case 3:
+           g5msb = 0x8;
+           break;
+       case 4:
+       case 5:
+           g5msb = 0x10;
+           break;
+       case 6:
+           g5msb = 0x1E;
+           break;
+       case 7:
+           g5msb = 0x1F;
+           break;
+       }
+
+        *t &= ~(0x1fULL << 58);
+        *t |= (g5msb << 58);
+    }
+}
+
+#define DFP_HELPER_SHIFT(op, size, shift_left)                      \
+void helper_##op(CPUPPCState *env, uint64_t *t, uint64_t *a,        \
+                 uint32_t sh)                                       \
+{                                                                   \
+    struct PPC_DFP dfp;                                             \
+    unsigned max_digits = ((size) == 64) ? 16 : 34;                 \
+                                                                    \
+    dfp_prepare_decimal##size(&dfp, a, 0, env);                     \
+                                                                    \
+    if (sh <= max_digits) {                                         \
+                                                                    \
+        decNumber shd;                                              \
+        unsigned special = dfp.a.bits & DECSPECIAL;                 \
+                                                                    \
+        if (shift_left) {                                           \
+            decNumberFromUInt32(&shd, sh);                          \
+        } else {                                                    \
+            decNumberFromInt32(&shd, -((int32_t)sh));               \
+        }                                                           \
+                                                                    \
+        dfp.a.bits &= ~DECSPECIAL;                                  \
+        decNumberShift(&dfp.t, &dfp.a, &shd, &dfp.context);         \
+                                                                    \
+        dfp.t.bits |= special;                                      \
+        if (special && (dfp.t.digits >= max_digits)) {              \
+            dfp.t.digits = max_digits - 1;                          \
+        }                                                           \
+                                                                    \
+        decimal##size##FromNumber((decimal##size *)dfp.t64, &dfp.t, \
+                                  &dfp.context);                    \
+    } else {                                                        \
+        if ((size) == 64) {                                         \
+            dfp.t64[0] = dfp.a64[0] & 0xFFFC000000000000ULL;        \
+            dfp_clear_lmd_from_g5msb(dfp.t64);                      \
+        } else {                                                    \
+            dfp.t64[HI_IDX] = dfp.a64[HI_IDX] &                     \
+                              0xFFFFC00000000000ULL;                \
+            dfp_clear_lmd_from_g5msb(dfp.t64 + HI_IDX);             \
+            dfp.t64[LO_IDX] = 0;                                    \
+        }                                                           \
+    }                                                               \
+                                                                    \
+    if ((size) == 64) {                                             \
+        t[0] = dfp.t64[0];                                          \
+    } else {                                                        \
+        t[0] = dfp.t64[HI_IDX];                                     \
+        t[1] = dfp.t64[LO_IDX];                                     \
+    }                                                               \
+}
+
+DFP_HELPER_SHIFT(dscli, 64, 1)
+DFP_HELPER_SHIFT(dscliq, 128, 1)
+DFP_HELPER_SHIFT(dscri, 64, 0)
+DFP_HELPER_SHIFT(dscriq, 128, 0)
index 7dfc52d1598da26fb235cd70f6f975ffe1470002..be7159013f22e6173075948609694294dc86de63 100644 (file)
@@ -399,6 +399,11 @@ static inline void powerpc_excp(PowerPCCPU *cpu, int excp_model, int excp)
             new_msr |= (target_ulong)MSR_HVB;
         }
         goto store_current;
+    case POWERPC_EXCP_FU:         /* Facility unavailable exception          */
+        if (lpes1 == 0) {
+            new_msr |= (target_ulong)MSR_HVB;
+        }
+        goto store_current;
     case POWERPC_EXCP_PIT:       /* Programmable interval timer interrupt    */
         LOG_EXCP("PIT exception\n");
         goto store_next;
@@ -615,8 +620,11 @@ static inline void powerpc_excp(PowerPCCPU *cpu, int excp_model, int excp)
     if (asrr1 != -1) {
         env->spr[asrr1] = env->spr[srr1];
     }
-    /* If we disactivated any translation, flush TLBs */
-    if (msr & ((1 << MSR_IR) | (1 << MSR_DR))) {
+
+    if (env->spr[SPR_LPCR] & LPCR_AIL) {
+        new_msr |= (1 << MSR_IR) | (1 << MSR_DR);
+    } else if (msr & ((1 << MSR_IR) | (1 << MSR_DR))) {
+        /* If we disactivated any translation, flush TLBs */
         tlb_flush(cs, 1);
     }
 
index cd8f015bd733aad6a43431b3810fe1bb5310a28c..da93d1215af8610b5b46749f452f8aa4df1521b1 100644 (file)
@@ -977,7 +977,6 @@ uint64_t helper_fres(CPUPPCState *env, uint64_t arg)
 uint64_t helper_frsqrte(CPUPPCState *env, uint64_t arg)
 {
     CPU_DoubleU farg;
-    float32 f32;
 
     farg.ll = arg;
 
@@ -991,8 +990,6 @@ uint64_t helper_frsqrte(CPUPPCState *env, uint64_t arg)
         }
         farg.d = float64_sqrt(farg.d, &env->fp_status);
         farg.d = float64_div(float64_one, farg.d, &env->fp_status);
-        f32 = float64_to_float32(farg.d, &env->fp_status);
-        farg.d = float32_to_float64(f32, &env->fp_status);
     }
     return farg.ll;
 }
index 1c910902ea483925914b4b99058d2c45fd160532..381a3c7e315d1dffb2ad3574385ac6b51051b1c1 100644 (file)
 #include "qemu-common.h"
 #include "exec/gdbstub.h"
 
+static int ppc_gdb_register_len(int n)
+{
+    switch (n) {
+    case 0 ... 31:
+        /* gprs */
+        return sizeof(target_ulong);
+    case 32 ... 63:
+        /* fprs */
+        if (gdb_has_xml) {
+            return 0;
+        }
+        return 8;
+    case 66:
+        /* cr */
+        return 4;
+    case 64:
+        /* nip */
+    case 65:
+        /* msr */
+    case 67:
+        /* lr */
+    case 68:
+        /* ctr */
+    case 69:
+        /* xer */
+        return sizeof(target_ulong);
+    case 70:
+        /* fpscr */
+        if (gdb_has_xml) {
+            return 0;
+        }
+        return sizeof(target_ulong);
+    default:
+        return 0;
+    }
+}
+
+
+static void ppc_gdb_swap_register(uint8_t *mem_buf, int n, int len)
+{
+    if (len == 4) {
+        bswap32s((uint32_t *)mem_buf);
+    } else if (len == 8) {
+        bswap64s((uint64_t *)mem_buf);
+    } else {
+        g_assert_not_reached();
+    }
+}
+
 /* Old gdb always expects FP registers.  Newer (xml-aware) gdb only
  * expects whatever the target description contains.  Due to a
  * historical mishap the FP registers appear in between core integer
@@ -32,23 +81,26 @@ int ppc_cpu_gdb_read_register(CPUState *cs, uint8_t *mem_buf, int n)
 {
     PowerPCCPU *cpu = POWERPC_CPU(cs);
     CPUPPCState *env = &cpu->env;
+    int r = ppc_gdb_register_len(n);
+
+    if (!r) {
+        return r;
+    }
 
     if (n < 32) {
         /* gprs */
-        return gdb_get_regl(mem_buf, env->gpr[n]);
+        gdb_get_regl(mem_buf, env->gpr[n]);
     } else if (n < 64) {
         /* fprs */
-        if (gdb_has_xml) {
-            return 0;
-        }
         stfq_p(mem_buf, env->fpr[n-32]);
-        return 8;
     } else {
         switch (n) {
         case 64:
-            return gdb_get_regl(mem_buf, env->nip);
+            gdb_get_regl(mem_buf, env->nip);
+            break;
         case 65:
-            return gdb_get_regl(mem_buf, env->msr);
+            gdb_get_regl(mem_buf, env->msr);
+            break;
         case 66:
             {
                 uint32_t cr = 0;
@@ -56,50 +108,57 @@ int ppc_cpu_gdb_read_register(CPUState *cs, uint8_t *mem_buf, int n)
                 for (i = 0; i < 8; i++) {
                     cr |= env->crf[i] << (32 - ((i + 1) * 4));
                 }
-                return gdb_get_reg32(mem_buf, cr);
+                gdb_get_reg32(mem_buf, cr);
+                break;
             }
         case 67:
-            return gdb_get_regl(mem_buf, env->lr);
+            gdb_get_regl(mem_buf, env->lr);
+            break;
         case 68:
-            return gdb_get_regl(mem_buf, env->ctr);
+            gdb_get_regl(mem_buf, env->ctr);
+            break;
         case 69:
-            return gdb_get_regl(mem_buf, env->xer);
+            gdb_get_regl(mem_buf, env->xer);
+            break;
         case 70:
-            {
-                if (gdb_has_xml) {
-                    return 0;
-                }
-                return gdb_get_reg32(mem_buf, env->fpscr);
-            }
+            gdb_get_reg32(mem_buf, env->fpscr);
+            break;
         }
     }
-    return 0;
+    if (msr_le) {
+        /* If cpu is in LE mode, convert memory contents to LE. */
+        ppc_gdb_swap_register(mem_buf, n, r);
+    }
+    return r;
 }
 
 int ppc_cpu_gdb_write_register(CPUState *cs, uint8_t *mem_buf, int n)
 {
     PowerPCCPU *cpu = POWERPC_CPU(cs);
     CPUPPCState *env = &cpu->env;
+    int r = ppc_gdb_register_len(n);
 
+    if (!r) {
+        return r;
+    }
+    if (msr_le) {
+        /* If cpu is in LE mode, convert memory contents to LE. */
+        ppc_gdb_swap_register(mem_buf, n, r);
+    }
     if (n < 32) {
         /* gprs */
         env->gpr[n] = ldtul_p(mem_buf);
-        return sizeof(target_ulong);
     } else if (n < 64) {
         /* fprs */
-        if (gdb_has_xml) {
-            return 0;
-        }
         env->fpr[n-32] = ldfq_p(mem_buf);
-        return 8;
     } else {
         switch (n) {
         case 64:
             env->nip = ldtul_p(mem_buf);
-            return sizeof(target_ulong);
+            break;
         case 65:
             ppc_store_msr(env, ldtul_p(mem_buf));
-            return sizeof(target_ulong);
+            break;
         case 66:
             {
                 uint32_t cr = ldl_p(mem_buf);
@@ -107,25 +166,22 @@ int ppc_cpu_gdb_write_register(CPUState *cs, uint8_t *mem_buf, int n)
                 for (i = 0; i < 8; i++) {
                     env->crf[i] = (cr >> (32 - ((i + 1) * 4))) & 0xF;
                 }
-                return 4;
+                break;
             }
         case 67:
             env->lr = ldtul_p(mem_buf);
-            return sizeof(target_ulong);
+            break;
         case 68:
             env->ctr = ldtul_p(mem_buf);
-            return sizeof(target_ulong);
+            break;
         case 69:
             env->xer = ldtul_p(mem_buf);
-            return sizeof(target_ulong);
+            break;
         case 70:
             /* fpscr */
-            if (gdb_has_xml) {
-                return 0;
-            }
             store_fpscr(env, ldtul_p(mem_buf), 0xffffffff);
-            return sizeof(target_ulong);
+            break;
         }
     }
-    return 0;
+    return r;
 }
index 08f3916e74074dad8da1a9b2f6cd4b76d4ec818f..509eae52ff26d01015fb646e59fb022935e82d01 100644 (file)
@@ -539,7 +539,7 @@ DEF_HELPER_2(booke206_tlbivax, void, env, tl)
 DEF_HELPER_2(booke206_tlbilx0, void, env, tl)
 DEF_HELPER_2(booke206_tlbilx1, void, env, tl)
 DEF_HELPER_2(booke206_tlbilx3, void, env, tl)
-DEF_HELPER_2(booke206_tlbflush, void, env, i32)
+DEF_HELPER_2(booke206_tlbflush, void, env, tl)
 DEF_HELPER_3(booke_setpid, void, env, i32, tl)
 DEF_HELPER_2(6xx_tlbd, void, env, tl)
 DEF_HELPER_2(6xx_tlbi, void, env, tl)
@@ -577,6 +577,8 @@ DEF_HELPER_3(store_dcr, void, env, tl, tl)
 
 DEF_HELPER_2(load_dump_spr, void, env, i32)
 DEF_HELPER_2(store_dump_spr, void, env, i32)
+DEF_HELPER_4(fscr_facility_check, void, env, i32, i32, i32)
+DEF_HELPER_4(msr_facility_check, void, env, i32, i32, i32)
 DEF_HELPER_1(load_tbl, tl, env)
 DEF_HELPER_1(load_tbu, tl, env)
 DEF_HELPER_1(load_atbl, tl, env)
@@ -611,3 +613,58 @@ DEF_HELPER_3(store_dbatu, void, env, i32, tl)
 DEF_HELPER_3(store_601_batl, void, env, i32, tl)
 DEF_HELPER_3(store_601_batu, void, env, i32, tl)
 #endif
+
+#define dh_alias_fprp ptr
+#define dh_ctype_fprp uint64_t *
+#define dh_is_signed_fprp dh_is_signed_ptr
+
+DEF_HELPER_4(dadd, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(daddq, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(dsub, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(dsubq, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(dmul, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(dmulq, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(ddiv, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(ddivq, void, env, fprp, fprp, fprp)
+DEF_HELPER_3(dcmpo, i32, env, fprp, fprp)
+DEF_HELPER_3(dcmpoq, i32, env, fprp, fprp)
+DEF_HELPER_3(dcmpu, i32, env, fprp, fprp)
+DEF_HELPER_3(dcmpuq, i32, env, fprp, fprp)
+DEF_HELPER_3(dtstdc, i32, env, fprp, i32)
+DEF_HELPER_3(dtstdcq, i32, env, fprp, i32)
+DEF_HELPER_3(dtstdg, i32, env, fprp, i32)
+DEF_HELPER_3(dtstdgq, i32, env, fprp, i32)
+DEF_HELPER_3(dtstex, i32, env, fprp, fprp)
+DEF_HELPER_3(dtstexq, i32, env, fprp, fprp)
+DEF_HELPER_3(dtstsf, i32, env, fprp, fprp)
+DEF_HELPER_3(dtstsfq, i32, env, fprp, fprp)
+DEF_HELPER_5(dquai, void, env, fprp, fprp, i32, i32)
+DEF_HELPER_5(dquaiq, void, env, fprp, fprp, i32, i32)
+DEF_HELPER_5(dqua, void, env, fprp, fprp, fprp, i32)
+DEF_HELPER_5(dquaq, void, env, fprp, fprp, fprp, i32)
+DEF_HELPER_5(drrnd, void, env, fprp, fprp, fprp, i32)
+DEF_HELPER_5(drrndq, void, env, fprp, fprp, fprp, i32)
+DEF_HELPER_5(drintx, void, env, fprp, fprp, i32, i32)
+DEF_HELPER_5(drintxq, void, env, fprp, fprp, i32, i32)
+DEF_HELPER_5(drintn, void, env, fprp, fprp, i32, i32)
+DEF_HELPER_5(drintnq, void, env, fprp, fprp, i32, i32)
+DEF_HELPER_3(dctdp, void, env, fprp, fprp)
+DEF_HELPER_3(dctqpq, void, env, fprp, fprp)
+DEF_HELPER_3(drsp, void, env, fprp, fprp)
+DEF_HELPER_3(drdpq, void, env, fprp, fprp)
+DEF_HELPER_3(dcffix, void, env, fprp, fprp)
+DEF_HELPER_3(dcffixq, void, env, fprp, fprp)
+DEF_HELPER_3(dctfix, void, env, fprp, fprp)
+DEF_HELPER_3(dctfixq, void, env, fprp, fprp)
+DEF_HELPER_4(ddedpd, void, env, fprp, fprp, i32)
+DEF_HELPER_4(ddedpdq, void, env, fprp, fprp, i32)
+DEF_HELPER_4(denbcd, void, env, fprp, fprp, i32)
+DEF_HELPER_4(denbcdq, void, env, fprp, fprp, i32)
+DEF_HELPER_3(dxex, void, env, fprp, fprp)
+DEF_HELPER_3(dxexq, void, env, fprp, fprp)
+DEF_HELPER_4(diex, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(diexq, void, env, fprp, fprp, fprp)
+DEF_HELPER_4(dscri, void, env, fprp, fprp, i32)
+DEF_HELPER_4(dscriq, void, env, fprp, fprp, i32)
+DEF_HELPER_4(dscli, void, env, fprp, fprp, i32)
+DEF_HELPER_4(dscliq, void, env, fprp, fprp, i32)
index 588f6a9b957bdb46b025ecbdf7d019e64bcdc598..f6e88467077c633a9ebbe861f087ae1cd7dc1d16 100644 (file)
@@ -19,6 +19,7 @@
 #include "cpu.h"
 #include "qemu/host-utils.h"
 #include "exec/helper-proto.h"
+#include "qemu/aes.h"
 
 #include "helper_regs.h"
 /*****************************************************************************/
@@ -396,9 +397,13 @@ target_ulong helper_602_mfrom(target_ulong arg)
 #if defined(HOST_WORDS_BIGENDIAN)
 #define HI_IDX 0
 #define LO_IDX 1
+#define AVRB(i) u8[i]
+#define AVRW(i) u32[i]
 #else
 #define HI_IDX 1
 #define LO_IDX 0
+#define AVRB(i) u8[15-(i)]
+#define AVRW(i) u32[3-(i)]
 #endif
 
 #if defined(HOST_WORDS_BIGENDIAN)
@@ -2338,284 +2343,63 @@ uint32_t helper_bcdsub(ppc_avr_t *r,  ppc_avr_t *a, ppc_avr_t *b, uint32_t ps)
     return helper_bcdadd(r, a, &bcopy, ps);
 }
 
-static uint8_t SBOX[256] = {
-0x63, 0x7C, 0x77, 0x7B, 0xF2, 0x6B, 0x6F, 0xC5,
-0x30, 0x01, 0x67, 0x2B, 0xFE, 0xD7, 0xAB, 0x76,
-0xCA, 0x82, 0xC9, 0x7D, 0xFA, 0x59, 0x47, 0xF0,
-0xAD, 0xD4, 0xA2, 0xAF, 0x9C, 0xA4, 0x72, 0xC0,
-0xB7, 0xFD, 0x93, 0x26, 0x36, 0x3F, 0xF7, 0xCC,
-0x34, 0xA5, 0xE5, 0xF1, 0x71, 0xD8, 0x31, 0x15,
-0x04, 0xC7, 0x23, 0xC3, 0x18, 0x96, 0x05, 0x9A,
-0x07, 0x12, 0x80, 0xE2, 0xEB, 0x27, 0xB2, 0x75,
-0x09, 0x83, 0x2C, 0x1A, 0x1B, 0x6E, 0x5A, 0xA0,
-0x52, 0x3B, 0xD6, 0xB3, 0x29, 0xE3, 0x2F, 0x84,
-0x53, 0xD1, 0x00, 0xED, 0x20, 0xFC, 0xB1, 0x5B,
-0x6A, 0xCB, 0xBE, 0x39, 0x4A, 0x4C, 0x58, 0xCF,
-0xD0, 0xEF, 0xAA, 0xFB, 0x43, 0x4D, 0x33, 0x85,
-0x45, 0xF9, 0x02, 0x7F, 0x50, 0x3C, 0x9F, 0xA8,
-0x51, 0xA3, 0x40, 0x8F, 0x92, 0x9D, 0x38, 0xF5,
-0xBC, 0xB6, 0xDA, 0x21, 0x10, 0xFF, 0xF3, 0xD2,
-0xCD, 0x0C, 0x13, 0xEC, 0x5F, 0x97, 0x44, 0x17,
-0xC4, 0xA7, 0x7E, 0x3D, 0x64, 0x5D, 0x19, 0x73,
-0x60, 0x81, 0x4F, 0xDC, 0x22, 0x2A, 0x90, 0x88,
-0x46, 0xEE, 0xB8, 0x14, 0xDE, 0x5E, 0x0B, 0xDB,
-0xE0, 0x32, 0x3A, 0x0A, 0x49, 0x06, 0x24, 0x5C,
-0xC2, 0xD3, 0xAC, 0x62, 0x91, 0x95, 0xE4, 0x79,
-0xE7, 0xC8, 0x37, 0x6D, 0x8D, 0xD5, 0x4E, 0xA9,
-0x6C, 0x56, 0xF4, 0xEA, 0x65, 0x7A, 0xAE, 0x08,
-0xBA, 0x78, 0x25, 0x2E, 0x1C, 0xA6, 0xB4, 0xC6,
-0xE8, 0xDD, 0x74, 0x1F, 0x4B, 0xBD, 0x8B, 0x8A,
-0x70, 0x3E, 0xB5, 0x66, 0x48, 0x03, 0xF6, 0x0E,
-0x61, 0x35, 0x57, 0xB9, 0x86, 0xC1, 0x1D, 0x9E,
-0xE1, 0xF8, 0x98, 0x11, 0x69, 0xD9, 0x8E, 0x94,
-0x9B, 0x1E, 0x87, 0xE9, 0xCE, 0x55, 0x28, 0xDF,
-0x8C, 0xA1, 0x89, 0x0D, 0xBF, 0xE6, 0x42, 0x68,
-0x41, 0x99, 0x2D, 0x0F, 0xB0, 0x54, 0xBB, 0x16,
-};
-
-static void SubBytes(ppc_avr_t *r, ppc_avr_t *a)
-{
-    int i;
-    VECTOR_FOR_INORDER_I(i, u8) {
-        r->u8[i] = SBOX[a->u8[i]];
-    }
-}
-
-static uint8_t InvSBOX[256] = {
-0x52, 0x09, 0x6A, 0xD5, 0x30, 0x36, 0xA5, 0x38,
-0xBF, 0x40, 0xA3, 0x9E, 0x81, 0xF3, 0xD7, 0xFB,
-0x7C, 0xE3, 0x39, 0x82, 0x9B, 0x2F, 0xFF, 0x87,
-0x34, 0x8E, 0x43, 0x44, 0xC4, 0xDE, 0xE9, 0xCB,
-0x54, 0x7B, 0x94, 0x32, 0xA6, 0xC2, 0x23, 0x3D,
-0xEE, 0x4C, 0x95, 0x0B, 0x42, 0xFA, 0xC3, 0x4E,
-0x08, 0x2E, 0xA1, 0x66, 0x28, 0xD9, 0x24, 0xB2,
-0x76, 0x5B, 0xA2, 0x49, 0x6D, 0x8B, 0xD1, 0x25,
-0x72, 0xF8, 0xF6, 0x64, 0x86, 0x68, 0x98, 0x16,
-0xD4, 0xA4, 0x5C, 0xCC, 0x5D, 0x65, 0xB6, 0x92,
-0x6C, 0x70, 0x48, 0x50, 0xFD, 0xED, 0xB9, 0xDA,
-0x5E, 0x15, 0x46, 0x57, 0xA7, 0x8D, 0x9D, 0x84,
-0x90, 0xD8, 0xAB, 0x00, 0x8C, 0xBC, 0xD3, 0x0A,
-0xF7, 0xE4, 0x58, 0x05, 0xB8, 0xB3, 0x45, 0x06,
-0xD0, 0x2C, 0x1E, 0x8F, 0xCA, 0x3F, 0x0F, 0x02,
-0xC1, 0xAF, 0xBD, 0x03, 0x01, 0x13, 0x8A, 0x6B,
-0x3A, 0x91, 0x11, 0x41, 0x4F, 0x67, 0xDC, 0xEA,
-0x97, 0xF2, 0xCF, 0xCE, 0xF0, 0xB4, 0xE6, 0x73,
-0x96, 0xAC, 0x74, 0x22, 0xE7, 0xAD, 0x35, 0x85,
-0xE2, 0xF9, 0x37, 0xE8, 0x1C, 0x75, 0xDF, 0x6E,
-0x47, 0xF1, 0x1A, 0x71, 0x1D, 0x29, 0xC5, 0x89,
-0x6F, 0xB7, 0x62, 0x0E, 0xAA, 0x18, 0xBE, 0x1B,
-0xFC, 0x56, 0x3E, 0x4B, 0xC6, 0xD2, 0x79, 0x20,
-0x9A, 0xDB, 0xC0, 0xFE, 0x78, 0xCD, 0x5A, 0xF4,
-0x1F, 0xDD, 0xA8, 0x33, 0x88, 0x07, 0xC7, 0x31,
-0xB1, 0x12, 0x10, 0x59, 0x27, 0x80, 0xEC, 0x5F,
-0x60, 0x51, 0x7F, 0xA9, 0x19, 0xB5, 0x4A, 0x0D,
-0x2D, 0xE5, 0x7A, 0x9F, 0x93, 0xC9, 0x9C, 0xEF,
-0xA0, 0xE0, 0x3B, 0x4D, 0xAE, 0x2A, 0xF5, 0xB0,
-0xC8, 0xEB, 0xBB, 0x3C, 0x83, 0x53, 0x99, 0x61,
-0x17, 0x2B, 0x04, 0x7E, 0xBA, 0x77, 0xD6, 0x26,
-0xE1, 0x69, 0x14, 0x63, 0x55, 0x21, 0x0C, 0x7D,
-};
-
-static void InvSubBytes(ppc_avr_t *r, ppc_avr_t *a)
+void helper_vsbox(ppc_avr_t *r, ppc_avr_t *a)
 {
     int i;
     VECTOR_FOR_INORDER_I(i, u8) {
-        r->u8[i] = InvSBOX[a->u8[i]];
+        r->u8[i] = AES_sbox[a->u8[i]];
     }
 }
 
-static uint8_t ROTL8(uint8_t x, int n)
-{
-    return (x << n) | (x >> (8-n));
-}
-
-static inline int BIT8(uint8_t x, int n)
-{
-    return (x & (0x80 >> n)) != 0;
-}
-
-static uint8_t GFx02(uint8_t x)
-{
-    return ROTL8(x, 1) ^ (BIT8(x, 0) ? 0x1A : 0);
-}
-
-static uint8_t GFx03(uint8_t x)
-{
-    return x ^ ROTL8(x, 1) ^ (BIT8(x, 0) ? 0x1A : 0);
-}
-
-static uint8_t GFx09(uint8_t x)
-{
-    uint8_t term2 = ROTL8(x, 3);
-    uint8_t term3 = (BIT8(x, 0) ? 0x68 : 0) | (BIT8(x, 1) ? 0x14 : 0) |
-                    (BIT8(x, 2) ? 0x02 : 0);
-    uint8_t term4 = (BIT8(x, 1) ? 0x20 : 0) | (BIT8(x, 2) ? 0x18 : 0);
-    return x ^ term2 ^ term3 ^ term4;
-}
-
-static uint8_t GFx0B(uint8_t x)
-{
-    uint8_t term2 = ROTL8(x, 1);
-    uint8_t term3 = (x << 3) | (BIT8(x, 0) ? 0x06 : 0) |
-                    (BIT8(x, 2) ? 0x01 : 0);
-    uint8_t term4 = (BIT8(x, 0) ? 0x70 : 0) | (BIT8(x, 1) ? 0x06 : 0) |
-                    (BIT8(x, 2) ? 0x08 : 0);
-    uint8_t term5 = (BIT8(x, 1) ? 0x30 : 0) | (BIT8(x, 2) ? 0x02 : 0);
-    uint8_t term6 = BIT8(x, 2) ? 0x10 : 0;
-    return x ^ term2 ^ term3 ^ term4 ^ term5 ^ term6;
-}
-
-static uint8_t GFx0D(uint8_t x)
-{
-    uint8_t term2 = ROTL8(x, 2);
-    uint8_t term3 = (x << 3) | (BIT8(x, 1) ? 0x04 : 0) |
-                    (BIT8(x, 2) ? 0x03 : 0);
-    uint8_t term4 = (BIT8(x, 0) ? 0x58 : 0) | (BIT8(x, 1) ? 0x20 : 0);
-    uint8_t term5 = (BIT8(x, 1) ? 0x08 : 0) | (BIT8(x, 2) ? 0x10 : 0);
-    uint8_t term6 = BIT8(x, 2) ? 0x08 : 0;
-    return x ^ term2 ^ term3 ^ term4 ^ term5 ^ term6;
-}
-
-static uint8_t GFx0E(uint8_t x)
-{
-    uint8_t term1 = ROTL8(x, 1);
-    uint8_t term2 = (x << 2) | (BIT8(x, 2) ? 0x02 : 0) |
-                    (BIT8(x, 1) ? 0x01 : 0);
-    uint8_t term3 = (x << 3) | (BIT8(x, 1) ? 0x04 : 0) |
-                    (BIT8(x, 2) ? 0x01 : 0);
-    uint8_t term4 = (BIT8(x, 0) ? 0x40 : 0) | (BIT8(x, 1) ? 0x28 : 0) |
-                    (BIT8(x, 2) ? 0x10 : 0);
-    uint8_t term5 = (BIT8(x, 2) ? 0x08 : 0);
-    return term1 ^ term2 ^ term3 ^ term4 ^ term5;
-}
-
-#if defined(HOST_WORDS_BIGENDIAN)
-#define MCB(x, i, b) ((x)->u8[(i)*4 + (b)])
-#else
-#define MCB(x, i, b) ((x)->u8[15 - ((i)*4 + (b))])
-#endif
-
-static void MixColumns(ppc_avr_t *r, ppc_avr_t *x)
+void helper_vcipher(ppc_avr_t *r, ppc_avr_t *a, ppc_avr_t *b)
 {
     int i;
-    for (i = 0; i < 4; i++) {
-        MCB(r, i, 0) = GFx02(MCB(x, i, 0)) ^ GFx03(MCB(x, i, 1)) ^
-                       MCB(x, i, 2) ^ MCB(x, i, 3);
-        MCB(r, i, 1) = MCB(x, i, 0) ^ GFx02(MCB(x, i, 1)) ^
-                       GFx03(MCB(x, i, 2)) ^ MCB(x, i, 3);
-        MCB(r, i, 2) = MCB(x, i, 0) ^ MCB(x, i, 1) ^
-                       GFx02(MCB(x, i, 2)) ^ GFx03(MCB(x, i, 3));
-        MCB(r, i, 3) = GFx03(MCB(x, i, 0)) ^ MCB(x, i, 1) ^
-                       MCB(x, i, 2) ^ GFx02(MCB(x, i, 3));
-    }
-}
 
-static void InvMixColumns(ppc_avr_t *r, ppc_avr_t *x)
-{
-    int i;
-    for (i = 0; i < 4; i++) {
-        MCB(r, i, 0) = GFx0E(MCB(x, i, 0)) ^ GFx0B(MCB(x, i, 1)) ^
-                       GFx0D(MCB(x, i, 2)) ^ GFx09(MCB(x, i, 3));
-        MCB(r, i, 1) = GFx09(MCB(x, i, 0)) ^ GFx0E(MCB(x, i, 1)) ^
-                       GFx0B(MCB(x, i, 2)) ^ GFx0D(MCB(x, i, 3));
-        MCB(r, i, 2) = GFx0D(MCB(x, i, 0)) ^ GFx09(MCB(x, i, 1)) ^
-                       GFx0E(MCB(x, i, 2)) ^ GFx0B(MCB(x, i, 3));
-        MCB(r, i, 3) = GFx0B(MCB(x, i, 0)) ^ GFx0D(MCB(x, i, 1)) ^
-                       GFx09(MCB(x, i, 2)) ^ GFx0E(MCB(x, i, 3));
+    VECTOR_FOR_INORDER_I(i, u32) {
+        r->AVRW(i) = b->AVRW(i) ^
+            (AES_Te0[a->AVRB(AES_shifts[4*i + 0])] ^
+             AES_Te1[a->AVRB(AES_shifts[4*i + 1])] ^
+             AES_Te2[a->AVRB(AES_shifts[4*i + 2])] ^
+             AES_Te3[a->AVRB(AES_shifts[4*i + 3])]);
     }
 }
 
-static void ShiftRows(ppc_avr_t *r, ppc_avr_t *x)
-{
-    MCB(r, 0, 0) = MCB(x, 0, 0);
-    MCB(r, 1, 0) = MCB(x, 1, 0);
-    MCB(r, 2, 0) = MCB(x, 2, 0);
-    MCB(r, 3, 0) = MCB(x, 3, 0);
-
-    MCB(r, 0, 1) = MCB(x, 1, 1);
-    MCB(r, 1, 1) = MCB(x, 2, 1);
-    MCB(r, 2, 1) = MCB(x, 3, 1);
-    MCB(r, 3, 1) = MCB(x, 0, 1);
-
-    MCB(r, 0, 2) = MCB(x, 2, 2);
-    MCB(r, 1, 2) = MCB(x, 3, 2);
-    MCB(r, 2, 2) = MCB(x, 0, 2);
-    MCB(r, 3, 2) = MCB(x, 1, 2);
-
-    MCB(r, 0, 3) = MCB(x, 3, 3);
-    MCB(r, 1, 3) = MCB(x, 0, 3);
-    MCB(r, 2, 3) = MCB(x, 1, 3);
-    MCB(r, 3, 3) = MCB(x, 2, 3);
-}
-
-static void InvShiftRows(ppc_avr_t *r, ppc_avr_t *x)
-{
-    MCB(r, 0, 0) = MCB(x, 0, 0);
-    MCB(r, 1, 0) = MCB(x, 1, 0);
-    MCB(r, 2, 0) = MCB(x, 2, 0);
-    MCB(r, 3, 0) = MCB(x, 3, 0);
-
-    MCB(r, 0, 1) = MCB(x, 3, 1);
-    MCB(r, 1, 1) = MCB(x, 0, 1);
-    MCB(r, 2, 1) = MCB(x, 1, 1);
-    MCB(r, 3, 1) = MCB(x, 2, 1);
-
-    MCB(r, 0, 2) = MCB(x, 2, 2);
-    MCB(r, 1, 2) = MCB(x, 3, 2);
-    MCB(r, 2, 2) = MCB(x, 0, 2);
-    MCB(r, 3, 2) = MCB(x, 1, 2);
-
-    MCB(r, 0, 3) = MCB(x, 1, 3);
-    MCB(r, 1, 3) = MCB(x, 2, 3);
-    MCB(r, 2, 3) = MCB(x, 3, 3);
-    MCB(r, 3, 3) = MCB(x, 0, 3);
-}
-
-#undef MCB
-
-void helper_vsbox(ppc_avr_t *r, ppc_avr_t *a)
-{
-    SubBytes(r, a);
-}
-
-void helper_vcipher(ppc_avr_t *r, ppc_avr_t *a, ppc_avr_t *b)
-{
-    ppc_avr_t vtemp1, vtemp2, vtemp3;
-    SubBytes(&vtemp1, a);
-    ShiftRows(&vtemp2, &vtemp1);
-    MixColumns(&vtemp3, &vtemp2);
-    r->u64[0] = vtemp3.u64[0] ^ b->u64[0];
-    r->u64[1] = vtemp3.u64[1] ^ b->u64[1];
-}
-
 void helper_vcipherlast(ppc_avr_t *r, ppc_avr_t *a, ppc_avr_t *b)
 {
-    ppc_avr_t vtemp1, vtemp2;
-    SubBytes(&vtemp1, a);
-    ShiftRows(&vtemp2, &vtemp1);
-    r->u64[0] = vtemp2.u64[0] ^ b->u64[0];
-    r->u64[1] = vtemp2.u64[1] ^ b->u64[1];
+    int i;
+
+    VECTOR_FOR_INORDER_I(i, u8) {
+        r->AVRB(i) = b->AVRB(i) ^ (AES_Te4[a->AVRB(AES_shifts[i])] & 0xFF);
+    }
 }
 
 void helper_vncipher(ppc_avr_t *r, ppc_avr_t *a, ppc_avr_t *b)
 {
     /* This differs from what is written in ISA V2.07.  The RTL is */
     /* incorrect and will be fixed in V2.07B.                      */
-    ppc_avr_t vtemp1, vtemp2, vtemp3;
-    InvShiftRows(&vtemp1, a);
-    InvSubBytes(&vtemp2, &vtemp1);
-    vtemp3.u64[0] = vtemp2.u64[0] ^ b->u64[0];
-    vtemp3.u64[1] = vtemp2.u64[1] ^ b->u64[1];
-    InvMixColumns(r, &vtemp3);
+    int i;
+    ppc_avr_t tmp;
+
+    VECTOR_FOR_INORDER_I(i, u8) {
+        tmp.AVRB(i) = b->AVRB(i) ^ AES_isbox[a->AVRB(AES_ishifts[i])];
+    }
+
+    VECTOR_FOR_INORDER_I(i, u32) {
+        r->AVRW(i) =
+            AES_imc[tmp.AVRB(4*i + 0)][0] ^
+            AES_imc[tmp.AVRB(4*i + 1)][1] ^
+            AES_imc[tmp.AVRB(4*i + 2)][2] ^
+            AES_imc[tmp.AVRB(4*i + 3)][3];
+    }
 }
 
 void helper_vncipherlast(ppc_avr_t *r, ppc_avr_t *a, ppc_avr_t *b)
 {
-    ppc_avr_t vtemp1, vtemp2;
-    InvShiftRows(&vtemp1, a);
-    InvSubBytes(&vtemp2, &vtemp1);
-    r->u64[0] = vtemp2.u64[0] ^ b->u64[0];
-    r->u64[1] = vtemp2.u64[1] ^ b->u64[1];
+    int i;
+
+    VECTOR_FOR_INORDER_I(i, u8) {
+        r->AVRB(i) = b->AVRB(i) ^ (AES_Td4[a->AVRB(AES_ishifts[i])] & 0xFF);
+    }
 }
 
 #define ROTRu32(v, n) (((v) >> (n)) | ((v) << (32-n)))
index 8ff1777dcb20ffffcd0f912b06d14b31725ff293..561f8ccf2f3827596e2f7f8270533c6245409308 100644 (file)
@@ -35,6 +35,7 @@
 #include "hw/sysbus.h"
 #include "hw/ppc/spapr.h"
 #include "hw/ppc/spapr_vio.h"
+#include "hw/ppc/ppc.h"
 #include "sysemu/watchdog.h"
 #include "trace.h"
 
@@ -61,12 +62,14 @@ static int cap_booke_sregs;
 static int cap_ppc_smt;
 static int cap_ppc_rma;
 static int cap_spapr_tce;
+static int cap_spapr_multitce;
 static int cap_hior;
 static int cap_one_reg;
 static int cap_epr;
 static int cap_ppc_watchdog;
 static int cap_papr;
 static int cap_htab_fd;
+static int cap_fixup_hcalls;
 
 /* XXX We have a race condition where we actually have a level triggered
  *     interrupt, but the infrastructure can't expose that yet, so the guest
@@ -97,6 +100,7 @@ int kvm_arch_init(KVMState *s)
     cap_ppc_smt = kvm_check_extension(s, KVM_CAP_PPC_SMT);
     cap_ppc_rma = kvm_check_extension(s, KVM_CAP_PPC_RMA);
     cap_spapr_tce = kvm_check_extension(s, KVM_CAP_SPAPR_TCE);
+    cap_spapr_multitce = kvm_check_extension(s, KVM_CAP_SPAPR_MULTITCE);
     cap_one_reg = kvm_check_extension(s, KVM_CAP_ONE_REG);
     cap_hior = kvm_check_extension(s, KVM_CAP_PPC_HIOR);
     cap_epr = kvm_check_extension(s, KVM_CAP_PPC_EPR);
@@ -104,6 +108,7 @@ int kvm_arch_init(KVMState *s)
     /* Note: we don't set cap_papr here, because this capability is
      * only activated after this by kvmppc_set_papr() */
     cap_htab_fd = kvm_check_extension(s, KVM_CAP_PPC_HTAB_FD);
+    cap_fixup_hcalls = kvm_check_extension(s, KVM_CAP_PPC_FIXUP_HCALL);
 
     if (!cap_interrupt_level) {
         fprintf(stderr, "KVM: Couldn't find level irq capability. Expect the "
@@ -356,6 +361,10 @@ static void kvm_fixup_page_sizes(PowerPCCPU *cpu)
     /* Convert to QEMU form */
     memset(&env->sps, 0, sizeof(env->sps));
 
+    /*
+     * XXX This loop should be an entry wide AND of the capabilities that
+     *     the selected CPU has with the capabilities that KVM supports.
+     */
     for (ik = iq = 0; ik < KVM_PPC_PAGE_SIZES_MAX_SZ; ik++) {
         struct ppc_one_seg_page_size *qsps = &env->sps.sps[iq];
         struct kvm_ppc_one_seg_page_size *ksps = &smmu_info.sps[ik];
@@ -382,9 +391,7 @@ static void kvm_fixup_page_sizes(PowerPCCPU *cpu)
         }
     }
     env->slb_nr = smmu_info.slb_size;
-    if (smmu_info.flags & KVM_PPC_1T_SEGMENTS) {
-        env->mmu_model |= POWERPC_MMU_1TSEG;
-    } else {
+    if (!(smmu_info.flags & KVM_PPC_1T_SEGMENTS)) {
         env->mmu_model &= ~POWERPC_MMU_1TSEG;
     }
 }
@@ -858,11 +865,32 @@ int kvm_arch_put_registers(CPUState *cs, int level)
         }
 
 #ifdef TARGET_PPC64
+        if (msr_ts) {
+            for (i = 0; i < ARRAY_SIZE(env->tm_gpr); i++) {
+                kvm_set_one_reg(cs, KVM_REG_PPC_TM_GPR(i), &env->tm_gpr[i]);
+            }
+            for (i = 0; i < ARRAY_SIZE(env->tm_vsr); i++) {
+                kvm_set_one_reg(cs, KVM_REG_PPC_TM_VSR(i), &env->tm_vsr[i]);
+            }
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_CR, &env->tm_cr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_LR, &env->tm_lr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_CTR, &env->tm_ctr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_FPSCR, &env->tm_fpscr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_AMR, &env->tm_amr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_PPR, &env->tm_ppr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_VRSAVE, &env->tm_vrsave);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_VSCR, &env->tm_vscr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_DSCR, &env->tm_dscr);
+            kvm_set_one_reg(cs, KVM_REG_PPC_TM_TAR, &env->tm_tar);
+        }
+
         if (cap_papr) {
             if (kvm_put_vpa(cs) < 0) {
                 DPRINTF("Warning: Unable to set VPA information to KVM\n");
             }
         }
+
+        kvm_set_one_reg(cs, KVM_REG_PPC_TB_OFFSET, &env->tb_env->tb_offset);
 #endif /* TARGET_PPC64 */
     }
 
@@ -1082,11 +1110,32 @@ int kvm_arch_get_registers(CPUState *cs)
         }
 
 #ifdef TARGET_PPC64
+        if (msr_ts) {
+            for (i = 0; i < ARRAY_SIZE(env->tm_gpr); i++) {
+                kvm_get_one_reg(cs, KVM_REG_PPC_TM_GPR(i), &env->tm_gpr[i]);
+            }
+            for (i = 0; i < ARRAY_SIZE(env->tm_vsr); i++) {
+                kvm_get_one_reg(cs, KVM_REG_PPC_TM_VSR(i), &env->tm_vsr[i]);
+            }
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_CR, &env->tm_cr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_LR, &env->tm_lr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_CTR, &env->tm_ctr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_FPSCR, &env->tm_fpscr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_AMR, &env->tm_amr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_PPR, &env->tm_ppr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_VRSAVE, &env->tm_vrsave);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_VSCR, &env->tm_vscr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_DSCR, &env->tm_dscr);
+            kvm_get_one_reg(cs, KVM_REG_PPC_TM_TAR, &env->tm_tar);
+        }
+
         if (cap_papr) {
             if (kvm_get_vpa(cs) < 0) {
                 DPRINTF("Warning: Unable to get VPA information from KVM\n");
             }
         }
+
+        kvm_get_one_reg(cs, KVM_REG_PPC_TB_OFFSET, &env->tb_env->tb_offset);
 #endif
     }
 
@@ -1476,18 +1525,18 @@ int kvmppc_get_hypercall(CPUPPCState *env, uint8_t *buf, int buf_len)
     }
 
     /*
-     * Fallback to always fail hypercalls:
+     * Fallback to always fail hypercalls regardless of endianness:
      *
+     *     tdi 0,r0,72 (becomes b .+8 in wrong endian, nop in good endian)
      *     li r3, -1
-     *     nop
-     *     nop
-     *     nop
+     *     b .+8       (becomes nop in wrong endian)
+     *     bswap32(li r3, -1)
      */
 
-    hc[0] = 0x3860ffff;
-    hc[1] = 0x60000000;
-    hc[2] = 0x60000000;
-    hc[3] = 0x60000000;
+    hc[0] = cpu_to_be32(0x08000048);
+    hc[1] = cpu_to_be32(0x3860ffff);
+    hc[2] = cpu_to_be32(0x48000008);
+    hc[3] = cpu_to_be32(bswap32(0x3860ffff));
 
     return 0;
 }
@@ -1507,6 +1556,11 @@ void kvmppc_set_papr(PowerPCCPU *cpu)
     cap_papr = 1;
 }
 
+int kvmppc_set_compat(PowerPCCPU *cpu, uint32_t cpu_version)
+{
+    return kvm_set_one_reg(CPU(cpu), KVM_REG_PPC_ARCH_COMPAT, &cpu_version);
+}
+
 void kvmppc_set_mpic_proxy(PowerPCCPU *cpu, int mpic_proxy)
 {
     CPUState *cs = CPU(cpu);
@@ -1601,6 +1655,11 @@ uint64_t kvmppc_rma_size(uint64_t current_size, unsigned int hash_shift)
 }
 #endif
 
+bool kvmppc_spapr_use_multitce(void)
+{
+    return cap_spapr_multitce;
+}
+
 void *kvmppc_create_spapr_tce(uint32_t liobn, uint32_t window_size, int *pfd)
 {
     struct kvm_create_spapr_tce args = {
@@ -1641,7 +1700,7 @@ void *kvmppc_create_spapr_tce(uint32_t liobn, uint32_t window_size, int *pfd)
     return table;
 }
 
-int kvmppc_remove_spapr_tce(void *table, int fd, uint32_t window_size)
+int kvmppc_remove_spapr_tce(void *table, int fd, uint32_t nb_table)
 {
     long len;
 
@@ -1649,7 +1708,7 @@ int kvmppc_remove_spapr_tce(void *table, int fd, uint32_t window_size)
         return -1;
     }
 
-    len = (window_size / SPAPR_TCE_PAGE_SIZE)*sizeof(uint64_t);
+    len = nb_table * sizeof(uint64_t);
     if ((munmap(table, len) < 0) ||
         (close(fd) < 0)) {
         fprintf(stderr, "KVM: Unexpected error removing TCE table: %s",
@@ -1761,6 +1820,23 @@ bool kvmppc_has_cap_htab_fd(void)
     return cap_htab_fd;
 }
 
+bool kvmppc_has_cap_fixup_hcalls(void)
+{
+    return cap_fixup_hcalls;
+}
+
+static PowerPCCPUClass *ppc_cpu_get_family_class(PowerPCCPUClass *pcc)
+{
+    ObjectClass *oc = OBJECT_CLASS(pcc);
+
+    while (oc && !object_class_is_abstract(oc)) {
+        oc = object_class_get_parent(oc);
+    }
+    assert(oc);
+
+    return POWERPC_CPU_CLASS(oc);
+}
+
 static int kvm_ppc_register_host_cpu_type(void)
 {
     TypeInfo type_info = {
@@ -1770,6 +1846,7 @@ static int kvm_ppc_register_host_cpu_type(void)
     };
     uint32_t host_pvr = mfpvr();
     PowerPCCPUClass *pvr_pcc;
+    DeviceClass *dc;
 
     pvr_pcc = ppc_cpu_class_by_pvr(host_pvr);
     if (pvr_pcc == NULL) {
@@ -1780,6 +1857,14 @@ static int kvm_ppc_register_host_cpu_type(void)
     }
     type_info.parent = object_class_get_name(OBJECT_CLASS(pvr_pcc));
     type_register(&type_info);
+
+    /* Register generic family CPU class for a family */
+    pvr_pcc = ppc_cpu_get_family_class(pvr_pcc);
+    dc = DEVICE_CLASS(pvr_pcc);
+    type_info.parent = object_class_get_name(OBJECT_CLASS(pvr_pcc));
+    type_info.name = g_strdup_printf("%s-"TYPE_POWERPC_CPU, dc->desc);
+    type_register(&type_info);
+
     return 0;
 }
 
index ff077ec5022abd83e49fb74ef969323ef919a7fb..412cc7f3c11819360a9963fb1f718aee90b0d8f0 100644 (file)
@@ -23,6 +23,7 @@ int kvmppc_get_hasidle(CPUPPCState *env);
 int kvmppc_get_hypercall(CPUPPCState *env, uint8_t *buf, int buf_len);
 int kvmppc_set_interrupt(PowerPCCPU *cpu, int irq, int level);
 void kvmppc_set_papr(PowerPCCPU *cpu);
+int kvmppc_set_compat(PowerPCCPU *cpu, uint32_t cpu_version);
 void kvmppc_set_mpic_proxy(PowerPCCPU *cpu, int mpic_proxy);
 int kvmppc_smt_threads(void);
 int kvmppc_clear_tsr_bits(PowerPCCPU *cpu, uint32_t tsr_bits);
@@ -31,6 +32,7 @@ int kvmppc_set_tcr(PowerPCCPU *cpu);
 int kvmppc_booke_watchdog_enable(PowerPCCPU *cpu);
 #ifndef CONFIG_USER_ONLY
 off_t kvmppc_alloc_rma(const char *name, MemoryRegion *sysmem);
+bool kvmppc_spapr_use_multitce(void);
 void *kvmppc_create_spapr_tce(uint32_t liobn, uint32_t window_size, int *pfd);
 int kvmppc_remove_spapr_tce(void *table, int pfd, uint32_t window_size);
 int kvmppc_reset_htab(int shift_hint);
@@ -48,6 +50,7 @@ void kvmppc_hash64_free_pteg(uint64_t token);
 
 void kvmppc_hash64_write_pte(CPUPPCState *env, target_ulong pte_index,
                              target_ulong pte0, target_ulong pte1);
+bool kvmppc_has_cap_fixup_hcalls(void);
 
 #else
 
@@ -95,6 +98,11 @@ static inline void kvmppc_set_papr(PowerPCCPU *cpu)
 {
 }
 
+static inline int kvmppc_set_compat(PowerPCCPU *cpu, uint32_t cpu_version)
+{
+    return 0;
+}
+
 static inline void kvmppc_set_mpic_proxy(PowerPCCPU *cpu, int mpic_proxy)
 {
 }
@@ -130,6 +138,11 @@ static inline off_t kvmppc_alloc_rma(const char *name, MemoryRegion *sysmem)
     return 0;
 }
 
+static inline bool kvmppc_spapr_use_multitce(void)
+{
+    return false;
+}
+
 static inline void *kvmppc_create_spapr_tce(uint32_t liobn,
                                             uint32_t window_size, int *fd)
 {
@@ -137,7 +150,7 @@ static inline void *kvmppc_create_spapr_tce(uint32_t liobn,
 }
 
 static inline int kvmppc_remove_spapr_tce(void *table, int pfd,
-                                          uint32_t window_size)
+                                          uint32_t nb_table)
 {
     return -1;
 }
@@ -211,6 +224,11 @@ static inline void kvmppc_hash64_write_pte(CPUPPCState *env,
     abort();
 }
 
+static inline bool kvmppc_has_cap_fixup_hcalls(void)
+{
+    abort();
+}
+
 #endif
 
 #ifndef CONFIG_KVM
index d7807f88e6f7faf3b1179fb6a14cf4edce77164d..c801b822c905c752b109627f95a1d9080fb2c8b7 100644 (file)
@@ -160,6 +160,11 @@ static int cpu_post_load(void *opaque, int version_id)
     CPUPPCState *env = &cpu->env;
     int i;
 
+    /*
+     * We always ignore the source PVR. The user or management
+     * software has to take care of running QEMU in a compatible mode.
+     */
+    env->spr[SPR_PVR] = env->spr_cb[SPR_PVR].default_value;
     env->lr = env->spr[SPR_LR];
     env->ctr = env->spr[SPR_CTR];
     env->xer = env->spr[SPR_XER];
@@ -244,6 +249,38 @@ static const VMStateDescription vmstate_vsx = {
     },
 };
 
+#ifdef TARGET_PPC64
+/* Transactional memory state */
+static bool tm_needed(void *opaque)
+{
+    PowerPCCPU *cpu = opaque;
+    CPUPPCState *env = &cpu->env;
+    return msr_ts;
+}
+
+static const VMStateDescription vmstate_tm = {
+    .name = "cpu/tm",
+    .version_id = 1,
+    .minimum_version_id = 1,
+    .minimum_version_id_old = 1,
+    .fields      = (VMStateField []) {
+        VMSTATE_UINTTL_ARRAY(env.tm_gpr, PowerPCCPU, 32),
+        VMSTATE_AVR_ARRAY(env.tm_vsr, PowerPCCPU, 64),
+        VMSTATE_UINT64(env.tm_cr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_lr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_ctr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_fpscr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_amr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_ppr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_vrsave, PowerPCCPU),
+        VMSTATE_UINT32(env.tm_vscr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_dscr, PowerPCCPU),
+        VMSTATE_UINT64(env.tm_tar, PowerPCCPU),
+        VMSTATE_END_OF_LIST()
+    },
+};
+#endif
+
 static bool sr_needed(void *opaque)
 {
 #ifdef TARGET_PPC64
@@ -459,8 +496,7 @@ const VMStateDescription vmstate_ppc_cpu = {
     .pre_save = cpu_pre_save,
     .post_load = cpu_post_load,
     .fields = (VMStateField[]) {
-        /* Verify we haven't changed the pvr */
-        VMSTATE_UINTTL_EQUAL(env.spr[SPR_PVR], PowerPCCPU),
+        VMSTATE_UNUSED(sizeof(target_ulong)), /* was _EQUAL(env.spr[SPR_PVR]) */
 
         /* User mode architected state */
         VMSTATE_UINTTL_ARRAY(env.gpr, PowerPCCPU, 32),
@@ -506,6 +542,9 @@ const VMStateDescription vmstate_ppc_cpu = {
             .needed = sr_needed,
         } , {
 #ifdef TARGET_PPC64
+            .vmsd = &vmstate_tm,
+            .needed = tm_needed,
+        } , {
             .vmsd = &vmstate_slb,
             .needed = slb_needed,
         } , {
index 02b627e47b08a6642f198c9df83a25d41ff54258..50344b81cf438f830ff08f69ce411fdbcc555e2a 100644 (file)
 
 //#define DEBUG_OP
 
+static inline bool needs_byteswap(const CPUPPCState *env)
+{
+#if defined(TARGET_WORDS_BIGENDIAN)
+  return msr_le;
+#else
+  return !msr_le;
+#endif
+}
+
 /*****************************************************************************/
 /* Memory load and stores */
 
@@ -44,7 +53,7 @@ static inline target_ulong addr_add(CPUPPCState *env, target_ulong addr,
 void helper_lmw(CPUPPCState *env, target_ulong addr, uint32_t reg)
 {
     for (; reg < 32; reg++) {
-        if (msr_le) {
+        if (needs_byteswap(env)) {
             env->gpr[reg] = bswap32(cpu_ldl_data(env, addr));
         } else {
             env->gpr[reg] = cpu_ldl_data(env, addr);
@@ -56,7 +65,7 @@ void helper_lmw(CPUPPCState *env, target_ulong addr, uint32_t reg)
 void helper_stmw(CPUPPCState *env, target_ulong addr, uint32_t reg)
 {
     for (; reg < 32; reg++) {
-        if (msr_le) {
+        if (needs_byteswap(env)) {
             cpu_stl_data(env, addr, bswap32((uint32_t)env->gpr[reg]));
         } else {
             cpu_stl_data(env, addr, (uint32_t)env->gpr[reg]);
@@ -199,6 +208,11 @@ target_ulong helper_lscbx(CPUPPCState *env, target_ulong addr, uint32_t reg,
 #define LO_IDX 0
 #endif
 
+/* We use msr_le to determine index ordering in a vector.  However,
+   byteswapping is not simply controlled by msr_le.  We also need to take
+   into account endianness of the target.  This is done for the little-endian
+   PPC64 user-mode target. */
+
 #define LVE(name, access, swap, element)                        \
     void helper_##name(CPUPPCState *env, ppc_avr_t *r,          \
                        target_ulong addr)                       \
@@ -207,9 +221,11 @@ target_ulong helper_lscbx(CPUPPCState *env, target_ulong addr, uint32_t reg,
         int adjust = HI_IDX*(n_elems - 1);                      \
         int sh = sizeof(r->element[0]) >> 1;                    \
         int index = (addr & 0xf) >> sh;                         \
-                                                                \
         if (msr_le) {                                           \
             index = n_elems - index - 1;                        \
+        }                                                       \
+                                                                \
+        if (needs_byteswap(env)) {                              \
             r->element[LO_IDX ? index : (adjust - index)] =     \
                 swap(access(env, addr));                        \
         } else {                                                \
@@ -232,9 +248,11 @@ LVE(lvewx, cpu_ldl_data, bswap32, u32)
         int adjust = HI_IDX * (n_elems - 1);                            \
         int sh = sizeof(r->element[0]) >> 1;                            \
         int index = (addr & 0xf) >> sh;                                 \
-                                                                        \
         if (msr_le) {                                                   \
             index = n_elems - index - 1;                                \
+        }                                                               \
+                                                                        \
+        if (needs_byteswap(env)) {                                      \
             access(env, addr, swap(r->element[LO_IDX ? index :          \
                                               (adjust - index)]));      \
         } else {                                                        \
index 7331b1b240412fb3f67f7bf77d65ce6a32465ddd..a577b3afd1dae91dcacea851267acc3e59321da2 100644 (file)
@@ -34,6 +34,45 @@ void helper_store_dump_spr(CPUPPCState *env, uint32_t sprn)
     qemu_log("Write SPR %d %03x <= " TARGET_FMT_lx "\n", sprn, sprn,
              env->spr[sprn]);
 }
+
+#ifdef TARGET_PPC64
+static void raise_fu_exception(CPUPPCState *env, uint32_t bit,
+                               uint32_t sprn, uint32_t cause)
+{
+    qemu_log("Facility SPR %d is unavailable (SPR FSCR:%d)\n", sprn, bit);
+
+    env->spr[SPR_FSCR] &= ~((target_ulong)FSCR_IC_MASK << FSCR_IC_POS);
+    cause &= FSCR_IC_MASK;
+    env->spr[SPR_FSCR] |= (target_ulong)cause << FSCR_IC_POS;
+
+    helper_raise_exception_err(env, POWERPC_EXCP_FU, 0);
+}
+#endif
+
+void helper_fscr_facility_check(CPUPPCState *env, uint32_t bit,
+                                uint32_t sprn, uint32_t cause)
+{
+#ifdef TARGET_PPC64
+    if (env->spr[SPR_FSCR] & (1ULL << bit)) {
+        /* Facility is enabled, continue */
+        return;
+    }
+    raise_fu_exception(env, bit, sprn, cause);
+#endif
+}
+
+void helper_msr_facility_check(CPUPPCState *env, uint32_t bit,
+                               uint32_t sprn, uint32_t cause)
+{
+#ifdef TARGET_PPC64
+    if (env->msr & (1ULL << bit)) {
+        /* Facility is enabled, continue */
+        return;
+    }
+    raise_fu_exception(env, bit, sprn, cause);
+#endif
+}
+
 #if !defined(CONFIG_USER_ONLY)
 
 void helper_store_sdr1(CPUPPCState *env, target_ulong val)
index f029f41965a83d7b0aa3f08a74877cb5060c91de..4d6b1e20c053f6b79c4c9712ddaae322ccb73c28 100644 (file)
@@ -903,6 +903,11 @@ static int ppcmas_tlb_check(CPUPPCState *env, ppcmas_tlb_t *tlb,
     target_ulong mask;
     uint32_t tlb_pid;
 
+    if (!msr_cm) {
+        /* In 32bit mode we can only address 32bit EAs */
+        address = (uint32_t)address;
+    }
+
     /* Check valid flag */
     if (!(tlb->mas1 & MAS1_VALID)) {
         return -1;
@@ -2886,7 +2891,7 @@ void helper_booke206_tlbilx3(CPUPPCState *env, target_ulong address)
     tlb_flush(CPU(cpu), 1);
 }
 
-void helper_booke206_tlbflush(CPUPPCState *env, uint32_t type)
+void helper_booke206_tlbflush(CPUPPCState *env, target_ulong type)
 {
     int flags = 0;
 
index f08901470b11453160d749885d5a396a063d6625..48017219a4ac25594b160ea85bee5fa1cb598067 100644 (file)
 /* global register indexes */
 static TCGv_ptr cpu_env;
 static char cpu_reg_names[10*3 + 22*4 /* GPR */
-#if !defined(TARGET_PPC64)
     + 10*4 + 22*5 /* SPE GPRh */
-#endif
     + 10*4 + 22*5 /* FPR */
     + 2*(10*6 + 22*7) /* AVRh, AVRl */
     + 10*5 + 22*6 /* VSR */
     + 8*5 /* CRF */];
 static TCGv cpu_gpr[32];
-#if !defined(TARGET_PPC64)
 static TCGv cpu_gprh[32];
-#endif
 static TCGv_i64 cpu_fpr[32];
 static TCGv_i64 cpu_avrh[32], cpu_avrl[32];
 static TCGv_i64 cpu_vsr[32];
@@ -104,13 +100,11 @@ void ppc_translate_init(void)
                                         offsetof(CPUPPCState, gpr[i]), p);
         p += (i < 10) ? 3 : 4;
         cpu_reg_names_size -= (i < 10) ? 3 : 4;
-#if !defined(TARGET_PPC64)
         snprintf(p, cpu_reg_names_size, "r%dH", i);
-        cpu_gprh[i] = tcg_global_mem_new_i32(TCG_AREG0,
-                                             offsetof(CPUPPCState, gprh[i]), p);
+        cpu_gprh[i] = tcg_global_mem_new(TCG_AREG0,
+                                         offsetof(CPUPPCState, gprh[i]), p);
         p += (i < 10) ? 4 : 5;
         cpu_reg_names_size -= (i < 10) ? 4 : 5;
-#endif
 
         snprintf(p, cpu_reg_names_size, "fp%d", i);
         cpu_fpr[i] = tcg_global_mem_new_i64(TCG_AREG0,
@@ -196,6 +190,7 @@ typedef struct DisasContext {
     int access_type;
     /* Translation flags */
     int le_mode;
+    TCGMemOp default_tcg_memop_mask;
 #if defined(TARGET_PPC64)
     int sf_mode;
     int has_cfar;
@@ -210,6 +205,16 @@ typedef struct DisasContext {
     uint64_t insns_flags2;
 } DisasContext;
 
+/* Return true iff byteswap is needed in a scalar memop */
+static inline bool need_byteswap(const DisasContext *ctx)
+{
+#if defined(TARGET_WORDS_BIGENDIAN)
+     return ctx->le_mode;
+#else
+     return !ctx->le_mode;
+#endif
+}
+
 /* True when active word size < size of target_long.  */
 #ifdef TARGET_PPC64
 # define NARROW_MODE(C)  (!(C)->sf_mode)
@@ -279,6 +284,13 @@ static inline void gen_update_nip(DisasContext *ctx, target_ulong nip)
     tcg_gen_movi_tl(cpu_nip, nip);
 }
 
+void gen_update_current_nip(void *opaque)
+{
+    DisasContext *ctx = opaque;
+
+    tcg_gen_movi_tl(cpu_nip, ctx->nip);
+}
+
 static inline void gen_exception_err(DisasContext *ctx, uint32_t excp, uint32_t error)
 {
     TCGv_i32 t0, t1;
@@ -467,6 +479,12 @@ EXTRACT_HELPER(AA, 1, 1);
 /* Link */
 EXTRACT_HELPER(LK, 0, 1);
 
+/* DFP Z22-form */
+EXTRACT_HELPER(DCM, 10, 6)
+
+/* DFP Z23-form */
+EXTRACT_HELPER(RMC, 9, 2)
+
 /* Create a mask between <start> and <end> bits */
 static inline target_ulong MASK(uint32_t start, uint32_t end)
 {
@@ -503,6 +521,7 @@ EXTRACT_HELPER_SPLIT(xC, 3, 1,  6, 5);
 EXTRACT_HELPER(DM, 8, 2);
 EXTRACT_HELPER(UIM, 16, 2);
 EXTRACT_HELPER(SHW, 8, 2);
+EXTRACT_HELPER(SP, 19, 2);
 /*****************************************************************************/
 /* PowerPC instructions table                                                */
 
@@ -1217,6 +1236,7 @@ static inline void gen_op_arith_subf(DisasContext *ctx, TCGv ret, TCGv arg1,
             }
             tcg_gen_xor_tl(t1, arg2, inv1);         /* add without carry */
             tcg_gen_add_tl(t0, t0, inv1);
+            tcg_temp_free(inv1);
             tcg_gen_xor_tl(cpu_ca, t0, t1);         /* bits changes w/ carry */
             tcg_temp_free(t1);
             tcg_gen_shri_tl(cpu_ca, cpu_ca, 32);    /* extract bit 32 */
@@ -2652,29 +2672,20 @@ static inline void gen_qemu_ld8s(DisasContext *ctx, TCGv arg1, TCGv arg2)
 
 static inline void gen_qemu_ld16u(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    tcg_gen_qemu_ld16u(arg1, arg2, ctx->mem_idx);
-    if (unlikely(ctx->le_mode)) {
-        tcg_gen_bswap16_tl(arg1, arg1);
-    }
+    TCGMemOp op = MO_UW | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_ld_tl(arg1, arg2, ctx->mem_idx, op);
 }
 
 static inline void gen_qemu_ld16s(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    if (unlikely(ctx->le_mode)) {
-        tcg_gen_qemu_ld16u(arg1, arg2, ctx->mem_idx);
-        tcg_gen_bswap16_tl(arg1, arg1);
-        tcg_gen_ext16s_tl(arg1, arg1);
-    } else {
-        tcg_gen_qemu_ld16s(arg1, arg2, ctx->mem_idx);
-    }
+    TCGMemOp op = MO_SW | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_ld_tl(arg1, arg2, ctx->mem_idx, op);
 }
 
 static inline void gen_qemu_ld32u(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    tcg_gen_qemu_ld32u(arg1, arg2, ctx->mem_idx);
-    if (unlikely(ctx->le_mode)) {
-        tcg_gen_bswap32_tl(arg1, arg1);
-    }
+    TCGMemOp op = MO_UL | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_ld_tl(arg1, arg2, ctx->mem_idx, op);
 }
 
 static void gen_qemu_ld32u_i64(DisasContext *ctx, TCGv_i64 val, TCGv addr)
@@ -2687,12 +2698,8 @@ static void gen_qemu_ld32u_i64(DisasContext *ctx, TCGv_i64 val, TCGv addr)
 
 static inline void gen_qemu_ld32s(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    if (unlikely(ctx->le_mode)) {
-        tcg_gen_qemu_ld32u(arg1, arg2, ctx->mem_idx);
-        tcg_gen_bswap32_tl(arg1, arg1);
-        tcg_gen_ext32s_tl(arg1, arg1);
-    } else
-        tcg_gen_qemu_ld32s(arg1, arg2, ctx->mem_idx);
+    TCGMemOp op = MO_SL | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_ld_tl(arg1, arg2, ctx->mem_idx, op);
 }
 
 static void gen_qemu_ld32s_i64(DisasContext *ctx, TCGv_i64 val, TCGv addr)
@@ -2705,10 +2712,8 @@ static void gen_qemu_ld32s_i64(DisasContext *ctx, TCGv_i64 val, TCGv addr)
 
 static inline void gen_qemu_ld64(DisasContext *ctx, TCGv_i64 arg1, TCGv arg2)
 {
-    tcg_gen_qemu_ld64(arg1, arg2, ctx->mem_idx);
-    if (unlikely(ctx->le_mode)) {
-        tcg_gen_bswap64_i64(arg1, arg1);
-    }
+    TCGMemOp op = MO_Q | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_ld_i64(arg1, arg2, ctx->mem_idx, op);
 }
 
 static inline void gen_qemu_st8(DisasContext *ctx, TCGv arg1, TCGv arg2)
@@ -2718,28 +2723,14 @@ static inline void gen_qemu_st8(DisasContext *ctx, TCGv arg1, TCGv arg2)
 
 static inline void gen_qemu_st16(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    if (unlikely(ctx->le_mode)) {
-        TCGv t0 = tcg_temp_new();
-        tcg_gen_ext16u_tl(t0, arg1);
-        tcg_gen_bswap16_tl(t0, t0);
-        tcg_gen_qemu_st16(t0, arg2, ctx->mem_idx);
-        tcg_temp_free(t0);
-    } else {
-        tcg_gen_qemu_st16(arg1, arg2, ctx->mem_idx);
-    }
+    TCGMemOp op = MO_UW | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_st_tl(arg1, arg2, ctx->mem_idx, op);
 }
 
 static inline void gen_qemu_st32(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    if (unlikely(ctx->le_mode)) {
-        TCGv t0 = tcg_temp_new();
-        tcg_gen_ext32u_tl(t0, arg1);
-        tcg_gen_bswap32_tl(t0, t0);
-        tcg_gen_qemu_st32(t0, arg2, ctx->mem_idx);
-        tcg_temp_free(t0);
-    } else {
-        tcg_gen_qemu_st32(arg1, arg2, ctx->mem_idx);
-    }
+    TCGMemOp op = MO_UL | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_st_tl(arg1, arg2, ctx->mem_idx, op);
 }
 
 static void gen_qemu_st32_i64(DisasContext *ctx, TCGv_i64 val, TCGv addr)
@@ -2752,13 +2743,8 @@ static void gen_qemu_st32_i64(DisasContext *ctx, TCGv_i64 val, TCGv addr)
 
 static inline void gen_qemu_st64(DisasContext *ctx, TCGv_i64 arg1, TCGv arg2)
 {
-    if (unlikely(ctx->le_mode)) {
-        TCGv_i64 t0 = tcg_temp_new_i64();
-        tcg_gen_bswap64_i64(t0, arg1);
-        tcg_gen_qemu_st64(t0, arg2, ctx->mem_idx);
-        tcg_temp_free_i64(t0);
-    } else
-        tcg_gen_qemu_st64(arg1, arg2, ctx->mem_idx);
+    TCGMemOp op = MO_Q | ctx->default_tcg_memop_mask;
+    tcg_gen_qemu_st_i64(arg1, arg2, ctx->mem_idx, op);
 }
 
 #define GEN_LD(name, ldop, opc, type)                                         \
@@ -2902,6 +2888,8 @@ static void gen_lq(DisasContext *ctx)
     EA = tcg_temp_new();
     gen_addr_imm_index(ctx, EA, 0x0F);
 
+    /* We only need to swap high and low halves. gen_qemu_ld64 does necessary
+       64-bit byteswap already. */
     if (unlikely(ctx->le_mode)) {
         gen_qemu_ld64(ctx, cpu_gpr[rd+1], EA);
         gen_addr_add(ctx, EA, EA, 8);
@@ -3020,6 +3008,8 @@ static void gen_std(DisasContext *ctx)
         EA = tcg_temp_new();
         gen_addr_imm_index(ctx, EA, 0x03);
 
+        /* We only need to swap high and low halves. gen_qemu_st64 does
+           necessary 64-bit byteswap already. */
         if (unlikely(ctx->le_mode)) {
             gen_qemu_st64(ctx, cpu_gpr[rs+1], EA);
             gen_addr_add(ctx, EA, EA, 8);
@@ -3049,23 +3039,20 @@ static void gen_std(DisasContext *ctx)
 }
 #endif
 /***                Integer load and store with byte reverse               ***/
+
 /* lhbrx */
 static inline void gen_qemu_ld16ur(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    tcg_gen_qemu_ld16u(arg1, arg2, ctx->mem_idx);
-    if (likely(!ctx->le_mode)) {
-        tcg_gen_bswap16_tl(arg1, arg1);
-    }
+    TCGMemOp op = MO_UW | (ctx->default_tcg_memop_mask ^ MO_BSWAP);
+    tcg_gen_qemu_ld_tl(arg1, arg2, ctx->mem_idx, op);
 }
 GEN_LDX(lhbr, ld16ur, 0x16, 0x18, PPC_INTEGER);
 
 /* lwbrx */
 static inline void gen_qemu_ld32ur(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    tcg_gen_qemu_ld32u(arg1, arg2, ctx->mem_idx);
-    if (likely(!ctx->le_mode)) {
-        tcg_gen_bswap32_tl(arg1, arg1);
-    }
+    TCGMemOp op = MO_UL | (ctx->default_tcg_memop_mask ^ MO_BSWAP);
+    tcg_gen_qemu_ld_tl(arg1, arg2, ctx->mem_idx, op);
 }
 GEN_LDX(lwbr, ld32ur, 0x16, 0x10, PPC_INTEGER);
 
@@ -3073,10 +3060,8 @@ GEN_LDX(lwbr, ld32ur, 0x16, 0x10, PPC_INTEGER);
 /* ldbrx */
 static inline void gen_qemu_ld64ur(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    tcg_gen_qemu_ld64(arg1, arg2, ctx->mem_idx);
-    if (likely(!ctx->le_mode)) {
-        tcg_gen_bswap64_tl(arg1, arg1);
-    }
+    TCGMemOp op = MO_Q | (ctx->default_tcg_memop_mask ^ MO_BSWAP);
+    tcg_gen_qemu_ld_i64(arg1, arg2, ctx->mem_idx, op);
 }
 GEN_LDX_E(ldbr, ld64ur, 0x14, 0x10, PPC_NONE, PPC2_DBRX);
 #endif  /* TARGET_PPC64 */
@@ -3084,30 +3069,16 @@ GEN_LDX_E(ldbr, ld64ur, 0x14, 0x10, PPC_NONE, PPC2_DBRX);
 /* sthbrx */
 static inline void gen_qemu_st16r(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    if (likely(!ctx->le_mode)) {
-        TCGv t0 = tcg_temp_new();
-        tcg_gen_ext16u_tl(t0, arg1);
-        tcg_gen_bswap16_tl(t0, t0);
-        tcg_gen_qemu_st16(t0, arg2, ctx->mem_idx);
-        tcg_temp_free(t0);
-    } else {
-        tcg_gen_qemu_st16(arg1, arg2, ctx->mem_idx);
-    }
+    TCGMemOp op = MO_UW | (ctx->default_tcg_memop_mask ^ MO_BSWAP);
+    tcg_gen_qemu_st_tl(arg1, arg2, ctx->mem_idx, op);
 }
 GEN_STX(sthbr, st16r, 0x16, 0x1C, PPC_INTEGER);
 
 /* stwbrx */
 static inline void gen_qemu_st32r(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    if (likely(!ctx->le_mode)) {
-        TCGv t0 = tcg_temp_new();
-        tcg_gen_ext32u_tl(t0, arg1);
-        tcg_gen_bswap32_tl(t0, t0);
-        tcg_gen_qemu_st32(t0, arg2, ctx->mem_idx);
-        tcg_temp_free(t0);
-    } else {
-        tcg_gen_qemu_st32(arg1, arg2, ctx->mem_idx);
-    }
+    TCGMemOp op = MO_UL | (ctx->default_tcg_memop_mask ^ MO_BSWAP);
+    tcg_gen_qemu_st_tl(arg1, arg2, ctx->mem_idx, op);
 }
 GEN_STX(stwbr, st32r, 0x16, 0x14, PPC_INTEGER);
 
@@ -3115,14 +3086,8 @@ GEN_STX(stwbr, st32r, 0x16, 0x14, PPC_INTEGER);
 /* stdbrx */
 static inline void gen_qemu_st64r(DisasContext *ctx, TCGv arg1, TCGv arg2)
 {
-    if (likely(!ctx->le_mode)) {
-        TCGv t0 = tcg_temp_new();
-        tcg_gen_bswap64_tl(t0, arg1);
-        tcg_gen_qemu_st64(t0, arg2, ctx->mem_idx);
-        tcg_temp_free(t0);
-    } else {
-        tcg_gen_qemu_st64(arg1, arg2, ctx->mem_idx);
-    }
+    TCGMemOp op = MO_Q | (ctx->default_tcg_memop_mask ^ MO_BSWAP);
+    tcg_gen_qemu_st_i64(arg1, arg2, ctx->mem_idx, op);
 }
 GEN_STX_E(stdbr, st64r, 0x14, 0x14, PPC_NONE, PPC2_DBRX);
 #endif  /* TARGET_PPC64 */
@@ -3542,7 +3507,9 @@ static void gen_lfdp(DisasContext *ctx)
     }
     gen_set_access_type(ctx, ACCESS_FLOAT);
     EA = tcg_temp_new();
-    gen_addr_imm_index(ctx, EA, 0);                                           \
+    gen_addr_imm_index(ctx, EA, 0);
+    /* We only need to swap high and low halves. gen_qemu_ld64 does necessary
+       64-bit byteswap already. */
     if (unlikely(ctx->le_mode)) {
         gen_qemu_ld64(ctx, cpu_fpr[rD(ctx->opcode) + 1], EA);
         tcg_gen_addi_tl(EA, EA, 8);
@@ -3566,6 +3533,8 @@ static void gen_lfdpx(DisasContext *ctx)
     gen_set_access_type(ctx, ACCESS_FLOAT);
     EA = tcg_temp_new();
     gen_addr_reg_index(ctx, EA);
+    /* We only need to swap high and low halves. gen_qemu_ld64 does necessary
+       64-bit byteswap already. */
     if (unlikely(ctx->le_mode)) {
         gen_qemu_ld64(ctx, cpu_fpr[rD(ctx->opcode) + 1], EA);
         tcg_gen_addi_tl(EA, EA, 8);
@@ -3714,7 +3683,9 @@ static void gen_stfdp(DisasContext *ctx)
     }
     gen_set_access_type(ctx, ACCESS_FLOAT);
     EA = tcg_temp_new();
-    gen_addr_imm_index(ctx, EA, 0);                                           \
+    gen_addr_imm_index(ctx, EA, 0);
+    /* We only need to swap high and low halves. gen_qemu_st64 does necessary
+       64-bit byteswap already. */
     if (unlikely(ctx->le_mode)) {
         gen_qemu_st64(ctx, cpu_fpr[rD(ctx->opcode) + 1], EA);
         tcg_gen_addi_tl(EA, EA, 8);
@@ -3738,6 +3709,8 @@ static void gen_stfdpx(DisasContext *ctx)
     gen_set_access_type(ctx, ACCESS_FLOAT);
     EA = tcg_temp_new();
     gen_addr_reg_index(ctx, EA);
+    /* We only need to swap high and low halves. gen_qemu_st64 does necessary
+       64-bit byteswap already. */
     if (unlikely(ctx->le_mode)) {
         gen_qemu_st64(ctx, cpu_fpr[rD(ctx->opcode) + 1], EA);
         tcg_gen_addi_tl(EA, EA, 8);
@@ -3913,6 +3886,9 @@ static inline void gen_bcond(DisasContext *ctx, int type)
         gen_update_nip(ctx, ctx->nip);
         tcg_gen_exit_tb(0);
     }
+    if (type == BCOND_LR || type == BCOND_CTR || type == BCOND_TAR) {
+        tcg_temp_free(target);
+    }
 }
 
 static void gen_bc(DisasContext *ctx)
@@ -4360,6 +4336,7 @@ static void gen_mtmsr(DisasContext *ctx)
         tcg_gen_mov_tl(msr, cpu_gpr[rS(ctx->opcode)]);
 #endif
         gen_helper_store_msr(cpu_env, msr);
+        tcg_temp_free(msr);
         /* Must stop the translation as machine state (may have) changed */
         /* Note that mtmsr is not always defined as context-synchronizing */
         gen_stop_exception(ctx);
@@ -4469,6 +4446,17 @@ static void gen_dcbtst(DisasContext *ctx)
      */
 }
 
+/* dcbtls */
+static void gen_dcbtls(DisasContext *ctx)
+{
+    /* Always fails locking the cache */
+    TCGv t0 = tcg_temp_new();
+    gen_load_spr(t0, SPR_Exxx_L1CSR0);
+    tcg_gen_ori_tl(t0, t0, L1CSR0_CUL);
+    gen_store_spr(SPR_Exxx_L1CSR0, t0);
+    tcg_temp_free(t0);
+}
+
 /* dcbz */
 static void gen_dcbz(DisasContext *ctx)
 {
@@ -6494,6 +6482,7 @@ static void gen_tlbsx_booke206(DisasContext *ctx)
 
     tcg_gen_add_tl(t0, t0, cpu_gpr[rB(ctx->opcode)]);
     gen_helper_booke206_tlbsx(cpu_env, t0);
+    tcg_temp_free(t0);
 #endif
 }
 
@@ -6527,6 +6516,7 @@ static void gen_tlbivax_booke206(DisasContext *ctx)
     gen_addr_reg_index(ctx, t0);
 
     gen_helper_booke206_tlbivax(cpu_env, t0);
+    tcg_temp_free(t0);
 #endif
 }
 
@@ -6691,6 +6681,8 @@ static void glue(gen_, name)(DisasContext *ctx)
     EA = tcg_temp_new();                                                      \
     gen_addr_reg_index(ctx, EA);                                              \
     tcg_gen_andi_tl(EA, EA, ~0xf);                                            \
+    /* We only need to swap high and low halves. gen_qemu_ld64 does necessary \
+       64-bit byteswap already. */                                            \
     if (ctx->le_mode) {                                                       \
         gen_qemu_ld64(ctx, cpu_avrl[rD(ctx->opcode)], EA);                    \
         tcg_gen_addi_tl(EA, EA, 8);                                           \
@@ -6715,6 +6707,8 @@ static void gen_st##name(DisasContext *ctx)                                   \
     EA = tcg_temp_new();                                                      \
     gen_addr_reg_index(ctx, EA);                                              \
     tcg_gen_andi_tl(EA, EA, ~0xf);                                            \
+    /* We only need to swap high and low halves. gen_qemu_st64 does necessary \
+       64-bit byteswap already. */                                            \
     if (ctx->le_mode) {                                                       \
         gen_qemu_st64(ctx, cpu_avrl[rD(ctx->opcode)], EA);                    \
         tcg_gen_addi_tl(EA, EA, 8);                                           \
@@ -8180,6 +8174,225 @@ static void gen_xxsldwi(DisasContext *ctx)
     tcg_temp_free_i64(xtl);
 }
 
+/*** Decimal Floating Point ***/
+
+static inline TCGv_ptr gen_fprp_ptr(int reg)
+{
+    TCGv_ptr r = tcg_temp_new_ptr();
+    tcg_gen_addi_ptr(r, cpu_env, offsetof(CPUPPCState, fpr[reg]));
+    return r;
+}
+
+#if defined(TARGET_PPC64)
+static void gen_set_cr6_from_fpscr(DisasContext *ctx)
+{
+    TCGv_i32 tmp = tcg_temp_new_i32();
+    tcg_gen_trunc_tl_i32(tmp, cpu_fpscr);
+    tcg_gen_shri_i32(cpu_crf[1], tmp, 28);
+    tcg_temp_free_i32(tmp);
+}
+#else
+static void gen_set_cr6_from_fpscr(DisasContext *ctx)
+{
+        tcg_gen_shri_tl(cpu_crf[1], cpu_fpscr, 28);
+}
+#endif
+
+#define GEN_DFP_T_A_B_Rc(name)                   \
+static void gen_##name(DisasContext *ctx)        \
+{                                                \
+    TCGv_ptr rd, ra, rb;                         \
+    if (unlikely(!ctx->fpu_enabled)) {           \
+        gen_exception(ctx, POWERPC_EXCP_FPU);    \
+        return;                                  \
+    }                                            \
+    gen_update_nip(ctx, ctx->nip - 4);           \
+    rd = gen_fprp_ptr(rD(ctx->opcode));          \
+    ra = gen_fprp_ptr(rA(ctx->opcode));          \
+    rb = gen_fprp_ptr(rB(ctx->opcode));          \
+    gen_helper_##name(cpu_env, rd, ra, rb);      \
+    if (unlikely(Rc(ctx->opcode) != 0)) {        \
+        gen_set_cr6_from_fpscr(ctx);             \
+    }                                            \
+    tcg_temp_free_ptr(rd);                       \
+    tcg_temp_free_ptr(ra);                       \
+    tcg_temp_free_ptr(rb);                       \
+}
+
+#define GEN_DFP_BF_A_B(name)                      \
+static void gen_##name(DisasContext *ctx)         \
+{                                                 \
+    TCGv_ptr ra, rb;                              \
+    if (unlikely(!ctx->fpu_enabled)) {            \
+        gen_exception(ctx, POWERPC_EXCP_FPU);     \
+        return;                                   \
+    }                                             \
+    gen_update_nip(ctx, ctx->nip - 4);            \
+    ra = gen_fprp_ptr(rA(ctx->opcode));           \
+    rb = gen_fprp_ptr(rB(ctx->opcode));           \
+    gen_helper_##name(cpu_crf[crfD(ctx->opcode)], \
+                      cpu_env, ra, rb);           \
+    tcg_temp_free_ptr(ra);                        \
+    tcg_temp_free_ptr(rb);                        \
+}
+
+#define GEN_DFP_BF_A_DCM(name)                    \
+static void gen_##name(DisasContext *ctx)         \
+{                                                 \
+    TCGv_ptr ra;                                  \
+    TCGv_i32 dcm;                                 \
+    if (unlikely(!ctx->fpu_enabled)) {            \
+        gen_exception(ctx, POWERPC_EXCP_FPU);     \
+        return;                                   \
+    }                                             \
+    gen_update_nip(ctx, ctx->nip - 4);            \
+    ra = gen_fprp_ptr(rA(ctx->opcode));           \
+    dcm = tcg_const_i32(DCM(ctx->opcode));        \
+    gen_helper_##name(cpu_crf[crfD(ctx->opcode)], \
+                      cpu_env, ra, dcm);          \
+    tcg_temp_free_ptr(ra);                        \
+    tcg_temp_free_i32(dcm);                       \
+}
+
+#define GEN_DFP_T_B_U32_U32_Rc(name, u32f1, u32f2)    \
+static void gen_##name(DisasContext *ctx)             \
+{                                                     \
+    TCGv_ptr rt, rb;                                  \
+    TCGv_i32 u32_1, u32_2;                            \
+    if (unlikely(!ctx->fpu_enabled)) {                \
+        gen_exception(ctx, POWERPC_EXCP_FPU);         \
+        return;                                       \
+    }                                                 \
+    gen_update_nip(ctx, ctx->nip - 4);                \
+    rt = gen_fprp_ptr(rD(ctx->opcode));               \
+    rb = gen_fprp_ptr(rB(ctx->opcode));               \
+    u32_1 = tcg_const_i32(u32f1(ctx->opcode));        \
+    u32_2 = tcg_const_i32(u32f2(ctx->opcode));        \
+    gen_helper_##name(cpu_env, rt, rb, u32_1, u32_2); \
+    if (unlikely(Rc(ctx->opcode) != 0)) {             \
+        gen_set_cr6_from_fpscr(ctx);                  \
+    }                                                 \
+    tcg_temp_free_ptr(rt);                            \
+    tcg_temp_free_ptr(rb);                            \
+    tcg_temp_free_i32(u32_1);                         \
+    tcg_temp_free_i32(u32_2);                         \
+}
+
+#define GEN_DFP_T_A_B_I32_Rc(name, i32fld)       \
+static void gen_##name(DisasContext *ctx)        \
+{                                                \
+    TCGv_ptr rt, ra, rb;                         \
+    TCGv_i32 i32;                                \
+    if (unlikely(!ctx->fpu_enabled)) {           \
+        gen_exception(ctx, POWERPC_EXCP_FPU);    \
+        return;                                  \
+    }                                            \
+    gen_update_nip(ctx, ctx->nip - 4);           \
+    rt = gen_fprp_ptr(rD(ctx->opcode));          \
+    ra = gen_fprp_ptr(rA(ctx->opcode));          \
+    rb = gen_fprp_ptr(rB(ctx->opcode));          \
+    i32 = tcg_const_i32(i32fld(ctx->opcode));    \
+    gen_helper_##name(cpu_env, rt, ra, rb, i32); \
+    if (unlikely(Rc(ctx->opcode) != 0)) {        \
+        gen_set_cr6_from_fpscr(ctx);             \
+    }                                            \
+    tcg_temp_free_ptr(rt);                       \
+    tcg_temp_free_ptr(rb);                       \
+    tcg_temp_free_ptr(ra);                       \
+    tcg_temp_free_i32(i32);                      \
+    }
+
+#define GEN_DFP_T_B_Rc(name)                     \
+static void gen_##name(DisasContext *ctx)        \
+{                                                \
+    TCGv_ptr rt, rb;                             \
+    if (unlikely(!ctx->fpu_enabled)) {           \
+        gen_exception(ctx, POWERPC_EXCP_FPU);    \
+        return;                                  \
+    }                                            \
+    gen_update_nip(ctx, ctx->nip - 4);           \
+    rt = gen_fprp_ptr(rD(ctx->opcode));          \
+    rb = gen_fprp_ptr(rB(ctx->opcode));          \
+    gen_helper_##name(cpu_env, rt, rb);          \
+    if (unlikely(Rc(ctx->opcode) != 0)) {        \
+        gen_set_cr6_from_fpscr(ctx);             \
+    }                                            \
+    tcg_temp_free_ptr(rt);                       \
+    tcg_temp_free_ptr(rb);                       \
+    }
+
+#define GEN_DFP_T_FPR_I32_Rc(name, fprfld, i32fld) \
+static void gen_##name(DisasContext *ctx)          \
+{                                                  \
+    TCGv_ptr rt, rs;                               \
+    TCGv_i32 i32;                                  \
+    if (unlikely(!ctx->fpu_enabled)) {             \
+        gen_exception(ctx, POWERPC_EXCP_FPU);      \
+        return;                                    \
+    }                                              \
+    gen_update_nip(ctx, ctx->nip - 4);             \
+    rt = gen_fprp_ptr(rD(ctx->opcode));            \
+    rs = gen_fprp_ptr(fprfld(ctx->opcode));        \
+    i32 = tcg_const_i32(i32fld(ctx->opcode));      \
+    gen_helper_##name(cpu_env, rt, rs, i32);       \
+    if (unlikely(Rc(ctx->opcode) != 0)) {          \
+        gen_set_cr6_from_fpscr(ctx);               \
+    }                                              \
+    tcg_temp_free_ptr(rt);                         \
+    tcg_temp_free_ptr(rs);                         \
+    tcg_temp_free_i32(i32);                        \
+}
+
+GEN_DFP_T_A_B_Rc(dadd)
+GEN_DFP_T_A_B_Rc(daddq)
+GEN_DFP_T_A_B_Rc(dsub)
+GEN_DFP_T_A_B_Rc(dsubq)
+GEN_DFP_T_A_B_Rc(dmul)
+GEN_DFP_T_A_B_Rc(dmulq)
+GEN_DFP_T_A_B_Rc(ddiv)
+GEN_DFP_T_A_B_Rc(ddivq)
+GEN_DFP_BF_A_B(dcmpu)
+GEN_DFP_BF_A_B(dcmpuq)
+GEN_DFP_BF_A_B(dcmpo)
+GEN_DFP_BF_A_B(dcmpoq)
+GEN_DFP_BF_A_DCM(dtstdc)
+GEN_DFP_BF_A_DCM(dtstdcq)
+GEN_DFP_BF_A_DCM(dtstdg)
+GEN_DFP_BF_A_DCM(dtstdgq)
+GEN_DFP_BF_A_B(dtstex)
+GEN_DFP_BF_A_B(dtstexq)
+GEN_DFP_BF_A_B(dtstsf)
+GEN_DFP_BF_A_B(dtstsfq)
+GEN_DFP_T_B_U32_U32_Rc(dquai, SIMM5, RMC)
+GEN_DFP_T_B_U32_U32_Rc(dquaiq, SIMM5, RMC)
+GEN_DFP_T_A_B_I32_Rc(dqua, RMC)
+GEN_DFP_T_A_B_I32_Rc(dquaq, RMC)
+GEN_DFP_T_A_B_I32_Rc(drrnd, RMC)
+GEN_DFP_T_A_B_I32_Rc(drrndq, RMC)
+GEN_DFP_T_B_U32_U32_Rc(drintx, FPW, RMC)
+GEN_DFP_T_B_U32_U32_Rc(drintxq, FPW, RMC)
+GEN_DFP_T_B_U32_U32_Rc(drintn, FPW, RMC)
+GEN_DFP_T_B_U32_U32_Rc(drintnq, FPW, RMC)
+GEN_DFP_T_B_Rc(dctdp)
+GEN_DFP_T_B_Rc(dctqpq)
+GEN_DFP_T_B_Rc(drsp)
+GEN_DFP_T_B_Rc(drdpq)
+GEN_DFP_T_B_Rc(dcffix)
+GEN_DFP_T_B_Rc(dcffixq)
+GEN_DFP_T_B_Rc(dctfix)
+GEN_DFP_T_B_Rc(dctfixq)
+GEN_DFP_T_FPR_I32_Rc(ddedpd, rB, SP)
+GEN_DFP_T_FPR_I32_Rc(ddedpdq, rB, SP)
+GEN_DFP_T_FPR_I32_Rc(denbcd, rB, SP)
+GEN_DFP_T_FPR_I32_Rc(denbcdq, rB, SP)
+GEN_DFP_T_B_Rc(dxex)
+GEN_DFP_T_B_Rc(dxexq)
+GEN_DFP_T_A_B_Rc(diex)
+GEN_DFP_T_A_B_Rc(diexq)
+GEN_DFP_T_FPR_I32_Rc(dscli, rA, DCM)
+GEN_DFP_T_FPR_I32_Rc(dscliq, rA, DCM)
+GEN_DFP_T_FPR_I32_Rc(dscri, rA, DCM)
+GEN_DFP_T_FPR_I32_Rc(dscriq, rA, DCM)
 
 /***                           SPE extension                               ***/
 /* Register moves */
@@ -8192,50 +8405,28 @@ static inline void gen_evmra(DisasContext *ctx)
         return;
     }
 
-#if defined(TARGET_PPC64)
-    /* rD := rA */
-    tcg_gen_mov_i64(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
-
-    /* spe_acc := rA */
-    tcg_gen_st_i64(cpu_gpr[rA(ctx->opcode)],
-                   cpu_env,
-                   offsetof(CPUPPCState, spe_acc));
-#else
     TCGv_i64 tmp = tcg_temp_new_i64();
 
     /* tmp := rA_lo + rA_hi << 32 */
-    tcg_gen_concat_i32_i64(tmp, cpu_gpr[rA(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
+    tcg_gen_concat_tl_i64(tmp, cpu_gpr[rA(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
 
     /* spe_acc := tmp */
     tcg_gen_st_i64(tmp, cpu_env, offsetof(CPUPPCState, spe_acc));
     tcg_temp_free_i64(tmp);
 
     /* rD := rA */
-    tcg_gen_mov_i32(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_mov_i32(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
-#endif
+    tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
+    tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
 }
 
 static inline void gen_load_gpr64(TCGv_i64 t, int reg)
 {
-#if defined(TARGET_PPC64)
-    tcg_gen_mov_i64(t, cpu_gpr[reg]);
-#else
-    tcg_gen_concat_i32_i64(t, cpu_gpr[reg], cpu_gprh[reg]);
-#endif
+    tcg_gen_concat_tl_i64(t, cpu_gpr[reg], cpu_gprh[reg]);
 }
 
 static inline void gen_store_gpr64(int reg, TCGv_i64 t)
 {
-#if defined(TARGET_PPC64)
-    tcg_gen_mov_i64(cpu_gpr[reg], t);
-#else
-    TCGv_i64 tmp = tcg_temp_new_i64();
-    tcg_gen_trunc_i64_i32(cpu_gpr[reg], t);
-    tcg_gen_shri_i64(tmp, t, 32);
-    tcg_gen_trunc_i64_i32(cpu_gprh[reg], tmp);
-    tcg_temp_free_i64(tmp);
-#endif
+    tcg_gen_extr_i64_tl(cpu_gpr[reg], cpu_gprh[reg], t);
 }
 
 #define GEN_SPE(name0, name1, opc2, opc3, inval0, inval1, type)         \
@@ -8254,18 +8445,6 @@ static inline void gen_speundef(DisasContext *ctx)
 }
 
 /* SPE logic */
-#if defined(TARGET_PPC64)
-#define GEN_SPEOP_LOGIC2(name, tcg_op)                                        \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    tcg_op(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)],                \
-           cpu_gpr[rB(ctx->opcode)]);                                         \
-}
-#else
 #define GEN_SPEOP_LOGIC2(name, tcg_op)                                        \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
@@ -8278,7 +8457,6 @@ static inline void gen_##name(DisasContext *ctx)                              \
     tcg_op(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],              \
            cpu_gprh[rB(ctx->opcode)]);                                        \
 }
-#endif
 
 GEN_SPEOP_LOGIC2(evand, tcg_gen_and_tl);
 GEN_SPEOP_LOGIC2(evandc, tcg_gen_andc_tl);
@@ -8290,80 +8468,52 @@ GEN_SPEOP_LOGIC2(evorc, tcg_gen_orc_tl);
 GEN_SPEOP_LOGIC2(evnand, tcg_gen_nand_tl);
 
 /* SPE logic immediate */
-#if defined(TARGET_PPC64)
 #define GEN_SPEOP_TCG_LOGIC_IMM2(name, tcg_opi)                               \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
+    TCGv_i32 t0;                                                              \
     if (unlikely(!ctx->spe_enabled)) {                                        \
         gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
         return;                                                               \
     }                                                                         \
-    TCGv_i32 t0 = tcg_temp_local_new_i32();                                   \
-    TCGv_i32 t1 = tcg_temp_local_new_i32();                                   \
-    TCGv_i64 t2 = tcg_temp_local_new_i64();                                   \
-    tcg_gen_trunc_i64_i32(t0, cpu_gpr[rA(ctx->opcode)]);                      \
+    t0 = tcg_temp_new_i32();                                                  \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rA(ctx->opcode)]);                       \
     tcg_opi(t0, t0, rB(ctx->opcode));                                         \
-    tcg_gen_shri_i64(t2, cpu_gpr[rA(ctx->opcode)], 32);                       \
-    tcg_gen_trunc_i64_i32(t1, t2);                                            \
-    tcg_temp_free_i64(t2);                                                    \
-    tcg_opi(t1, t1, rB(ctx->opcode));                                         \
-    tcg_gen_concat_i32_i64(cpu_gpr[rD(ctx->opcode)], t0, t1);                 \
+    tcg_gen_extu_i32_tl(cpu_gpr[rD(ctx->opcode)], t0);                        \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gprh[rA(ctx->opcode)]);                      \
+    tcg_opi(t0, t0, rB(ctx->opcode));                                         \
+    tcg_gen_extu_i32_tl(cpu_gprh[rD(ctx->opcode)], t0);                       \
+                                                                              \
     tcg_temp_free_i32(t0);                                                    \
-    tcg_temp_free_i32(t1);                                                    \
 }
-#else
-#define GEN_SPEOP_TCG_LOGIC_IMM2(name, tcg_opi)                               \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    tcg_opi(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)],               \
-            rB(ctx->opcode));                                                 \
-    tcg_opi(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],             \
-            rB(ctx->opcode));                                                 \
-}
-#endif
 GEN_SPEOP_TCG_LOGIC_IMM2(evslwi, tcg_gen_shli_i32);
 GEN_SPEOP_TCG_LOGIC_IMM2(evsrwiu, tcg_gen_shri_i32);
 GEN_SPEOP_TCG_LOGIC_IMM2(evsrwis, tcg_gen_sari_i32);
 GEN_SPEOP_TCG_LOGIC_IMM2(evrlwi, tcg_gen_rotli_i32);
 
 /* SPE arithmetic */
-#if defined(TARGET_PPC64)
 #define GEN_SPEOP_ARITH1(name, tcg_op)                                        \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
+    TCGv_i32 t0;                                                              \
     if (unlikely(!ctx->spe_enabled)) {                                        \
         gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
         return;                                                               \
     }                                                                         \
-    TCGv_i32 t0 = tcg_temp_local_new_i32();                                   \
-    TCGv_i32 t1 = tcg_temp_local_new_i32();                                   \
-    TCGv_i64 t2 = tcg_temp_local_new_i64();                                   \
-    tcg_gen_trunc_i64_i32(t0, cpu_gpr[rA(ctx->opcode)]);                      \
+    t0 = tcg_temp_new_i32();                                                  \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rA(ctx->opcode)]);                       \
+    tcg_op(t0, t0);                                                           \
+    tcg_gen_extu_i32_tl(cpu_gpr[rD(ctx->opcode)], t0);                        \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gprh[rA(ctx->opcode)]);                      \
     tcg_op(t0, t0);                                                           \
-    tcg_gen_shri_i64(t2, cpu_gpr[rA(ctx->opcode)], 32);                       \
-    tcg_gen_trunc_i64_i32(t1, t2);                                            \
-    tcg_temp_free_i64(t2);                                                    \
-    tcg_op(t1, t1);                                                           \
-    tcg_gen_concat_i32_i64(cpu_gpr[rD(ctx->opcode)], t0, t1);                 \
+    tcg_gen_extu_i32_tl(cpu_gprh[rD(ctx->opcode)], t0);                       \
+                                                                              \
     tcg_temp_free_i32(t0);                                                    \
-    tcg_temp_free_i32(t1);                                                    \
-}
-#else
-#define GEN_SPEOP_ARITH1(name, tcg_op)                                        \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    tcg_op(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);               \
-    tcg_op(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);             \
 }
-#endif
 
 static inline void gen_op_evabs(TCGv_i32 ret, TCGv_i32 arg1)
 {
@@ -8390,46 +8540,30 @@ GEN_SPEOP_ARITH1(evrndw, gen_op_evrndw);
 GEN_SPEOP_ARITH1(evcntlsw, gen_helper_cntlsw32);
 GEN_SPEOP_ARITH1(evcntlzw, gen_helper_cntlzw32);
 
-#if defined(TARGET_PPC64)
 #define GEN_SPEOP_ARITH2(name, tcg_op)                                        \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
+    TCGv_i32 t0, t1;                                                          \
     if (unlikely(!ctx->spe_enabled)) {                                        \
         gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
         return;                                                               \
     }                                                                         \
-    TCGv_i32 t0 = tcg_temp_local_new_i32();                                   \
-    TCGv_i32 t1 = tcg_temp_local_new_i32();                                   \
-    TCGv_i32 t2 = tcg_temp_local_new_i32();                                   \
-    TCGv_i64 t3 = tcg_temp_local_new_i64();                                   \
-    tcg_gen_trunc_i64_i32(t0, cpu_gpr[rA(ctx->opcode)]);                      \
-    tcg_gen_trunc_i64_i32(t2, cpu_gpr[rB(ctx->opcode)]);                      \
-    tcg_op(t0, t0, t2);                                                       \
-    tcg_gen_shri_i64(t3, cpu_gpr[rA(ctx->opcode)], 32);                       \
-    tcg_gen_trunc_i64_i32(t1, t3);                                            \
-    tcg_gen_shri_i64(t3, cpu_gpr[rB(ctx->opcode)], 32);                       \
-    tcg_gen_trunc_i64_i32(t2, t3);                                            \
-    tcg_temp_free_i64(t3);                                                    \
-    tcg_op(t1, t1, t2);                                                       \
-    tcg_temp_free_i32(t2);                                                    \
-    tcg_gen_concat_i32_i64(cpu_gpr[rD(ctx->opcode)], t0, t1);                 \
+    t0 = tcg_temp_new_i32();                                                  \
+    t1 = tcg_temp_new_i32();                                                  \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rA(ctx->opcode)]);                       \
+    tcg_gen_trunc_tl_i32(t1, cpu_gpr[rB(ctx->opcode)]);                       \
+    tcg_op(t0, t0, t1);                                                       \
+    tcg_gen_extu_i32_tl(cpu_gpr[rD(ctx->opcode)], t0);                        \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gprh[rA(ctx->opcode)]);                      \
+    tcg_gen_trunc_tl_i32(t1, cpu_gprh[rB(ctx->opcode)]);                      \
+    tcg_op(t0, t0, t1);                                                       \
+    tcg_gen_extu_i32_tl(cpu_gprh[rD(ctx->opcode)], t0);                       \
+                                                                              \
     tcg_temp_free_i32(t0);                                                    \
     tcg_temp_free_i32(t1);                                                    \
 }
-#else
-#define GEN_SPEOP_ARITH2(name, tcg_op)                                        \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    tcg_op(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)],                \
-           cpu_gpr[rB(ctx->opcode)]);                                         \
-    tcg_op(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],              \
-           cpu_gprh[rB(ctx->opcode)]);                                        \
-}
-#endif
 
 static inline void gen_op_evsrwu(TCGv_i32 ret, TCGv_i32 arg1, TCGv_i32 arg2)
 {
@@ -8502,18 +8636,8 @@ static inline void gen_evmergehi(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    TCGv t1 = tcg_temp_new();
-    tcg_gen_shri_tl(t0, cpu_gpr[rB(ctx->opcode)], 32);
-    tcg_gen_andi_tl(t1, cpu_gpr[rA(ctx->opcode)], 0xFFFFFFFF0000000ULL);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], t0, t1);
-    tcg_temp_free(t0);
-    tcg_temp_free(t1);
-#else
-    tcg_gen_mov_i32(cpu_gpr[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);
-    tcg_gen_mov_i32(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
-#endif
+    tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);
+    tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
 }
 GEN_SPEOP_ARITH2(evaddw, tcg_gen_add_i32);
 static inline void gen_op_evsubf(TCGv_i32 ret, TCGv_i32 arg1, TCGv_i32 arg2)
@@ -8523,86 +8647,30 @@ static inline void gen_op_evsubf(TCGv_i32 ret, TCGv_i32 arg1, TCGv_i32 arg2)
 GEN_SPEOP_ARITH2(evsubfw, gen_op_evsubf);
 
 /* SPE arithmetic immediate */
-#if defined(TARGET_PPC64)
 #define GEN_SPEOP_ARITH_IMM2(name, tcg_op)                                    \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
+    TCGv_i32 t0;                                                              \
     if (unlikely(!ctx->spe_enabled)) {                                        \
         gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
         return;                                                               \
     }                                                                         \
-    TCGv_i32 t0 = tcg_temp_local_new_i32();                                   \
-    TCGv_i32 t1 = tcg_temp_local_new_i32();                                   \
-    TCGv_i64 t2 = tcg_temp_local_new_i64();                                   \
-    tcg_gen_trunc_i64_i32(t0, cpu_gpr[rB(ctx->opcode)]);                      \
+    t0 = tcg_temp_new_i32();                                                  \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rB(ctx->opcode)]);                       \
+    tcg_op(t0, t0, rA(ctx->opcode));                                          \
+    tcg_gen_extu_i32_tl(cpu_gpr[rD(ctx->opcode)], t0);                        \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gprh[rB(ctx->opcode)]);                      \
     tcg_op(t0, t0, rA(ctx->opcode));                                          \
-    tcg_gen_shri_i64(t2, cpu_gpr[rB(ctx->opcode)], 32);                       \
-    tcg_gen_trunc_i64_i32(t1, t2);                                            \
-    tcg_temp_free_i64(t2);                                                    \
-    tcg_op(t1, t1, rA(ctx->opcode));                                          \
-    tcg_gen_concat_i32_i64(cpu_gpr[rD(ctx->opcode)], t0, t1);                 \
+    tcg_gen_extu_i32_tl(cpu_gprh[rD(ctx->opcode)], t0);                       \
+                                                                              \
     tcg_temp_free_i32(t0);                                                    \
-    tcg_temp_free_i32(t1);                                                    \
-}
-#else
-#define GEN_SPEOP_ARITH_IMM2(name, tcg_op)                                    \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    tcg_op(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rB(ctx->opcode)],                \
-           rA(ctx->opcode));                                                  \
-    tcg_op(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)],              \
-           rA(ctx->opcode));                                                  \
 }
-#endif
 GEN_SPEOP_ARITH_IMM2(evaddiw, tcg_gen_addi_i32);
 GEN_SPEOP_ARITH_IMM2(evsubifw, tcg_gen_subi_i32);
 
 /* SPE comparison */
-#if defined(TARGET_PPC64)
-#define GEN_SPEOP_COMP(name, tcg_cond)                                        \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    int l1 = gen_new_label();                                                 \
-    int l2 = gen_new_label();                                                 \
-    int l3 = gen_new_label();                                                 \
-    int l4 = gen_new_label();                                                 \
-    TCGv_i32 t0 = tcg_temp_local_new_i32();                                   \
-    TCGv_i32 t1 = tcg_temp_local_new_i32();                                   \
-    TCGv_i64 t2 = tcg_temp_local_new_i64();                                   \
-    tcg_gen_trunc_i64_i32(t0, cpu_gpr[rA(ctx->opcode)]);                      \
-    tcg_gen_trunc_i64_i32(t1, cpu_gpr[rB(ctx->opcode)]);                      \
-    tcg_gen_brcond_i32(tcg_cond, t0, t1, l1);                                 \
-    tcg_gen_movi_i32(cpu_crf[crfD(ctx->opcode)], 0);                          \
-    tcg_gen_br(l2);                                                           \
-    gen_set_label(l1);                                                        \
-    tcg_gen_movi_i32(cpu_crf[crfD(ctx->opcode)],                              \
-                     CRF_CL | CRF_CH_OR_CL | CRF_CH_AND_CL);                  \
-    gen_set_label(l2);                                                        \
-    tcg_gen_shri_i64(t2, cpu_gpr[rA(ctx->opcode)], 32);                       \
-    tcg_gen_trunc_i64_i32(t0, t2);                                            \
-    tcg_gen_shri_i64(t2, cpu_gpr[rB(ctx->opcode)], 32);                       \
-    tcg_gen_trunc_i64_i32(t1, t2);                                            \
-    tcg_temp_free_i64(t2);                                                    \
-    tcg_gen_brcond_i32(tcg_cond, t0, t1, l3);                                 \
-    tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_crf[crfD(ctx->opcode)],  \
-                     ~(CRF_CH | CRF_CH_AND_CL));                              \
-    tcg_gen_br(l4);                                                           \
-    gen_set_label(l3);                                                        \
-    tcg_gen_ori_i32(cpu_crf[crfD(ctx->opcode)], cpu_crf[crfD(ctx->opcode)],   \
-                    CRF_CH | CRF_CH_OR_CL);                                   \
-    gen_set_label(l4);                                                        \
-    tcg_temp_free_i32(t0);                                                    \
-    tcg_temp_free_i32(t1);                                                    \
-}
-#else
 #define GEN_SPEOP_COMP(name, tcg_cond)                                        \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
@@ -8615,15 +8683,20 @@ static inline void gen_##name(DisasContext *ctx)                              \
     int l3 = gen_new_label();                                                 \
     int l4 = gen_new_label();                                                 \
                                                                               \
-    tcg_gen_brcond_i32(tcg_cond, cpu_gpr[rA(ctx->opcode)],                    \
+    tcg_gen_ext32s_tl(cpu_gpr[rA(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);    \
+    tcg_gen_ext32s_tl(cpu_gpr[rB(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);    \
+    tcg_gen_ext32s_tl(cpu_gprh[rA(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);  \
+    tcg_gen_ext32s_tl(cpu_gprh[rB(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);  \
+                                                                              \
+    tcg_gen_brcond_tl(tcg_cond, cpu_gpr[rA(ctx->opcode)],                     \
                        cpu_gpr[rB(ctx->opcode)], l1);                         \
-    tcg_gen_movi_tl(cpu_crf[crfD(ctx->opcode)], 0);                           \
+    tcg_gen_movi_i32(cpu_crf[crfD(ctx->opcode)], 0);                          \
     tcg_gen_br(l2);                                                           \
     gen_set_label(l1);                                                        \
     tcg_gen_movi_i32(cpu_crf[crfD(ctx->opcode)],                              \
                      CRF_CL | CRF_CH_OR_CL | CRF_CH_AND_CL);                  \
     gen_set_label(l2);                                                        \
-    tcg_gen_brcond_i32(tcg_cond, cpu_gprh[rA(ctx->opcode)],                   \
+    tcg_gen_brcond_tl(tcg_cond, cpu_gprh[rA(ctx->opcode)],                    \
                        cpu_gprh[rB(ctx->opcode)], l3);                        \
     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_crf[crfD(ctx->opcode)],  \
                      ~(CRF_CH | CRF_CH_AND_CL));                              \
@@ -8633,7 +8706,6 @@ static inline void gen_##name(DisasContext *ctx)                              \
                     CRF_CH | CRF_CH_OR_CL);                                   \
     gen_set_label(l4);                                                        \
 }
-#endif
 GEN_SPEOP_COMP(evcmpgtu, TCG_COND_GTU);
 GEN_SPEOP_COMP(evcmpgts, TCG_COND_GT);
 GEN_SPEOP_COMP(evcmpltu, TCG_COND_LTU);
@@ -8653,18 +8725,8 @@ static inline void gen_evmergelo(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    TCGv t1 = tcg_temp_new();
-    tcg_gen_ext32u_tl(t0, cpu_gpr[rB(ctx->opcode)]);
-    tcg_gen_shli_tl(t1, cpu_gpr[rA(ctx->opcode)], 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], t0, t1);
-    tcg_temp_free(t0);
-    tcg_temp_free(t1);
-#else
-    tcg_gen_mov_i32(cpu_gprh[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_mov_i32(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);
-#endif
+    tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
+    tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);
 }
 static inline void gen_evmergehilo(DisasContext *ctx)
 {
@@ -8672,18 +8734,8 @@ static inline void gen_evmergehilo(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    TCGv t1 = tcg_temp_new();
-    tcg_gen_ext32u_tl(t0, cpu_gpr[rB(ctx->opcode)]);
-    tcg_gen_andi_tl(t1, cpu_gpr[rA(ctx->opcode)], 0xFFFFFFFF0000000ULL);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], t0, t1);
-    tcg_temp_free(t0);
-    tcg_temp_free(t1);
-#else
-    tcg_gen_mov_i32(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);
-    tcg_gen_mov_i32(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
-#endif
+    tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);
+    tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
 }
 static inline void gen_evmergelohi(DisasContext *ctx)
 {
@@ -8691,48 +8743,30 @@ static inline void gen_evmergelohi(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    TCGv t1 = tcg_temp_new();
-    tcg_gen_shri_tl(t0, cpu_gpr[rB(ctx->opcode)], 32);
-    tcg_gen_shli_tl(t1, cpu_gpr[rA(ctx->opcode)], 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], t0, t1);
-    tcg_temp_free(t0);
-    tcg_temp_free(t1);
-#else
     if (rD(ctx->opcode) == rA(ctx->opcode)) {
-        TCGv_i32 tmp = tcg_temp_new_i32();
-        tcg_gen_mov_i32(tmp, cpu_gpr[rA(ctx->opcode)]);
-        tcg_gen_mov_i32(cpu_gpr[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);
-        tcg_gen_mov_i32(cpu_gprh[rD(ctx->opcode)], tmp);
-        tcg_temp_free_i32(tmp);
+        TCGv tmp = tcg_temp_new();
+        tcg_gen_mov_tl(tmp, cpu_gpr[rA(ctx->opcode)]);
+        tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);
+        tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], tmp);
+        tcg_temp_free(tmp);
     } else {
-        tcg_gen_mov_i32(cpu_gpr[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);
-        tcg_gen_mov_i32(cpu_gprh[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
+        tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);
+        tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
     }
-#endif
 }
 static inline void gen_evsplati(DisasContext *ctx)
 {
     uint64_t imm = ((int32_t)(rA(ctx->opcode) << 27)) >> 27;
 
-#if defined(TARGET_PPC64)
-    tcg_gen_movi_tl(cpu_gpr[rD(ctx->opcode)], (imm << 32) | imm);
-#else
-    tcg_gen_movi_i32(cpu_gpr[rD(ctx->opcode)], imm);
-    tcg_gen_movi_i32(cpu_gprh[rD(ctx->opcode)], imm);
-#endif
+    tcg_gen_movi_tl(cpu_gpr[rD(ctx->opcode)], imm);
+    tcg_gen_movi_tl(cpu_gprh[rD(ctx->opcode)], imm);
 }
 static inline void gen_evsplatfi(DisasContext *ctx)
 {
     uint64_t imm = rA(ctx->opcode) << 27;
 
-#if defined(TARGET_PPC64)
-    tcg_gen_movi_tl(cpu_gpr[rD(ctx->opcode)], (imm << 32) | imm);
-#else
-    tcg_gen_movi_i32(cpu_gpr[rD(ctx->opcode)], imm);
-    tcg_gen_movi_i32(cpu_gprh[rD(ctx->opcode)], imm);
-#endif
+    tcg_gen_movi_tl(cpu_gpr[rD(ctx->opcode)], imm);
+    tcg_gen_movi_tl(cpu_gprh[rD(ctx->opcode)], imm);
 }
 
 static inline void gen_evsel(DisasContext *ctx)
@@ -8742,46 +8776,21 @@ static inline void gen_evsel(DisasContext *ctx)
     int l3 = gen_new_label();
     int l4 = gen_new_label();
     TCGv_i32 t0 = tcg_temp_local_new_i32();
-#if defined(TARGET_PPC64)
-    TCGv t1 = tcg_temp_local_new();
-    TCGv t2 = tcg_temp_local_new();
-#endif
     tcg_gen_andi_i32(t0, cpu_crf[ctx->opcode & 0x07], 1 << 3);
     tcg_gen_brcondi_i32(TCG_COND_EQ, t0, 0, l1);
-#if defined(TARGET_PPC64)
-    tcg_gen_andi_tl(t1, cpu_gpr[rA(ctx->opcode)], 0xFFFFFFFF00000000ULL);
-#else
     tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)]);
-#endif
     tcg_gen_br(l2);
     gen_set_label(l1);
-#if defined(TARGET_PPC64)
-    tcg_gen_andi_tl(t1, cpu_gpr[rB(ctx->opcode)], 0xFFFFFFFF00000000ULL);
-#else
     tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rB(ctx->opcode)]);
-#endif
     gen_set_label(l2);
     tcg_gen_andi_i32(t0, cpu_crf[ctx->opcode & 0x07], 1 << 2);
     tcg_gen_brcondi_i32(TCG_COND_EQ, t0, 0, l3);
-#if defined(TARGET_PPC64)
-    tcg_gen_ext32u_tl(t2, cpu_gpr[rA(ctx->opcode)]);
-#else
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
-#endif
     tcg_gen_br(l4);
     gen_set_label(l3);
-#if defined(TARGET_PPC64)
-    tcg_gen_ext32u_tl(t2, cpu_gpr[rB(ctx->opcode)]);
-#else
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);
-#endif
     gen_set_label(l4);
     tcg_temp_free_i32(t0);
-#if defined(TARGET_PPC64)
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], t1, t2);
-    tcg_temp_free(t1);
-    tcg_temp_free(t2);
-#endif
 }
 
 static void gen_evsel0(DisasContext *ctx)
@@ -8819,13 +8828,10 @@ static inline void gen_evmwumi(DisasContext *ctx)
     t1 = tcg_temp_new_i64();
 
     /* t0 := rA; t1 := rB */
-#if defined(TARGET_PPC64)
-    tcg_gen_ext32u_tl(t0, cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_ext32u_tl(t1, cpu_gpr[rB(ctx->opcode)]);
-#else
     tcg_gen_extu_tl_i64(t0, cpu_gpr[rA(ctx->opcode)]);
+    tcg_gen_ext32u_i64(t0, t0);
     tcg_gen_extu_tl_i64(t1, cpu_gpr[rB(ctx->opcode)]);
-#endif
+    tcg_gen_ext32u_i64(t1, t1);
 
     tcg_gen_mul_i64(t0, t0, t1);  /* t0 := rA * rB */
 
@@ -8901,13 +8907,10 @@ static inline void gen_evmwsmi(DisasContext *ctx)
     t1 = tcg_temp_new_i64();
 
     /* t0 := rA; t1 := rB */
-#if defined(TARGET_PPC64)
-    tcg_gen_ext32s_tl(t0, cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_ext32s_tl(t1, cpu_gpr[rB(ctx->opcode)]);
-#else
-    tcg_gen_ext_tl_i64(t0, cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_ext_tl_i64(t1, cpu_gpr[rB(ctx->opcode)]);
-#endif
+    tcg_gen_extu_tl_i64(t0, cpu_gpr[rA(ctx->opcode)]);
+    tcg_gen_ext32s_i64(t0, t0);
+    tcg_gen_extu_tl_i64(t1, cpu_gpr[rB(ctx->opcode)]);
+    tcg_gen_ext32s_i64(t1, t1);
 
     tcg_gen_mul_i64(t0, t0, t1);  /* t0 := rA * rB */
 
@@ -9008,53 +9011,22 @@ static inline void gen_addr_spe_imm_index(DisasContext *ctx, TCGv EA, int sh)
 
 static inline void gen_op_evldd(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    gen_qemu_ld64(ctx, cpu_gpr[rD(ctx->opcode)], addr);
-#else
     TCGv_i64 t0 = tcg_temp_new_i64();
     gen_qemu_ld64(ctx, t0, addr);
-    tcg_gen_trunc_i64_i32(cpu_gpr[rD(ctx->opcode)], t0);
-    tcg_gen_shri_i64(t0, t0, 32);
-    tcg_gen_trunc_i64_i32(cpu_gprh[rD(ctx->opcode)], t0);
+    gen_store_gpr64(rD(ctx->opcode), t0);
     tcg_temp_free_i64(t0);
-#endif
 }
 
 static inline void gen_op_evldw(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    gen_qemu_ld32u(ctx, t0, addr);
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 32);
-    gen_addr_add(ctx, addr, addr, 4);
-    gen_qemu_ld32u(ctx, t0, addr);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-    tcg_temp_free(t0);
-#else
     gen_qemu_ld32u(ctx, cpu_gprh[rD(ctx->opcode)], addr);
     gen_addr_add(ctx, addr, addr, 4);
     gen_qemu_ld32u(ctx, cpu_gpr[rD(ctx->opcode)], addr);
-#endif
 }
 
 static inline void gen_op_evldh(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
-#if defined(TARGET_PPC64)
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 48);
-    gen_addr_add(ctx, addr, addr, 2);
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_shli_tl(t0, t0, 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-    gen_addr_add(ctx, addr, addr, 2);
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_shli_tl(t0, t0, 16);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-    gen_addr_add(ctx, addr, addr, 2);
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#else
     gen_qemu_ld16u(ctx, t0, addr);
     tcg_gen_shli_tl(cpu_gprh[rD(ctx->opcode)], t0, 16);
     gen_addr_add(ctx, addr, addr, 2);
@@ -9066,7 +9038,6 @@ static inline void gen_op_evldh(DisasContext *ctx, TCGv addr)
     gen_addr_add(ctx, addr, addr, 2);
     gen_qemu_ld16u(ctx, t0, addr);
     tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#endif
     tcg_temp_free(t0);
 }
 
@@ -9074,15 +9045,9 @@ static inline void gen_op_evlhhesplat(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
     gen_qemu_ld16u(ctx, t0, addr);
-#if defined(TARGET_PPC64)
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 48);
-    tcg_gen_shli_tl(t0, t0, 16);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#else
     tcg_gen_shli_tl(t0, t0, 16);
     tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], t0);
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], t0);
-#endif
     tcg_temp_free(t0);
 }
 
@@ -9090,13 +9055,8 @@ static inline void gen_op_evlhhousplat(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
     gen_qemu_ld16u(ctx, t0, addr);
-#if defined(TARGET_PPC64)
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#else
     tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], t0);
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], t0);
-#endif
     tcg_temp_free(t0);
 }
 
@@ -9104,100 +9064,48 @@ static inline void gen_op_evlhhossplat(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
     gen_qemu_ld16s(ctx, t0, addr);
-#if defined(TARGET_PPC64)
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 32);
-    tcg_gen_ext32u_tl(t0, t0);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#else
     tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], t0);
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], t0);
-#endif
     tcg_temp_free(t0);
 }
 
 static inline void gen_op_evlwhe(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
-#if defined(TARGET_PPC64)
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 48);
-    gen_addr_add(ctx, addr, addr, 2);
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_shli_tl(t0, t0, 16);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#else
     gen_qemu_ld16u(ctx, t0, addr);
     tcg_gen_shli_tl(cpu_gprh[rD(ctx->opcode)], t0, 16);
     gen_addr_add(ctx, addr, addr, 2);
     gen_qemu_ld16u(ctx, t0, addr);
     tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 16);
-#endif
     tcg_temp_free(t0);
 }
 
 static inline void gen_op_evlwhou(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    gen_qemu_ld16u(ctx, cpu_gpr[rD(ctx->opcode)], addr);
-    gen_addr_add(ctx, addr, addr, 2);
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_shli_tl(t0, t0, 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-    tcg_temp_free(t0);
-#else
     gen_qemu_ld16u(ctx, cpu_gprh[rD(ctx->opcode)], addr);
     gen_addr_add(ctx, addr, addr, 2);
     gen_qemu_ld16u(ctx, cpu_gpr[rD(ctx->opcode)], addr);
-#endif
 }
 
 static inline void gen_op_evlwhos(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    gen_qemu_ld16s(ctx, t0, addr);
-    tcg_gen_ext32u_tl(cpu_gpr[rD(ctx->opcode)], t0);
-    gen_addr_add(ctx, addr, addr, 2);
-    gen_qemu_ld16s(ctx, t0, addr);
-    tcg_gen_shli_tl(t0, t0, 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-    tcg_temp_free(t0);
-#else
     gen_qemu_ld16s(ctx, cpu_gprh[rD(ctx->opcode)], addr);
     gen_addr_add(ctx, addr, addr, 2);
     gen_qemu_ld16s(ctx, cpu_gpr[rD(ctx->opcode)], addr);
-#endif
 }
 
 static inline void gen_op_evlwwsplat(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
     gen_qemu_ld32u(ctx, t0, addr);
-#if defined(TARGET_PPC64)
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#else
     tcg_gen_mov_tl(cpu_gprh[rD(ctx->opcode)], t0);
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], t0);
-#endif
     tcg_temp_free(t0);
 }
 
 static inline void gen_op_evlwhsplat(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
-#if defined(TARGET_PPC64)
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 48);
-    tcg_gen_shli_tl(t0, t0, 32);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-    gen_addr_add(ctx, addr, addr, 2);
-    gen_qemu_ld16u(ctx, t0, addr);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-    tcg_gen_shli_tl(t0, t0, 16);
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t0);
-#else
     gen_qemu_ld16u(ctx, t0, addr);
     tcg_gen_shli_tl(cpu_gprh[rD(ctx->opcode)], t0, 16);
     tcg_gen_or_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rD(ctx->opcode)], t0);
@@ -9205,32 +9113,20 @@ static inline void gen_op_evlwhsplat(DisasContext *ctx, TCGv addr)
     gen_qemu_ld16u(ctx, t0, addr);
     tcg_gen_shli_tl(cpu_gpr[rD(ctx->opcode)], t0, 16);
     tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gprh[rD(ctx->opcode)], t0);
-#endif
     tcg_temp_free(t0);
 }
 
 static inline void gen_op_evstdd(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    gen_qemu_st64(ctx, cpu_gpr[rS(ctx->opcode)], addr);
-#else
     TCGv_i64 t0 = tcg_temp_new_i64();
-    tcg_gen_concat_i32_i64(t0, cpu_gpr[rS(ctx->opcode)], cpu_gprh[rS(ctx->opcode)]);
+    gen_load_gpr64(t0, rS(ctx->opcode));
     gen_qemu_st64(ctx, t0, addr);
     tcg_temp_free_i64(t0);
-#endif
 }
 
 static inline void gen_op_evstdw(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 32);
-    gen_qemu_st32(ctx, t0, addr);
-    tcg_temp_free(t0);
-#else
     gen_qemu_st32(ctx, cpu_gprh[rS(ctx->opcode)], addr);
-#endif
     gen_addr_add(ctx, addr, addr, 4);
     gen_qemu_st32(ctx, cpu_gpr[rS(ctx->opcode)], addr);
 }
@@ -9238,19 +9134,10 @@ static inline void gen_op_evstdw(DisasContext *ctx, TCGv addr)
 static inline void gen_op_evstdh(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
-#if defined(TARGET_PPC64)
-    tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 48);
-#else
     tcg_gen_shri_tl(t0, cpu_gprh[rS(ctx->opcode)], 16);
-#endif
     gen_qemu_st16(ctx, t0, addr);
     gen_addr_add(ctx, addr, addr, 2);
-#if defined(TARGET_PPC64)
-    tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 32);
-    gen_qemu_st16(ctx, t0, addr);
-#else
     gen_qemu_st16(ctx, cpu_gprh[rS(ctx->opcode)], addr);
-#endif
     gen_addr_add(ctx, addr, addr, 2);
     tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 16);
     gen_qemu_st16(ctx, t0, addr);
@@ -9262,11 +9149,7 @@ static inline void gen_op_evstdh(DisasContext *ctx, TCGv addr)
 static inline void gen_op_evstwhe(DisasContext *ctx, TCGv addr)
 {
     TCGv t0 = tcg_temp_new();
-#if defined(TARGET_PPC64)
-    tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 48);
-#else
     tcg_gen_shri_tl(t0, cpu_gprh[rS(ctx->opcode)], 16);
-#endif
     gen_qemu_st16(ctx, t0, addr);
     gen_addr_add(ctx, addr, addr, 2);
     tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 16);
@@ -9276,28 +9159,14 @@ static inline void gen_op_evstwhe(DisasContext *ctx, TCGv addr)
 
 static inline void gen_op_evstwho(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 32);
-    gen_qemu_st16(ctx, t0, addr);
-    tcg_temp_free(t0);
-#else
     gen_qemu_st16(ctx, cpu_gprh[rS(ctx->opcode)], addr);
-#endif
     gen_addr_add(ctx, addr, addr, 2);
     gen_qemu_st16(ctx, cpu_gpr[rS(ctx->opcode)], addr);
 }
 
 static inline void gen_op_evstwwe(DisasContext *ctx, TCGv addr)
 {
-#if defined(TARGET_PPC64)
-    TCGv t0 = tcg_temp_new();
-    tcg_gen_shri_tl(t0, cpu_gpr[rS(ctx->opcode)], 32);
-    gen_qemu_st32(ctx, t0, addr);
-    tcg_temp_free(t0);
-#else
     gen_qemu_st32(ctx, cpu_gprh[rS(ctx->opcode)], addr);
-#endif
 }
 
 static inline void gen_op_evstwwo(DisasContext *ctx, TCGv addr)
@@ -9417,133 +9286,36 @@ GEN_SPE(speundef,       evmwsmfan,     0x0D, 0x17, 0xFFFFFFFF, 0x00000000, PPC_S
 #endif
 
 /***                      SPE floating-point extension                     ***/
-#if defined(TARGET_PPC64)
 #define GEN_SPEFPUOP_CONV_32_32(name)                                         \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
-    TCGv_i32 t0;                                                              \
-    TCGv t1;                                                                  \
-    t0 = tcg_temp_new_i32();                                                  \
+    TCGv_i32 t0 = tcg_temp_new_i32();                                         \
     tcg_gen_trunc_tl_i32(t0, cpu_gpr[rB(ctx->opcode)]);                       \
     gen_helper_##name(t0, cpu_env, t0);                                       \
-    t1 = tcg_temp_new();                                                      \
-    tcg_gen_extu_i32_tl(t1, t0);                                              \
+    tcg_gen_extu_i32_tl(cpu_gpr[rD(ctx->opcode)], t0);                        \
     tcg_temp_free_i32(t0);                                                    \
-    tcg_gen_andi_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)],       \
-                    0xFFFFFFFF00000000ULL);                                   \
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t1);    \
-    tcg_temp_free(t1);                                                        \
-}
-#define GEN_SPEFPUOP_CONV_32_64(name)                                         \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    TCGv_i32 t0;                                                              \
-    TCGv t1;                                                                  \
-    t0 = tcg_temp_new_i32();                                                  \
-    gen_helper_##name(t0, cpu_env, cpu_gpr[rB(ctx->opcode)]);                 \
-    t1 = tcg_temp_new();                                                      \
-    tcg_gen_extu_i32_tl(t1, t0);                                              \
-    tcg_temp_free_i32(t0);                                                    \
-    tcg_gen_andi_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)],       \
-                    0xFFFFFFFF00000000ULL);                                   \
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t1);    \
-    tcg_temp_free(t1);                                                        \
-}
-#define GEN_SPEFPUOP_CONV_64_32(name)                                         \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    TCGv_i32 t0 = tcg_temp_new_i32();                                         \
-    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rB(ctx->opcode)]);                       \
-    gen_helper_##name(cpu_gpr[rD(ctx->opcode)], cpu_env, t0);                 \
-    tcg_temp_free_i32(t0);                                                    \
-}
-#define GEN_SPEFPUOP_CONV_64_64(name)                                         \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    gen_helper_##name(cpu_gpr[rD(ctx->opcode)], cpu_env,                      \
-                      cpu_gpr[rB(ctx->opcode)]);                              \
-}
-#define GEN_SPEFPUOP_ARITH2_32_32(name)                                       \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    TCGv_i32 t0, t1;                                                          \
-    TCGv_i64 t2;                                                              \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    t0 = tcg_temp_new_i32();                                                  \
-    t1 = tcg_temp_new_i32();                                                  \
-    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rA(ctx->opcode)]);                       \
-    tcg_gen_trunc_tl_i32(t1, cpu_gpr[rB(ctx->opcode)]);                       \
-    gen_helper_##name(t0, cpu_env, t0, t1);                                   \
-    tcg_temp_free_i32(t1);                                                    \
-    t2 = tcg_temp_new();                                                      \
-    tcg_gen_extu_i32_tl(t2, t0);                                              \
-    tcg_temp_free_i32(t0);                                                    \
-    tcg_gen_andi_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)],       \
-                    0xFFFFFFFF00000000ULL);                                   \
-    tcg_gen_or_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rD(ctx->opcode)], t2);    \
-    tcg_temp_free(t2);                                                        \
-}
-#define GEN_SPEFPUOP_ARITH2_64_64(name)                                       \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    gen_helper_##name(cpu_gpr[rD(ctx->opcode)], cpu_env,                      \
-                      cpu_gpr[rA(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);    \
-}
-#define GEN_SPEFPUOP_COMP_32(name)                                            \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    TCGv_i32 t0, t1;                                                          \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    t0 = tcg_temp_new_i32();                                                  \
-    t1 = tcg_temp_new_i32();                                                  \
-    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rA(ctx->opcode)]);                       \
-    tcg_gen_trunc_tl_i32(t1, cpu_gpr[rB(ctx->opcode)]);                       \
-    gen_helper_##name(cpu_crf[crfD(ctx->opcode)], cpu_env, t0, t1);           \
-    tcg_temp_free_i32(t0);                                                    \
-    tcg_temp_free_i32(t1);                                                    \
-}
-#define GEN_SPEFPUOP_COMP_64(name)                                            \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    if (unlikely(!ctx->spe_enabled)) {                                        \
-        gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
-        return;                                                               \
-    }                                                                         \
-    gen_helper_##name(cpu_crf[crfD(ctx->opcode)], cpu_env,                    \
-                      cpu_gpr[rA(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);    \
-}
-#else
-#define GEN_SPEFPUOP_CONV_32_32(name)                                         \
-static inline void gen_##name(DisasContext *ctx)                              \
-{                                                                             \
-    gen_helper_##name(cpu_gpr[rD(ctx->opcode)], cpu_env,                      \
-                      cpu_gpr[rB(ctx->opcode)]);                              \
 }
 #define GEN_SPEFPUOP_CONV_32_64(name)                                         \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
     TCGv_i64 t0 = tcg_temp_new_i64();                                         \
+    TCGv_i32 t1 = tcg_temp_new_i32();                                         \
     gen_load_gpr64(t0, rB(ctx->opcode));                                      \
-    gen_helper_##name(cpu_gpr[rD(ctx->opcode)], cpu_env, t0);                 \
+    gen_helper_##name(t1, cpu_env, t0);                                       \
+    tcg_gen_extu_i32_tl(cpu_gpr[rD(ctx->opcode)], t1);                        \
     tcg_temp_free_i64(t0);                                                    \
+    tcg_temp_free_i32(t1);                                                    \
 }
 #define GEN_SPEFPUOP_CONV_64_32(name)                                         \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
     TCGv_i64 t0 = tcg_temp_new_i64();                                         \
-    gen_helper_##name(t0, cpu_env, cpu_gpr[rB(ctx->opcode)]);                 \
+    TCGv_i32 t1 = tcg_temp_new_i32();                                         \
+    tcg_gen_trunc_tl_i32(t1, cpu_gpr[rB(ctx->opcode)]);                       \
+    gen_helper_##name(t0, cpu_env, t1);                                       \
     gen_store_gpr64(rD(ctx->opcode), t0);                                     \
     tcg_temp_free_i64(t0);                                                    \
+    tcg_temp_free_i32(t1);                                                    \
 }
 #define GEN_SPEFPUOP_CONV_64_64(name)                                         \
 static inline void gen_##name(DisasContext *ctx)                              \
@@ -9557,12 +9329,20 @@ static inline void gen_##name(DisasContext *ctx)                              \
 #define GEN_SPEFPUOP_ARITH2_32_32(name)                                       \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
+    TCGv_i32 t0, t1;                                                          \
     if (unlikely(!ctx->spe_enabled)) {                                        \
         gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
         return;                                                               \
     }                                                                         \
-    gen_helper_##name(cpu_gpr[rD(ctx->opcode)], cpu_env,                      \
-                      cpu_gpr[rA(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);    \
+    t0 = tcg_temp_new_i32();                                                  \
+    t1 = tcg_temp_new_i32();                                                  \
+    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rA(ctx->opcode)]);                       \
+    tcg_gen_trunc_tl_i32(t1, cpu_gpr[rB(ctx->opcode)]);                       \
+    gen_helper_##name(t0, cpu_env, t0, t1);                                   \
+    tcg_gen_extu_i32_tl(cpu_gpr[rD(ctx->opcode)], t0);                        \
+                                                                              \
+    tcg_temp_free_i32(t0);                                                    \
+    tcg_temp_free_i32(t1);                                                    \
 }
 #define GEN_SPEFPUOP_ARITH2_64_64(name)                                       \
 static inline void gen_##name(DisasContext *ctx)                              \
@@ -9584,12 +9364,20 @@ static inline void gen_##name(DisasContext *ctx)                              \
 #define GEN_SPEFPUOP_COMP_32(name)                                            \
 static inline void gen_##name(DisasContext *ctx)                              \
 {                                                                             \
+    TCGv_i32 t0, t1;                                                          \
     if (unlikely(!ctx->spe_enabled)) {                                        \
         gen_exception(ctx, POWERPC_EXCP_SPEU);                                \
         return;                                                               \
     }                                                                         \
-    gen_helper_##name(cpu_crf[crfD(ctx->opcode)], cpu_env,                    \
-                      cpu_gpr[rA(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);    \
+    t0 = tcg_temp_new_i32();                                                  \
+    t1 = tcg_temp_new_i32();                                                  \
+                                                                              \
+    tcg_gen_trunc_tl_i32(t0, cpu_gpr[rA(ctx->opcode)]);                       \
+    tcg_gen_trunc_tl_i32(t1, cpu_gpr[rB(ctx->opcode)]);                       \
+    gen_helper_##name(cpu_crf[crfD(ctx->opcode)], cpu_env, t0, t1);           \
+                                                                              \
+    tcg_temp_free_i32(t0);                                                    \
+    tcg_temp_free_i32(t1);                                                    \
 }
 #define GEN_SPEFPUOP_COMP_64(name)                                            \
 static inline void gen_##name(DisasContext *ctx)                              \
@@ -9607,7 +9395,6 @@ static inline void gen_##name(DisasContext *ctx)                              \
     tcg_temp_free_i64(t0);                                                    \
     tcg_temp_free_i64(t1);                                                    \
 }
-#endif
 
 /* Single precision floating-point vectors operations */
 /* Arithmetic */
@@ -9621,12 +9408,10 @@ static inline void gen_evfsabs(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    tcg_gen_andi_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], ~0x8000000080000000LL);
-#else
-    tcg_gen_andi_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], ~0x80000000);
-    tcg_gen_andi_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)], ~0x80000000);
-#endif
+    tcg_gen_andi_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)],
+                    ~0x80000000);
+    tcg_gen_andi_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],
+                    ~0x80000000);
 }
 static inline void gen_evfsnabs(DisasContext *ctx)
 {
@@ -9634,12 +9419,10 @@ static inline void gen_evfsnabs(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    tcg_gen_ori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], 0x8000000080000000LL);
-#else
-    tcg_gen_ori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], 0x80000000);
-    tcg_gen_ori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)], 0x80000000);
-#endif
+    tcg_gen_ori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)],
+                   0x80000000);
+    tcg_gen_ori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],
+                   0x80000000);
 }
 static inline void gen_evfsneg(DisasContext *ctx)
 {
@@ -9647,12 +9430,10 @@ static inline void gen_evfsneg(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    tcg_gen_xori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], 0x8000000080000000LL);
-#else
-    tcg_gen_xori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], 0x80000000);
-    tcg_gen_xori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)], 0x80000000);
-#endif
+    tcg_gen_xori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)],
+                    0x80000000);
+    tcg_gen_xori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],
+                    0x80000000);
 }
 
 /* Conversion */
@@ -9771,12 +9552,9 @@ static inline void gen_efdabs(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    tcg_gen_andi_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], ~0x8000000000000000LL);
-#else
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_andi_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)], ~0x80000000);
-#endif
+    tcg_gen_andi_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],
+                    ~0x80000000);
 }
 static inline void gen_efdnabs(DisasContext *ctx)
 {
@@ -9784,12 +9562,9 @@ static inline void gen_efdnabs(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    tcg_gen_ori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], 0x8000000000000000LL);
-#else
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_ori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)], 0x80000000);
-#endif
+    tcg_gen_ori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],
+                   0x80000000);
 }
 static inline void gen_efdneg(DisasContext *ctx)
 {
@@ -9797,12 +9572,9 @@ static inline void gen_efdneg(DisasContext *ctx)
         gen_exception(ctx, POWERPC_EXCP_SPEU);
         return;
     }
-#if defined(TARGET_PPC64)
-    tcg_gen_xori_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)], 0x8000000000000000LL);
-#else
     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_gpr[rA(ctx->opcode)]);
-    tcg_gen_xori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)], 0x80000000);
-#endif
+    tcg_gen_xori_tl(cpu_gprh[rD(ctx->opcode)], cpu_gprh[rA(ctx->opcode)],
+                    0x80000000);
 }
 
 /* Conversion */
@@ -9880,7 +9652,7 @@ GEN_HANDLER(ori, 0x18, 0xFF, 0xFF, 0x00000000, PPC_INTEGER),
 GEN_HANDLER(oris, 0x19, 0xFF, 0xFF, 0x00000000, PPC_INTEGER),
 GEN_HANDLER(xori, 0x1A, 0xFF, 0xFF, 0x00000000, PPC_INTEGER),
 GEN_HANDLER(xoris, 0x1B, 0xFF, 0xFF, 0x00000000, PPC_INTEGER),
-GEN_HANDLER(popcntb, 0x1F, 0x03, 0x03, 0x0000F801, PPC_POPCNTB),
+GEN_HANDLER(popcntb, 0x1F, 0x1A, 0x03, 0x0000F801, PPC_POPCNTB),
 GEN_HANDLER(popcntw, 0x1F, 0x1A, 0x0b, 0x0000F801, PPC_POPCNTWD),
 GEN_HANDLER_E(prtyw, 0x1F, 0x1A, 0x04, 0x0000F801, PPC_NONE, PPC2_ISA205),
 #if defined(TARGET_PPC64)
@@ -9982,6 +9754,7 @@ GEN_HANDLER(dcbi, 0x1F, 0x16, 0x0E, 0x03E00001, PPC_CACHE),
 GEN_HANDLER(dcbst, 0x1F, 0x16, 0x01, 0x03E00001, PPC_CACHE),
 GEN_HANDLER(dcbt, 0x1F, 0x16, 0x08, 0x00000001, PPC_CACHE),
 GEN_HANDLER(dcbtst, 0x1F, 0x16, 0x07, 0x00000001, PPC_CACHE),
+GEN_HANDLER_E(dcbtls, 0x1F, 0x06, 0x05, 0x02000001, PPC_BOOKE, PPC2_BOOKE206),
 GEN_HANDLER(dcbz, 0x1F, 0x16, 0x1F, 0x03C00001, PPC_CACHE_DCBZ),
 GEN_HANDLER(dst, 0x1F, 0x16, 0x0A, 0x01800001, PPC_ALTIVEC),
 GEN_HANDLER(dstst, 0x1F, 0x16, 0x0B, 0x02000001, PPC_ALTIVEC),
@@ -10999,6 +10772,166 @@ GEN_XXSEL_ROW(0x1F)
 
 GEN_XX3FORM_DM(xxpermdi, 0x08, 0x01),
 
+#undef GEN_DFP_T_A_B_Rc
+#undef GEN_DFP_BF_A_B
+#undef GEN_DFP_BF_A_DCM
+#undef GEN_DFP_T_B_U32_U32_Rc
+#undef GEN_DFP_T_A_B_I32_Rc
+#undef GEN_DFP_T_B_Rc
+#undef GEN_DFP_T_FPR_I32_Rc
+
+#define _GEN_DFP_LONG(name, op1, op2, mask) \
+GEN_HANDLER_E(name, 0x3B, op1, op2, mask, PPC_NONE, PPC2_DFP)
+
+#define _GEN_DFP_LONGx2(name, op1, op2, mask) \
+GEN_HANDLER_E(name, 0x3B, op1, 0x00 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3B, op1, 0x10 | op2, mask, PPC_NONE, PPC2_DFP)
+
+#define _GEN_DFP_LONGx4(name, op1, op2, mask) \
+GEN_HANDLER_E(name, 0x3B, op1, 0x00 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3B, op1, 0x08 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3B, op1, 0x10 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3B, op1, 0x18 | op2, mask, PPC_NONE, PPC2_DFP)
+
+#define _GEN_DFP_QUAD(name, op1, op2, mask) \
+GEN_HANDLER_E(name, 0x3F, op1, op2, mask, PPC_NONE, PPC2_DFP)
+
+#define _GEN_DFP_QUADx2(name, op1, op2, mask) \
+GEN_HANDLER_E(name, 0x3F, op1, 0x00 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3F, op1, 0x10 | op2, mask, PPC_NONE, PPC2_DFP)
+
+#define _GEN_DFP_QUADx4(name, op1, op2, mask)                         \
+GEN_HANDLER_E(name, 0x3F, op1, 0x00 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3F, op1, 0x08 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3F, op1, 0x10 | op2, mask, PPC_NONE, PPC2_DFP), \
+GEN_HANDLER_E(name, 0x3F, op1, 0x18 | op2, mask, PPC_NONE, PPC2_DFP)
+
+#define GEN_DFP_T_A_B_Rc(name, op1, op2) \
+_GEN_DFP_LONG(name, op1, op2, 0x00000000)
+
+#define GEN_DFP_Tp_Ap_Bp_Rc(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x00210800)
+
+#define GEN_DFP_Tp_A_Bp_Rc(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x00200800)
+
+#define GEN_DFP_T_B_Rc(name, op1, op2) \
+_GEN_DFP_LONG(name, op1, op2, 0x001F0000)
+
+#define GEN_DFP_Tp_Bp_Rc(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x003F0800)
+
+#define GEN_DFP_Tp_B_Rc(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x003F0000)
+
+#define GEN_DFP_T_Bp_Rc(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x001F0800)
+
+#define GEN_DFP_BF_A_B(name, op1, op2) \
+_GEN_DFP_LONG(name, op1, op2, 0x00000001)
+
+#define GEN_DFP_BF_Ap_Bp(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x00610801)
+
+#define GEN_DFP_BF_A_Bp(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x00600801)
+
+#define GEN_DFP_BF_A_DCM(name, op1, op2) \
+_GEN_DFP_LONGx2(name, op1, op2, 0x00600001)
+
+#define GEN_DFP_BF_Ap_DCM(name, op1, op2) \
+_GEN_DFP_QUADx2(name, op1, op2, 0x00610001)
+
+#define GEN_DFP_T_A_B_RMC_Rc(name, op1, op2) \
+_GEN_DFP_LONGx4(name, op1, op2, 0x00000000)
+
+#define GEN_DFP_Tp_Ap_Bp_RMC_Rc(name, op1, op2) \
+_GEN_DFP_QUADx4(name, op1, op2, 0x02010800)
+
+#define GEN_DFP_Tp_A_Bp_RMC_Rc(name, op1, op2) \
+_GEN_DFP_QUADx4(name, op1, op2, 0x02000800)
+
+#define GEN_DFP_TE_T_B_RMC_Rc(name, op1, op2) \
+_GEN_DFP_LONGx4(name, op1, op2, 0x00000000)
+
+#define GEN_DFP_TE_Tp_Bp_RMC_Rc(name, op1, op2) \
+_GEN_DFP_QUADx4(name, op1, op2, 0x00200800)
+
+#define GEN_DFP_R_T_B_RMC_Rc(name, op1, op2) \
+_GEN_DFP_LONGx4(name, op1, op2, 0x001E0000)
+
+#define GEN_DFP_R_Tp_Bp_RMC_Rc(name, op1, op2) \
+_GEN_DFP_QUADx4(name, op1, op2, 0x003E0800)
+
+#define GEN_DFP_SP_T_B_Rc(name, op1, op2) \
+_GEN_DFP_LONG(name, op1, op2, 0x00070000)
+
+#define GEN_DFP_SP_Tp_Bp_Rc(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x00270800)
+
+#define GEN_DFP_S_T_B_Rc(name, op1, op2) \
+_GEN_DFP_LONG(name, op1, op2, 0x000F0000)
+
+#define GEN_DFP_S_Tp_Bp_Rc(name, op1, op2) \
+_GEN_DFP_QUAD(name, op1, op2, 0x002F0800)
+
+#define GEN_DFP_T_A_SH_Rc(name, op1, op2) \
+_GEN_DFP_LONGx2(name, op1, op2, 0x00000000)
+
+#define GEN_DFP_Tp_Ap_SH_Rc(name, op1, op2) \
+_GEN_DFP_QUADx2(name, op1, op2, 0x00210000)
+
+GEN_DFP_T_A_B_Rc(dadd, 0x02, 0x00),
+GEN_DFP_Tp_Ap_Bp_Rc(daddq, 0x02, 0x00),
+GEN_DFP_T_A_B_Rc(dsub, 0x02, 0x10),
+GEN_DFP_Tp_Ap_Bp_Rc(dsubq, 0x02, 0x10),
+GEN_DFP_T_A_B_Rc(dmul, 0x02, 0x01),
+GEN_DFP_Tp_Ap_Bp_Rc(dmulq, 0x02, 0x01),
+GEN_DFP_T_A_B_Rc(ddiv, 0x02, 0x11),
+GEN_DFP_Tp_Ap_Bp_Rc(ddivq, 0x02, 0x11),
+GEN_DFP_BF_A_B(dcmpu, 0x02, 0x14),
+GEN_DFP_BF_Ap_Bp(dcmpuq, 0x02, 0x14),
+GEN_DFP_BF_A_B(dcmpo, 0x02, 0x04),
+GEN_DFP_BF_Ap_Bp(dcmpoq, 0x02, 0x04),
+GEN_DFP_BF_A_DCM(dtstdc, 0x02, 0x06),
+GEN_DFP_BF_Ap_DCM(dtstdcq, 0x02, 0x06),
+GEN_DFP_BF_A_DCM(dtstdg, 0x02, 0x07),
+GEN_DFP_BF_Ap_DCM(dtstdgq, 0x02, 0x07),
+GEN_DFP_BF_A_B(dtstex, 0x02, 0x05),
+GEN_DFP_BF_Ap_Bp(dtstexq, 0x02, 0x05),
+GEN_DFP_BF_A_B(dtstsf, 0x02, 0x15),
+GEN_DFP_BF_A_Bp(dtstsfq, 0x02, 0x15),
+GEN_DFP_TE_T_B_RMC_Rc(dquai, 0x03, 0x02),
+GEN_DFP_TE_Tp_Bp_RMC_Rc(dquaiq, 0x03, 0x02),
+GEN_DFP_T_A_B_RMC_Rc(dqua, 0x03, 0x00),
+GEN_DFP_Tp_Ap_Bp_RMC_Rc(dquaq, 0x03, 0x00),
+GEN_DFP_T_A_B_RMC_Rc(drrnd, 0x03, 0x01),
+GEN_DFP_Tp_A_Bp_RMC_Rc(drrndq, 0x03, 0x01),
+GEN_DFP_R_T_B_RMC_Rc(drintx, 0x03, 0x03),
+GEN_DFP_R_Tp_Bp_RMC_Rc(drintxq, 0x03, 0x03),
+GEN_DFP_R_T_B_RMC_Rc(drintn, 0x03, 0x07),
+GEN_DFP_R_Tp_Bp_RMC_Rc(drintnq, 0x03, 0x07),
+GEN_DFP_T_B_Rc(dctdp, 0x02, 0x08),
+GEN_DFP_Tp_B_Rc(dctqpq, 0x02, 0x08),
+GEN_DFP_T_B_Rc(drsp, 0x02, 0x18),
+GEN_DFP_Tp_Bp_Rc(drdpq, 0x02, 0x18),
+GEN_DFP_T_B_Rc(dcffix, 0x02, 0x19),
+GEN_DFP_Tp_B_Rc(dcffixq, 0x02, 0x19),
+GEN_DFP_T_B_Rc(dctfix, 0x02, 0x09),
+GEN_DFP_T_Bp_Rc(dctfixq, 0x02, 0x09),
+GEN_DFP_SP_T_B_Rc(ddedpd, 0x02, 0x0a),
+GEN_DFP_SP_Tp_Bp_Rc(ddedpdq, 0x02, 0x0a),
+GEN_DFP_S_T_B_Rc(denbcd, 0x02, 0x1a),
+GEN_DFP_S_Tp_Bp_Rc(denbcdq, 0x02, 0x1a),
+GEN_DFP_T_B_Rc(dxex, 0x02, 0x0b),
+GEN_DFP_T_Bp_Rc(dxexq, 0x02, 0x0b),
+GEN_DFP_T_A_B_Rc(diex, 0x02, 0x1b),
+GEN_DFP_Tp_A_Bp_Rc(diexq, 0x02, 0x1b),
+GEN_DFP_T_A_SH_Rc(dscli, 0x02, 0x02),
+GEN_DFP_Tp_Ap_SH_Rc(dscliq, 0x02, 0x02),
+GEN_DFP_T_A_SH_Rc(dscri, 0x02, 0x03),
+GEN_DFP_Tp_Ap_SH_Rc(dscriq, 0x02, 0x03),
+
 #undef GEN_SPE
 #define GEN_SPE(name0, name1, opc2, opc3, inval0, inval1, type) \
     GEN_OPCODE_DUAL(name0##_##name1, 0x04, opc2, opc3, inval0, inval1, type, PPC_NONE)
@@ -11337,6 +11270,7 @@ static inline void gen_intermediate_code_internal(PowerPCCPU *cpu,
     ctx.insns_flags2 = env->insns_flags2;
     ctx.access_type = -1;
     ctx.le_mode = env->hflags & (1 << MSR_LE) ? 1 : 0;
+    ctx.default_tcg_memop_mask = ctx.le_mode ? MO_LE : MO_BE;
 #if defined(TARGET_PPC64)
     ctx.sf_mode = msr_is_64bit(env, env->msr);
     ctx.has_cfar = !!(env->flags & POWERPC_FLAG_CFAR);
@@ -11374,6 +11308,7 @@ static inline void gen_intermediate_code_internal(PowerPCCPU *cpu,
         max_insns = CF_COUNT_MASK;
 
     gen_tb_start();
+    tcg_clear_temp_count();
     /* Set env in case of segfault during code fetch */
     while (ctx.exception == POWERPC_EXCP_NONE
             && tcg_ctx.gen_opc_ptr < gen_opc_end) {
@@ -11401,7 +11336,7 @@ static inline void gen_intermediate_code_internal(PowerPCCPU *cpu,
                   ctx.nip, ctx.mem_idx, (int)msr_ir);
         if (num_insns + 1 == max_insns && (tb->cflags & CF_LAST_IO))
             gen_io_start();
-        if (unlikely(ctx.le_mode)) {
+        if (unlikely(need_byteswap(&ctx))) {
             ctx.opcode = bswap32(cpu_ldl_code(env, ctx.nip));
         } else {
             ctx.opcode = cpu_ldl_code(env, ctx.nip);
@@ -11473,6 +11408,12 @@ static inline void gen_intermediate_code_internal(PowerPCCPU *cpu,
              */
             break;
         }
+        if (tcg_check_temp_count()) {
+            fprintf(stderr, "Opcode %02x %02x %02x (%08x) leaked temporaries\n",
+                    opc1(ctx.opcode), opc2(ctx.opcode), opc3(ctx.opcode),
+                    ctx.opcode);
+            exit(1);
+        }
     }
     if (tb->cflags & CF_LAST_IO)
         gen_io_end();
index 4d94015942fc2f2861a899323bbbd4852556b6ec..85581c953762affcf24d417be1a6129ea1a1af32 100644 (file)
@@ -28,6 +28,8 @@
 #include "mmu-hash32.h"
 #include "mmu-hash64.h"
 #include "qemu/error-report.h"
+#include "qapi/visitor.h"
+#include "hw/qdev-properties.h"
 
 //#define PPC_DUMP_CPU
 //#define PPC_DEBUG_SPR
@@ -173,6 +175,13 @@ static void spr_read_ureg (void *opaque, int gprn, int sprn)
     gen_load_spr(cpu_gpr[gprn], sprn + 0x10);
 }
 
+#if defined(TARGET_PPC64) && !defined(CONFIG_USER_ONLY)
+static void spr_write_ureg(void *opaque, int sprn, int gprn)
+{
+    gen_store_spr(sprn + 0x10, cpu_gpr[gprn]);
+}
+#endif
+
 /* SPR common to all non-embedded PowerPC */
 /* DECR */
 #if !defined(CONFIG_USER_ONLY)
@@ -951,72 +960,72 @@ static void gen_spr_7xx (CPUPPCState *env)
                  0x00000000);
     /* Performance monitors */
     /* XXX : not implemented */
-    spr_register(env, SPR_MMCR0, "MMCR0",
+    spr_register(env, SPR_7XX_MMCR0, "MMCR0",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_MMCR1, "MMCR1",
+    spr_register(env, SPR_7XX_MMCR1, "MMCR1",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC1, "PMC1",
+    spr_register(env, SPR_7XX_PMC1, "PMC1",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC2, "PMC2",
+    spr_register(env, SPR_7XX_PMC2, "PMC2",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC3, "PMC3",
+    spr_register(env, SPR_7XX_PMC3, "PMC3",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC4, "PMC4",
+    spr_register(env, SPR_7XX_PMC4, "PMC4",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_SIAR, "SIAR",
+    spr_register(env, SPR_7XX_SIAR, "SIAR",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UMMCR0, "UMMCR0",
+    spr_register(env, SPR_7XX_UMMCR0, "UMMCR0",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UMMCR1, "UMMCR1",
+    spr_register(env, SPR_7XX_UMMCR1, "UMMCR1",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC1, "UPMC1",
+    spr_register(env, SPR_7XX_UPMC1, "UPMC1",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC2, "UPMC2",
+    spr_register(env, SPR_7XX_UPMC2, "UPMC2",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC3, "UPMC3",
+    spr_register(env, SPR_7XX_UPMC3, "UPMC3",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC4, "UPMC4",
+    spr_register(env, SPR_7XX_UPMC4, "UPMC4",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_USIAR, "USIAR",
+    spr_register(env, SPR_7XX_USIAR, "USIAR",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -1117,22 +1126,22 @@ static void gen_spr_604 (CPUPPCState *env)
                      KVM_REG_PPC_DABR, 0x00000000);
     /* Performance counters */
     /* XXX : not implemented */
-    spr_register(env, SPR_MMCR0, "MMCR0",
+    spr_register(env, SPR_7XX_MMCR0, "MMCR0",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC1, "PMC1",
+    spr_register(env, SPR_7XX_PMC1, "PMC1",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC2, "PMC2",
+    spr_register(env, SPR_7XX_PMC2, "PMC2",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_SIAR, "SIAR",
+    spr_register(env, SPR_7XX_SIAR, "SIAR",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, SPR_NOACCESS,
                  0x00000000);
@@ -1352,12 +1361,12 @@ static void gen_spr_74xx (CPUPPCState *env)
                  &spr_read_generic, &spr_write_pir,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_MMCR2, "MMCR2",
+    spr_register(env, SPR_74XX_MMCR2, "MMCR2",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UMMCR2, "UMMCR2",
+    spr_register(env, SPR_74XX_UMMCR2, "UMMCR2",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -1448,16 +1457,23 @@ static void spr_write_e500_l1csr0 (void *opaque, int sprn, int gprn)
 {
     TCGv t0 = tcg_temp_new();
 
-    tcg_gen_andi_tl(t0, cpu_gpr[gprn], ~256);
+    tcg_gen_andi_tl(t0, cpu_gpr[gprn], L1CSR0_DCE | L1CSR0_CPE);
+    gen_store_spr(sprn, t0);
+    tcg_temp_free(t0);
+}
+
+static void spr_write_e500_l1csr1(void *opaque, int sprn, int gprn)
+{
+    TCGv t0 = tcg_temp_new();
+
+    tcg_gen_andi_tl(t0, cpu_gpr[gprn], L1CSR1_ICE | L1CSR1_CPE);
     gen_store_spr(sprn, t0);
     tcg_temp_free(t0);
 }
 
 static void spr_write_booke206_mmucsr0 (void *opaque, int sprn, int gprn)
 {
-    TCGv_i32 t0 = tcg_const_i32(sprn);
-    gen_helper_booke206_tlbflush(cpu_env, t0);
-    tcg_temp_free_i32(t0);
+    gen_helper_booke206_tlbflush(cpu_env, cpu_gpr[gprn]);
 }
 
 static void spr_write_booke_pid (void *opaque, int sprn, int gprn)
@@ -3064,6 +3080,7 @@ static void init_excp_POWER7 (CPUPPCState *env)
     env->excp_vectors[POWERPC_EXCP_PERFM]    = 0x00000F00;
     env->excp_vectors[POWERPC_EXCP_VPU]      = 0x00000F20;
     env->excp_vectors[POWERPC_EXCP_VSXU]     = 0x00000F40;
+    env->excp_vectors[POWERPC_EXCP_FU]       = 0x00000F60;
     env->excp_vectors[POWERPC_EXCP_IABR]     = 0x00001300;
     env->excp_vectors[POWERPC_EXCP_MAINT]    = 0x00001600;
     env->excp_vectors[POWERPC_EXCP_VPUA]     = 0x00001700;
@@ -3102,6 +3119,18 @@ static int check_pow_hid0_74xx (CPUPPCState *env)
     return 0;
 }
 
+static bool ppc_cpu_interrupts_big_endian_always(PowerPCCPU *cpu)
+{
+    return true;
+}
+
+#ifdef TARGET_PPC64
+static bool ppc_cpu_interrupts_big_endian_lpcr(PowerPCCPU *cpu)
+{
+    return !(cpu->env.spr[SPR_LPCR] & LPCR_ILE);
+}
+#endif
+
 /*****************************************************************************/
 /* PowerPC implementations definitions                                       */
 
@@ -3156,7 +3185,15 @@ POWERPC_FAMILY(401)(ObjectClass *oc, void *data)
                        PPC_CACHE_DCBZ |
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_4xx_COMMON | PPC_40x_EXCP;
-    pcc->msr_mask = 0x00000000000FD201ULL;
+    pcc->msr_mask = (1ull << MSR_KEY) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_REAL;
     pcc->excp_model = POWERPC_EXCP_40x;
     pcc->bus_model = PPC_FLAGS_INPUT_401;
@@ -3203,7 +3240,18 @@ POWERPC_FAMILY(401x2)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_40x_TLB | PPC_MEM_TLBIA | PPC_MEM_TLBSYNC |
                        PPC_4xx_COMMON | PPC_40x_EXCP;
-    pcc->msr_mask = 0x00000000001FD231ULL;
+    pcc->msr_mask = (1ull << 20) |
+                    (1ull << MSR_KEY) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_4xx_Z;
     pcc->excp_model = POWERPC_EXCP_40x;
     pcc->bus_model = PPC_FLAGS_INPUT_401;
@@ -3244,7 +3292,19 @@ POWERPC_FAMILY(401x3)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_40x_TLB | PPC_MEM_TLBIA | PPC_MEM_TLBSYNC |
                        PPC_4xx_COMMON | PPC_40x_EXCP;
-    pcc->msr_mask = 0x00000000001FD631ULL;
+    pcc->msr_mask = (1ull << 20) |
+                    (1ull << MSR_KEY) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_4xx_Z;
     pcc->excp_model = POWERPC_EXCP_40x;
     pcc->bus_model = PPC_FLAGS_INPUT_401;
@@ -3291,7 +3351,18 @@ POWERPC_FAMILY(IOP480)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_40x_TLB | PPC_MEM_TLBIA | PPC_MEM_TLBSYNC |
                        PPC_4xx_COMMON | PPC_40x_EXCP;
-    pcc->msr_mask = 0x00000000001FD231ULL;
+    pcc->msr_mask = (1ull << 20) |
+                    (1ull << MSR_KEY) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_4xx_Z;
     pcc->excp_model = POWERPC_EXCP_40x;
     pcc->bus_model = PPC_FLAGS_INPUT_401;
@@ -3330,7 +3401,15 @@ POWERPC_FAMILY(403)(ObjectClass *oc, void *data)
                        PPC_CACHE_DCBZ |
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_4xx_COMMON | PPC_40x_EXCP;
-    pcc->msr_mask = 0x000000000007D00DULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_PE) |
+                    (1ull << MSR_PX) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_REAL;
     pcc->excp_model = POWERPC_EXCP_40x;
     pcc->bus_model = PPC_FLAGS_INPUT_401;
@@ -3389,7 +3468,15 @@ POWERPC_FAMILY(403GCX)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_40x_TLB | PPC_MEM_TLBIA | PPC_MEM_TLBSYNC |
                        PPC_4xx_COMMON | PPC_40x_EXCP;
-    pcc->msr_mask = 0x000000000007D00DULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_PE) |
+                    (1ull << MSR_PX) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_4xx_Z;
     pcc->excp_model = POWERPC_EXCP_40x;
     pcc->bus_model = PPC_FLAGS_INPUT_401;
@@ -3447,7 +3534,15 @@ POWERPC_FAMILY(405)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_40x_TLB | PPC_MEM_TLBIA | PPC_MEM_TLBSYNC |
                        PPC_4xx_COMMON | PPC_405_MAC | PPC_40x_EXCP;
-    pcc->msr_mask = 0x000000000006E630ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_SOFT_4xx;
     pcc->excp_model = POWERPC_EXCP_40x;
     pcc->bus_model = PPC_FLAGS_INPUT_405;
@@ -3540,7 +3635,18 @@ POWERPC_FAMILY(440EP)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBSYNC | PPC_MFTB |
                        PPC_BOOKE | PPC_4xx_COMMON | PPC_405_MAC |
                        PPC_440_SPEC;
-    pcc->msr_mask = 0x000000000006FF30ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -3612,7 +3718,18 @@ POWERPC_FAMILY(440GP)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBSYNC | PPC_TLBIVA | PPC_MFTB |
                        PPC_BOOKE | PPC_4xx_COMMON | PPC_405_MAC |
                        PPC_440_SPEC;
-    pcc->msr_mask = 0x000000000006FF30ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -3684,7 +3801,18 @@ POWERPC_FAMILY(440x4)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBSYNC | PPC_MFTB |
                        PPC_BOOKE | PPC_4xx_COMMON | PPC_405_MAC |
                        PPC_440_SPEC;
-    pcc->msr_mask = 0x000000000006FF30ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -3774,7 +3902,18 @@ POWERPC_FAMILY(440x5)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBSYNC | PPC_MFTB |
                        PPC_BOOKE | PPC_4xx_COMMON | PPC_405_MAC |
                        PPC_440_SPEC;
-    pcc->msr_mask = 0x000000000006FF30ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -3870,7 +4009,18 @@ POWERPC_FAMILY(460)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBSYNC | PPC_TLBIVA |
                        PPC_BOOKE | PPC_4xx_COMMON | PPC_405_MAC |
                        PPC_440_SPEC;
-    pcc->msr_mask = 0x000000000006FF30ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -3969,7 +4119,18 @@ POWERPC_FAMILY(460F)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBSYNC | PPC_TLBIVA |
                        PPC_BOOKE | PPC_4xx_COMMON | PPC_405_MAC |
                        PPC_440_SPEC;
-    pcc->msr_mask = 0x000000000006FF30ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -4002,7 +4163,18 @@ POWERPC_FAMILY(MPC5xx)(ObjectClass *oc, void *data)
                        PPC_MEM_EIEIO | PPC_MEM_SYNC |
                        PPC_CACHE_ICBI | PPC_FLOAT | PPC_FLOAT_STFIWX |
                        PPC_MFTB;
-    pcc->msr_mask = 0x000000000001FF43ULL;
+    pcc->msr_mask = (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_REAL;
     pcc->excp_model = POWERPC_EXCP_603;
     pcc->bus_model = PPC_FLAGS_INPUT_RCPU;
@@ -4034,7 +4206,18 @@ POWERPC_FAMILY(MPC8xx)(ObjectClass *oc, void *data)
     pcc->insns_flags = PPC_INSNS_BASE | PPC_STRING  |
                        PPC_MEM_EIEIO | PPC_MEM_SYNC |
                        PPC_CACHE_ICBI | PPC_MFTB;
-    pcc->msr_mask = 0x000000000001F673ULL;
+    pcc->msr_mask = (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_MPC8xx;
     pcc->excp_model = POWERPC_EXCP_603;
     pcc->bus_model = PPC_FLAGS_INPUT_RCPU;
@@ -4100,7 +4283,21 @@ POWERPC_FAMILY(G2)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC | PPC_6xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000006FFF2ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_TGPR) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_AL) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_RI);
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_G2;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -4191,7 +4388,23 @@ POWERPC_FAMILY(G2LE)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC | PPC_6xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000007FFF3ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_TGPR) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_AL) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_G2;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -4249,8 +4462,8 @@ static void init_proc_e200 (CPUPPCState *env)
                  0x00000000);
     /* XXX : not implemented */
     spr_register(env, SPR_Exxx_L1CFG0, "L1CFG0",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_generic,
+                 &spr_read_generic, SPR_NOACCESS,
+                 &spr_read_generic, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
     spr_register(env, SPR_Exxx_L1CSR0, "L1CSR0",
@@ -4331,7 +4544,20 @@ POWERPC_FAMILY(e200)(ObjectClass *oc, void *data)
                        PPC_CACHE_DCBZ | PPC_CACHE_DCBA |
                        PPC_MEM_TLBSYNC | PPC_TLBIVAX |
                        PPC_BOOKE;
-    pcc->msr_mask = 0x000000000606FF30ULL;
+    pcc->msr_mask = (1ull << MSR_UCLE) |
+                    (1ull << MSR_SPE) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE206;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -4389,7 +4615,23 @@ POWERPC_FAMILY(e300)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC | PPC_6xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000007FFF3ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_TGPR) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_AL) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_603;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -4438,6 +4680,8 @@ static void init_proc_e500 (CPUPPCState *env, int version)
     uint64_t ivpr_mask = 0xFFFF0000ULL;
     uint32_t l1cfg0 = 0x3800  /* 8 ways */
                     | 0x0020; /* 32 kb */
+    uint32_t l1cfg1 = 0x3800  /* 8 ways */
+                    | 0x0020; /* 32 kb */
 #if !defined(CONFIG_USER_ONLY)
     int i;
 #endif
@@ -4506,6 +4750,7 @@ static void init_proc_e500 (CPUPPCState *env, int version)
         env->dcache_line_size = 64;
         env->icache_line_size = 64;
         l1cfg0 |= 0x1000000; /* 64 byte cache block size */
+        l1cfg1 |= 0x1000000; /* 64 byte cache block size */
         break;
     default:
         cpu_abort(CPU(cpu), "Unknown CPU: " TARGET_FMT_lx "\n", env->spr[SPR_PVR]);
@@ -4553,18 +4798,20 @@ static void init_proc_e500 (CPUPPCState *env, int version)
                  0x00000000);
     /* XXX : not implemented */
     spr_register(env, SPR_Exxx_L1CFG0, "L1CFG0",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_generic,
+                 &spr_read_generic, SPR_NOACCESS,
+                 &spr_read_generic, SPR_NOACCESS,
                  l1cfg0);
-    /* XXX : not implemented */
+    spr_register(env, SPR_Exxx_L1CFG1, "L1CFG1",
+                 &spr_read_generic, SPR_NOACCESS,
+                 &spr_read_generic, SPR_NOACCESS,
+                 l1cfg1);
     spr_register(env, SPR_Exxx_L1CSR0, "L1CSR0",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_e500_l1csr0,
                  0x00000000);
-    /* XXX : not implemented */
     spr_register(env, SPR_Exxx_L1CSR1, "L1CSR1",
                  SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_generic,
+                 &spr_read_generic, &spr_write_e500_l1csr1,
                  0x00000000);
     spr_register(env, SPR_BOOKE_MCSRR0, "MCSRR0",
                  SPR_NOACCESS, SPR_NOACCESS,
@@ -4628,7 +4875,20 @@ POWERPC_FAMILY(e500v1)(ObjectClass *oc, void *data)
                        PPC_CACHE_DCBZ | PPC_CACHE_DCBA |
                        PPC_MEM_TLBSYNC | PPC_TLBIVAX | PPC_MEM_SYNC;
     pcc->insns_flags2 = PPC2_BOOKE206;
-    pcc->msr_mask = 0x000000000606FF30ULL;
+    pcc->msr_mask = (1ull << MSR_UCLE) |
+                    (1ull << MSR_SPE) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE206;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -4658,7 +4918,20 @@ POWERPC_FAMILY(e500v2)(ObjectClass *oc, void *data)
                        PPC_CACHE_DCBZ | PPC_CACHE_DCBA |
                        PPC_MEM_TLBSYNC | PPC_TLBIVAX | PPC_MEM_SYNC;
     pcc->insns_flags2 = PPC2_BOOKE206;
-    pcc->msr_mask = 0x000000000606FF30ULL;
+    pcc->msr_mask = (1ull << MSR_UCLE) |
+                    (1ull << MSR_SPE) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DWE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_BOOKE206;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -4690,7 +4963,20 @@ POWERPC_FAMILY(e500mc)(ObjectClass *oc, void *data)
                        PPC_FLOAT_STFIWX | PPC_WAIT |
                        PPC_MEM_TLBSYNC | PPC_TLBIVAX | PPC_MEM_SYNC;
     pcc->insns_flags2 = PPC2_BOOKE206 | PPC2_PRCNTL;
-    pcc->msr_mask = 0x000000001402FB36ULL;
+    pcc->msr_mask = (1ull << MSR_GS) |
+                    (1ull << MSR_UCLE) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PX) |
+                    (1ull << MSR_RI);
     pcc->mmu_model = POWERPC_MMU_BOOKE206;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -4724,7 +5010,21 @@ POWERPC_FAMILY(e5500)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBSYNC | PPC_TLBIVAX | PPC_MEM_SYNC |
                        PPC_64B | PPC_POPCNTB | PPC_POPCNTWD;
     pcc->insns_flags2 = PPC2_BOOKE206 | PPC2_PRCNTL | PPC2_PERM_ISA206;
-    pcc->msr_mask = 0x000000009402FB36ULL;
+    pcc->msr_mask = (1ull << MSR_CM) |
+                    (1ull << MSR_GS) |
+                    (1ull << MSR_UCLE) |
+                    (1ull << MSR_CE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PX) |
+                    (1ull << MSR_RI);
     pcc->mmu_model = POWERPC_MMU_BOOKE206;
     pcc->excp_model = POWERPC_EXCP_BOOKE;
     pcc->bus_model = PPC_FLAGS_INPUT_BookE;
@@ -4746,7 +5046,17 @@ POWERPC_FAMILY(POWER)(ObjectClass *oc, void *data)
     dc->desc = "POWER";
     /* pcc->insns_flags = XXX_TODO; */
     /* POWER RSC (from RAD6000) */
-    pcc->msr_mask = 0x00000000FEF0ULL;
+    pcc->msr_mask = (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_AL) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
 }
 
 #define POWERPC_MSRR_601     (0x0000000000001040ULL)
@@ -4801,7 +5111,16 @@ POWERPC_FAMILY(601)(ObjectClass *oc, void *data)
                        PPC_CACHE | PPC_CACHE_ICBI | PPC_CACHE_DCBZ |
                        PPC_MEM_SYNC | PPC_MEM_EIEIO | PPC_MEM_TLBIE |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000000FD70ULL;
+    pcc->msr_mask = (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_601;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -4837,7 +5156,16 @@ POWERPC_FAMILY(601v)(ObjectClass *oc, void *data)
                        PPC_CACHE | PPC_CACHE_ICBI | PPC_CACHE_DCBZ |
                        PPC_MEM_SYNC | PPC_MEM_EIEIO | PPC_MEM_TLBIE |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000000FD70ULL;
+    pcc->msr_mask = (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR);
     pcc->mmu_model = POWERPC_MMU_601;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -4889,7 +5217,24 @@ POWERPC_FAMILY(602)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_6xx_TLB | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_602_SPEC;
-    pcc->msr_mask = 0x0000000000C7FF73ULL;
+    pcc->msr_mask = (1ull << MSR_VSX) |
+                    (1ull << MSR_SA) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_TGPR) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     /* XXX: 602 MMU is quite specific. Should add a special case */
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_602;
@@ -4941,7 +5286,22 @@ POWERPC_FAMILY(603)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC | PPC_6xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000007FF73ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_TGPR) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_603;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -4992,7 +5352,22 @@ POWERPC_FAMILY(603E)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC | PPC_6xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000007FF73ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_TGPR) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_603E;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -5037,7 +5412,22 @@ POWERPC_FAMILY(604)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5054,17 +5444,17 @@ static void init_proc_604E (CPUPPCState *env)
     gen_spr_ne_601(env);
     gen_spr_604(env);
     /* XXX : not implemented */
-    spr_register(env, SPR_MMCR1, "MMCR1",
+    spr_register(env, SPR_7XX_MMCR1, "MMCR1",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC3, "PMC3",
+    spr_register(env, SPR_7XX_PMC3, "PMC3",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC4, "PMC4",
+    spr_register(env, SPR_7XX_PMC4, "PMC4",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
@@ -5105,7 +5495,22 @@ POWERPC_FAMILY(604E)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5160,7 +5565,22 @@ POWERPC_FAMILY(740)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5223,7 +5643,22 @@ POWERPC_FAMILY(750)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5409,7 +5844,22 @@ POWERPC_FAMILY(750cl)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5476,7 +5926,22 @@ POWERPC_FAMILY(750cx)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5548,7 +6013,22 @@ POWERPC_FAMILY(750fx)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5620,7 +6100,22 @@ POWERPC_FAMILY(750gx)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5683,7 +6178,22 @@ POWERPC_FAMILY(745)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC | PPC_6xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_7x5;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -5754,7 +6264,22 @@ POWERPC_FAMILY(755)(ObjectClass *oc, void *data)
                        PPC_MEM_SYNC | PPC_MEM_EIEIO |
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC | PPC_6xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN;
-    pcc->msr_mask = 0x000000000005FF77ULL;
+    pcc->msr_mask = (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_6xx;
     pcc->excp_model = POWERPC_EXCP_7x5;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -5812,7 +6337,23 @@ POWERPC_FAMILY(7400)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIA |
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5880,7 +6421,23 @@ POWERPC_FAMILY(7410)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIA |
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -5926,22 +6483,22 @@ static void init_proc_7440 (CPUPPCState *env)
                  0x00000000);
     /* PMC */
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC5, "PMC5",
+    spr_register(env, SPR_7XX_PMC5, "PMC5",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC5, "UPMC5",
+    spr_register(env, SPR_7XX_UPMC5, "UPMC5",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC6, "PMC6",
+    spr_register(env, SPR_7XX_PMC6, "PMC6",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC6, "UPMC6",
+    spr_register(env, SPR_7XX_UPMC6, "UPMC6",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -5974,7 +6531,23 @@ POWERPC_FAMILY(7440)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIA | PPC_74xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_74xx;
     pcc->excp_model = POWERPC_EXCP_74xx;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -6043,22 +6616,22 @@ static void init_proc_7450 (CPUPPCState *env)
                  0x00000000);
     /* PMC */
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC5, "PMC5",
+    spr_register(env, SPR_7XX_PMC5, "PMC5",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC5, "UPMC5",
+    spr_register(env, SPR_7XX_UPMC5, "UPMC5",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC6, "PMC6",
+    spr_register(env, SPR_7XX_PMC6, "PMC6",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC6, "UPMC6",
+    spr_register(env, SPR_7XX_UPMC6, "UPMC6",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -6091,7 +6664,23 @@ POWERPC_FAMILY(7450)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIA | PPC_74xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_74xx;
     pcc->excp_model = POWERPC_EXCP_74xx;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -6129,22 +6718,22 @@ static void init_proc_7445 (CPUPPCState *env)
                  0x00000000);
     /* PMC */
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC5, "PMC5",
+    spr_register(env, SPR_7XX_PMC5, "PMC5",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC5, "UPMC5",
+    spr_register(env, SPR_7XX_UPMC5, "UPMC5",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC6, "PMC6",
+    spr_register(env, SPR_7XX_PMC6, "PMC6",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC6, "UPMC6",
+    spr_register(env, SPR_7XX_UPMC6, "UPMC6",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -6211,7 +6800,23 @@ POWERPC_FAMILY(7445)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIA | PPC_74xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_74xx;
     pcc->excp_model = POWERPC_EXCP_74xx;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -6251,22 +6856,22 @@ static void init_proc_7455 (CPUPPCState *env)
                  0x00000000);
     /* PMC */
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC5, "PMC5",
+    spr_register(env, SPR_7XX_PMC5, "PMC5",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC5, "UPMC5",
+    spr_register(env, SPR_7XX_UPMC5, "UPMC5",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC6, "PMC6",
+    spr_register(env, SPR_7XX_PMC6, "PMC6",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC6, "UPMC6",
+    spr_register(env, SPR_7XX_UPMC6, "UPMC6",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -6333,7 +6938,23 @@ POWERPC_FAMILY(7455)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIA | PPC_74xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_74xx;
     pcc->excp_model = POWERPC_EXCP_74xx;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -6397,22 +7018,22 @@ static void init_proc_7457 (CPUPPCState *env)
                  0x00000000);
     /* PMC */
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC5, "PMC5",
+    spr_register(env, SPR_7XX_PMC5, "PMC5",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC5, "UPMC5",
+    spr_register(env, SPR_7XX_UPMC5, "UPMC5",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC6, "PMC6",
+    spr_register(env, SPR_7XX_PMC6, "PMC6",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC6, "UPMC6",
+    spr_register(env, SPR_7XX_UPMC6, "UPMC6",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -6479,7 +7100,23 @@ POWERPC_FAMILY(7457)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIA | PPC_74xx_TLB |
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_SOFT_74xx;
     pcc->excp_model = POWERPC_EXCP_74xx;
     pcc->bus_model = PPC_FLAGS_INPUT_6xx;
@@ -6518,22 +7155,22 @@ static void init_proc_e600 (CPUPPCState *env)
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC5, "PMC5",
+    spr_register(env, SPR_7XX_PMC5, "PMC5",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC5, "UPMC5",
+    spr_register(env, SPR_7XX_UPMC5, "UPMC5",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_PMC6, "PMC6",
+    spr_register(env, SPR_7XX_PMC6, "PMC6",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
     /* XXX : not implemented */
-    spr_register(env, SPR_UPMC6, "UPMC6",
+    spr_register(env, SPR_7XX_UPMC6, "UPMC6",
                  &spr_read_ureg, SPR_NOACCESS,
                  &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
@@ -6601,7 +7238,23 @@ POWERPC_FAMILY(e600)(ObjectClass *oc, void *data)
                        PPC_SEGMENT | PPC_EXTERN |
                        PPC_ALTIVEC;
     pcc->insns_flags2 = PPC_NONE;
-    pcc->msr_mask = 0x000000000205FF77ULL;
+    pcc->msr_mask = (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_ILE) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_EP) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_32B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash32_handle_mmu_fault;
@@ -6621,327 +7274,669 @@ POWERPC_FAMILY(e600)(ObjectClass *oc, void *data)
 #define POWERPC970_HID5_INIT 0x00000000
 #endif
 
-static int check_pow_970 (CPUPPCState *env)
+enum BOOK3S_CPU_TYPE {
+    BOOK3S_CPU_970,
+    BOOK3S_CPU_POWER5PLUS,
+    BOOK3S_CPU_POWER6,
+    BOOK3S_CPU_POWER7,
+    BOOK3S_CPU_POWER8
+};
+
+static void gen_fscr_facility_check(void *opaque, int facility_sprn, int bit,
+                                    int sprn, int cause)
 {
-    if (env->spr[SPR_HID0] & 0x00600000)
-        return 1;
+    TCGv_i32 t1 = tcg_const_i32(bit);
+    TCGv_i32 t2 = tcg_const_i32(sprn);
+    TCGv_i32 t3 = tcg_const_i32(cause);
 
-    return 0;
+    gen_update_current_nip(opaque);
+    gen_helper_fscr_facility_check(cpu_env, t1, t2, t3);
+
+    tcg_temp_free_i32(t3);
+    tcg_temp_free_i32(t2);
+    tcg_temp_free_i32(t1);
 }
 
-static void init_proc_970 (CPUPPCState *env)
+static void gen_msr_facility_check(void *opaque, int facility_sprn, int bit,
+                                   int sprn, int cause)
 {
-    gen_spr_ne_601(env);
-    gen_spr_7xx(env);
-    /* Time base */
-    gen_tbl(env);
-    /* Hardware implementation registers */
-    /* XXX : not implemented */
-    spr_register(env, SPR_HID0, "HID0",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_clear,
-                 0x60000000);
-    /* XXX : not implemented */
-    spr_register(env, SPR_HID1, "HID1",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_generic,
-                 0x00000000);
-    /* XXX : not implemented */
-    spr_register(env, SPR_970_HID5, "HID5",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_generic,
-                 POWERPC970_HID5_INIT);
-    /* Memory management */
-    /* XXX: not correct */
-    gen_low_BATs(env);
-    spr_register(env, SPR_HIOR, "SPR_HIOR",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_hior, &spr_write_hior,
-                 0x00000000);
-#if !defined(CONFIG_USER_ONLY)
-    env->slb_nr = 32;
-#endif
-    init_excp_970(env);
-    env->dcache_line_size = 128;
-    env->icache_line_size = 128;
-    /* Allocate hardware IRQ controller */
-    ppc970_irq_init(env);
-    /* Can't find information on what this should be on reset.  This
-     * value is the one used by 74xx processors. */
-    vscr_init(env, 0x00010000);
+    TCGv_i32 t1 = tcg_const_i32(bit);
+    TCGv_i32 t2 = tcg_const_i32(sprn);
+    TCGv_i32 t3 = tcg_const_i32(cause);
+
+    gen_update_current_nip(opaque);
+    gen_helper_msr_facility_check(cpu_env, t1, t2, t3);
+
+    tcg_temp_free_i32(t3);
+    tcg_temp_free_i32(t2);
+    tcg_temp_free_i32(t1);
 }
 
-POWERPC_FAMILY(970)(ObjectClass *oc, void *data)
+static void spr_read_prev_upper32(void *opaque, int gprn, int sprn)
 {
-    DeviceClass *dc = DEVICE_CLASS(oc);
-    PowerPCCPUClass *pcc = POWERPC_CPU_CLASS(oc);
+    TCGv spr_up = tcg_temp_new();
+    TCGv spr = tcg_temp_new();
 
-    dc->desc = "PowerPC 970";
-    pcc->init_proc = init_proc_970;
-    pcc->check_pow = check_pow_970;
-    pcc->insns_flags = PPC_INSNS_BASE | PPC_STRING | PPC_MFTB |
-                       PPC_FLOAT | PPC_FLOAT_FSEL | PPC_FLOAT_FRES |
-                       PPC_FLOAT_FSQRT | PPC_FLOAT_FRSQRTE |
-                       PPC_FLOAT_STFIWX |
-                       PPC_CACHE | PPC_CACHE_ICBI | PPC_CACHE_DCBZ |
-                       PPC_MEM_SYNC | PPC_MEM_EIEIO |
-                       PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
-                       PPC_64B | PPC_ALTIVEC |
-                       PPC_SEGMENT_64B | PPC_SLBI;
-    pcc->msr_mask = 0x900000000204FF36ULL;
-    pcc->mmu_model = POWERPC_MMU_64B;
-#if defined(CONFIG_SOFTMMU)
-    pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
-#endif
-    pcc->excp_model = POWERPC_EXCP_970;
-    pcc->bus_model = PPC_FLAGS_INPUT_970;
-    pcc->bfd_mach = bfd_mach_ppc64;
-    pcc->flags = POWERPC_FLAG_VRE | POWERPC_FLAG_SE |
-                 POWERPC_FLAG_BE | POWERPC_FLAG_PMM |
-                 POWERPC_FLAG_BUS_CLK;
-    pcc->l1_dcache_size = 0x8000;
-    pcc->l1_icache_size = 0x10000;
+    gen_load_spr(spr, sprn - 1);
+    tcg_gen_shri_tl(spr_up, spr, 32);
+    tcg_gen_ext32u_tl(cpu_gpr[gprn], spr_up);
+
+    tcg_temp_free(spr);
+    tcg_temp_free(spr_up);
 }
 
-static int check_pow_970FX (CPUPPCState *env)
+static void spr_write_prev_upper32(void *opaque, int sprn, int gprn)
 {
-    if (env->spr[SPR_HID0] & 0x00600000)
+    TCGv spr = tcg_temp_new();
+
+    gen_load_spr(spr, sprn - 1);
+    tcg_gen_deposit_tl(spr, spr, cpu_gpr[gprn], 32, 32);
+    gen_store_spr(sprn - 1, spr);
+
+    tcg_temp_free(spr);
+}
+
+static int check_pow_970 (CPUPPCState *env)
+{
+    if (env->spr[SPR_HID0] & (HID0_DEEPNAP | HID0_DOZE | HID0_NAP)) {
         return 1;
+    }
 
     return 0;
 }
 
-static void init_proc_970FX (CPUPPCState *env)
+static void gen_spr_970_hid(CPUPPCState *env)
 {
-    gen_spr_ne_601(env);
-    gen_spr_7xx(env);
-    /* Time base */
-    gen_tbl(env);
     /* Hardware implementation registers */
     /* XXX : not implemented */
     spr_register(env, SPR_HID0, "HID0",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_clear,
                  0x60000000);
-    /* XXX : not implemented */
     spr_register(env, SPR_HID1, "HID1",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
-    /* XXX : not implemented */
     spr_register(env, SPR_970_HID5, "HID5",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  POWERPC970_HID5_INIT);
-    /* Memory management */
-    /* XXX: not correct */
-    gen_low_BATs(env);
+}
+
+static void gen_spr_970_hior(CPUPPCState *env)
+{
     spr_register(env, SPR_HIOR, "SPR_HIOR",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_hior, &spr_write_hior,
                  0x00000000);
+}
+
+static void gen_spr_970_lpar(CPUPPCState *env)
+{
+    /* Logical partitionning */
+    /* PPC970: HID4 is effectively the LPCR */
+    spr_register(env, SPR_970_HID4, "HID4",
+                 SPR_NOACCESS, SPR_NOACCESS,
+                 &spr_read_generic, &spr_write_generic,
+                 0x00000000);
+}
+
+static void gen_spr_book3s_common(CPUPPCState *env)
+{
     spr_register(env, SPR_CTRL, "SPR_CTRL",
                  SPR_NOACCESS, SPR_NOACCESS,
                  SPR_NOACCESS, &spr_write_generic,
                  0x00000000);
     spr_register(env, SPR_UCTRL, "SPR_UCTRL",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, SPR_NOACCESS,
-                 0x00000000);
-    spr_register(env, SPR_VRSAVE, "SPR_VRSAVE",
-                 &spr_read_generic, &spr_write_generic,
-                 &spr_read_generic, &spr_write_generic,
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, SPR_NOACCESS,
                  0x00000000);
-#if !defined(CONFIG_USER_ONLY)
-    env->slb_nr = 64;
-#endif
-    init_excp_970(env);
-    env->dcache_line_size = 128;
-    env->icache_line_size = 128;
-    /* Allocate hardware IRQ controller */
-    ppc970_irq_init(env);
-    /* Can't find information on what this should be on reset.  This
-     * value is the one used by 74xx processors. */
-    vscr_init(env, 0x00010000);
 }
 
-POWERPC_FAMILY(970FX)(ObjectClass *oc, void *data)
+static void gen_spr_book3s_altivec(CPUPPCState *env)
 {
-    DeviceClass *dc = DEVICE_CLASS(oc);
-    PowerPCCPUClass *pcc = POWERPC_CPU_CLASS(oc);
+    if (!(env->insns_flags & PPC_ALTIVEC)) {
+        return;
+    }
 
-    dc->desc = "PowerPC 970FX (aka G5)";
-    pcc->init_proc = init_proc_970FX;
-    pcc->check_pow = check_pow_970FX;
-    pcc->insns_flags = PPC_INSNS_BASE | PPC_STRING | PPC_MFTB |
-                       PPC_FLOAT | PPC_FLOAT_FSEL | PPC_FLOAT_FRES |
-                       PPC_FLOAT_FSQRT | PPC_FLOAT_FRSQRTE |
-                       PPC_FLOAT_STFIWX |
-                       PPC_CACHE | PPC_CACHE_ICBI | PPC_CACHE_DCBZ |
-                       PPC_MEM_SYNC | PPC_MEM_EIEIO |
-                       PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
-                       PPC_64B | PPC_ALTIVEC |
-                       PPC_SEGMENT_64B | PPC_SLBI;
-    pcc->msr_mask = 0x800000000204FF36ULL;
-    pcc->mmu_model = POWERPC_MMU_64B;
-#if defined(CONFIG_SOFTMMU)
-    pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
-#endif
-    pcc->excp_model = POWERPC_EXCP_970;
-    pcc->bus_model = PPC_FLAGS_INPUT_970;
-    pcc->bfd_mach = bfd_mach_ppc64;
-    pcc->flags = POWERPC_FLAG_VRE | POWERPC_FLAG_SE |
-                 POWERPC_FLAG_BE | POWERPC_FLAG_PMM |
-                 POWERPC_FLAG_BUS_CLK;
-    pcc->l1_dcache_size = 0x8000;
-    pcc->l1_icache_size = 0x10000;
+    spr_register_kvm(env, SPR_VRSAVE, "VRSAVE",
+                     &spr_read_generic, &spr_write_generic,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_VRSAVE, 0x00000000);
+
+    /* Can't find information on what this should be on reset.  This
+     * value is the one used by 74xx processors. */
+    vscr_init(env, 0x00010000);
 }
 
-static int check_pow_970MP (CPUPPCState *env)
+static void gen_spr_book3s_dbg(CPUPPCState *env)
 {
-    if (env->spr[SPR_HID0] & 0x01C00000)
-        return 1;
-
-    return 0;
+    /*
+     * TODO: different specs define different scopes for these,
+     * will have to address this:
+     * 970: super/write and super/read
+     * powerisa 2.03..2.04: hypv/write and super/read.
+     * powerisa 2.05 and newer: hypv/write and hypv/read.
+     */
+    spr_register_kvm(env, SPR_DABR, "DABR",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_DABR, 0x00000000);
+    spr_register_kvm(env, SPR_DABRX, "DABRX",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_DABRX, 0x00000000);
 }
 
-static void init_proc_970MP (CPUPPCState *env)
+static void gen_spr_970_dbg(CPUPPCState *env)
 {
-    gen_spr_ne_601(env);
-    gen_spr_7xx(env);
-    /* Time base */
-    gen_tbl(env);
-    /* Hardware implementation registers */
-    /* XXX : not implemented */
-    spr_register(env, SPR_HID0, "HID0",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_clear,
-                 0x60000000);
-    /* XXX : not implemented */
-    spr_register(env, SPR_HID1, "HID1",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_generic,
-                 0x00000000);
-    /* XXX : not implemented */
-    spr_register(env, SPR_970_HID5, "HID5",
+    /* Breakpoints */
+    spr_register(env, SPR_IABR, "IABR",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
-                 POWERPC970_HID5_INIT);
-    /* XXX : not implemented */
-    /* Memory management */
-    /* XXX: not correct */
-    gen_low_BATs(env);
-    spr_register(env, SPR_HIOR, "SPR_HIOR",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_hior, &spr_write_hior,
                  0x00000000);
-    /* Logical partitionning */
-    spr_register_kvm(env, SPR_LPCR, "LPCR",
-                     SPR_NOACCESS, SPR_NOACCESS,
-                     &spr_read_generic, &spr_write_generic,
-                     KVM_REG_PPC_LPCR, 0x00000000);
-#if !defined(CONFIG_USER_ONLY)
-    env->slb_nr = 32;
-#endif
-    init_excp_970(env);
-    env->dcache_line_size = 128;
-    env->icache_line_size = 128;
-    /* Allocate hardware IRQ controller */
-    ppc970_irq_init(env);
-    /* Can't find information on what this should be on reset.  This
-     * value is the one used by 74xx processors. */
-    vscr_init(env, 0x00010000);
 }
 
-POWERPC_FAMILY(970MP)(ObjectClass *oc, void *data)
+static void gen_spr_book3s_pmu_sup(CPUPPCState *env)
 {
-    DeviceClass *dc = DEVICE_CLASS(oc);
-    PowerPCCPUClass *pcc = POWERPC_CPU_CLASS(oc);
-
-    dc->desc = "PowerPC 970 MP";
-    pcc->init_proc = init_proc_970MP;
-    pcc->check_pow = check_pow_970MP;
-    pcc->insns_flags = PPC_INSNS_BASE | PPC_STRING | PPC_MFTB |
-                       PPC_FLOAT | PPC_FLOAT_FSEL | PPC_FLOAT_FRES |
-                       PPC_FLOAT_FSQRT | PPC_FLOAT_FRSQRTE |
-                       PPC_FLOAT_STFIWX |
-                       PPC_CACHE | PPC_CACHE_ICBI | PPC_CACHE_DCBZ |
-                       PPC_MEM_SYNC | PPC_MEM_EIEIO |
-                       PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
-                       PPC_64B | PPC_ALTIVEC |
-                       PPC_SEGMENT_64B | PPC_SLBI;
-    pcc->msr_mask = 0x900000000204FF36ULL;
-    pcc->mmu_model = POWERPC_MMU_64B;
-#if defined(CONFIG_SOFTMMU)
-    pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
-#endif
-    pcc->excp_model = POWERPC_EXCP_970;
-    pcc->bus_model = PPC_FLAGS_INPUT_970;
-    pcc->bfd_mach = bfd_mach_ppc64;
-    pcc->flags = POWERPC_FLAG_VRE | POWERPC_FLAG_SE |
-                 POWERPC_FLAG_BE | POWERPC_FLAG_PMM |
-                 POWERPC_FLAG_BUS_CLK;
-    pcc->l1_dcache_size = 0x8000;
-    pcc->l1_icache_size = 0x10000;
+    spr_register_kvm(env, SPR_POWER_MMCR0, "MMCR0",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_MMCR0, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_MMCR1, "MMCR1",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_MMCR1, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_MMCRA, "MMCRA",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_MMCRA, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_PMC1, "PMC1",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC1, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_PMC2, "PMC2",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC2, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_PMC3, "PMC3",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC3, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_PMC4, "PMC4",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC4, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_PMC5, "PMC5",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC5, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_PMC6, "PMC6",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC6, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_SIAR, "SIAR",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_SIAR, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_SDAR, "SDAR",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_SDAR, 0x00000000);
 }
 
-static void init_proc_power5plus(CPUPPCState *env)
+static void gen_spr_book3s_pmu_user(CPUPPCState *env)
 {
-    gen_spr_ne_601(env);
-    gen_spr_7xx(env);
-    /* Time base */
-    gen_tbl(env);
-    /* Hardware implementation registers */
-    /* XXX : not implemented */
-    spr_register(env, SPR_HID0, "HID0",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_clear,
-                 0x60000000);
-    /* XXX : not implemented */
-    spr_register(env, SPR_HID1, "HID1",
+    spr_register(env, SPR_POWER_UMMCR0, "UMMCR0",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UMMCR1, "UMMCR1",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UMMCRA, "UMMCRA",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UPMC1, "UPMC1",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UPMC2, "UPMC2",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UPMC3, "UPMC3",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UPMC4, "UPMC4",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UPMC5, "UPMC5",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_UPMC6, "UPMC6",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_USIAR, "USIAR",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_POWER_USDAR, "USDAR",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+}
+
+static void gen_spr_970_pmu_sup(CPUPPCState *env)
+{
+    spr_register_kvm(env, SPR_970_PMC7, "PMC7",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC7, 0x00000000);
+    spr_register_kvm(env, SPR_970_PMC8, "PMC8",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PMC8, 0x00000000);
+}
+
+static void gen_spr_970_pmu_user(CPUPPCState *env)
+{
+    spr_register(env, SPR_970_UPMC7, "UPMC7",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+    spr_register(env, SPR_970_UPMC8, "UPMC8",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+}
+
+static void gen_spr_power8_pmu_sup(CPUPPCState *env)
+{
+    spr_register_kvm(env, SPR_POWER_MMCR2, "MMCR2",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_MMCR2, 0x00000000);
+    spr_register_kvm(env, SPR_POWER_MMCRS, "MMCRS",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_MMCRS, 0x00000000);
+}
+
+static void gen_spr_power8_pmu_user(CPUPPCState *env)
+{
+    spr_register(env, SPR_POWER_UMMCR2, "UMMCR2",
+                 &spr_read_ureg, SPR_NOACCESS,
+                 &spr_read_ureg, &spr_write_ureg,
+                 0x00000000);
+}
+
+static void gen_spr_power5p_ear(CPUPPCState *env)
+{
+    /* External access control */
+    spr_register(env, SPR_EAR, "EAR",
                  SPR_NOACCESS, SPR_NOACCESS,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
-    /* XXX : not implemented */
-    spr_register(env, SPR_970_HID5, "HID5",
+}
+
+static void gen_spr_power5p_lpar(CPUPPCState *env)
+{
+    /* Logical partitionning */
+    spr_register_kvm(env, SPR_LPCR, "LPCR",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_LPCR, 0x00000000);
+}
+
+static void gen_spr_book3s_ids(CPUPPCState *env)
+{
+    /* Processor identification */
+    spr_register(env, SPR_PIR, "PIR",
                  SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_generic,
-                 POWERPC970_HID5_INIT);
-    /* Memory management */
-    /* XXX: not correct */
-    gen_low_BATs(env);
-    spr_register(env, SPR_HIOR, "SPR_HIOR",
+                 &spr_read_generic, &spr_write_pir,
+                 0x00000000);
+}
+
+static void gen_spr_power8_ids(CPUPPCState *env)
+{
+    /* Thread identification */
+    spr_register(env, SPR_TIR, "TIR",
                  SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_hior, &spr_write_hior,
+                 &spr_read_generic, SPR_NOACCESS,
                  0x00000000);
-    spr_register(env, SPR_CTRL, "SPR_CTRL",
+}
+
+static void gen_spr_book3s_purr(CPUPPCState *env)
+{
+#if !defined(CONFIG_USER_ONLY)
+    /* PURR & SPURR: Hack - treat these as aliases for the TB for now */
+    spr_register_kvm(env, SPR_PURR,   "PURR",
+                     &spr_read_purr, SPR_NOACCESS,
+                     &spr_read_purr, SPR_NOACCESS,
+                     KVM_REG_PPC_PURR, 0x00000000);
+    spr_register_kvm(env, SPR_SPURR,   "SPURR",
+                     &spr_read_purr, SPR_NOACCESS,
+                     &spr_read_purr, SPR_NOACCESS,
+                     KVM_REG_PPC_SPURR, 0x00000000);
+#endif
+}
+
+static void gen_spr_power6_dbg(CPUPPCState *env)
+{
+#if !defined(CONFIG_USER_ONLY)
+    spr_register(env, SPR_CFAR, "SPR_CFAR",
                  SPR_NOACCESS, SPR_NOACCESS,
-                 SPR_NOACCESS, &spr_write_generic,
+                 &spr_read_cfar, &spr_write_cfar,
                  0x00000000);
-    spr_register(env, SPR_UCTRL, "SPR_UCTRL",
+#endif
+}
+
+static void gen_spr_power5p_common(CPUPPCState *env)
+{
+    spr_register_kvm(env, SPR_PPR, "PPR",
+                     &spr_read_generic, &spr_write_generic,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_PPR, 0x00000000);
+}
+
+static void gen_spr_power6_common(CPUPPCState *env)
+{
+#if !defined(CONFIG_USER_ONLY)
+    spr_register_kvm(env, SPR_DSCR, "SPR_DSCR",
+                     SPR_NOACCESS, SPR_NOACCESS,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_DSCR, 0x00000000);
+#endif
+    /*
+     * Register PCR to report POWERPC_EXCP_PRIV_REG instead of
+     * POWERPC_EXCP_INVAL_SPR.
+     */
+    spr_register(env, SPR_PCR, "PCR",
+                 SPR_NOACCESS, SPR_NOACCESS,
                  SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, SPR_NOACCESS,
                  0x00000000);
-    spr_register(env, SPR_VRSAVE, "SPR_VRSAVE",
+}
+
+static void spr_read_tar(void *opaque, int gprn, int sprn)
+{
+    gen_fscr_facility_check(opaque, SPR_FSCR, FSCR_TAR, sprn, FSCR_IC_TAR);
+    spr_read_generic(opaque, gprn, sprn);
+}
+
+static void spr_write_tar(void *opaque, int sprn, int gprn)
+{
+    gen_fscr_facility_check(opaque, SPR_FSCR, FSCR_TAR, sprn, FSCR_IC_TAR);
+    spr_write_generic(opaque, sprn, gprn);
+}
+
+static void gen_spr_power8_tce_address_control(CPUPPCState *env)
+{
+    spr_register(env, SPR_TAR, "TAR",
+                 &spr_read_tar, &spr_write_tar,
+                 &spr_read_generic, &spr_write_generic,
+                 0x00000000);
+}
+
+static void spr_read_tm(void *opaque, int gprn, int sprn)
+{
+    gen_msr_facility_check(opaque, SPR_FSCR, MSR_TM, sprn, FSCR_IC_TM);
+    spr_read_generic(opaque, gprn, sprn);
+}
+
+static void spr_write_tm(void *opaque, int sprn, int gprn)
+{
+    gen_msr_facility_check(opaque, SPR_FSCR, MSR_TM, sprn, FSCR_IC_TM);
+    spr_write_generic(opaque, sprn, gprn);
+}
+
+static void spr_read_tm_upper32(void *opaque, int gprn, int sprn)
+{
+    gen_msr_facility_check(opaque, SPR_FSCR, MSR_TM, sprn, FSCR_IC_TM);
+    spr_read_prev_upper32(opaque, gprn, sprn);
+}
+
+static void spr_write_tm_upper32(void *opaque, int sprn, int gprn)
+{
+    gen_msr_facility_check(opaque, SPR_FSCR, MSR_TM, sprn, FSCR_IC_TM);
+    spr_write_prev_upper32(opaque, sprn, gprn);
+}
+
+static void gen_spr_power8_tm(CPUPPCState *env)
+{
+    spr_register_kvm(env, SPR_TFHAR, "TFHAR",
+                     &spr_read_tm, &spr_write_tm,
+                     &spr_read_tm, &spr_write_tm,
+                     KVM_REG_PPC_TFHAR, 0x00000000);
+    spr_register_kvm(env, SPR_TFIAR, "TFIAR",
+                     &spr_read_tm, &spr_write_tm,
+                     &spr_read_tm, &spr_write_tm,
+                     KVM_REG_PPC_TFIAR, 0x00000000);
+    spr_register_kvm(env, SPR_TEXASR, "TEXASR",
+                     &spr_read_tm, &spr_write_tm,
+                     &spr_read_tm, &spr_write_tm,
+                     KVM_REG_PPC_TEXASR, 0x00000000);
+    spr_register(env, SPR_TEXASRU, "TEXASRU",
+                 &spr_read_tm_upper32, &spr_write_tm_upper32,
+                 &spr_read_tm_upper32, &spr_write_tm_upper32,
+                 0x00000000);
+}
+
+static void spr_read_ebb(void *opaque, int gprn, int sprn)
+{
+    gen_fscr_facility_check(opaque, SPR_FSCR, FSCR_EBB, sprn, FSCR_IC_EBB);
+    spr_read_generic(opaque, gprn, sprn);
+}
+
+static void spr_write_ebb(void *opaque, int sprn, int gprn)
+{
+    gen_fscr_facility_check(opaque, SPR_FSCR, FSCR_EBB, sprn, FSCR_IC_EBB);
+    spr_write_generic(opaque, sprn, gprn);
+}
+
+static void spr_read_ebb_upper32(void *opaque, int gprn, int sprn)
+{
+    gen_fscr_facility_check(opaque, SPR_FSCR, FSCR_EBB, sprn, FSCR_IC_EBB);
+    spr_read_prev_upper32(opaque, gprn, sprn);
+}
+
+static void spr_write_ebb_upper32(void *opaque, int sprn, int gprn)
+{
+    gen_fscr_facility_check(opaque, SPR_FSCR, FSCR_EBB, sprn, FSCR_IC_EBB);
+    spr_write_prev_upper32(opaque, sprn, gprn);
+}
+
+static void gen_spr_power8_ebb(CPUPPCState *env)
+{
+    spr_register(env, SPR_BESCRS, "BESCRS",
+                 &spr_read_ebb, &spr_write_ebb,
                  &spr_read_generic, &spr_write_generic,
+                 0x00000000);
+    spr_register(env, SPR_BESCRSU, "BESCRSU",
+                 &spr_read_ebb_upper32, &spr_write_ebb_upper32,
+                 &spr_read_prev_upper32, &spr_write_prev_upper32,
+                 0x00000000);
+    spr_register(env, SPR_BESCRR, "BESCRR",
+                 &spr_read_ebb, &spr_write_ebb,
                  &spr_read_generic, &spr_write_generic,
                  0x00000000);
-    /* Logical partitionning */
-    spr_register_kvm(env, SPR_LPCR, "LPCR",
+    spr_register(env, SPR_BESCRRU, "BESCRRU",
+                 &spr_read_ebb_upper32, &spr_write_ebb_upper32,
+                 &spr_read_prev_upper32, &spr_write_prev_upper32,
+                 0x00000000);
+    spr_register_kvm(env, SPR_EBBHR, "EBBHR",
+                     &spr_read_ebb, &spr_write_ebb,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_EBBHR, 0x00000000);
+    spr_register_kvm(env, SPR_EBBRR, "EBBRR",
+                     &spr_read_ebb, &spr_write_ebb,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_EBBRR, 0x00000000);
+    spr_register_kvm(env, SPR_BESCR, "BESCR",
+                     &spr_read_ebb, &spr_write_ebb,
+                     &spr_read_generic, &spr_write_generic,
+                     KVM_REG_PPC_BESCR, 0x00000000);
+}
+
+static void gen_spr_power8_fscr(CPUPPCState *env)
+{
+#if defined(CONFIG_USER_ONLY)
+    target_ulong initval = 1ULL << FSCR_TAR;
+#else
+    target_ulong initval = 0;
+#endif
+    spr_register_kvm(env, SPR_FSCR, "FSCR",
                      SPR_NOACCESS, SPR_NOACCESS,
                      &spr_read_generic, &spr_write_generic,
-                     KVM_REG_PPC_LPCR, 0x00000000);
+                     KVM_REG_PPC_FSCR, initval);
+}
+
+static void init_proc_book3s_64(CPUPPCState *env, int version)
+{
+    gen_spr_ne_601(env);
+    gen_tbl(env);
+    gen_spr_book3s_altivec(env);
+    gen_spr_book3s_pmu_sup(env);
+    gen_spr_book3s_pmu_user(env);
+    gen_spr_book3s_common(env);
+
+    switch (version) {
+    case BOOK3S_CPU_970:
+    case BOOK3S_CPU_POWER5PLUS:
+        gen_spr_970_hid(env);
+        gen_spr_970_hior(env);
+        gen_low_BATs(env);
+        gen_spr_970_pmu_sup(env);
+        gen_spr_970_pmu_user(env);
+        break;
+    case BOOK3S_CPU_POWER7:
+    case BOOK3S_CPU_POWER8:
+        gen_spr_book3s_ids(env);
+        gen_spr_amr(env);
+        gen_spr_book3s_purr(env);
+        break;
+    default:
+        g_assert_not_reached();
+    }
+    if (version >= BOOK3S_CPU_POWER5PLUS) {
+        gen_spr_power5p_common(env);
+        gen_spr_power5p_lpar(env);
+        gen_spr_power5p_ear(env);
+    } else {
+        gen_spr_970_lpar(env);
+    }
+    if (version == BOOK3S_CPU_970) {
+        gen_spr_970_dbg(env);
+    }
+    if (version >= BOOK3S_CPU_POWER6) {
+        gen_spr_power6_common(env);
+        gen_spr_power6_dbg(env);
+    }
+    if (version >= BOOK3S_CPU_POWER8) {
+        gen_spr_power8_tce_address_control(env);
+        gen_spr_power8_ids(env);
+        gen_spr_power8_ebb(env);
+        gen_spr_power8_fscr(env);
+        gen_spr_power8_pmu_sup(env);
+        gen_spr_power8_pmu_user(env);
+        gen_spr_power8_tm(env);
+    }
+    if (version < BOOK3S_CPU_POWER8) {
+        gen_spr_book3s_dbg(env);
+    }
 #if !defined(CONFIG_USER_ONLY)
-    env->slb_nr = 64;
+    switch (version) {
+    case BOOK3S_CPU_970:
+    case BOOK3S_CPU_POWER5PLUS:
+        env->slb_nr = 64;
+        break;
+    case BOOK3S_CPU_POWER7:
+    case BOOK3S_CPU_POWER8:
+    default:
+        env->slb_nr = 32;
+        break;
+    }
 #endif
-    init_excp_970(env);
+    /* Allocate hardware IRQ controller */
+    switch (version) {
+    case BOOK3S_CPU_970:
+    case BOOK3S_CPU_POWER5PLUS:
+        init_excp_970(env);
+        ppc970_irq_init(env);
+        break;
+    case BOOK3S_CPU_POWER7:
+    case BOOK3S_CPU_POWER8:
+        init_excp_POWER7(env);
+        ppcPOWER7_irq_init(env);
+        break;
+    default:
+        g_assert_not_reached();
+    }
+
     env->dcache_line_size = 128;
     env->icache_line_size = 128;
-    /* Allocate hardware IRQ controller */
-    ppc970_irq_init(env);
-    /* Can't find information on what this should be on reset.  This
-     * value is the one used by 74xx processors. */
-    vscr_init(env, 0x00010000);
+}
+
+static void init_proc_970(CPUPPCState *env)
+{
+    init_proc_book3s_64(env, BOOK3S_CPU_970);
+}
+
+POWERPC_FAMILY(970)(ObjectClass *oc, void *data)
+{
+    DeviceClass *dc = DEVICE_CLASS(oc);
+    PowerPCCPUClass *pcc = POWERPC_CPU_CLASS(oc);
+
+    dc->desc = "PowerPC 970";
+    pcc->init_proc = init_proc_970;
+    pcc->check_pow = check_pow_970;
+    pcc->insns_flags = PPC_INSNS_BASE | PPC_STRING | PPC_MFTB |
+                       PPC_FLOAT | PPC_FLOAT_FSEL | PPC_FLOAT_FRES |
+                       PPC_FLOAT_FSQRT | PPC_FLOAT_FRSQRTE |
+                       PPC_FLOAT_STFIWX |
+                       PPC_CACHE | PPC_CACHE_ICBI | PPC_CACHE_DCBZ |
+                       PPC_MEM_SYNC | PPC_MEM_EIEIO |
+                       PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
+                       PPC_64B | PPC_ALTIVEC |
+                       PPC_SEGMENT_64B | PPC_SLBI;
+    pcc->msr_mask = (1ull << MSR_SF) |
+                    (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI);
+    pcc->mmu_model = POWERPC_MMU_64B;
+#if defined(CONFIG_SOFTMMU)
+    pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
+#endif
+    pcc->excp_model = POWERPC_EXCP_970;
+    pcc->bus_model = PPC_FLAGS_INPUT_970;
+    pcc->bfd_mach = bfd_mach_ppc64;
+    pcc->flags = POWERPC_FLAG_VRE | POWERPC_FLAG_SE |
+                 POWERPC_FLAG_BE | POWERPC_FLAG_PMM |
+                 POWERPC_FLAG_BUS_CLK;
+    pcc->l1_dcache_size = 0x8000;
+    pcc->l1_icache_size = 0x10000;
+}
+
+static void init_proc_power5plus(CPUPPCState *env)
+{
+    init_proc_book3s_64(env, BOOK3S_CPU_POWER5PLUS);
 }
 
 POWERPC_FAMILY(POWER5P)(ObjectClass *oc, void *data)
@@ -6952,7 +7947,7 @@ POWERPC_FAMILY(POWER5P)(ObjectClass *oc, void *data)
     dc->fw_name = "PowerPC,POWER5";
     dc->desc = "POWER5+";
     pcc->init_proc = init_proc_power5plus;
-    pcc->check_pow = check_pow_970FX;
+    pcc->check_pow = check_pow_970;
     pcc->insns_flags = PPC_INSNS_BASE | PPC_STRING | PPC_MFTB |
                        PPC_FLOAT | PPC_FLOAT_FSEL | PPC_FLOAT_FRES |
                        PPC_FLOAT_FSQRT | PPC_FLOAT_FRSQRTE |
@@ -6962,7 +7957,21 @@ POWERPC_FAMILY(POWER5P)(ObjectClass *oc, void *data)
                        PPC_MEM_TLBIE | PPC_MEM_TLBSYNC |
                        PPC_64B |
                        PPC_SEGMENT_64B | PPC_SLBI;
-    pcc->msr_mask = 0x800000000204FF36ULL;
+    pcc->msr_mask = (1ull << MSR_SF) |
+                    (1ull << MSR_VR) |
+                    (1ull << MSR_POW) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI);
     pcc->mmu_model = POWERPC_MMU_64B;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
@@ -6977,83 +7986,79 @@ POWERPC_FAMILY(POWER5P)(ObjectClass *oc, void *data)
     pcc->l1_icache_size = 0x10000;
 }
 
-static void init_proc_POWER7 (CPUPPCState *env)
+static void powerpc_get_compat(Object *obj, Visitor *v,
+                               void *opaque, const char *name, Error **errp)
 {
-    gen_spr_ne_601(env);
-    gen_spr_7xx(env);
-    /* Time base */
-    gen_tbl(env);
-    /* Processor identification */
-    spr_register(env, SPR_PIR, "PIR",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, &spr_write_pir,
-                 0x00000000);
-#if !defined(CONFIG_USER_ONLY)
-    /* PURR & SPURR: Hack - treat these as aliases for the TB for now */
-    spr_register_kvm(env, SPR_PURR,   "PURR",
-                     &spr_read_purr, SPR_NOACCESS,
-                     &spr_read_purr, SPR_NOACCESS,
-                     KVM_REG_PPC_PURR, 0x00000000);
-    spr_register_kvm(env, SPR_SPURR,   "SPURR",
-                     &spr_read_purr, SPR_NOACCESS,
-                     &spr_read_purr, SPR_NOACCESS,
-                     KVM_REG_PPC_SPURR, 0x00000000);
-    spr_register(env, SPR_CFAR, "SPR_CFAR",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_cfar, &spr_write_cfar,
-                 0x00000000);
-    spr_register_kvm(env, SPR_DSCR, "SPR_DSCR",
-                     SPR_NOACCESS, SPR_NOACCESS,
-                     &spr_read_generic, &spr_write_generic,
-                     KVM_REG_PPC_DSCR, 0x00000000);
-    spr_register_kvm(env, SPR_MMCRA, "SPR_MMCRA",
-                     SPR_NOACCESS, SPR_NOACCESS,
-                     &spr_read_generic, &spr_write_generic,
-                     KVM_REG_PPC_MMCRA, 0x00000000);
-    spr_register_kvm(env, SPR_PMC5, "SPR_PMC5",
-                     SPR_NOACCESS, SPR_NOACCESS,
-                     &spr_read_generic, &spr_write_generic,
-                     KVM_REG_PPC_PMC5, 0x00000000);
-    spr_register_kvm(env, SPR_PMC6, "SPR_PMC6",
-                     SPR_NOACCESS, SPR_NOACCESS,
-                     &spr_read_generic, &spr_write_generic,
-                     KVM_REG_PPC_PMC6, 0x00000000);
-#endif /* !CONFIG_USER_ONLY */
-    gen_spr_amr(env);
-    /* XXX : not implemented */
-    spr_register(env, SPR_CTRL, "SPR_CTRLT",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 SPR_NOACCESS, &spr_write_generic,
-                 0x80800000);
-    spr_register(env, SPR_UCTRL, "SPR_CTRLF",
-                 SPR_NOACCESS, SPR_NOACCESS,
-                 &spr_read_generic, SPR_NOACCESS,
-                 0x80800000);
-    spr_register(env, SPR_VRSAVE, "SPR_VRSAVE",
-                 &spr_read_generic, &spr_write_generic,
-                 &spr_read_generic, &spr_write_generic,
-                 0x00000000);
-    spr_register(env, SPR_PPR, "PPR",
-                 &spr_read_generic, &spr_write_generic,
-                 &spr_read_generic, &spr_write_generic,
-                 0x00000000);
-    /* Logical partitionning */
-    spr_register_kvm(env, SPR_LPCR, "LPCR",
-                     SPR_NOACCESS, SPR_NOACCESS,
-                     &spr_read_generic, &spr_write_generic,
-                     KVM_REG_PPC_LPCR, 0x00000000);
-#if !defined(CONFIG_USER_ONLY)
-    env->slb_nr = 32;
-#endif
-    init_excp_POWER7(env);
-    env->dcache_line_size = 128;
-    env->icache_line_size = 128;
+    char *value = (char *)"";
+    Property *prop = opaque;
+    uint32_t *max_compat = qdev_get_prop_ptr(DEVICE(obj), prop);
 
-    /* Allocate hardware IRQ controller */
-    ppcPOWER7_irq_init(env);
-    /* Can't find information on what this should be on reset.  This
-     * value is the one used by 74xx processors. */
-    vscr_init(env, 0x00010000);
+    switch (*max_compat) {
+    case CPU_POWERPC_LOGICAL_2_05:
+        value = (char *)"power6";
+        break;
+    case CPU_POWERPC_LOGICAL_2_06:
+        value = (char *)"power7";
+        break;
+    case CPU_POWERPC_LOGICAL_2_07:
+        value = (char *)"power8";
+        break;
+    case 0:
+        break;
+    default:
+        error_setg(errp, "Internal error: compat is set to %x",
+                   max_compat ? *max_compat : -1);
+        break;
+    }
+
+    visit_type_str(v, &value, name, errp);
+}
+
+static void powerpc_set_compat(Object *obj, Visitor *v,
+                               void *opaque, const char *name, Error **errp)
+{
+    Error *error = NULL;
+    char *value = NULL;
+    Property *prop = opaque;
+    uint32_t *max_compat = qdev_get_prop_ptr(DEVICE(obj), prop);
+
+    visit_type_str(v, &value, name, &error);
+    if (error) {
+        error_propagate(errp, error);
+        return;
+    }
+
+    if (strcmp(value, "power6") == 0) {
+        *max_compat = CPU_POWERPC_LOGICAL_2_05;
+    } else if (strcmp(value, "power7") == 0) {
+        *max_compat = CPU_POWERPC_LOGICAL_2_06;
+    } else if (strcmp(value, "power8") == 0) {
+        *max_compat = CPU_POWERPC_LOGICAL_2_07;
+    } else {
+        error_setg(errp, "Invalid compatibility mode \"%s\"", value);
+    }
+
+    g_free(value);
+}
+
+static PropertyInfo powerpc_compat_propinfo = {
+    .name = "str",
+    .legacy_name = "powerpc-server-compat",
+    .get = powerpc_get_compat,
+    .set = powerpc_set_compat,
+};
+
+#define DEFINE_PROP_POWERPC_COMPAT(_n, _s, _f) \
+    DEFINE_PROP(_n, _s, _f, powerpc_compat_propinfo, uint32_t)
+
+static Property powerpc_servercpu_properties[] = {
+    DEFINE_PROP_POWERPC_COMPAT("compat", PowerPCCPU, max_compat),
+    DEFINE_PROP_END_OF_LIST(),
+};
+
+static void init_proc_POWER7 (CPUPPCState *env)
+{
+    init_proc_book3s_64(env, BOOK3S_CPU_POWER7);
 }
 
 POWERPC_FAMILY(POWER7)(ObjectClass *oc, void *data)
@@ -7063,8 +8068,10 @@ POWERPC_FAMILY(POWER7)(ObjectClass *oc, void *data)
 
     dc->fw_name = "PowerPC,POWER7";
     dc->desc = "POWER7";
+    dc->props = powerpc_servercpu_properties;
     pcc->pvr = CPU_POWERPC_POWER7_BASE;
     pcc->pvr_mask = CPU_POWERPC_POWER7_MASK;
+    pcc->pcr_mask = PCR_COMPAT_2_05 | PCR_COMPAT_2_06;
     pcc->init_proc = init_proc_POWER7;
     pcc->check_pow = check_pow_nocheck;
     pcc->insns_flags = PPC_INSNS_BASE | PPC_ISEL | PPC_STRING | PPC_MFTB |
@@ -7083,7 +8090,22 @@ POWERPC_FAMILY(POWER7)(ObjectClass *oc, void *data)
                         PPC2_PERM_ISA206 | PPC2_DIVE_ISA206 |
                         PPC2_ATOMIC_ISA206 | PPC2_FP_CVT_ISA206 |
                         PPC2_FP_TST_ISA206;
-    pcc->msr_mask = 0x800000000280FF37ULL;
+    pcc->msr_mask = (1ull << MSR_SF) |
+                    (1ull << MSR_VR) |
+                    (1ull << MSR_VSX) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_2_06;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
@@ -7097,6 +8119,7 @@ POWERPC_FAMILY(POWER7)(ObjectClass *oc, void *data)
                  POWERPC_FLAG_VSX;
     pcc->l1_dcache_size = 0x8000;
     pcc->l1_icache_size = 0x8000;
+    pcc->interrupts_big_endian = ppc_cpu_interrupts_big_endian_lpcr;
 }
 
 POWERPC_FAMILY(POWER7P)(ObjectClass *oc, void *data)
@@ -7106,8 +8129,10 @@ POWERPC_FAMILY(POWER7P)(ObjectClass *oc, void *data)
 
     dc->fw_name = "PowerPC,POWER7+";
     dc->desc = "POWER7+";
+    dc->props = powerpc_servercpu_properties;
     pcc->pvr = CPU_POWERPC_POWER7P_BASE;
     pcc->pvr_mask = CPU_POWERPC_POWER7P_MASK;
+    pcc->pcr_mask = PCR_COMPAT_2_05 | PCR_COMPAT_2_06;
     pcc->init_proc = init_proc_POWER7;
     pcc->check_pow = check_pow_nocheck;
     pcc->insns_flags = PPC_INSNS_BASE | PPC_ISEL | PPC_STRING | PPC_MFTB |
@@ -7126,7 +8151,22 @@ POWERPC_FAMILY(POWER7P)(ObjectClass *oc, void *data)
                         PPC2_PERM_ISA206 | PPC2_DIVE_ISA206 |
                         PPC2_ATOMIC_ISA206 | PPC2_FP_CVT_ISA206 |
                         PPC2_FP_TST_ISA206;
-    pcc->msr_mask = 0x800000000280FF37ULL;
+    pcc->msr_mask = (1ull << MSR_SF) |
+                    (1ull << MSR_VR) |
+                    (1ull << MSR_VSX) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_2_06;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
@@ -7140,18 +8180,12 @@ POWERPC_FAMILY(POWER7P)(ObjectClass *oc, void *data)
                  POWERPC_FLAG_VSX;
     pcc->l1_dcache_size = 0x8000;
     pcc->l1_icache_size = 0x8000;
+    pcc->interrupts_big_endian = ppc_cpu_interrupts_big_endian_lpcr;
 }
 
 static void init_proc_POWER8(CPUPPCState *env)
 {
-    /* inherit P7 */
-    init_proc_POWER7(env);
-
-    /* P8 supports the TAR */
-    spr_register(env, SPR_TAR, "TAR",
-                 &spr_read_generic, &spr_write_generic,
-                 &spr_read_generic, &spr_write_generic,
-                 0x00000000);
+    init_proc_book3s_64(env, BOOK3S_CPU_POWER8);
 }
 
 POWERPC_FAMILY(POWER8)(ObjectClass *oc, void *data)
@@ -7161,8 +8195,10 @@ POWERPC_FAMILY(POWER8)(ObjectClass *oc, void *data)
 
     dc->fw_name = "PowerPC,POWER8";
     dc->desc = "POWER8";
+    dc->props = powerpc_servercpu_properties;
     pcc->pvr = CPU_POWERPC_POWER8_BASE;
     pcc->pvr_mask = CPU_POWERPC_POWER8_MASK;
+    pcc->pcr_mask = PCR_COMPAT_2_05 | PCR_COMPAT_2_06;
     pcc->init_proc = init_proc_POWER8;
     pcc->check_pow = check_pow_nocheck;
     pcc->insns_flags = PPC_INSNS_BASE | PPC_ISEL | PPC_STRING | PPC_MFTB |
@@ -7183,7 +8219,23 @@ POWERPC_FAMILY(POWER8)(ObjectClass *oc, void *data)
                         PPC2_FP_TST_ISA206 | PPC2_BCTAR_ISA207 |
                         PPC2_LSQ_ISA207 | PPC2_ALTIVEC_207 |
                         PPC2_ISA205 | PPC2_ISA207S;
-    pcc->msr_mask = 0x800000000280FF37ULL;
+    pcc->msr_mask = (1ull << MSR_SF) |
+                    (1ull << MSR_TM) |
+                    (1ull << MSR_VR) |
+                    (1ull << MSR_VSX) |
+                    (1ull << MSR_EE) |
+                    (1ull << MSR_PR) |
+                    (1ull << MSR_FP) |
+                    (1ull << MSR_ME) |
+                    (1ull << MSR_FE0) |
+                    (1ull << MSR_SE) |
+                    (1ull << MSR_DE) |
+                    (1ull << MSR_FE1) |
+                    (1ull << MSR_IR) |
+                    (1ull << MSR_DR) |
+                    (1ull << MSR_PMM) |
+                    (1ull << MSR_RI) |
+                    (1ull << MSR_LE);
     pcc->mmu_model = POWERPC_MMU_2_06;
 #if defined(CONFIG_SOFTMMU)
     pcc->handle_mmu_fault = ppc_hash64_handle_mmu_fault;
@@ -7197,6 +8249,7 @@ POWERPC_FAMILY(POWER8)(ObjectClass *oc, void *data)
                  POWERPC_FLAG_VSX;
     pcc->l1_dcache_size = 0x8000;
     pcc->l1_icache_size = 0x8000;
+    pcc->interrupts_big_endian = ppc_cpu_interrupts_big_endian_lpcr;
 }
 #endif /* defined (TARGET_PPC64) */
 
@@ -8083,6 +9136,63 @@ static void ppc_cpu_unrealizefn(DeviceState *dev, Error **errp)
     }
 }
 
+int ppc_get_compat_smt_threads(PowerPCCPU *cpu)
+{
+    int ret = smp_threads;
+    PowerPCCPUClass *pcc = POWERPC_CPU_GET_CLASS(cpu);
+
+    switch (cpu->cpu_version) {
+    case CPU_POWERPC_LOGICAL_2_05:
+        ret = 2;
+        break;
+    case CPU_POWERPC_LOGICAL_2_06:
+        ret = 4;
+        break;
+    case CPU_POWERPC_LOGICAL_2_07:
+        ret = 8;
+        break;
+    default:
+        if (pcc->pcr_mask & PCR_COMPAT_2_06) {
+            ret = 4;
+        } else if (pcc->pcr_mask & PCR_COMPAT_2_05) {
+            ret = 2;
+        }
+        break;
+    }
+
+    return MIN(ret, smp_threads);
+}
+
+int ppc_set_compat(PowerPCCPU *cpu, uint32_t cpu_version)
+{
+    int ret = 0;
+    CPUPPCState *env = &cpu->env;
+
+    cpu->cpu_version = cpu_version;
+
+    switch (cpu_version) {
+    case CPU_POWERPC_LOGICAL_2_05:
+        env->spr[SPR_PCR] = PCR_COMPAT_2_05;
+        break;
+    case CPU_POWERPC_LOGICAL_2_06:
+        env->spr[SPR_PCR] = PCR_COMPAT_2_06;
+        break;
+    case CPU_POWERPC_LOGICAL_2_06_PLUS:
+        env->spr[SPR_PCR] = PCR_COMPAT_2_06;
+        break;
+    default:
+        env->spr[SPR_PCR] = 0;
+        break;
+    }
+
+    if (kvm_enabled() && kvmppc_set_compat(cpu, cpu->max_compat) < 0) {
+        error_report("Unable to set compatibility mode in KVM");
+        ret = -1;
+    }
+
+    return ret;
+}
+
 static gint ppc_cpu_compare_class_pvr(gconstpointer a, gconstpointer b)
 {
     ObjectClass *oc = (ObjectClass *)a;
@@ -8218,12 +9328,6 @@ static ObjectClass *ppc_cpu_class_by_name(const char *name)
         }
     }
 
-    for (i = 0; ppc_cpu_aliases[i].alias != NULL; i++) {
-        if (strcmp(ppc_cpu_aliases[i].alias, name) == 0) {
-            return ppc_cpu_class_by_alias(&ppc_cpu_aliases[i]);
-        }
-    }
-
     list = object_class_get_list(TYPE_POWERPC_CPU, false);
     item = g_slist_find_custom(list, name, ppc_cpu_compare_class_name);
     if (item != NULL) {
@@ -8231,7 +9335,17 @@ static ObjectClass *ppc_cpu_class_by_name(const char *name)
     }
     g_slist_free(list);
 
-    return ret;
+    if (ret) {
+        return ret;
+    }
+
+    for (i = 0; ppc_cpu_aliases[i].alias != NULL; i++) {
+        if (strcmp(ppc_cpu_aliases[i].alias, name) == 0) {
+            return ppc_cpu_class_by_alias(&ppc_cpu_aliases[i]);
+        }
+    }
+
+    return NULL;
 }
 
 PowerPCCPU *cpu_ppc_init(const char *cpu_model)
@@ -8416,8 +9530,15 @@ static void ppc_cpu_reset(CPUState *s)
 #if defined(CONFIG_USER_ONLY)
     msr |= (target_ulong)1 << MSR_FP; /* Allow floating point usage */
     msr |= (target_ulong)1 << MSR_VR; /* Allow altivec usage */
+    msr |= (target_ulong)1 << MSR_VSX; /* Allow VSX usage */
     msr |= (target_ulong)1 << MSR_SPE; /* Allow SPE usage */
     msr |= (target_ulong)1 << MSR_PR;
+#if defined(TARGET_PPC64)
+    msr |= (target_ulong)1 << MSR_TM; /* Transactional memory */
+#endif
+#if !defined(TARGET_WORDS_BIGENDIAN)
+    msr |= (target_ulong)1 << MSR_LE; /* Little-endian user mode */
+#endif
 #endif
 
 #if defined(TARGET_PPC64)
@@ -8519,6 +9640,7 @@ static void ppc_cpu_class_init(ObjectClass *oc, void *data)
     pcc->parent_realize = dc->realize;
     pcc->pvr = CPU_POWERPC_DEFAULT_MASK;
     pcc->pvr_mask = CPU_POWERPC_DEFAULT_MASK;
+    pcc->interrupts_big_endian = ppc_cpu_interrupts_big_endian_always;
     dc->realize = ppc_cpu_realizefn;
     dc->unrealize = ppc_cpu_unrealizefn;
 
index e984e762cf99ffb4bd73599d0f4c6b7b4f0a86be..f8dff485b225d75fa7a340b82ca2eee28091e633 100644 (file)
@@ -1189,12 +1189,25 @@ xics_ics_write_xive(int nr, int srcno, int server, uint8_t priority) "ics_write_
 xics_ics_reject(int nr, int srcno) "reject irq %#x [src %d]"
 xics_ics_eoi(int nr) "ics_eoi: irq %#x"
 
+# hw/ppc/spapr.c
+spapr_cas_failed(unsigned long n) "DT diff buffer is too small: %ld bytes"
+spapr_cas_continue(unsigned long n) "Copy changes to the guest: %ld bytes"
+
+# hw/ppc/spapr_hcall.c
+spapr_cas_pvr_try(uint32_t pvr) "%x"
+spapr_cas_pvr(uint32_t cur_pvr, bool cpu_match, uint32_t new_pvr, uint64_t pcr) "current=%x, cpu_match=%u, new=%x, compat flags=%"PRIx64
+
 # hw/ppc/spapr_iommu.c
 spapr_iommu_put(uint64_t liobn, uint64_t ioba, uint64_t tce, uint64_t ret) "liobn=%"PRIx64" ioba=0x%"PRIx64" tce=0x%"PRIx64" ret=%"PRId64
 spapr_iommu_get(uint64_t liobn, uint64_t ioba, uint64_t ret, uint64_t tce) "liobn=%"PRIx64" ioba=0x%"PRIx64" ret=%"PRId64" tce=0x%"PRIx64
+spapr_iommu_indirect(uint64_t liobn, uint64_t ioba, uint64_t tce, uint64_t iobaN, uint64_t tceN, uint64_t ret) "liobn=%"PRIx64" ioba=0x%"PRIx64" tcelist=0x%"PRIx64" iobaN=0x%"PRIx64" tceN=0x%"PRIx64" ret=%"PRId64
+spapr_iommu_stuff(uint64_t liobn, uint64_t ioba, uint64_t tce_value, uint64_t npages, uint64_t ret) "liobn=%"PRIx64" ioba=0x%"PRIx64" tcevalue=0x%"PRIx64" npages=%"PRId64" ret=%"PRId64
 spapr_iommu_xlate(uint64_t liobn, uint64_t ioba, uint64_t tce, unsigned perm, unsigned pgsize) "liobn=%"PRIx64" 0x%"PRIx64" -> 0x%"PRIx64" perm=%u mask=%x"
 spapr_iommu_new_table(uint64_t liobn, void *tcet, void *table, int fd) "liobn=%"PRIx64" tcet=%p table=%p fd=%d"
 
+# hw/ppc/ppc.c
+ppc_tb_adjust(uint64_t offs1, uint64_t offs2, int64_t diff, int64_t seconds) "adjusted from 0x%"PRIx64" to 0x%"PRIx64", diff %"PRId64" (%"PRId64"s)"
+
 # util/hbitmap.c
 hbitmap_iter_skip_words(const void *hb, void *hbi, uint64_t pos, unsigned long cur) "hb %p hbi %p pos %"PRId64" cur 0x%lx"
 hbitmap_reset(void *hb, uint64_t start, uint64_t count, uint64_t sbit, uint64_t ebit) "hb %p items %"PRIu64",%"PRIu64" bits %"PRIu64"..%"PRIu64
index 4b4d88e7e61f0a19b64dc100136fa6cb22cdc0dc..6058f1950b32e85044876a6d5cdab56bffbe910e 100644 (file)
@@ -38,6 +38,349 @@ typedef uint8_t u8;
 # define GETU32(pt) (((u32)(pt)[0] << 24) ^ ((u32)(pt)[1] << 16) ^ ((u32)(pt)[2] <<  8) ^ ((u32)(pt)[3]))
 # define PUTU32(ct, st) { (ct)[0] = (u8)((st) >> 24); (ct)[1] = (u8)((st) >> 16); (ct)[2] = (u8)((st) >>  8); (ct)[3] = (u8)(st); }
 
+const uint8_t AES_sbox[256] = {
+    0x63, 0x7C, 0x77, 0x7B, 0xF2, 0x6B, 0x6F, 0xC5,
+    0x30, 0x01, 0x67, 0x2B, 0xFE, 0xD7, 0xAB, 0x76,
+    0xCA, 0x82, 0xC9, 0x7D, 0xFA, 0x59, 0x47, 0xF0,
+    0xAD, 0xD4, 0xA2, 0xAF, 0x9C, 0xA4, 0x72, 0xC0,
+    0xB7, 0xFD, 0x93, 0x26, 0x36, 0x3F, 0xF7, 0xCC,
+    0x34, 0xA5, 0xE5, 0xF1, 0x71, 0xD8, 0x31, 0x15,
+    0x04, 0xC7, 0x23, 0xC3, 0x18, 0x96, 0x05, 0x9A,
+    0x07, 0x12, 0x80, 0xE2, 0xEB, 0x27, 0xB2, 0x75,
+    0x09, 0x83, 0x2C, 0x1A, 0x1B, 0x6E, 0x5A, 0xA0,
+    0x52, 0x3B, 0xD6, 0xB3, 0x29, 0xE3, 0x2F, 0x84,
+    0x53, 0xD1, 0x00, 0xED, 0x20, 0xFC, 0xB1, 0x5B,
+    0x6A, 0xCB, 0xBE, 0x39, 0x4A, 0x4C, 0x58, 0xCF,
+    0xD0, 0xEF, 0xAA, 0xFB, 0x43, 0x4D, 0x33, 0x85,
+    0x45, 0xF9, 0x02, 0x7F, 0x50, 0x3C, 0x9F, 0xA8,
+    0x51, 0xA3, 0x40, 0x8F, 0x92, 0x9D, 0x38, 0xF5,
+    0xBC, 0xB6, 0xDA, 0x21, 0x10, 0xFF, 0xF3, 0xD2,
+    0xCD, 0x0C, 0x13, 0xEC, 0x5F, 0x97, 0x44, 0x17,
+    0xC4, 0xA7, 0x7E, 0x3D, 0x64, 0x5D, 0x19, 0x73,
+    0x60, 0x81, 0x4F, 0xDC, 0x22, 0x2A, 0x90, 0x88,
+    0x46, 0xEE, 0xB8, 0x14, 0xDE, 0x5E, 0x0B, 0xDB,
+    0xE0, 0x32, 0x3A, 0x0A, 0x49, 0x06, 0x24, 0x5C,
+    0xC2, 0xD3, 0xAC, 0x62, 0x91, 0x95, 0xE4, 0x79,
+    0xE7, 0xC8, 0x37, 0x6D, 0x8D, 0xD5, 0x4E, 0xA9,
+    0x6C, 0x56, 0xF4, 0xEA, 0x65, 0x7A, 0xAE, 0x08,
+    0xBA, 0x78, 0x25, 0x2E, 0x1C, 0xA6, 0xB4, 0xC6,
+    0xE8, 0xDD, 0x74, 0x1F, 0x4B, 0xBD, 0x8B, 0x8A,
+    0x70, 0x3E, 0xB5, 0x66, 0x48, 0x03, 0xF6, 0x0E,
+    0x61, 0x35, 0x57, 0xB9, 0x86, 0xC1, 0x1D, 0x9E,
+    0xE1, 0xF8, 0x98, 0x11, 0x69, 0xD9, 0x8E, 0x94,
+    0x9B, 0x1E, 0x87, 0xE9, 0xCE, 0x55, 0x28, 0xDF,
+    0x8C, 0xA1, 0x89, 0x0D, 0xBF, 0xE6, 0x42, 0x68,
+    0x41, 0x99, 0x2D, 0x0F, 0xB0, 0x54, 0xBB, 0x16,
+};
+
+const uint8_t AES_isbox[256] = {
+    0x52, 0x09, 0x6A, 0xD5, 0x30, 0x36, 0xA5, 0x38,
+    0xBF, 0x40, 0xA3, 0x9E, 0x81, 0xF3, 0xD7, 0xFB,
+    0x7C, 0xE3, 0x39, 0x82, 0x9B, 0x2F, 0xFF, 0x87,
+    0x34, 0x8E, 0x43, 0x44, 0xC4, 0xDE, 0xE9, 0xCB,
+    0x54, 0x7B, 0x94, 0x32, 0xA6, 0xC2, 0x23, 0x3D,
+    0xEE, 0x4C, 0x95, 0x0B, 0x42, 0xFA, 0xC3, 0x4E,
+    0x08, 0x2E, 0xA1, 0x66, 0x28, 0xD9, 0x24, 0xB2,
+    0x76, 0x5B, 0xA2, 0x49, 0x6D, 0x8B, 0xD1, 0x25,
+    0x72, 0xF8, 0xF6, 0x64, 0x86, 0x68, 0x98, 0x16,
+    0xD4, 0xA4, 0x5C, 0xCC, 0x5D, 0x65, 0xB6, 0x92,
+    0x6C, 0x70, 0x48, 0x50, 0xFD, 0xED, 0xB9, 0xDA,
+    0x5E, 0x15, 0x46, 0x57, 0xA7, 0x8D, 0x9D, 0x84,
+    0x90, 0xD8, 0xAB, 0x00, 0x8C, 0xBC, 0xD3, 0x0A,
+    0xF7, 0xE4, 0x58, 0x05, 0xB8, 0xB3, 0x45, 0x06,
+    0xD0, 0x2C, 0x1E, 0x8F, 0xCA, 0x3F, 0x0F, 0x02,
+    0xC1, 0xAF, 0xBD, 0x03, 0x01, 0x13, 0x8A, 0x6B,
+    0x3A, 0x91, 0x11, 0x41, 0x4F, 0x67, 0xDC, 0xEA,
+    0x97, 0xF2, 0xCF, 0xCE, 0xF0, 0xB4, 0xE6, 0x73,
+    0x96, 0xAC, 0x74, 0x22, 0xE7, 0xAD, 0x35, 0x85,
+    0xE2, 0xF9, 0x37, 0xE8, 0x1C, 0x75, 0xDF, 0x6E,
+    0x47, 0xF1, 0x1A, 0x71, 0x1D, 0x29, 0xC5, 0x89,
+    0x6F, 0xB7, 0x62, 0x0E, 0xAA, 0x18, 0xBE, 0x1B,
+    0xFC, 0x56, 0x3E, 0x4B, 0xC6, 0xD2, 0x79, 0x20,
+    0x9A, 0xDB, 0xC0, 0xFE, 0x78, 0xCD, 0x5A, 0xF4,
+    0x1F, 0xDD, 0xA8, 0x33, 0x88, 0x07, 0xC7, 0x31,
+    0xB1, 0x12, 0x10, 0x59, 0x27, 0x80, 0xEC, 0x5F,
+    0x60, 0x51, 0x7F, 0xA9, 0x19, 0xB5, 0x4A, 0x0D,
+    0x2D, 0xE5, 0x7A, 0x9F, 0x93, 0xC9, 0x9C, 0xEF,
+    0xA0, 0xE0, 0x3B, 0x4D, 0xAE, 0x2A, 0xF5, 0xB0,
+    0xC8, 0xEB, 0xBB, 0x3C, 0x83, 0x53, 0x99, 0x61,
+    0x17, 0x2B, 0x04, 0x7E, 0xBA, 0x77, 0xD6, 0x26,
+    0xE1, 0x69, 0x14, 0x63, 0x55, 0x21, 0x0C, 0x7D,
+};
+
+const uint8_t AES_shifts[16] = {
+    0, 5, 10, 15, 4, 9, 14, 3, 8, 13, 2, 7, 12, 1, 6, 11
+};
+
+const uint8_t AES_ishifts[16] = {
+    0, 13, 10, 7, 4, 1, 14, 11, 8, 5, 2, 15, 12, 9, 6, 3
+};
+
+/* AES_imc[x][0] = [x].[0e, 09, 0d, 0b]; */
+/* AES_imc[x][1] = [x].[0b, 0e, 09, 0d]; */
+/* AES_imc[x][2] = [x].[0d, 0b, 0e, 09]; */
+/* AES_imc[x][3] = [x].[09, 0d, 0b, 0e]; */
+const uint32_t AES_imc[256][4] = {
+    { 0x00000000, 0x00000000, 0x00000000, 0x00000000, }, /* x=00 */
+    { 0x0E090D0B, 0x0B0E090D, 0x0D0B0E09, 0x090D0B0E, }, /* x=01 */
+    { 0x1C121A16, 0x161C121A, 0x1A161C12, 0x121A161C, }, /* x=02 */
+    { 0x121B171D, 0x1D121B17, 0x171D121B, 0x1B171D12, }, /* x=03 */
+    { 0x3824342C, 0x2C382434, 0x342C3824, 0x24342C38, }, /* x=04 */
+    { 0x362D3927, 0x27362D39, 0x3927362D, 0x2D392736, }, /* x=05 */
+    { 0x24362E3A, 0x3A24362E, 0x2E3A2436, 0x362E3A24, }, /* x=06 */
+    { 0x2A3F2331, 0x312A3F23, 0x23312A3F, 0x3F23312A, }, /* x=07 */
+    { 0x70486858, 0x58704868, 0x68587048, 0x48685870, }, /* x=08 */
+    { 0x7E416553, 0x537E4165, 0x65537E41, 0x4165537E, }, /* x=09 */
+    { 0x6C5A724E, 0x4E6C5A72, 0x724E6C5A, 0x5A724E6C, }, /* x=0A */
+    { 0x62537F45, 0x4562537F, 0x7F456253, 0x537F4562, }, /* x=0B */
+    { 0x486C5C74, 0x74486C5C, 0x5C74486C, 0x6C5C7448, }, /* x=0C */
+    { 0x4665517F, 0x7F466551, 0x517F4665, 0x65517F46, }, /* x=0D */
+    { 0x547E4662, 0x62547E46, 0x4662547E, 0x7E466254, }, /* x=0E */
+    { 0x5A774B69, 0x695A774B, 0x4B695A77, 0x774B695A, }, /* x=0F */
+    { 0xE090D0B0, 0xB0E090D0, 0xD0B0E090, 0x90D0B0E0, }, /* x=10 */
+    { 0xEE99DDBB, 0xBBEE99DD, 0xDDBBEE99, 0x99DDBBEE, }, /* x=11 */
+    { 0xFC82CAA6, 0xA6FC82CA, 0xCAA6FC82, 0x82CAA6FC, }, /* x=12 */
+    { 0xF28BC7AD, 0xADF28BC7, 0xC7ADF28B, 0x8BC7ADF2, }, /* x=13 */
+    { 0xD8B4E49C, 0x9CD8B4E4, 0xE49CD8B4, 0xB4E49CD8, }, /* x=14 */
+    { 0xD6BDE997, 0x97D6BDE9, 0xE997D6BD, 0xBDE997D6, }, /* x=15 */
+    { 0xC4A6FE8A, 0x8AC4A6FE, 0xFE8AC4A6, 0xA6FE8AC4, }, /* x=16 */
+    { 0xCAAFF381, 0x81CAAFF3, 0xF381CAAF, 0xAFF381CA, }, /* x=17 */
+    { 0x90D8B8E8, 0xE890D8B8, 0xB8E890D8, 0xD8B8E890, }, /* x=18 */
+    { 0x9ED1B5E3, 0xE39ED1B5, 0xB5E39ED1, 0xD1B5E39E, }, /* x=19 */
+    { 0x8CCAA2FE, 0xFE8CCAA2, 0xA2FE8CCA, 0xCAA2FE8C, }, /* x=1A */
+    { 0x82C3AFF5, 0xF582C3AF, 0xAFF582C3, 0xC3AFF582, }, /* x=1B */
+    { 0xA8FC8CC4, 0xC4A8FC8C, 0x8CC4A8FC, 0xFC8CC4A8, }, /* x=1C */
+    { 0xA6F581CF, 0xCFA6F581, 0x81CFA6F5, 0xF581CFA6, }, /* x=1D */
+    { 0xB4EE96D2, 0xD2B4EE96, 0x96D2B4EE, 0xEE96D2B4, }, /* x=1E */
+    { 0xBAE79BD9, 0xD9BAE79B, 0x9BD9BAE7, 0xE79BD9BA, }, /* x=1F */
+    { 0xDB3BBB7B, 0x7BDB3BBB, 0xBB7BDB3B, 0x3BBB7BDB, }, /* x=20 */
+    { 0xD532B670, 0x70D532B6, 0xB670D532, 0x32B670D5, }, /* x=21 */
+    { 0xC729A16D, 0x6DC729A1, 0xA16DC729, 0x29A16DC7, }, /* x=22 */
+    { 0xC920AC66, 0x66C920AC, 0xAC66C920, 0x20AC66C9, }, /* x=23 */
+    { 0xE31F8F57, 0x57E31F8F, 0x8F57E31F, 0x1F8F57E3, }, /* x=24 */
+    { 0xED16825C, 0x5CED1682, 0x825CED16, 0x16825CED, }, /* x=25 */
+    { 0xFF0D9541, 0x41FF0D95, 0x9541FF0D, 0x0D9541FF, }, /* x=26 */
+    { 0xF104984A, 0x4AF10498, 0x984AF104, 0x04984AF1, }, /* x=27 */
+    { 0xAB73D323, 0x23AB73D3, 0xD323AB73, 0x73D323AB, }, /* x=28 */
+    { 0xA57ADE28, 0x28A57ADE, 0xDE28A57A, 0x7ADE28A5, }, /* x=29 */
+    { 0xB761C935, 0x35B761C9, 0xC935B761, 0x61C935B7, }, /* x=2A */
+    { 0xB968C43E, 0x3EB968C4, 0xC43EB968, 0x68C43EB9, }, /* x=2B */
+    { 0x9357E70F, 0x0F9357E7, 0xE70F9357, 0x57E70F93, }, /* x=2C */
+    { 0x9D5EEA04, 0x049D5EEA, 0xEA049D5E, 0x5EEA049D, }, /* x=2D */
+    { 0x8F45FD19, 0x198F45FD, 0xFD198F45, 0x45FD198F, }, /* x=2E */
+    { 0x814CF012, 0x12814CF0, 0xF012814C, 0x4CF01281, }, /* x=2F */
+    { 0x3BAB6BCB, 0xCB3BAB6B, 0x6BCB3BAB, 0xAB6BCB3B, }, /* x=30 */
+    { 0x35A266C0, 0xC035A266, 0x66C035A2, 0xA266C035, }, /* x=31 */
+    { 0x27B971DD, 0xDD27B971, 0x71DD27B9, 0xB971DD27, }, /* x=32 */
+    { 0x29B07CD6, 0xD629B07C, 0x7CD629B0, 0xB07CD629, }, /* x=33 */
+    { 0x038F5FE7, 0xE7038F5F, 0x5FE7038F, 0x8F5FE703, }, /* x=34 */
+    { 0x0D8652EC, 0xEC0D8652, 0x52EC0D86, 0x8652EC0D, }, /* x=35 */
+    { 0x1F9D45F1, 0xF11F9D45, 0x45F11F9D, 0x9D45F11F, }, /* x=36 */
+    { 0x119448FA, 0xFA119448, 0x48FA1194, 0x9448FA11, }, /* x=37 */
+    { 0x4BE30393, 0x934BE303, 0x03934BE3, 0xE303934B, }, /* x=38 */
+    { 0x45EA0E98, 0x9845EA0E, 0x0E9845EA, 0xEA0E9845, }, /* x=39 */
+    { 0x57F11985, 0x8557F119, 0x198557F1, 0xF1198557, }, /* x=3A */
+    { 0x59F8148E, 0x8E59F814, 0x148E59F8, 0xF8148E59, }, /* x=3B */
+    { 0x73C737BF, 0xBF73C737, 0x37BF73C7, 0xC737BF73, }, /* x=3C */
+    { 0x7DCE3AB4, 0xB47DCE3A, 0x3AB47DCE, 0xCE3AB47D, }, /* x=3D */
+    { 0x6FD52DA9, 0xA96FD52D, 0x2DA96FD5, 0xD52DA96F, }, /* x=3E */
+    { 0x61DC20A2, 0xA261DC20, 0x20A261DC, 0xDC20A261, }, /* x=3F */
+    { 0xAD766DF6, 0xF6AD766D, 0x6DF6AD76, 0x766DF6AD, }, /* x=40 */
+    { 0xA37F60FD, 0xFDA37F60, 0x60FDA37F, 0x7F60FDA3, }, /* x=41 */
+    { 0xB16477E0, 0xE0B16477, 0x77E0B164, 0x6477E0B1, }, /* x=42 */
+    { 0xBF6D7AEB, 0xEBBF6D7A, 0x7AEBBF6D, 0x6D7AEBBF, }, /* x=43 */
+    { 0x955259DA, 0xDA955259, 0x59DA9552, 0x5259DA95, }, /* x=44 */
+    { 0x9B5B54D1, 0xD19B5B54, 0x54D19B5B, 0x5B54D19B, }, /* x=45 */
+    { 0x894043CC, 0xCC894043, 0x43CC8940, 0x4043CC89, }, /* x=46 */
+    { 0x87494EC7, 0xC787494E, 0x4EC78749, 0x494EC787, }, /* x=47 */
+    { 0xDD3E05AE, 0xAEDD3E05, 0x05AEDD3E, 0x3E05AEDD, }, /* x=48 */
+    { 0xD33708A5, 0xA5D33708, 0x08A5D337, 0x3708A5D3, }, /* x=49 */
+    { 0xC12C1FB8, 0xB8C12C1F, 0x1FB8C12C, 0x2C1FB8C1, }, /* x=4A */
+    { 0xCF2512B3, 0xB3CF2512, 0x12B3CF25, 0x2512B3CF, }, /* x=4B */
+    { 0xE51A3182, 0x82E51A31, 0x3182E51A, 0x1A3182E5, }, /* x=4C */
+    { 0xEB133C89, 0x89EB133C, 0x3C89EB13, 0x133C89EB, }, /* x=4D */
+    { 0xF9082B94, 0x94F9082B, 0x2B94F908, 0x082B94F9, }, /* x=4E */
+    { 0xF701269F, 0x9FF70126, 0x269FF701, 0x01269FF7, }, /* x=4F */
+    { 0x4DE6BD46, 0x464DE6BD, 0xBD464DE6, 0xE6BD464D, }, /* x=50 */
+    { 0x43EFB04D, 0x4D43EFB0, 0xB04D43EF, 0xEFB04D43, }, /* x=51 */
+    { 0x51F4A750, 0x5051F4A7, 0xA75051F4, 0xF4A75051, }, /* x=52 */
+    { 0x5FFDAA5B, 0x5B5FFDAA, 0xAA5B5FFD, 0xFDAA5B5F, }, /* x=53 */
+    { 0x75C2896A, 0x6A75C289, 0x896A75C2, 0xC2896A75, }, /* x=54 */
+    { 0x7BCB8461, 0x617BCB84, 0x84617BCB, 0xCB84617B, }, /* x=55 */
+    { 0x69D0937C, 0x7C69D093, 0x937C69D0, 0xD0937C69, }, /* x=56 */
+    { 0x67D99E77, 0x7767D99E, 0x9E7767D9, 0xD99E7767, }, /* x=57 */
+    { 0x3DAED51E, 0x1E3DAED5, 0xD51E3DAE, 0xAED51E3D, }, /* x=58 */
+    { 0x33A7D815, 0x1533A7D8, 0xD81533A7, 0xA7D81533, }, /* x=59 */
+    { 0x21BCCF08, 0x0821BCCF, 0xCF0821BC, 0xBCCF0821, }, /* x=5A */
+    { 0x2FB5C203, 0x032FB5C2, 0xC2032FB5, 0xB5C2032F, }, /* x=5B */
+    { 0x058AE132, 0x32058AE1, 0xE132058A, 0x8AE13205, }, /* x=5C */
+    { 0x0B83EC39, 0x390B83EC, 0xEC390B83, 0x83EC390B, }, /* x=5D */
+    { 0x1998FB24, 0x241998FB, 0xFB241998, 0x98FB2419, }, /* x=5E */
+    { 0x1791F62F, 0x2F1791F6, 0xF62F1791, 0x91F62F17, }, /* x=5F */
+    { 0x764DD68D, 0x8D764DD6, 0xD68D764D, 0x4DD68D76, }, /* x=60 */
+    { 0x7844DB86, 0x867844DB, 0xDB867844, 0x44DB8678, }, /* x=61 */
+    { 0x6A5FCC9B, 0x9B6A5FCC, 0xCC9B6A5F, 0x5FCC9B6A, }, /* x=62 */
+    { 0x6456C190, 0x906456C1, 0xC1906456, 0x56C19064, }, /* x=63 */
+    { 0x4E69E2A1, 0xA14E69E2, 0xE2A14E69, 0x69E2A14E, }, /* x=64 */
+    { 0x4060EFAA, 0xAA4060EF, 0xEFAA4060, 0x60EFAA40, }, /* x=65 */
+    { 0x527BF8B7, 0xB7527BF8, 0xF8B7527B, 0x7BF8B752, }, /* x=66 */
+    { 0x5C72F5BC, 0xBC5C72F5, 0xF5BC5C72, 0x72F5BC5C, }, /* x=67 */
+    { 0x0605BED5, 0xD50605BE, 0xBED50605, 0x05BED506, }, /* x=68 */
+    { 0x080CB3DE, 0xDE080CB3, 0xB3DE080C, 0x0CB3DE08, }, /* x=69 */
+    { 0x1A17A4C3, 0xC31A17A4, 0xA4C31A17, 0x17A4C31A, }, /* x=6A */
+    { 0x141EA9C8, 0xC8141EA9, 0xA9C8141E, 0x1EA9C814, }, /* x=6B */
+    { 0x3E218AF9, 0xF93E218A, 0x8AF93E21, 0x218AF93E, }, /* x=6C */
+    { 0x302887F2, 0xF2302887, 0x87F23028, 0x2887F230, }, /* x=6D */
+    { 0x223390EF, 0xEF223390, 0x90EF2233, 0x3390EF22, }, /* x=6E */
+    { 0x2C3A9DE4, 0xE42C3A9D, 0x9DE42C3A, 0x3A9DE42C, }, /* x=6F */
+    { 0x96DD063D, 0x3D96DD06, 0x063D96DD, 0xDD063D96, }, /* x=70 */
+    { 0x98D40B36, 0x3698D40B, 0x0B3698D4, 0xD40B3698, }, /* x=71 */
+    { 0x8ACF1C2B, 0x2B8ACF1C, 0x1C2B8ACF, 0xCF1C2B8A, }, /* x=72 */
+    { 0x84C61120, 0x2084C611, 0x112084C6, 0xC6112084, }, /* x=73 */
+    { 0xAEF93211, 0x11AEF932, 0x3211AEF9, 0xF93211AE, }, /* x=74 */
+    { 0xA0F03F1A, 0x1AA0F03F, 0x3F1AA0F0, 0xF03F1AA0, }, /* x=75 */
+    { 0xB2EB2807, 0x07B2EB28, 0x2807B2EB, 0xEB2807B2, }, /* x=76 */
+    { 0xBCE2250C, 0x0CBCE225, 0x250CBCE2, 0xE2250CBC, }, /* x=77 */
+    { 0xE6956E65, 0x65E6956E, 0x6E65E695, 0x956E65E6, }, /* x=78 */
+    { 0xE89C636E, 0x6EE89C63, 0x636EE89C, 0x9C636EE8, }, /* x=79 */
+    { 0xFA877473, 0x73FA8774, 0x7473FA87, 0x877473FA, }, /* x=7A */
+    { 0xF48E7978, 0x78F48E79, 0x7978F48E, 0x8E7978F4, }, /* x=7B */
+    { 0xDEB15A49, 0x49DEB15A, 0x5A49DEB1, 0xB15A49DE, }, /* x=7C */
+    { 0xD0B85742, 0x42D0B857, 0x5742D0B8, 0xB85742D0, }, /* x=7D */
+    { 0xC2A3405F, 0x5FC2A340, 0x405FC2A3, 0xA3405FC2, }, /* x=7E */
+    { 0xCCAA4D54, 0x54CCAA4D, 0x4D54CCAA, 0xAA4D54CC, }, /* x=7F */
+    { 0x41ECDAF7, 0xF741ECDA, 0xDAF741EC, 0xECDAF741, }, /* x=80 */
+    { 0x4FE5D7FC, 0xFC4FE5D7, 0xD7FC4FE5, 0xE5D7FC4F, }, /* x=81 */
+    { 0x5DFEC0E1, 0xE15DFEC0, 0xC0E15DFE, 0xFEC0E15D, }, /* x=82 */
+    { 0x53F7CDEA, 0xEA53F7CD, 0xCDEA53F7, 0xF7CDEA53, }, /* x=83 */
+    { 0x79C8EEDB, 0xDB79C8EE, 0xEEDB79C8, 0xC8EEDB79, }, /* x=84 */
+    { 0x77C1E3D0, 0xD077C1E3, 0xE3D077C1, 0xC1E3D077, }, /* x=85 */
+    { 0x65DAF4CD, 0xCD65DAF4, 0xF4CD65DA, 0xDAF4CD65, }, /* x=86 */
+    { 0x6BD3F9C6, 0xC66BD3F9, 0xF9C66BD3, 0xD3F9C66B, }, /* x=87 */
+    { 0x31A4B2AF, 0xAF31A4B2, 0xB2AF31A4, 0xA4B2AF31, }, /* x=88 */
+    { 0x3FADBFA4, 0xA43FADBF, 0xBFA43FAD, 0xADBFA43F, }, /* x=89 */
+    { 0x2DB6A8B9, 0xB92DB6A8, 0xA8B92DB6, 0xB6A8B92D, }, /* x=8A */
+    { 0x23BFA5B2, 0xB223BFA5, 0xA5B223BF, 0xBFA5B223, }, /* x=8B */
+    { 0x09808683, 0x83098086, 0x86830980, 0x80868309, }, /* x=8C */
+    { 0x07898B88, 0x8807898B, 0x8B880789, 0x898B8807, }, /* x=8D */
+    { 0x15929C95, 0x9515929C, 0x9C951592, 0x929C9515, }, /* x=8E */
+    { 0x1B9B919E, 0x9E1B9B91, 0x919E1B9B, 0x9B919E1B, }, /* x=8F */
+    { 0xA17C0A47, 0x47A17C0A, 0x0A47A17C, 0x7C0A47A1, }, /* x=90 */
+    { 0xAF75074C, 0x4CAF7507, 0x074CAF75, 0x75074CAF, }, /* x=91 */
+    { 0xBD6E1051, 0x51BD6E10, 0x1051BD6E, 0x6E1051BD, }, /* x=92 */
+    { 0xB3671D5A, 0x5AB3671D, 0x1D5AB367, 0x671D5AB3, }, /* x=93 */
+    { 0x99583E6B, 0x6B99583E, 0x3E6B9958, 0x583E6B99, }, /* x=94 */
+    { 0x97513360, 0x60975133, 0x33609751, 0x51336097, }, /* x=95 */
+    { 0x854A247D, 0x7D854A24, 0x247D854A, 0x4A247D85, }, /* x=96 */
+    { 0x8B432976, 0x768B4329, 0x29768B43, 0x4329768B, }, /* x=97 */
+    { 0xD134621F, 0x1FD13462, 0x621FD134, 0x34621FD1, }, /* x=98 */
+    { 0xDF3D6F14, 0x14DF3D6F, 0x6F14DF3D, 0x3D6F14DF, }, /* x=99 */
+    { 0xCD267809, 0x09CD2678, 0x7809CD26, 0x267809CD, }, /* x=9A */
+    { 0xC32F7502, 0x02C32F75, 0x7502C32F, 0x2F7502C3, }, /* x=9B */
+    { 0xE9105633, 0x33E91056, 0x5633E910, 0x105633E9, }, /* x=9C */
+    { 0xE7195B38, 0x38E7195B, 0x5B38E719, 0x195B38E7, }, /* x=9D */
+    { 0xF5024C25, 0x25F5024C, 0x4C25F502, 0x024C25F5, }, /* x=9E */
+    { 0xFB0B412E, 0x2EFB0B41, 0x412EFB0B, 0x0B412EFB, }, /* x=9F */
+    { 0x9AD7618C, 0x8C9AD761, 0x618C9AD7, 0xD7618C9A, }, /* x=A0 */
+    { 0x94DE6C87, 0x8794DE6C, 0x6C8794DE, 0xDE6C8794, }, /* x=A1 */
+    { 0x86C57B9A, 0x9A86C57B, 0x7B9A86C5, 0xC57B9A86, }, /* x=A2 */
+    { 0x88CC7691, 0x9188CC76, 0x769188CC, 0xCC769188, }, /* x=A3 */
+    { 0xA2F355A0, 0xA0A2F355, 0x55A0A2F3, 0xF355A0A2, }, /* x=A4 */
+    { 0xACFA58AB, 0xABACFA58, 0x58ABACFA, 0xFA58ABAC, }, /* x=A5 */
+    { 0xBEE14FB6, 0xB6BEE14F, 0x4FB6BEE1, 0xE14FB6BE, }, /* x=A6 */
+    { 0xB0E842BD, 0xBDB0E842, 0x42BDB0E8, 0xE842BDB0, }, /* x=A7 */
+    { 0xEA9F09D4, 0xD4EA9F09, 0x09D4EA9F, 0x9F09D4EA, }, /* x=A8 */
+    { 0xE49604DF, 0xDFE49604, 0x04DFE496, 0x9604DFE4, }, /* x=A9 */
+    { 0xF68D13C2, 0xC2F68D13, 0x13C2F68D, 0x8D13C2F6, }, /* x=AA */
+    { 0xF8841EC9, 0xC9F8841E, 0x1EC9F884, 0x841EC9F8, }, /* x=AB */
+    { 0xD2BB3DF8, 0xF8D2BB3D, 0x3DF8D2BB, 0xBB3DF8D2, }, /* x=AC */
+    { 0xDCB230F3, 0xF3DCB230, 0x30F3DCB2, 0xB230F3DC, }, /* x=AD */
+    { 0xCEA927EE, 0xEECEA927, 0x27EECEA9, 0xA927EECE, }, /* x=AE */
+    { 0xC0A02AE5, 0xE5C0A02A, 0x2AE5C0A0, 0xA02AE5C0, }, /* x=AF */
+    { 0x7A47B13C, 0x3C7A47B1, 0xB13C7A47, 0x47B13C7A, }, /* x=B0 */
+    { 0x744EBC37, 0x37744EBC, 0xBC37744E, 0x4EBC3774, }, /* x=B1 */
+    { 0x6655AB2A, 0x2A6655AB, 0xAB2A6655, 0x55AB2A66, }, /* x=B2 */
+    { 0x685CA621, 0x21685CA6, 0xA621685C, 0x5CA62168, }, /* x=B3 */
+    { 0x42638510, 0x10426385, 0x85104263, 0x63851042, }, /* x=B4 */
+    { 0x4C6A881B, 0x1B4C6A88, 0x881B4C6A, 0x6A881B4C, }, /* x=B5 */
+    { 0x5E719F06, 0x065E719F, 0x9F065E71, 0x719F065E, }, /* x=B6 */
+    { 0x5078920D, 0x0D507892, 0x920D5078, 0x78920D50, }, /* x=B7 */
+    { 0x0A0FD964, 0x640A0FD9, 0xD9640A0F, 0x0FD9640A, }, /* x=B8 */
+    { 0x0406D46F, 0x6F0406D4, 0xD46F0406, 0x06D46F04, }, /* x=B9 */
+    { 0x161DC372, 0x72161DC3, 0xC372161D, 0x1DC37216, }, /* x=BA */
+    { 0x1814CE79, 0x791814CE, 0xCE791814, 0x14CE7918, }, /* x=BB */
+    { 0x322BED48, 0x48322BED, 0xED48322B, 0x2BED4832, }, /* x=BC */
+    { 0x3C22E043, 0x433C22E0, 0xE0433C22, 0x22E0433C, }, /* x=BD */
+    { 0x2E39F75E, 0x5E2E39F7, 0xF75E2E39, 0x39F75E2E, }, /* x=BE */
+    { 0x2030FA55, 0x552030FA, 0xFA552030, 0x30FA5520, }, /* x=BF */
+    { 0xEC9AB701, 0x01EC9AB7, 0xB701EC9A, 0x9AB701EC, }, /* x=C0 */
+    { 0xE293BA0A, 0x0AE293BA, 0xBA0AE293, 0x93BA0AE2, }, /* x=C1 */
+    { 0xF088AD17, 0x17F088AD, 0xAD17F088, 0x88AD17F0, }, /* x=C2 */
+    { 0xFE81A01C, 0x1CFE81A0, 0xA01CFE81, 0x81A01CFE, }, /* x=C3 */
+    { 0xD4BE832D, 0x2DD4BE83, 0x832DD4BE, 0xBE832DD4, }, /* x=C4 */
+    { 0xDAB78E26, 0x26DAB78E, 0x8E26DAB7, 0xB78E26DA, }, /* x=C5 */
+    { 0xC8AC993B, 0x3BC8AC99, 0x993BC8AC, 0xAC993BC8, }, /* x=C6 */
+    { 0xC6A59430, 0x30C6A594, 0x9430C6A5, 0xA59430C6, }, /* x=C7 */
+    { 0x9CD2DF59, 0x599CD2DF, 0xDF599CD2, 0xD2DF599C, }, /* x=C8 */
+    { 0x92DBD252, 0x5292DBD2, 0xD25292DB, 0xDBD25292, }, /* x=C9 */
+    { 0x80C0C54F, 0x4F80C0C5, 0xC54F80C0, 0xC0C54F80, }, /* x=CA */
+    { 0x8EC9C844, 0x448EC9C8, 0xC8448EC9, 0xC9C8448E, }, /* x=CB */
+    { 0xA4F6EB75, 0x75A4F6EB, 0xEB75A4F6, 0xF6EB75A4, }, /* x=CC */
+    { 0xAAFFE67E, 0x7EAAFFE6, 0xE67EAAFF, 0xFFE67EAA, }, /* x=CD */
+    { 0xB8E4F163, 0x63B8E4F1, 0xF163B8E4, 0xE4F163B8, }, /* x=CE */
+    { 0xB6EDFC68, 0x68B6EDFC, 0xFC68B6ED, 0xEDFC68B6, }, /* x=CF */
+    { 0x0C0A67B1, 0xB10C0A67, 0x67B10C0A, 0x0A67B10C, }, /* x=D0 */
+    { 0x02036ABA, 0xBA02036A, 0x6ABA0203, 0x036ABA02, }, /* x=D1 */
+    { 0x10187DA7, 0xA710187D, 0x7DA71018, 0x187DA710, }, /* x=D2 */
+    { 0x1E1170AC, 0xAC1E1170, 0x70AC1E11, 0x1170AC1E, }, /* x=D3 */
+    { 0x342E539D, 0x9D342E53, 0x539D342E, 0x2E539D34, }, /* x=D4 */
+    { 0x3A275E96, 0x963A275E, 0x5E963A27, 0x275E963A, }, /* x=D5 */
+    { 0x283C498B, 0x8B283C49, 0x498B283C, 0x3C498B28, }, /* x=D6 */
+    { 0x26354480, 0x80263544, 0x44802635, 0x35448026, }, /* x=D7 */
+    { 0x7C420FE9, 0xE97C420F, 0x0FE97C42, 0x420FE97C, }, /* x=D8 */
+    { 0x724B02E2, 0xE2724B02, 0x02E2724B, 0x4B02E272, }, /* x=D9 */
+    { 0x605015FF, 0xFF605015, 0x15FF6050, 0x5015FF60, }, /* x=DA */
+    { 0x6E5918F4, 0xF46E5918, 0x18F46E59, 0x5918F46E, }, /* x=DB */
+    { 0x44663BC5, 0xC544663B, 0x3BC54466, 0x663BC544, }, /* x=DC */
+    { 0x4A6F36CE, 0xCE4A6F36, 0x36CE4A6F, 0x6F36CE4A, }, /* x=DD */
+    { 0x587421D3, 0xD3587421, 0x21D35874, 0x7421D358, }, /* x=DE */
+    { 0x567D2CD8, 0xD8567D2C, 0x2CD8567D, 0x7D2CD856, }, /* x=DF */
+    { 0x37A10C7A, 0x7A37A10C, 0x0C7A37A1, 0xA10C7A37, }, /* x=E0 */
+    { 0x39A80171, 0x7139A801, 0x017139A8, 0xA8017139, }, /* x=E1 */
+    { 0x2BB3166C, 0x6C2BB316, 0x166C2BB3, 0xB3166C2B, }, /* x=E2 */
+    { 0x25BA1B67, 0x6725BA1B, 0x1B6725BA, 0xBA1B6725, }, /* x=E3 */
+    { 0x0F853856, 0x560F8538, 0x38560F85, 0x8538560F, }, /* x=E4 */
+    { 0x018C355D, 0x5D018C35, 0x355D018C, 0x8C355D01, }, /* x=E5 */
+    { 0x13972240, 0x40139722, 0x22401397, 0x97224013, }, /* x=E6 */
+    { 0x1D9E2F4B, 0x4B1D9E2F, 0x2F4B1D9E, 0x9E2F4B1D, }, /* x=E7 */
+    { 0x47E96422, 0x2247E964, 0x642247E9, 0xE9642247, }, /* x=E8 */
+    { 0x49E06929, 0x2949E069, 0x692949E0, 0xE0692949, }, /* x=E9 */
+    { 0x5BFB7E34, 0x345BFB7E, 0x7E345BFB, 0xFB7E345B, }, /* x=EA */
+    { 0x55F2733F, 0x3F55F273, 0x733F55F2, 0xF2733F55, }, /* x=EB */
+    { 0x7FCD500E, 0x0E7FCD50, 0x500E7FCD, 0xCD500E7F, }, /* x=EC */
+    { 0x71C45D05, 0x0571C45D, 0x5D0571C4, 0xC45D0571, }, /* x=ED */
+    { 0x63DF4A18, 0x1863DF4A, 0x4A1863DF, 0xDF4A1863, }, /* x=EE */
+    { 0x6DD64713, 0x136DD647, 0x47136DD6, 0xD647136D, }, /* x=EF */
+    { 0xD731DCCA, 0xCAD731DC, 0xDCCAD731, 0x31DCCAD7, }, /* x=F0 */
+    { 0xD938D1C1, 0xC1D938D1, 0xD1C1D938, 0x38D1C1D9, }, /* x=F1 */
+    { 0xCB23C6DC, 0xDCCB23C6, 0xC6DCCB23, 0x23C6DCCB, }, /* x=F2 */
+    { 0xC52ACBD7, 0xD7C52ACB, 0xCBD7C52A, 0x2ACBD7C5, }, /* x=F3 */
+    { 0xEF15E8E6, 0xE6EF15E8, 0xE8E6EF15, 0x15E8E6EF, }, /* x=F4 */
+    { 0xE11CE5ED, 0xEDE11CE5, 0xE5EDE11C, 0x1CE5EDE1, }, /* x=F5 */
+    { 0xF307F2F0, 0xF0F307F2, 0xF2F0F307, 0x07F2F0F3, }, /* x=F6 */
+    { 0xFD0EFFFB, 0xFBFD0EFF, 0xFFFBFD0E, 0x0EFFFBFD, }, /* x=F7 */
+    { 0xA779B492, 0x92A779B4, 0xB492A779, 0x79B492A7, }, /* x=F8 */
+    { 0xA970B999, 0x99A970B9, 0xB999A970, 0x70B999A9, }, /* x=F9 */
+    { 0xBB6BAE84, 0x84BB6BAE, 0xAE84BB6B, 0x6BAE84BB, }, /* x=FA */
+    { 0xB562A38F, 0x8FB562A3, 0xA38FB562, 0x62A38FB5, }, /* x=FB */
+    { 0x9F5D80BE, 0xBE9F5D80, 0x80BE9F5D, 0x5D80BE9F, }, /* x=FC */
+    { 0x91548DB5, 0xB591548D, 0x8DB59154, 0x548DB591, }, /* x=FD */
+    { 0x834F9AA8, 0xA8834F9A, 0x9AA8834F, 0x4F9AA883, }, /* x=FE */
+    { 0x8D4697A3, 0xA38D4697, 0x97A38D46, 0x4697A38D, }, /* x=FF */
+};
+
+
+
 /*
 AES_Te0[x] = S [x].[02, 01, 01, 03];
 AES_Te1[x] = S [x].[03, 02, 01, 01];