regmap_write(regs, REG_SSI_SRCR, srcr);
        regmap_write(regs, REG_SSI_SCR, scr);
 
-       if ((fmt & SND_SOC_DAIFMT_FORMAT_MASK) == SND_SOC_DAIFMT_AC97)
-               fsl_ssi_setup_ac97(ssi);
-
        return 0;
 }
 
                regmap_update_bits(ssi->regs, REG_SSI_SCR,
                                   SSI_SCR_TCH_EN, SSI_SCR_TCH_EN);
 
+       /* AC97 should start earlier to communicate with CODECs */
+       if (fsl_ssi_is_ac97(ssi)) {
+               _fsl_ssi_set_dai_fmt(ssi->dev, ssi, ssi->dai_fmt);
+               fsl_ssi_setup_ac97(ssi);
+       }
+
        return 0;
 }
 
+/**
+ * Clear SSI registers
+ */
+static void fsl_ssi_hw_clean(struct fsl_ssi *ssi)
+{
+       /* Disable registers for AC97 */
+       if (fsl_ssi_is_ac97(ssi)) {
+               /* Disable TE and RE bits first */
+               regmap_update_bits(ssi->regs, REG_SSI_SCR,
+                                  SSI_SCR_TE | SSI_SCR_RE, 0);
+               /* Disable AC97 mode */
+               regmap_write(ssi->regs, REG_SSI_SACNT, 0);
+               /* Unset WAIT bits */
+               regmap_write(ssi->regs, REG_SSI_SOR, 0);
+               /* Disable SSI -- software reset */
+               regmap_update_bits(ssi->regs, REG_SSI_SCR, SSI_SCR_SSIEN, 0);
+       }
+}
 /**
  * Make every character in a string lower-case
  */
        }
 
 done:
-       if (ssi->dai_fmt)
-               _fsl_ssi_set_dai_fmt(dev, ssi, ssi->dai_fmt);
-
        /* Initially configures SSI registers */
        fsl_ssi_hw_init(ssi);
 
        if (ssi->pdev)
                platform_device_unregister(ssi->pdev);
 
+       /* Clean up SSI registers */
+       fsl_ssi_hw_clean(ssi);
+
        if (ssi->soc->imx)
                fsl_ssi_imx_clean(pdev, ssi);