Photoshop形式（.psd）で保存する際に、デフォルトの設定であれば「互換性を優先」するか否か、という保存オプションが表示されます。

デフォルトでは「互換性を優先する」ようにチェックが入っています。また、併記されている説明文にも「オフにすると問題が発生する可能性がある」と書かれています。
しかし、このチェックを外さずに保存したPhotoshop形式のファイルを、Illustratorに配置してPDFを作成した場合、データには無い色が発生する場合があります。

• データには無いはずの細い線が出た
• 透明を使ってきれいに切り抜きしたはずなのに、フチに線がある／切抜きが粗く見える

こういった現象が発生した場合、この問題が当てはまる可能性があります。

検証事例

1. 画像ファイルの準備

何もない透明な背景に「白」を塗り、グラデーションのマスクを掛けました。
つまり色成分はCMYK全て0％の画像です。

この画像を保存する際に、Photoshop形式オプションの「互換性を優先」に
・チェックを「入れたもの」
・チェックを「外したもの」
の2パターン保存します。

2. Illustratorに配置しPDF作成

1で作成した2つの画像データを、比較出来るようIllustratorに並べて配置します。

IllustratorからPDFを作成します。
PDF/X-4を元に、結果に影響が出ないよう画像の圧縮がされないようにしました。

3. 作成されたPDFを確認

Acrobatで開いて確認します。
「互換性を優先する」にチェックを入れた方には、画像データにない線が発生しています。
出力プレビューで確認すると、色成分もあることが分かります。
つまり、白しかないはずのデータに色成分が発生しました。

他のパターン事例

背景が透明な画像上でテキストを入力した画像と、色ベタをマスクで切り抜いた画像を使用しました。
どちらも色はシアンを使用しており、「互換性を優先する」にチェックを入れて保存しました。

PDFを表示した時点でフチに線が付いていることが分かりますが、データで使用しているシアンを出力プレビューで非表示にしてみると、テキストやマスクのフチに色成分が発生していることがはっきり分かります。

対処方法

1. 「互換性を優先」のチェックを外す

透明を使用した画像をPhotoshop形式で保存する場合は、「互換性を優先」のチェックを外して保存します。

2. 環境設定で「常にオフ」にする

Photoshopの＜環境設定＞→＜ファイル管理＞→＜PSDおよびPSBファイルの互換性を優先＞を、『常にオフ』にすることで、保存の度にチェックを外す必要がなくなります。

まとめ

上記の検証データは、Windows(64bit版)とMacのCC 2017環境で作成しました。
この他のバージョンでも発生することを確認していますが、OSやAdobeアプリケーションのバージョン、データの状況などによっては上記の結果と異なる（線が出ない）こともあるようです。

Adobe公式サイトの情報によると、互換性を優先をオンにすることによって

PSD および PSB ファイルを Photoshop の以前のバージョンやレイヤーをサポートしないアプリケーションで操作する場合は、画像の統合バージョンを保存ファイルに追加できます。

ということですので、弊社でPhotoshop形式に保存する際は、対処方法2の様にPhotoshopの環境設定で「常にオフ」にすることを標準としていますが、オフにすることで別の不具合が発生しないよう、最終保存前にレイヤーを結合しています。
また、この細い線は画面表示上だけでなく、印刷に影響するほどのデータも実例としてありましたので、保存時にはご注意ください。