Adobe® Photoshop®で画像を合成するとき、不要な縁を消してきれいに合成できるレイヤーのマッティングという機能があります。
レイヤーのマッティングの「不要なカラーの除去」の使い方
通常の使い方
画像データ上で合成したいものを選択し、レイヤーマスクを作って、切り抜いた状態にします。

レイヤーマスクを作って切り抜いた画像

レイヤーマスクで切り抜いたレイヤー
合成先の画像データに切り抜いたレイヤーを乗せて合成します。
単純に合成すると不要な縁が見えて、合成した感じが強く出ます。

単純に合成して、不要な縁が見えている状態
レイヤーパネルで、レイヤーマスクで切り抜いたレイヤーを選択した状態にし、メニューから[レイヤー>マッティング>不要なカラーの除去]と進むと「不要なカラーの除去」のダイアログが表示されます。
「量」のスライダーを操作して不要なカラーを除去する強さを調整し「OK」をクリックします。

「不要なカラーの除去」のダイアログ
不要な縁が見えないような処理が加わり、綺麗な合成状態になります。

「不要なカラーの除去」を使った結果
レイヤーマスク適用済みのレイヤーに「不要なカラーの除去」を使う方法
「不要なカラーの除去」はレイヤーマスクで切り抜いたレイヤーに使えますが、レイヤーマスクを適用して周囲を削除して切抜き状態にしたレイヤーには適用できません。

レイヤーマスクを適用して周囲を削除した状態の画像

周囲を削除した状態のレイヤー
不要な部分を削除したレイヤーを選択して[レイヤー>マッティング>不要なカラーの除去]と進んでも、「不要なカラーの除去」がグレーアウトになって選択できない状態になっています。
しかし、不要な部分を削除した切り抜き状態の画像しか手元にない場合、作業の都合上すでにレイヤーマスクを適用済みでそのまま作業を進めたい場合、などがよくあります。
以下の方法でレイヤーマスク適用済みのレイヤーに「不要なカラーの除去」を使うことができます。
1.レイヤーマスクを作る
レイヤーパネルで、MacならCommandキーを押しながら切り抜いた状態のレイヤーをクリックし、レイヤーの透明部分を選択範囲として読み込みます。

レイヤーの透明部分を選択範囲として読み込んだ状態
レイヤーパネルで、切り抜いた状態のレイヤーを選択した状態で「レイヤーマスクを追加」ボンタンをクリックし、切り抜いた状態のレイヤーにレイヤーマスクを追加します。

不要な部分を削除済みのレイヤーにレイヤーマスクを追加した状態
2.「不要なカラーの除去」を使う
すでに不要な部分を削除してあるレイヤーではありますが、レイヤーマスクを追加したことで「不要なカラーの除去」が使える状態になります。
あとは普通に「不要なカラーの除去」を使います。
「フリンジ削除」「白マット削除」「黒マット削除」も不要な縁を消す機能
「フリンジ削除」「白マット削除」「黒マット削除」も不要な縁を消す機能です。
レイヤーマスクで切り抜いた状態のレイヤーでも、レイヤーマスクを適用して不要な部分を削除済みのレイヤーでも使えます。
必要になったらそれぞれを使ってみて、最も良い結果になるものを使うと良いでしょう。
以上、レイヤーのマッティングの使い方の例でした。