商品 CSV 内で繰り返される画像 URL を見つける

商品データにおける重複した画像 URL

重複した画像 URL とは

重複した画像 URL とは、商品ファイルの複数の行に現れる 1 つの画像アドレスのことです。2 つの行がどちらも画像列に https://cdn.example/img/blue-shirt.jpg と記載していれば、その 2 行は画像 URL を共有しています。ImageDup はそのアドレスで行をグループ化し、同じアドレスが複数回使われているグループをすべて表示します。

これはテキストの比較です。ImageDup は URL の文字列を読み取り、いくつかの安全な調整 — 空白の除去、スキームとドメインの小文字化、#フラグメント の除去 — を行ったうえで、結果が一致するかを確認します。画像を開くことも、ダウンロードすることも、ピクセルを比較することもありません。2 つの行は、画像アドレスが一致したときにのみ一致します。

カタログに画像 URL の繰り返しが生じる理由

画像 URL の繰り返しの多くは、意図的な選択ではなく、商品データの作られ方やエクスポートのされ方による副作用です。

• バリエーションの行。多くのプラットフォームはサイズや色ごとに 1 行ずつエクスポートします。5 サイズあるシャツは 5 行になり、サイズ違いに個別の写真が用意されていなければ、5 行とも同じ画像を指します。
• コピーによる商品登録。時間短縮のために既存の商品を複製して新しい商品を作り、画像フィールドが変更されないままになります。
• プレースホルダー画像。「近日公開」やカテゴリー共通の画像が、まだ実写のない商品すべてに割り当てられます。数百行が 1 つのプレースホルダーを共有することもあります。
• フィードの結合と再エクスポート。複数のテーブルを結合してフィードを作る場合や、置き換えではなく追記する方式のシステムから繰り返しエクスポートする場合、同じ商品が同じ画像で複数行に現れることがあります。
• 移行の名残。プラットフォームを移行すると、複数の旧フィールドが 1 つの新しい画像列にまとめられ、繰り返しが生じることがよくあります。

画像 URL の繰り返しが問題でない場合

画像 URL の繰り返しが自動的に問題になるわけではありません。ごく普通の理由もあります。

• 写真上で見分けがつかないため、商品とそのバリエーションが実際に 1 枚の写真を共有している — 3 サイズある指輪、同じ表紙のハードカバーとペーパーバックの書籍など。
• セットやギフトセットが、あえて構成品の写真を使い回している。
• 同じ現物の 2 つの出品、たとえば通常 SKU と販促 SKU が、意図的に 1 枚の画像を使っている。
• ブランドが、統一感のある小さなシリーズ全体で 1 枚のイメージ写真を使っている。

ImageDup はこれらのケースをあなたに代わって判断しません。どこで画像が使い回され、いくつの異なる商品 ID が関係しているかを示すので、その使い回しが意図的かどうかはあなたが判断します。

重複と要確認

ImageDup は繰り返されている画像 URL を、次の 2 つのグループのいずれかに分類します。

• 重複 — 同じ画像 URL が、2 つ以上の異なる（空でない）商品 ID に結び付いています。別々の商品が 1 枚の写真を共有しているため、修正が必要になる可能性が最も高いケースです。
• 要確認 — 同じ画像 URL が繰り返されているものの、その行からは 2 つ以上の異なる商品 ID を確認できません。1 つの商品 ID が複数行にある、行が完全に重複している、商品 ID が空、といった場合です。多くは無害なバリエーションの行ですが、データの問題を隠していることもあるため、無視せずに一覧に載せます。

商品 ID のない行は、それ単独で重複を生じさせることはありません。1 つの商品に属するのか複数なのかを ImageDup が判断できないためです。

商品 CSV ファイル

商品 CSV は、EC プラットフォーム、PIM、マーケットプレイス、フィードツールなどからエクスポートされたプレーンテキストの表です。各行は商品または商品バリエーションで、各列は SKU、タイトル、価格、画像 URL などのフィールドです。ImageDup は 1 行目をヘッダーとして読み取り、必要な 2 つのフィールド — 商品識別子と画像 URL — に加えて、2 つの任意フィールド（結果を読みやすくするタイトルと、画像ハッシュ）を、あなたの列に対応付けられるようにします。

列名はシステムによって異なります — image_link、Image Src、main_image、photo_url など。そのため ImageDup はヘッダーの文字列から対応付けを推測し、確認したほうがよい推測に印を付けます。推測が誤っていれば、プルダウンから正しい列を選んでください。

カタログの整理とフィードの点検

画像 URL の繰り返しの確認は、より広いカタログ点検の一工程です。通常の点検では、画像の欠落、リンク切れの画像、タイトルや説明の欠落、価格の不整合、SKU の重複なども確認します。ImageDup は画像 URL の問題に絞り込み、該当したすべての行を、グループ番号と理由を付けたダウンロード可能な CSV で提供します。元データを管理している担当者にそのままリストを渡せます。

エクスポートのたび、あるいはフィード送信の前にこの確認を行うと、新商品やエクスポート設定の変更によって生じた繰り返しを、ストアフロントや販売チャネルに届く前に捕まえられます。

完全一致による URL 照合の限界

完全一致は正確ですが、字面どおりです。次のようなケースは見逃します。

• 同じ画像が 2 つのアドレスにある場合。https://cdn.example/a.jpg と https://images.example/a.jpg、あるいは CDN の URL とそのオリジンの URL は、1 枚の写真を返しますが文字列としては別物です。ImageDup はこれらを別物として扱います。
• キャッシュ回避のパラメーターが付いた同じ画像。photo.jpg?v=1 と photo.jpg?v=2 は別のままにします。クエリ文字列は正当に応答を変えることがあるためです。
• リサイズや再エンコードされたコピー。1 枚の写真のサムネイルとフルサイズ版は、別々の URL にある別々のファイルです。

また設計上、http と https、www とドメインのみ、末尾のスラッシュもまとめません。いずれも別のリソースを指しうるためです。

異なる URL で配信される同じ写真を拾うには、エクスポートに画像ハッシュの列 — ファイルの MD5 や、pHash・dHash などの知覚ハッシュを 16 進数で — を追加して対応付けてください。ImageDup はハッシュのある行はハッシュで照合し、ない行は URL に切り替えます。それでもハッシュ自体を計算したり画像を見た目で比較したりはせず、あなたが与えたハッシュ値を信頼します。