4.1.x用にsitemap.index, sitemap.xml出力機能追加

[tao-s]

概要(Overview・Refs Issue)

ref: #4807
sitemap.xml, sitemap.xml出力機能を追加。

• /sitemap.xml -> sitemap index
  • /sitemap_page.xml -> 商品一覧、詳細以外のページのサイトマップ
  • /sitemap_category.xml -> 商品一覧ページのサイトマップ
  • /sitemap_product.xml -> 商品詳細ページのサイトマップ

方針(Policy)

商品点数やカテゴリが多いと、インデックスが遅くなったりするのと、search console でそれぞれ分けてインデックス状況を見たいので分けました。

実装に関する補足(Appendix)

ページ、商品、カテゴリ、それぞれのupdate_dateをlastmodに入れてます

テスト（Test)

実店舗で稼働しているコードです

相談（Discussion）

毎回入れるの面倒なのと、EC-CUBEはSEO弱くないですって言いたいんで、お願いします。

マイナーバージョン互換性保持のための制限事項チェックリスト

• 既存機能の仕様変更
• フックポイントの呼び出しタイミングの変更
• フックポイントのパラメータの削除・データ型の変更
• twigファイルに渡しているパラメータの削除・データ型の変更
• Serviceクラスの公開関数の、引数の削除・データ型の変更
• 入出力ファイル(CSVなど)のフォーマット変更

レビュワー確認項目

• 動作確認
• コードレビュー
• E2E/Unit テスト確認(テストの追加・変更が必要かどうか)
• 互換性が保持されているか
• セキュリティ上の問題がないか

新機能追加に伴う競合確認

• プラグインとの競合がないか
• プラグインからのマイグレーションが必要か

[tao-s]

CI走らすために一旦close

[tao-s]

user_data/ に管理画面からページ作ってるとエラーになる

[okazy]

商品数が多くなると処理が重たくなるのとページサイズも膨大になってしまうので、ある程度で分割する必要があるかと思います。

少し調べてみました。

サイト 1 つにつき最大 500 個のサイトマップ インデックス ファイルを送信可
指定するURLは50,000個以下
ファイルサイズは未圧縮状態で50MB以下

[okazy]

プルリク先のブランチを 4.1-feature へ変更しました。
Controller を少しリファクタリングしました。

[okazy]

ページのサイトマップでパラメータ付きのURLでエラーとなってしまっていたので対象から除外しました。
entry_activate に noindex の設定ができていなかったので追加しました。

[matsuoshi]

商品数が多くなると処理が重たくなるのとページサイズも膨大になってしまうので、ある程度で分割する必要があるかと思います。

@tao-s @okazy 商品 1000件単位でページ分割する処理を入れまして、プルリクエストお送りしました
ご確認いただけましたらと思います
tao-s#3

[tao-s]

@matsuoshi 一応、仕様上はひとつのサイトマップで50,000URLまでとのことなので、1,000件じゃなくてもっと多くても良いかなと思いました

[tao-s]

@okazy 今の状態ってuser_dataにページ作ってもエラーになりませんか？

[okazy]

@tao-s
user_dataにページ作成とは、user_data配下にphpファイルを設置する想定でしょうか？
DBに保存されないのでsitemapには追加されませんが、エラーは発生しないと思います。。。

1,000件じゃなくてもっと多くても

どれくらいがいいでしょうか？
ローカルだと10,000件だとメモリのエラーになったので、貧弱な環境を考えると1000くらいでもいいかと思いました。

[tao-s]

ページのサイトマップでパラメータ付きのURLでエラーとなってしまっていたので対象から除外しました。

@okazy これって、user_data配下とかの事ですか？

[okazy]

@tao-s

ページのサイトマップでパラメータ付きのURLでエラーとなってしまっていたので対象から除外しました。
@okazy これって、user_data配下とかの事ですか？

違います。
例えば entry_activate のルーティングはURLの生成で secret_key の引数が必要です。

ec-cube/src/Eccube/Controller/EntryController.php

Line 247 in 23da54c

* @Route("/entry/activate/{secret_key}/{qtyInCart}", name="entry_activate")

このようなルーティングは URL が確定できず twig でエラーとなってしまっていたため除外しました。

実装は以下です。

ec-cube/src/Eccube/Controller/SitemapController.php

Lines 128 to 135 in 9e78398

	// URL に変数が含まれる場合は URL の生成ができないためここで除外する
	$Pages = array_filter($Pages, function (Page $Page) {
	$route = $this->router->getRouteCollection()->get($Page->getUrl());
	if (is_null($route)) {
	return false;
	}
	return count($route->compile()->getPathVariables()) < 1;
	});

[okazy]

管理画面のページ管理からページを追加した場合のサイトマップ生成については考慮できていませんでした。
実装確認して対応が必要そうです。

[okazy]

@tao-s ３点対応しました。ご確認と取り込みをお願いできますでしょうか。

tao-s#6

• 管理画面から作成したページに対応しました。
• 取得を QueryBuilder のカスタマイズを考慮した実装に変更
• ページあたりの商品数の設定を eccube.yaml に移動しました

[codecov-commenter]

Codecov Report

Attention: Patch coverage is 96.77419% with 1 line in your changes missing coverage. Please review.

Project coverage is 76.19%. Comparing base (8c3ae69) to head (5ecf49b).
Report is 779 commits behind head on 4.1.

Files with missing lines	Patch %	Lines
src/Eccube/Controller/SitemapController.php	96.77%	1 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff              @@
##                4.1    #4808      +/-   ##
============================================
+ Coverage     75.96%   76.19%   +0.23%     
- Complexity     5946     5948       +2     
============================================
  Files           449      449              
  Lines         20922    20945      +23     
============================================
+ Hits          15893    15959      +66     
+ Misses         5029     4986      -43     

Flag	Coverage Δ
tests	76.19% <96.77%> (+0.23%)	⬆️

Flags with carried forward coverage won't be shown. Click here to find out more.

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

---

🚨 Try these New Features:

• Flaky Tests Detection - Detect and resolve failed and flaky tests
• JS Bundle Analysis - Avoid shipping oversized bundles

[matsuoshi]

CI実行のため close/reopen します