robots.txtの設定でXのOGPが出なかった話
作成日
更新日
背景
- Freshにrobots.txtを配置する
Supabaseのリクエストログを調査するよりSSRでブログサイトを作っていたら、アクセス数がえらいこっちゃになった。
その時に、robots.txt にクローラーのアクセスを制限する旨を書いていたため、Xでリンクを貼ってもカード上に表示されなくなっていた。
原因
robots.txt でクローラーを弾いていたから。
修正前
robots.txt
# Googlebot には全面許可
User-agent: Googlebot
Disallow:
# Bingbot には全面許可、クロール間隔10秒
User-agent: Bingbot
Disallow:
Crawl-delay: 10
# その他のクローラーには /posts/ のみ許可、1時間に1回クロール制限
User-agent: *
Disallow: /
Allow: /posts/
Crawl-delay: 3600修正後
オンデマンドISRの実装に変えたのでリクエスト数問題は解消したので robots.txt で弾かなくても良くなった。
User-agent: *
Disallow:
# 一応
Crawl-delay: 3600Card Validator ありがとう。
公開日
更新日