# https://www.robotstxt.org/robotstxt.html User-agent: * Allow: / # Sitemap Sitemap: https://thurry.com/sitemap.xml # 중요 페이지 크롤링 우선순위 지정 Allow: /$ Allow: /images/ Allow: /favicons/ # 자원 크롤링 허용 (렌더링을 위해 CSS/JS 차단하지 않음) # 검색 엔진별 특수 설정 User-agent: Googlebot Allow: / Crawl-delay: 1 User-agent: Googlebot-Image Allow: / Allow: /favicons/ Crawl-delay: 1 User-agent: Yeti Allow: / Crawl-delay: 1 User-agent: Daum Allow: / Crawl-delay: 1 User-agent: Naver Allow: / Crawl-delay: 1