爬虫工具

Screaming frog是最好用的爬虫模拟软件/工具. 它可以快速爬取你整站的URL，分析TDK、状态码、http、重定向、文件大小、内链数、SERP等等。免费版可以抓取500链接，对于一般的网站也够用。