Screaming Frog چیست؟ و چرا باید از آن برای سئو استفاده کرد؟

در این مقاله با Screaming Frog و اینکه چرا باید از آن برای سئو استفاده کنید آشنا خواهید شد. اسکریمینگ فراگ (Screaming Frog) یکی از تکنیک ها و ابزارهای سئو و بهینه‌سازی موتورهای جستجو است، زیرا می‌تواند به شما در تجزیه و تحلیل ساختار سایت و یافتن مسائل فنی که می‌تواند آن را در رتبه‌بندی موتورهای جستجو باز دارد، کمک کند.

Screaming Frog چیست؟

Screaming Frog یک برنامه دسکتاپ است که می توانید از آن برای کراول کردن وب سایت ها و جمع آوری داده های مربوط به آنها استفاده کنید. همچنین یک ابزار خزنده وب سایت است که برای کمک به کسب و کارها در استخراج اطلاعات داخلی سایت، بررسی مسائل سئو و تجزیه و تحلیل نتایج در زمان واقعی طراحی شده است. ویژگی‌های Screaming Frog عبارتند از تشخیص صفحه تکراری، تجسم سایت، زمان‌بندی کراول، احراز هویت مبتنی بر فرم‌ها، تولید نقشه سایت XML و گزارش.

در اینجا چند نکته دیگر وجود دارد که باید در مورد Screaming Frog بدانید:

1. هم برای ویندوز و هم برای مک در دسترس است.

2. دارای یک نسخه رایگان است که به شما امکان می دهد تا 500 URL را کراول کنید، و یک نسخه پولی که به شما امکان کراول کردن نامحدود را می دهد

3. این ابزار فقط برای اهداف سئو نیست، همچنین می تواند برای مواردی مانند ممیزی وب سایت و تجزیه و تحلیل رقبا استفاده شود.

چرا باید از Screaming Frog استفاده کنید؟

Screaming Frog یک ابزار ممیزی سریع و پیشرفته SEO است. کسب و کارهای موفقی مانند آمازون، دیزنی، گوگل و اپل همگی از Screaming Frog استفاده می کنند. بدون ابزار، شما به صورت دستی هر صفحه در وب سایت خود را بررسی می کنید، جایی که احتمال زیادی وجود دارد که تغییر مسیر، محتوای تکراری، بازخوانی متا و غیره را از دست بدهید.

Screaming Frog می تواند وب سایت های کوچک و بزرگ را برای شما کراول کند.

Screaming Frog SEO Spider به شما این امکان را می دهد که عناصر ضروری سئوی on page (URL، عنوان صفحه، توضیحات متا، سرفصل ها و موارد دیگر) را به یک صفحه گسترده صادر کنید، بنابراین به راحتی می توان از آن به عنوان پایه ای برای توصیه های SEO استفاده کرد.

درواقع این ابزار سئو به متخصصان این امکان را می‌دهد تا وب‌سایت‌های کوچک یا بزرگ را بررسی کنند، لینک‌های شکسته و خطاهای سرور را ردیابی کنند و URL منبع را برای اصلاح به توسعه‌دهندگان صادر کنند. بازاریابان دیجیتال می توانند عنوان صفحه و توضیحات متا را تجزیه و تحلیل کنند، تغییر مسیرهای موقت و دائمی را کشف کنند و URL های مسدود شده را از طریق دستورالعمل های برچسب شناسایی کنند.

فواید شگفت انگیز اسکریمینگ فراگ

• Screaming Frog می تواند لینک های شکسته را پیدا کند. از سال 2016، لینک ها یکی از فاکتورهای برتر رتبه بندی در رتبه بندی گوگل هستند. لینک‌های شکسته می‌توانند با تأثیر بر زمان روی صفحه، نرخ پرش، ارزش ویژه لینک و با بیان اینکه وب‌سایت شما قدیمی است، بر سئوی شما تأثیر بگذارد.
• Screaming Frog می تواند محتوای تکراری را پیدا کند. اینها محتوایی در داخل یا بین دامنه‌ها هستند که با محتوای دیگر به همان زبان مطابقت دارند یا مشابه هستند که می تواند منجر به تجربه کاربری ضعیف شود.

کارهای دیگری که Screaming Frog می تواند انجام دهد عبارتند از:

تگ های عنوان گم شده را شناسایی کنید

تگ های عنوان برای کمک به کاربران در دانستن محتوایی که در صفحه پیدا می‌کنند مهم هستند.

از دست دادن تگ‌های عنوان می‌تواند بر رتبه‌بندی موتورهای جستجو و نرخ کلیک از صفحات نتایج موتور جستجو تأثیر بگذارد.

ایجاد نقشه سایت XML

داشتن نقشه سایت مهم است زیرا به موتور جستجو کمک می کند تا صفحات وب سایت شما را پیدا کند، آنها را کراول کرده و ساختار وب سایت شما را درک کند. Screaming Frog در ایجاد نقشه سایت نقش مهمی را می تواند ایفا نماید.

تغییر مسیرهای حسابرسی

هنگامی که در هر یک از URL های خود تغییراتی ایجاد می کنید، باید از تغییر مسیر استفاده کنید تا بتوانید سیگنال های ایندکس و لینک را از URL های قدیمی به URL های جدید ارسال کنید.

برنامه ریزی ممیزی ها

ممیزی به شما کمک می کند تا مسائل اصلی را که بر عملکرد جستجوی ارگانیک شما تأثیر می گذارد، تعیین کنید. فقط نسخه پولی وب سایت های جاوا اسکریپت را کروال می کنند. کراول جاوا اسکریپت بیشتر طول می کشد زیرا تمام منابع آن باید جمع آوری شود تا هر صفحه وب ارائه شود. Screaming Frog می تواند این صفحات وب را برای شما رندر کند.

تجسم معماری سایت

معماری سایت روشی است که شما مطالب را در سایت خود دسته بندی، ساختار و لینک های درونی می کنید. این یک اصل اصلی در سئوی تکنیکال است. داشتن یک معماری سئو پسند به هدایت کاربران به محتوای شما کمک می کند، به راحتی آنچه را که به دنبال آن هستند پیدا کرده و به گوگل کمک می کند آن را فهرست کند.

تجزیه و تحلیل عناوین صفحات و متادیتا

عناوین صفحه و توضیحات متا به کاربران کمک می کند بدانند از صفحه شما چه انتظاری دارند. توضیحات متا به موتورهای جستجو کمک می کند تا بدانند صفحه شما حاوی چه چیزی خواهد بود و نرخ کلیک از طریق جستجوی ارگانیک را افزایش می دهد. با انجام یک تجزیه و تحلیل، می توانید مشکلاتی را که به شما در بهینه سازی عناوین و توضیحات متا کمک می کند، پیدا کنید.

مقایسه کراول و مرحله بندی

این کار به نظارت بر فرصت ها و مسائل مربوط به پیشرفت سئو کمک می کند که باعث صرفه جویی در وقت شما می شود.

استخراج داده ها از HTML یک وب سایت از طریق CSS و XPath

با کمک Screaming Frog می‌توانید بفهمید چه کلمات کلیدی ترافیک را به یک وب‌سایت هدایت می‌کنند، چه دسته‌های محتوایی لینک ها و تعامل کاربر را تشویق می‌کنند، منابع مورد نیاز برای رتبه‌بندی در سایت شما و موارد دیگر.

ارتباط با Google Analytics، گوگل سرچ کنسول و PageSpeed Insights

گوگل آنالیتیکس و گوگل سرچ کنسول ابزارهای تولید سرنخ سئو هستند. Google Analytics به شما کمک می کند تا مشتریان خود را درک کنید، در حالی که گوگل سرچ کنسول به اندازه گیری ترافیک و عملکرد سایت کمک می کند.

کراول کردن صفحات آهسته بیشتر طول می کشد تا موتورهای جستجو کراول کنند، صفحات سریع سریعتر کراول می شوند و تجربه کاربر را بهبود می بخشند.

PageSpeed Insights داده های سرعت را در اختیار شما قرار می دهد.

نسخه پولی Screaming Frog ممکن است بهتر باشد زیرا دارای ویژگی های موجود بیشتری نسبت به نسخه رایگان است.

شروع با Screaming Frog

این راهنما برای کمک به مبتدیان برای شروع استفاده از Screaming Frog طراحی شده و تنظیم اولیه، نحوه شروع کراول، و مشاهده گزارش ها و مسائل کشف شده را پوشش می دهد.

دانلود اسکریمینگ فراگ، نصب و راه اندازی آن

برای شروع، باید Screaming Frog را از سایت سازنده آن به آدرس screamingfrog.co دانلود و نصب کنید که برای کراول تا 500 URL در یک زمان رایگان است.

می‌توانید لایسنسی را بخرید که محدودیت 500 URL کراول را حذف می‌کند، پیکربندی را باز کرده و دسترسی به ویژگی‌های پیشرفته‌تر را فراهم می‌کند.

فعال سازی لایسنس

اگر مایل به استفاده از نسخه رایگان Screaming Frog هستید، می توانید این مرحله را نادیده بگیرید. با این حال، اگر مایل به کراول بیش از 500 URL، ذخیره و باز کردن مجدد کراول و دسترسی به ویژگی های پیشرفته هستید، می توانید مجوز خریداری کنید.

هنگام خرید مجوز، یک نام کاربری و کلید مجوز در اختیار شما قرار می گیرد که باید در برنامه تحت «Licence > Enter License Key» وارد شود.

وقتی به درستی وارد شود، مجوز می گوید معتبر است و تاریخ انقضا را نشان می دهد. سپس از شما خواسته می شود که برنامه را مجددا راه اندازی کنید تا محدودیت کراول حذف شود و دسترسی به تنظیمات و ویژگی های پولی فعال شود.

اگر مجوز می گوید که نامعتبر است، لطفاً سؤالات متداول ما را در مورد مشکلات رایج مجوز نامعتبر برای عیب یابی بخوانید.

اگر از نسخه رایگان Screaming Frog استفاده می کنید یا فقط می خواهید مستقیماً به کراول بروید، می توانید این مرحله را نادیده بگیرید. با این حال، اگر از نسخه پولی استفاده می کنید، توصیه می کنیم از همان ابتدا این را تنظیم کنید.

تنظیم حافظه و ذخیره سازی

اگر SSD دارید، توصیه می‌کنیم به حالت ذخیره‌سازی پایگاه داده بروید. به “Configuration > System > Storage Mode” بروید و “Database Storage Mode” را انتخاب کنید.

حالت ذخیره سازی پایگاه داده مزایای زیادی را ارائه می دهد، از جمله به SEO Spider اجازه می دهد URL های بیشتری را بخزد، به طور خودکار داده های کراول را ذخیره کند و به شما امکان می دهد سریعتر به کراول های قدیمی دسترسی پیدا کنید.

اگر SSD ندارید، به حالت ذخیره رم بمانید. همچنان می‌توانید کراول ها را ذخیره کنید، و اگر مقدار زیادی رم در دسترس دارید، URLهای زیادی را کراول کنید. اکنون آماده هستید که کراول را شروع کنید!

شروع کراول کردن

دو حالت اصلی برای کراول در Screaming Frog وجود دارد. حالت پیش‌فرض «عنکبوت» که یک وب‌سایت را می‌خزد، یا «فهرست»، که به شما امکان می‌دهد فهرستی از آدرس‌های اینترنتی را برای کراول آپلود کنید.

می‌توانید با وارد کردن صفحه اصلی در قسمت «Enter URL to spider» و کلیک کردن روی «شروع»، کراول معمولی «Spider» را شروع کنید.

این نشانی اینترنتی وارد شده و همه URL هایی را که می تواند از طریق لینک های موجود در HTML صفحات در همان زیردامنه کشف کند، خزیده و بررسی می کند.

کراول در زمان واقعی به روز می شود و سرعت و تعداد کل URL های تکمیل شده و باقی مانده را می توان در پایین برنامه مشاهده کرد.

می‌توانید روی «مکث» کلیک کنید و می‌توانید در هر زمان کراول را «از سر بگیرید». همچنین می‌توانید کراول را ذخیره کنید و بعداً آن را از سر بگیرید، در یک لحظه بیشتر ذخیره کنید.

پیکربندی Crawl

اگر ترجیح می‌دهید فهرستی از URLها را به جای یک سایت کامل بخزید، روی «حالت > فهرست» کلیک کنید تا فهرستی از URLها را آپلود یا جای‌گذاری کنید.

برای کراول کردن یک وب سایت نیازی به تنظیم پیکربندی ندارید، زیرا Screaming Frog SEO Spider به طور پیش فرض برای کراول به روشی مشابه Google تنظیم شده است.

با این حال، روش‌های بی‌شماری وجود دارد که می‌توانید کراول را برای دریافت داده‌های مورد نظر خود پیکربندی کنید. گزینه های زیر “پیکربندی ” ( Configuration) را در ابزار بررسی کنید و برای جزئیات در مورد هر تنظیمات به راهنمای کاربر ما مراجعه کنید.

برخی از رایج‌ترین راه‌ها برای کنترل مواردی که خزیده می‌شوند، کراول در یک زیرپوشه خاص، استفاده از Exclude (برای جلوگیری از کراول نشانی‌های وب با الگوی URL) یا ویژگی‌های شامل است.

اگر وب‌سایت شما برای پر کردن محتوا به جاوا اسکریپت متکی است، می‌توانید در قسمت «پیکربندی > عنکبوت > رندر» به حالت رندر جاوا اسکریپت بروید.

این بدان معنی است که جاوا اسکریپت اجرا می شود و Screaming Frog SEO Spider محتوا و لینک ها را در HTML رندر شده می خزند.

مشاهده داده های کراول شده

داده های کراول در زمان واقعی در Screaming Frog SEO Spider جمع می شوند و در برگه ها نمایش داده می شوند. برگه “داخلی” شامل تمام داده های کشف شده در یک کراول برای وب سایت در حال کراول است. می توانید به بالا و پایین و به سمت راست بروید تا تمام داده ها را در ستون های مختلف ببینید.

برگه ها روی عناصر مختلف تمرکز دارند و هر کدام دارای فیلترهایی هستند که به پالایش داده ها بر اساس نوع و مشکلات احتمالی کشف شده کمک می کنند.

تب “کدهای پاسخ” و فیلتر “خطای مشتری (4xx) به عنوان مثال هر 404 صفحه کشف شده را به شما نشان می دهد.

می‌توانید روی URLها در پنجره بالا و سپس بر روی برگه‌های پایین کلیک کنید تا پنجره پایین پنجره پر شود.

این برگه ها جزئیات بیشتری را در مورد URL ارائه می دهند، مانند لینک های داخلی آنها (صفحاتی که به آنها لینک می دهند)، لینک های بیرونی (صفحه هایی که به آنها لینک می دهند)، تصاویر، منابع و موارد دیگر.

در مثال بالا، می‌توانیم لینک های ورودی به یک لینک شکسته را که در حین کراول کشف شده است، ببینیم.

یافتن خطاها و مشکلات

برگه “نمای کلی” پنجره سمت راست خلاصه ای از داده های کراول موجود در هر برگه و فیلتر را نشان می دهد.

برای کاوش داده‌ها و شناسایی خطاها و مشکلات احتمالی، بدون نیاز به کلیک بر روی هر برگه و فیلتر، در هر یک از این بخش‌ها پیمایش کنید.

تعداد URL هایی که تحت تأثیر قرار می گیرند در زمان کراول برای اکثر فیلترها به روز می شوند و می توانید روی آنها کلیک کنید تا مستقیماً به برگه و فیلتر مربوطه منتقل شوند.

همچنین یک برگه «مشکلات» در سمت راست وجود دارد که مسائل، هشدارها و فرصت های کشف شده را به تفصیل شرح می دهد.

توضیح درون برنامه ای هر موضوع و اقدامات بالقوه به زبان های انگلیسی، آلمانی، اسپانیایی، فرانسوی و ایتالیایی ارائه شده است.

هر شماره یک «نوع» و یک «اولویت» تخمینی بر اساس تأثیر بالقوه دارد.

مسائل یک خطا یا مشکلی است که در حالت ایده آل باید برطرف شود.

فرصت ها زمینه های بالقوه ای برای بهینه سازی و بهبود هستند.

هشدارها لزوماً یک مشکل نیستند، اما باید بررسی شوند – و به طور بالقوه برطرف شوند.

به عنوان مثال – یک URL داخلی مسدود شده توسط Robots.txt به عنوان یک “هشدار” طبقه بندی می شود، اما با اولویت “بالا”، زیرا در صورت عدم مجاز بودن به طور بالقوه می تواند تأثیر زیادی داشته باشد.

برگه Issues راهی مفید برای شناسایی سریع مشکلات سطح بالا و فرو رفتن مستقیم در آنها به عنوان جایگزینی برای برگه نمای کلی است. برای کاربرانی که تخصص کمتری در سئو دارند، به ارائه جهت و راهنمایی بیشتر برای بهبود یک وب سایت کمک می کند. همه مسائل باید توسط یک کاربر با تخصص تأیید شود، زیرا سئو به زمینه نیاز دارد و می تواند تفاوت های ظریفی داشته باشد.

این نکات را بررسی کنید و اگر در مورد معنای مشکل مطمئن نیستید، فقط به توضیحات درون برنامه در برگه مشکلات یا راهنمای کاربر ما مراجعه کنید.

هر تب دارای یک بخش (مانند عناوین صفحه، قوانین متعارف و دستورالعمل ها) است که هر ستون و فیلتر را توضیح می دهد.

خروجی داده

شما می توانید تمام داده ها را از کراول به صفحات گسترده صادر کنید. به سادگی روی دکمه “خروجی” در گوشه سمت چپ بالا کلیک کنید تا داده ها را از برگه ها و فیلترهای پنجره بالا صادر کنید.

برای اکسپورت کردن داده‌های پنجره پایین‌تر، روی URL(هایی) که می‌خواهید داده‌ها را از آن صادر کنید در پنجره بالا کلیک راست کنید، سپس روی یکی از گزینه‌ها کلیک کنید.

همچنین گزینه «خروجی انبوه» در زیر منوی سطح بالا وجود دارد. این به شما امکان می دهد لینک های منبع را صادر کنید، برای مثال “لینک های ورودی” به URL هایی با کدهای وضعیت خاص مانند پاسخ های 2XX، 3XX، 4XX یا 5XX.

در بالا، با انتخاب گزینه Client Error 4XX In Links در بالا، تمام لینک‌های ورودی به تمام صفحات خطا (صفحه‌هایی که به صفحات خطای 404 لینک دارند) صادر می‌شود.

همه مسائل را می توان به صورت انبوه از طریق «Bulk Export >  Issues > All» صادر کرد. با این کار هر مشکل کشف شده (از جمله انواع «لینک های داخلی» آنها برای مواردی مانند لینک های شکسته) به عنوان یک صفحه گسترده جداگانه در یک پوشه (به عنوان CSV، Excel و Sheets) صادر می شود.

ذخیره و باز کردن کراول ها

فقط با مجوز می توانید کراول ها را ذخیره و باز کنید. در حالت پیش‌فرض ذخیره‌سازی حافظه، می‌توانید هر زمان که بخواهید یک کراول را ذخیره کنید (وقتی مکث یا تمام شد) و با انتخاب «File > Save» یا «File > Open» دوباره آن را باز کنید.

در حالت ذخیره‌سازی پایگاه داده، کراول ها به‌طور خودکار «ذخیره» و در پایگاه داده در حین کراول انجام می‌شوند. برای باز کردن یک کراول، روی “File > Crawls” در منوی اصلی کلیک کنید.

پنجره “Crawls” یک نمای کلی از کراول های ذخیره شده خودکار را نشان می دهد، جایی که می توانید آنها را باز کنید، تغییر نام دهید، آنها را در پوشه های پروژه سازماندهی کنید، کپی کنید، صادر کنید یا آنها را به صورت انبوه حذف کنید.