מהי סריקה של האתר?
איך מונעים מהמתחרים לרגל אחריכם?
בקידום אורגני חשוב לדעת מה עושים המתחרים שלכם למילות מפתח מסויימות או בכלל.
קיימות כמה אופציות כדי לדעת מה עושים המתחרים לטובת הקידום האורגני שלהם , להלן כמה דרכים\הצעות :
1. לבדוק דף דף ולנסות להסתכל גם בקוד , בדיקה זו נקראת ידנית.
2. באמצעות תוכנות קידום למשל screaming frog או Ahref או semrush ויש עוד מלא, תוכנות אלו מבצעות סריקה עם בוטים שהם סוג של מבקרים “טבעיים” באתר והמבקרים עוברים דף דף ועל רוב הקוד האפשרי ומנסים וגם מצליחים לשלוף מידע על האתר וגם על הקידום.
3. דרך נוספת היא באמצעי סייבר , לא ניתן לפרט על טכניקות אלו.
איך מונעים מהמתחרים לבדוק מה אתם עושים לטובת הקידום האורגני?
לא ניתן , אבל למה שנעשה למתחרים חיים קלים?
ניתן לחסום את התוכנות האוטומטיות לסריקה או יותר נכון לריגול אחרי האתר שלכם .
את גוגל אנחנו לא רוצים לחסום!!!
את כל השאר אנחנו מאוד רוצים.
קובץ הrobots.txt
זו הסיבה שקיים קובץ הrobots.txt
מדובר בקובץ טקסט פשוט וקל לעריכה שנמצא בכל אתר כמעט.
דוג’ לחסימות של סריקות או ריגול של מתחרים שאותם מכניסים לקובץ
RewriteCond %{HTTP_USER_AGENT} \
12soso|\
192\.comagent|\
1noonbot|\
1on1searchbot|\
3de\_search2|\ [NC,OR]
Or:
RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Acunetix [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^binlar [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [NC,OR]
הסבר בקצרה על הקובץ והפקודות בו
הקובץ הוא סוג של שומר , שומר סף , שוטר והוא בודק ועושה סלקציה למי מותר ולמי אסור לעבור ולראות תוכן באתר .
לא מדובר בפעולת אבטחת מידע או אחרת .
מדובר פשוט בסינון מבקרים באתר \ בוטים.
| טיפ | המלצת מחיר | פירוט |
|---|---|---|
| זיהוי חולשות | ₪1,000 - ₪3,000 | זיהוי ותיקון חולשות באבטחת האתר |
| הגנה מתקפות | ₪2,000 - ₪5,000 | הגנה על האתר מפני תקפים כמו דוס והפרעות |
| סודיות מידע | ₪2,500 - ₪7,000 | שמירה על סודיות המידע באתר |
| בדיקות תקינות | ₪1,500 - ₪4,000 | בדיקות ואימותים שוטפים לתקינות הקוד והאתר |
| פיקוח ותחזוקה | ₪2,000 - ₪6,000 | פיקוח קבוע ותחזוקה שוטפת של אבטחת האתר |
חסימות בהיבט של אבטחת מידע וסייבר נעשות ברמת קובץ אחר שנקרא htaccess
קובץ זה מתפקד באותה צורה של שומר \ שוטר ואומר איזה פעולות ייעשו ברמה טכנית ועוסק יותר בבעיות טכניות או דליפת מידע ועוד..
אם מדובר באתר וורדפרס אז קיים תוסף שכותב המאמר ממליץ עליו בחום והוא wordfence בגרסה החינמית שלו.
חסימה של בוטים ותוכנות לסריקה דרך הhtaccess
• PetalBot
• MJ12bot
• DotBot
• SeznamBot
• 8LEGS
• Nimbostratus-Bot
• Semrush
• Ahrefs
• AspiegelBot
• AhrefsBot
• MauiBot
• BLEXBot
• Sogou
#Example blocking by user-agent in htaccess
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (BadBot|EmailGrabber|NaughtyBot) [NC] RewriteRule (.*) - [F,L]
#Block some by IP addresses
RewriteCond %{REMOTE_ADDR} ^999\.999\.999\.999 [OR] RewriteCond %{REMOTE_ADDR} ^911\.911\.911\.911 [OR] RewriteCond %{REMOTE_ADDR} ^111\.222\.333\.444 RewriteRule (.*) - [F,L]
AddType text/x-component .htc
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} CherryPickerSE [OR]
RewriteCond %{HTTP_USER_AGENT} CherryPickerElite [OR]
RewriteCond %{HTTP_USER_AGENT} EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ExtractorPro
RewriteRule ^.*$ X.html
#היי גוגל לכי רק למה שאני רוצה שתלכי
User-agent: Googlebot
Allow: /SomeFolder/
Disallow: /
#בוטים מנוולים רעים רעים לכו מכאן
User-agent: *
Disallow: /
several methods to block
- Blocking via Request URI
- Blocking via User-Agent
- Blocking via Referrer
- Blocking via IP Address
https://www.example.com/asdf-crawl/request/?scanx=123
https://wwww.example2.net/sflkjfglkj-crawl/request/?scanx123445
# Block via Request URI
<IfModule mod_alias.c>
RedirectMatch 403 /crawl/
</IfModule>
# Block via Request URI
<IfModule mod_alias.c>
RedirectMatch 403 /(crawl|scanx)/
</IfModule>
# Block via Query String
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{QUERY_STRING} (crawl|scanx) [NC]
RewriteRule (.*) - [F,L]
</IfModule>
# Block via User Agent
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (EvilBotHere|SpamSpewer|SecretAgentAgent) [NC]
RewriteRule (.*) - [F,L]
</IfModule>
# Block via Referrer
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://(.*)spamreferrer1\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://(.*)bandwidthleech\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://(.*)contentthieves\.ru [NC]
RewriteRule (.*) - [F,L]
</IfModule>
# Block via IP Address
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000
RewriteRule (.*) - [F,L]
</IfModule>
# Block via IP Address
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000 [OR]
RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000 [OR]
RewriteCond %{REMOTE_ADDR} ^123\.456\.789\.000
RewriteRule (.*) - [F,L]
</IfModule>
# Block via IP Address
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REMOTE_ADDR} ^123\. [OR]
RewriteCond %{REMOTE_ADDR} ^111\.222\. [OR]
RewriteCond %{REMOTE_ADDR} ^444\.555\.777\.
RewriteRule (.*) - [F,L]
</IfModule>