robots.txt — Vikipediya Məzmuna keç Əsas menyu Əsas menyu yan panelə köçür gizlə Naviqasiya Ana səhifə Kənd meydanı İcma portalı Son dəyişikliklər Təsadüfi məqalə Xüsusi səhifələr Layihələr Seçilmiş məqalələr Seçilmiş siyahılar Yaxşı məqalələr Məqalə namizədləri Mövzulu ay Xüsusi Bizimlə əlaqə Kömək Axtar Axtar Görünüş İanə et Hesab yarat Daxil ol Şəxsi alətlər İanə et Hesab yarat Daxil ol Mündəricat yan panelə köçür gizlə Giriş 1 Tarixi 2 Həmçinin bax 3 İstinadlar 4 Xarici keçidlər Mündəricatı göstər/gizlət robots.txt 28 dildə العربية Boarisch Català Čeština Dansk Deutsch English Español فارسی Suomi Français Galego עברית Bahasa Indonesia Italiano 日本語 한국어 Nederlands Polski Português Русский Simple English Српски / srpski Svenska ไทย Türkçe Українська 中文 Keçidləri redaktə et Məqalə Müzakirə azərbaycanca Oxu Redaktə Vikimətni redaktə et Tarixçəyə bax Alətlər Alətlər yan panelə köçür gizlə Fəaliyyətlər Oxu Redaktə Vikimətni redaktə et Tarixçəyə bax Ümumi Səhifəyə keçidlər Əlaqəli redaktələr Fayl yüklə Daimi keçid Səhifə məlumatları Bu səhifəyə istinad et Qısaldılmış URL əldə et Köhnə ayrışdırıcıya keç Çap et/ixrac Kitab yarat PDF kimi yüklə Çap versiyası Digər layihələrdə Vikianbar Vikidata elementi Görünüş yan panelə köçür gizlə Vikipediya, azad ensiklopediya Vikipediyanın robots.txt faylı üçün: https://az.wikipedia.org/robots.txt YouTube-un robots.txt faylı robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilən standart olan "Robots Exclusion Protocol" protokolunu həyata keçirmək üçün istifadə edilən fayl adı. Bu, könüllü razılığa əsaslanır. Bütün botlar standarta əməl etmir. Əksinə, təhlükəsizlik boşluqlarını skan edən e-poçt spamçıları, spam-botlar, zərərli proqramlar və robotlar veb-saytın onlardan kənarda qalmaları xahiş edilən hissələrdən (Robots Exclusion Protocol ilə) başlaya bilər. "robots.txt" faylı veb-saytlar üçün digər robot daxiletmə standartı olan Sitemaps ilə birlikdə istifadə edilə bilər. Tarixi [redaktə | vikimətni redaktə et] Standart Martin Koster tərəfindən[1][2] 1994-cü ilin fevralında[3] "Nexor"da işləyərkən,[4] o zaman WWW ilə əlaqəli fəaliyyətlər üçün əsas kommunikasiya kanalı olan "www-talk" poçt siyahısında təklif edilmişdir. Çarlz Stross iddia edir ki, təsadüfən Kosterin serverinə DoS-hücum etməsinə səbəb olan bot yazdıqdan sonra Kosterə "robots.txt" yaratmağı təklif edib.[5] O tez bir zamanda "WebCrawler", "Lycos" və "AltaVista" kimi axtarış motorları tərəfindən idarə olunanlar da daxil olmaqla, ən çox uyğun gələn indiki və gələcək veb skanerlərinin əməl edəcəyi de-fakto standarta çevrildi.[6] 1 iyul 2019-cu ildə "Google" IETF çərçivəsində rəsmi standart olaraq "Robots Exclusion Protocol"nu təklif etdi.[7] Təklif olunan standart 2022-ci ilin sentyabrında RFC 9309 olaraq nəşr olundu.[8] Həmçinin bax [redaktə | vikimətni redaktə et] ads.txt security.txt Internet Archive Nofollow noindex İstinadlar [redaktə | vikimətni redaktə et] ↑ "Historical". Greenhills.co.uk. 3 aprel 2017 tarixində arxivləşdirilib. İstifadə tarixi: 3 mart 2017. ↑ Fielding, Roy. "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web" (PostScript). First International Conference on the World Wide Web. Geneva. 1994. 27 sentyabr 2013 tarixində arxivləşdirilib. İstifadə tarixi: 25 sentyabr 2013. ↑ Koster, Martijn. "Important: Spiders, Robots and Web Wanderers". www-talk mailing list. 25 fevral 1994. 29 oktyabr 2013 tarixində orijinalından (Hypermail archived message) arxivləşdirilib. ↑ "The Web Robots Pages". Robotstxt.org. 30 iyun 1994. 12 yanvar 2014 tarixində arxivləşdirilib. İstifadə tarixi: 29 dekabr 2013. ↑ "How I got here in the end, part five: "things can only get better!"". Charlie's Diary. 19 iyun 2006. 25 noyabr 2013 tarixində arxivləşdirilib. İstifadə tarixi: 19 aprel 2014. ↑ Barry Schwartz. "Robots.txt Celebrates 20 Years Of Blocking Search Engines". Search Engine Land. 30 iyun 2014. 7 sentyabr 2015 tarixində arxivləşdirilib. İstifadə tarixi: 19 noyabr 2015. ↑ "Formalizing the Robots Exclusion Protocol Specification". Official Google Webmaster Central Blog (ingilis). 10 iyul 2019 tarixində arxivləşdirilib. İstifadə tarixi: 10 iyul 2019. ↑ Koster, M.; Illyes, G.; Zeller, H.; Sassman, L. "Robots Exclusion Protocol". IETF Documents. 14 sentyabr 2022. 22 sentyabr 2022 tarixində arxivləşdirilib. İstifadə tarixi: 22 sentyabr 2022. Xarici keçidlər [redaktə | vikimətni redaktə et] Vikianbarda əlaqəli mediafayllar "İnformatika" portalı robotstxt.org — rəsmi saytı Koster, Martijn; Illyes, Gary; Zeller, Henner; Sassman, Lizzi. "Robots Exclusion Protocol". Internet Engineering Task Force. sentyabr 2022.      Normativ yoxlama Microsoft: 163978704 Mənbə — "https://az.wikipedia.org/w/index.php?title=Robots.txt&oldid=8847449" Kateqoriyalar: Portallara keçidi olan məqalələr Axtarış sistemləri SEO İnternet botları Gizli kateqoriyalar: Vikianbara keçidi olan məqalələr RFC sehrli keçidlərindən istifadə edən səhifələr Bu səhifə sonuncu dəfə 14:59, 29 aprel 2026 tarixində redaktə edilib. Səhifə Parsoid vasitəsilə render edilib. Mətn Creative Commons Attribution-ShareAlike lisenziyası altındadır, bəzi hallarda əlavə şərtlər tətbiq oluna bilər. Ətraflı məlumat üçün istifadə şərtlərinə baxın. Gizlilik siyasəti Vikipediya haqqında Məsuliyyətdən imtina Hüquqi və təhlükəsizlik Davranış Kodeksi Tərtibatçılar Statistikalar Kuki məlumatı Mobil versiya Axtar Axtar Mündəricatı göstər/gizlət robots.txt 28 dildə Mövzu əlavə et