Всичко за парите от интернет
Регистрирайте се и ще получите ценни съвети и начини да печелите от Интернет.
Напълно безплатно е,и отнема 2 минути!И ако намирате форума за полезен моля гласувайте за нас БГТОП
Всичко за парите от интернет
Регистрирайте се и ще получите ценни съвети и начини да печелите от Интернет.
Напълно безплатно е,и отнема 2 минути!И ако намирате форума за полезен моля гласувайте за нас БГТОП
Всичко за парите от интернет
Would you like to react to this message? Create an account in a few clicks or log in to continue.
Всичко за парите от интернет

Този форум е посветен на всеки, който желае да изкарва пари от интернет и е готов да вложи времето и знанията си в това начинание. Няма да ви кажа, че е супер лесно и бързо да се изкарват пари от интернет, но ще ви покажа стъпка по стъпка как да направите
 
ИндексИндекс  PortalPortal  ГалерияГалерия  Последни снимкиПоследни снимки  ТърсенеТърсене  Регистрирайте сеРегистрирайте се  ВходВход  Моля Гласувайте за насМоля Гласувайте за нас  
Social bookmarking
Social bookmarking reddit      

Bookmark and share the address of Всичко за парите от интернет on your social bookmarking website
Most Viewed Topics
20 изпитани начина за доходи от интернет
Как да прехвърляме файлове между два компютъра без мрежова карта, използвайки паралелния (принтерски) порт. Кабел за връзка.
Инсталиране на Windows 7 или Windows Vista от USB флашка
Метод: Как да си набавя директни реферали (ДР)
Продавам безжична клавиатура с вградена мишка.
Пари с изпращане на SMS
КАК ДА ИЗТРИЯ ПРОГРАМА ОТ БРАУЗЪРА
Пари от къщи, само с копи и пейст от amazon в eBay
Как да ремонтираме компютърно дъно с повреда в DC/DC стабилизатора на напр.
Висококачествени аудиокурсове - немски, френски и английски
Latest topics
» Какво мислите за Образованието в България
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby Boman Пет Фев 07, 2020 12:09 pm

» как да си проверявам натрупаните пари от интернета /биткойни,догекойни и други/в портфейлите ми
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby snarpim Нед Юли 01, 2018 11:46 am

» THWGlobal.com
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby v5901 Съб Окт 01, 2016 12:29 pm

» Изкарвайте пари докато спеделяте продуктите, който харесвате
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby Admin Сря Сеп 23, 2015 2:16 pm

» Безплатна книга за оптимизация на страници
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby Admin Пон Апр 20, 2015 11:46 pm

» Изкарвайте пари от знанията си
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby Admin Нед Дек 14, 2014 2:14 pm

» Писане на авторски статии
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby Admin Пет Юли 11, 2014 3:54 am

» Спечели лесни 10 долара в Пейпал
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby eminemka91 Пет Юни 20, 2014 7:30 pm

» Пари от къщи, само с копи и пейст от amazon в eBay
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby DropShipper F Пон Апр 21, 2014 11:47 pm

» ПЕЧЕЛЕТЕ ОТ ДО $3000 МЕСЕЧНО
Файла robots.txt - за какво служи и как да го създадем Icon_minitimeby pacony Чет Дек 26, 2013 10:25 am

Приятели
Смешни вицове,снимки и карикатури

Share | 
 

 Файла robots.txt - за какво служи и как да го създадем

Предишната тема Следващата тема Go down 
АвторСъобщение
TheGamer

TheGamer

Posts : 122
Points : 300
Reputation : 22
Join date : 08.12.2009

Character sheet
game:

Файла robots.txt - за какво служи и как да го създадем Empty
ПисанеЗаглавие: Файла robots.txt - за какво служи и как да го създадем   Файла robots.txt - за какво служи и как да го създадем Icon_minitimeСъб Яну 02, 2010 5:06 pm

Файла robots.txt е текстов файл, чието единствено предназначение е да укаже на роботите на търсещите машини кои папки и файлове могат да индексират и кои не бива да бъдат индексирани. По-точно файла robots.txt съдържа списъка на тези файлове и папки (директории) от сайта, които не трябва да бъдат индексирани от търсещите машини.

Освен това чрез този файл може да се укаже определен файл да бъде забранен за индексиране от дадена търсачка, но да бъде разрешен за индексиране от друга търсачка, която няма да бъде в списъка на robots.txt.

Файлът robots.txt се поставя винаги в основната директория, т.е. адреса му трябва да бъде http://your-domain.com/robots.txt,
а не например http://your-domain.com/folder1/robots.txt

Името на файла трябва да е с малки букви - robots.txt, а не например Robots.txt или ROBOTS.TXT

Отделните записи в robots.txt се разделят с празен ред.

Този файл се използва когато на хостинга има различни файлове, например скриптови файлове и др., които е по-добре да не бъдат индексирани.

Файла robots.txt има определен формат на записване, който трябва да се спазва.

Файла съдържа два основни типа записи

1. Запис, указващ робота на съответната търсачка.
Този запис има следния вид:

User-Agent: име на робот

Тук под "име на робот" се има предвид името на претърсващата програма на съответната търсачка. Например името на робота на Гугъл е Googlebot. Следователно ако искате да забраните индексирането на определени папки или файлове от Гугъл, трябва да напишете:

User-Agent: Googlebot

От казаното става ясно това, което беше споменато и по-горе, че чрез robots.txt може да се укаже не само кои папки и файлове да не бъдат индексирани, но също се указва и кои точно търсачки да не индексират определени файлове и директории. Т.е. възможно е да се забрани индексирането на даден файл от една търсачка (и да се разреши индексирането на същия файл от всички други търсачки, доколкото те няма да бъдат указани в списъка в robots.txt). За целта е необходимо да се знаят названията на претърсващите програми на търсачките. Обикновено търсещите машини дават информация за роботите си на страницата на съответната търсачка и обикновено (но не винаги) имената на роботите включват в себе си името на търсачката - както е в случая с Googlebot. Списък на роботите на търсещите машини може да видите на следния адрес: http://www.robotstxt.org/wc/active/html/

Като значение на user-agent може да се зададе знака "звезда" (user-agent: *). В такъв случай записите с указаните по-долу забранени
за индексиране файлове и папки ще важат за всички търсещи машини, за които няма изричен запис user-agent: име на робот.
Във файла robots.txt може да има и само един запис-указание за имената на роботите във вида:

User-Agent: *

В такъв случай записите с указаните забранени за индексиране файлове и папки ще важат за всички роботи на всички търсещи машини.

Всеки робот трябва да бъде указан на отделен ред, макар че този стандарт беше разширен и сега е възможно
няколко робота да се укажат с един запис User-agent, като имената им бъдат разделени с табулатор (бутон Tab).



2. Втория запис указва кои точно файлове или директории да не се индексират от съответния робот. Този запис има вида:

Disallow: точно указване на пътя до име на файл или папка, които са забранени за индексация

Например ако желаете търсещите машини да не индексират файла в основната директория script.php, директорията cgi-bin,
файловете file1.html и file2.php, намиращи се в директория dir1 и цялото съдържание на папка dir2, намираща се в папка dir1,
трябва да въведете в robots.txt следния запис:

Disallow: script.php
Disallow: /cgi-bin/
Disallow: /dir1/file1.html
Disallow: /dir1/file2.php
Disallow: /dir1/dir2/

Ако в директорията dir1 има 3-ти файл, например file3.html, той ще може да бъде индексиран, a file1.html file2.php няма да бъдат индексирани.
Ако в dir1 няма други файлове, които бихте искали да бъдат индексирани от търсещите машини, тогава може да забраните индексирането на file1.html и file2.php като напишете само

Disallow: /dir1/

При писането на записите robots.txt има следните особености:

- може да напишете само началните букви с наклонена черта отпред, например:

Disallow: /scr

В такъв случай няма да бъдат индексирани нито един един файл и папка, чието название започва с тези букви.

- ако запишете само

Disallow:

роботите ще индексират целия сайт

- ако запишете

Disallow: /

нито един файл и папка няма да бъдат индексирани

Ако желаете да сложите някакъв пояснителен коментар, който да не се отрази на работата на файла robots.txt, може да направите това, като започнете реда на коментара с диез (#), например:

# Това е първи ред коментар
# и това е 2-ри ред коментар

При писането на robots.txt трябва да се спазват следните правила:

- да не се оставя празен ред в един запис (празния ред се таксува като разделител на два записа)
- всяко указване на папка или файл трябва да бъде на отделен ред

Някои роботи, сред които и робота на Гугъл - googlebot - могат да възприемат забрана за индексиране на файлове с определено
разширение, например:

Disallow: *.php

ще забрани индексирането на всички файлове с разширение .php

Трябва да се има предвид, че не всички роботи на търсещи машини се съобразяват с указанията, дадени в robots.txt

Файлът robots.txt не може да служи за "скриване" на важни папки и файлове, до които не желаете да имат достъп странични хора,
защото този файл е достъпен за всички и e известно, че може да се види на адрес your-domain.com/robots.txt

За да напишете robots.txt отворете някакъв прост текстов редактор, например Notepad и съхранете файла като robors.txt

ПРИМЕРИ:

# Пример за разрешаване на всички търсещи машини
# да индексират всички папки и файлове на сайта
User-Agent: *
Disallow:

# Пример за забрана на всички търсещи машини
# да индексират всички папки и файлове на сайта
User-Agent: *
Disallow: /
Върнете се в началото Go down
 

Файла robots.txt - за какво служи и как да го създадем

Предишната тема Следващата тема Върнете се в началото 

 Similar topics

-
» Какво е CSS и за какво служи? - правила
» Какво е JavaScript?
» Какво е MySQL
» Какво е html -за начинаещи
» Какво е скриптов език?
Страница 1 от 1

Права за този форум:Не Можете да отговаряте на темите
Всичко за парите от интернет :: Програмиране-
Free forum | Computers and Internet | Internet | ©phpBB | Поддръжка на форума | Сигнал за злоупотреба | Последните дискусии