Поисковые машины и спецпоисковики

Главная > Информатика > Интернет > Поисковики

Побеждает тот, кто владеет информацией.

Интернет еще не есть просвещение, ибо он подобен автомобилю, на котором можно добраться как до библиотеки, так и до кабака.

Ссылочный граф

Разделы страницы о сканировании ресурсов всемирной сети:

  • Сборники статей о поисковых механизмах
  • Списки поисковых систем
  • Специализированные "пауки" и веб-роботы
  • Русскоязычные универсальные поисковые машины
  • Международные поисковые системы
  • Имена поисковых роботов (ботов) для управления их доступом

Также могут быть полезны следующие разделы сайта:


Сборники статей о поисковых механизмах

Списки поисковых систем

Обзоры поисковых машин (их также называют поисковиками, ботами, роботами, спайдерами, пауками и сканерами сайтов).

Специализированные "пауки" и веб-роботы

Кроме перечисленных в разделах ниже русскоязычных и международных поисковых машин, вы можете воспользоваться поисково-каталоговыми системами на следующих страницах сайта:

На самом деле, любая поисковая система предполагает наличие собственного каталога, даже если он не доступен обычному пользователю. А любой каталог ресурсов (в том числе, новостей или справочных сведений), как правило, имеет свою поисковую подсистему.

Поиск видео-роликов (MP3 и других)

Поиск файлов (в том числе мультимедиа)

Поиск программ и информации по ним

Научно-образовательные поисковые машины

Справочные и энциклопедические поисковики

Тур-поиск (билеты, номера)

Поисковики с особыми сервисами

Поиск вымерших сайтов

Раньше такая возможность была в самом Гугле - теперь надо пользоваться поиском в особых архивных хранилищах. Полезнейший сайт https://archive.org/web/ (web.archive.org) заблокирован Ростехнадзором на территории РФ, т.к. там на одной странице оказалась экстремистская информация. Но и сейчас можно попытаться посмотреть отдельную страницу, введя, например, такой URL:
http://web.archive.org/web/2014/http://www.lexicons.ru/modern/m/index.html (копию lexicons.ru/modern/m/index.html за 2014 год.). Вот как раз эту страницу у меня получилось восстановить! :) Заметьте - это веб-архив, т.е., хронологический веб-каталог, что еще раз показывает дуализм поиска и каталогизации информации.

Русскоязычные универсальные поисковые машины

Хороший обзор и сравнение основных поисковиков и каталогов Рунета - в статье Кто самый крутой? О русских поисковых системах. Также интересен краткий обзор Самые популярные поисковики России.

Российские поисковые системы

Из раздела изъят когда-то популярный поисковик и каталог Апорт - он превратился в банальный склад ресурсов о товарах. См. его описание в разделе интернет-каталогов.

Русифицированные зарубежные поисковики

Международные поисковые системы

Самые известные международные поисковики

Менее популярные зарубежные search-машины

Имена поисковых роботов (ботов) для управления их доступом

Обычно сайт стараются оптимизировать и раскрутить, чтобы получить конверсию. С этой точки зрения пусть побольше веб-пауков сканируют ваши сайты. Но с другой стороны излишний трафик замедлит загрузку страниц и снизит поведенческие факторы, а вам придется платить своему хостеру за превышение процессорной нагрузки.

Может быть, тогда лучше дать доступ к сайту только самым популярным поисковикам, особенно если вы пользуетесь их статистикой и панелями для веб-мастеров? Тогда на сегодняшний момент это будут Гугл, Яша, Мэйлру и Бинг. В прошлом занменитые зарубежные Альтависта, Вебальта и даже Яху (который и сейчас жизнерадостен, но уже стал отказываться от удобных сервисов) вам не критичны. Наш Апорт с уникальным алгоритмом поиска превратился в барахолку, а Рэмблер - в новостийную простыню для планшетов (впрочем, он уверенно заявляет, что будет реанимировать и реформировать свой рейтинг).

Список имен главных веб-сканеров основных поисковых систем прошлых и настоящих лет:

У крупных поисковых систем иногда, кроме основных ботов, имеются также отдельные экземпляры для индексации блогов, новостей, изображений и т.д.

Поэтому, наверное, стоит закрыть доступ к большинству из них с помощью директив в файлах robots.txt и/ил .htaccess, открыв только для 3-4 самых популярных в России и зарубежом. Во всяком случае, к многочисленным элементам дизайна (картинкам, стилям, скриптам, шаблонам) точно нужно закрыть всем, кто еще не умеет их обрабатывать (а умеют пока Гугль и Яндекс).


Главная
Интернет : Веб-дизайн | Тестирование | Оптимизация | Коммерция | Поиск | Каталоги | Раскрутка | Студии | Утилиты | Хостинги

Энциклопедии | Сетевые каталоги регионов | Интернет-магазины | Реклама в Интернет | Студенческая страница | Искусство
На правах рекламы (см. условия):    


© «Сайт Игоря Гаршина», 2002, 2005. Пишите письма (Письмо И.Гаршину).
Страница обновлена 16.02.2017
Я.Метрика: просмотры, визиты и хиты сегодня