Поисковые машины и спецпоисковики
Побеждает тот, кто владеет информацией.
Интернет еще не есть просвещение, ибо он подобен автомобилю,
на котором можно добраться как до библиотеки, так и до кабака.
В настоящее время существует 3 основных международных поисковых системы – Google, Yahoo и MSN,
имеющих собственные базы данных и поисковые технологии.
Большинство остальных поисковых систем использует в том или ином виде технологии трех перечисленных.
Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, AllTheWeb и Lycos – базу Yahoo.
Портал Mail.ru долгое время использовал поисковую технологию Google, а с 2006 года - Yandex.
В России основной поисковой системой является Yandex, за ним идут Mail.ru, использующий технологию Yandex,
замыкает тройку лидеров - Rambler [он давно не лидер - стал новостным приёмником, как Апорт - барахолкой].
Однако наибольшее количество поисковых запросов обрабатывает Google, российская версия которого (Google.ru) начала свою работу в 2004 году.
[2012-02-05]
|
Разделы страницы о сканировании ресурсов всемирной сети:
- Сборники статей о поисковых механизмах
- Списки поисковых систем
- Специализированные "пауки" и веб-роботы
- Русскоязычные универсальные поисковые машины
- Международные поисковые системы
- Имена поисковых роботов (ботов) для управления их доступом
- Поисковики-монополисты: благо и зло
|
Также могут быть полезны следующие разделы сайта:
|
Сборники статей о поисковых механизмах
Списки поисковых систем
Обзоры поисковых машин (их также называют поисковиками, ботами, роботами, спайдерами, пауками и сканерами сайтов).
Специализированные "пауки" и веб-роботы
Кроме перечисленных в разделах ниже русскоязычных и международных поисковых машин,
вы можете воспользоваться поисково-каталоговыми системами на следующих страницах сайта:
На самом деле, любая поисковая система предполагает наличие собственного каталога, даже если он не доступен обычному пользователю.
А любой каталог ресурсов (в том числе, новостей или
справочных сведений), как правило, имеет свою поисковую подсистему.
Поиск видео-роликов (MP3 и других)
- YouTube - лидер видеобиблиотек.
В этот фильмофонд можно загружать собственные видеофильмы [!]
-
RuTube: русский видеоархив.
Трейлеры. Юмор, развлечения. Кино, ТВ, телешоу. Аварии, катастрофы. Музыка, выступления.
Мультфильмы. Спорт. Технологии, наука. Авто, мото. Рекламные ролики. Природа, животные.
Игры. Новости, политика. Друзья, вечеринки. Искусство, творчество. Видеооткрытки, видеоблоги.
Семья, дом, дети. Праздники, торжества. Путешествия, страны, города...
- Видеоархив Смотри.com. (на него идет перенаправление также от Loadup.ru)
- Vimeo - Video Sharing For You. Публичная видеобиблиотека
- Яндекс.Видео
Поиск файлов (в том числе мультимедиа)
Поиск программ и информации по ним
Научно-образовательные поисковые машины
- Научная Сеть на Рамблере
-
Scirus - for scientific information
Продуктивный и приятный, можно выполнять поиск и на русском языке.
Находятся даже такие сайты, которых не найдешь через Google! [Eng]
- Google Scholar [Eng]
- Лингвистический поиск на LINGUIST List. [Eng]
-
Найдите репетитора английского языка (Москва, Питер, Киев).
Самая современная платформа для поиска индивидуальных преподавателей английского языка (более 1000) на дому и по Скайпу.
Справочные и энциклопедические поисковики
Тур-поиск (билеты, номера)
- Skyscanner: поиск авиабилетов
Дешевые авиабилеты: Поиск и сравнение цен на билеты
- Искать отели
Поиск и заказ гостиниц на Orange Smile
Поисковики с особыми сервисами
Поиск вымерших сайтов
Раньше такая возможность была в самом Гугле - теперь надо пользоваться поиском в особых архивных хранилищах.
Полезнейший сайт https://archive.org/web/ (web.archive.org) заблокирован Ростехнадзором на территории РФ,
т.к. там на одной странице оказалась экстремистская информация.
Но и сейчас можно попытаться посмотреть отдельную страницу, введя, например, такой URL:
http://web.archive.org/web/2014/https://www.lexicons.ru/modern/m/index.html (копию lexicons.ru/modern/m/index.html за 2014 год.).
Вот как раз эту страницу у меня получилось восстановить! :)
Заметьте - это веб-архив, т.е., хронологический веб-каталог,
что еще раз показывает дуализм поиска и каталогизации информации.
Русскоязычные универсальные поисковые машины
Хороший обзор и сравнение основных поисковиков и каталогов Рунета - в статье
Кто самый крутой? О русских поисковых системах.
Также интересен краткий обзор Самые популярные поисковики России.
Российские поисковые системы
Из раздела изъят когда-то популярный поисковик и каталог Апорт - он превратился в банальный склад ресурсов о товарах.
См. его описание в разделе интернет-каталогов.
-
YANDEX.RU Наиболее популярный поисковик ("Яша").
Индексация страниц:
старая,
новая.
"Яндекс любит документы средних размеров, насыщенные текстом (статьи и т.п.)." =>
Большие страницы - поделить, полупустые - наполнить, коллекторы ссылок - преобразовать.
-
Каталог-поисковик Mail.ru
С 2007 г. оснастился своим поисковиком GOGO (в т.ч. хорошо ищет картинки).
Этот движок создал Михаил Костин - разработчик движка когда-то славного Апорта.
Однако, вроде, уже с 2008 г. этот почтовый сервис перешел на движок Гугла.
Мэйлру, как и Гугл, и Яндекс, имеет даже собственный
Кабинет вебмастера!
-
RAMBLER.RU
Наиболее популярный каталог (да и поисковик был таковым), можно найти почти всё [!] ("Рэмбо").
"Рамблер очень любит хорошую внутреннюю линковку. И время тоже любит - чем старее сайт, тем лучше к нему относится.
Ramler больше внимание уделяет весу (количеству) текста и его совпадению с запросом по всей глубине страницы.
Тем самым обеспечивая пользователю более точный ответ на его запрос." =>
На странице должна быть представлена одна тема.
На мой взгляд, и к большому сожалению, эта мощная система утрачивает свое значение,
как утратил когда-то блистательный Апорт (последний стал просто рекламным каталогом, или структурированной доской объявлений).
-
Новый национальный поисковик Спутник.
Простенький, однако сразу нашлось нечто, не видное в других поисковиках.
-
DuckDuckGo - ещё одна наша новая разработка.
Обещают, что рекламы не будет.
Сделал поиск по одному редкому лингвистическому запросу - нашел то, что нужно -
на первой же половине страницы - классная выжимка полезных ресурсов. Но вот задал найти "кубанско-донское письмо"
- выдал ресурсы о Великой Отечественной войне. А уже со словом "письменность" - что-то выдал,
перемежающееся с казаками и промысловым советом.
-
Nigma - интеллектуальная поисковая система
Удобно сортирует результаты поиска по разделам (ключевым выражениям).
Ищет также картинки, библиотеки, музыку, подарки.
- Поисковая система Quintura.
Прикольная - показывает ключевые выражения как Нигма, но еще удобнее - в графическом виде.
-
World.ru - новая поисковая система
[Приятная, оперативная, довольно эффективная - сразу нашел нужную информацию по эксклюзивному запросу]
-
MetaBot.ru - Мощнейшая российская мета-поисковая система!
И предлагается рейтинг популярных запросов (к их поисковой системе).
- Поисковик Webalta
с расширенной страницей настройки MyWebalta
- Кондуит
Веб, Картинки, Погода, Группы, Новости, Покупки. Поиск как в Гугле.
Русифицированные зарубежные поисковики
Международные поисковые системы
Самые известные международные поисковики
-
Google Мощный поисковик-лидер и каталог ("Гоша").
Автоматически переключается на русский при соответствующей настройке броузера, если нет - идти на www.google.com.ru.
Ищет на 70 языках. Индексирует html, pdf, doc, xls, rtf, ppt, ps. Поиск картинок в инете.
Но не ищет с учетом морфологии и по части ключевого слова.
Страница регистрации.
-
Китайский поисковик Байду
Сайт является четвертым в мире по посещаемости. 92% его аудитории составляют граждане Китая.
-
Поисковик от Microsoft Бинг - анонсирован в 2009 г.
Сначала дошел до третьего места в мире (после Гугла и Яху), а теперь обогнал Яху.
В России было (октябрь 2013 г.) пятое место - после Гугла, Яши, Мэйла и даже Рэмбо. Теперь, наверное, Рэмбо в аутсайде.
Страница регистрации.
-
YAHOO Лидер каталогов Интернет. Более 25 000 категорий.
Ищет и телеконференции. Бесплатные e-mail, messenger и др. сервисы.
Регистрация в Yahoo! либо платная (от $200),
либо бесплатная,
но без гарантий и "растяжимая" во времени.
В 1992 году это была неплохая персональная страничка ссылок студента западного ВУЗа,
теперь ее автор счастливый обладатель $9 000 000 000 состояния.
В 2008 г. в связи с ипотечным кризисом США и попыткой купить Яхо Майкрософтом, ее акции упали до $750.
Эту компанию можно переименовать из Яху в Увы, т.к. она двигается от удачи и успеха вниз с горки
из-за
потери царя в голове.
- Поисковик Ask [популярен в США, как и Lycos]
- Французский поисковик Qwant.
Вышел в свет в 2013 году как альтернатива Гуглу. [Локализуется (переключается на национальный язык) сразу.]
- Поисковик AOL
-
AltaVista Старейший поисковик и каталог.
Поиск любой степени сложности. В т.ч. картинок, аудио и видео. 25 языков. На русском - в транслитерации.
Страница регистрации.
Submit a Site.
[Был Альтависта - стал http://search.yahoo.com/]
- Metasearch Search Engine - Search.com.
Этим поисковиком можно воспользоваться, если ничего не нашли в Гугле
-
AlltheWeb. Поисковик, созданный в Норвегии.
Назван "открытием 1999 года". В результатах поиска американские сайты не доминируют.
Ищет также картинки, видео и аудио. Спецпоиск по научным сайтам. [!]
-
Excite.
Страница регистрации.
-
LYCOS
- Microsoft поиск на русском.
- Live Search. Также от Микрософт.
- Поиск на ICQ.com. На русском.
Менее популярные зарубежные search-машины
Имена поисковых роботов (ботов) для управления их доступом
Обычно сайт стараются оптимизировать и раскрутить,
чтобы получить конверсию. С этой точки зрения пусть побольше веб-пауков сканируют ваши сайты.
Но с другой стороны излишний трафик замедлит загрузку страниц и снизит поведенческие факторы,
а вам придется платить своему хостеру за превышение процессорной нагрузки.
Может быть, тогда лучше дать доступ к сайту только самым популярным поисковикам, особенно если вы пользуетесь
их статистикой и панелями для веб-мастеров?
Тогда на сегодняшний момент это будут Гугл, Яша, Мэйлру и Бинг.
В прошлом занменитые зарубежные Альтависта, Вебальта и даже Яху (который и сейчас жизнерадостен,
но уже стал отказываться от удобных сервисов) вам не критичны.
Наш Апорт с уникальным алгоритмом поиска превратился в барахолку, а Рэмблер - в новостийную простыню для планшетов
(впрочем, он уверенно заявляет, что будет реанимировать и реформировать свой рейтинг).
Список имен главных веб-сканеров основных поисковых систем прошлых и настоящих лет:
- Апорт (http://www.aport.ru) - Aport
- Мэйл.ру (http://mail.ru) - Mail.Ru
- Рамблер (http://www.rambler.ru) - StackRambler
- Яндекс (http://www.ya.ru) - Yandex
- AOL (http://www.aol.com) - Slurp
- Alexa (http://www.alexa.com) - ia_archiver
- AltaVista (http://www.altavista.com) - Scooter
- Ask (http://www.ask.com) - Teoma
- Baidoo (китайский)
- Google (http://www.google.com) - Googlebot
- Live (http://www.live.com) - MSNBot
- Lycos (http://www.lycos.com) - Lycos
- MSN (http://www.msn.com) - MSNBot
- Nigma (музыкальный)
- Turtle
- Webalta (http://www.webalta.ru) - WebAlta (WebAlta Crawler/2.0)
- Yahoo! (http://www.yahoo.com) - Slurp (или Yahoo! Slurp)
У крупных поисковых систем иногда, кроме основных ботов, имеются также отдельные экземпляры
для индексации блогов, новостей, изображений и т.д.
Поэтому, наверное, стоит закрыть доступ к большинству из них с помощью директив в файлах robots.txt и/ил .htaccess,
открыв только для 3-4 самых популярных в России и зарубежом.
Во всяком случае, к многочисленным элементам дизайна (картинкам, стилям, скриптам, шаблонам) точно нужно закрыть
всем, кто еще не умеет их обрабатывать (а умеют пока Гугль и Яндекс).
- Robotstxt.
Все о файле «robots.txt» по-русски — как составить robots.txt.
Имеются краткие обзоры о поисковых роботах. И хорошая статья - "Ошибки, часто встречающиеся в файле robots.txt".
Поисковики-монополисты: благо и зло
Начало века радовало россыпью уникальных поисковиков с рейтингами-каталогами.
Поисковиков выжило совсем немного: гугл, яху (доживает), яндекс, мэйлру (не конкурент, но еще жив) байду.
Может, еще какие-то национальные.
Каталогов, наверное, уже почти не осталось. Каталог Яху давно зарылся. Яндекс-каталог тоже. Дмоз не так давно.
Пока жив рейтинг Мэйлру.
Выжившие поисковики потому и выжили, что стали лучше и всестороннее других выполнять запросы пользователей.
Но не начнут ли они терять это качество в отсутствие конкуренции?
Вот, например, раньше Яндекс глупил, когда "исправлял" редкий поисковый запрос - теперь и Гугл этим занялся.
И ещё появилась неприятная тенденция: поисковики-монополисты начинают качать права
и поступать некорректно по отношению к веб-дизайнерам, да и к пользователям.
Почему, например, Яндекс помечает сайты с "устаревшим" протоколом HTTP красным треугольником
с предупреждающей надписью "незащищённый сайт". Защита нужна веб-магазинам.
А если сайт - сборник статей, блог, кустарный персональный сайт - зачем ему это пятое колесо?
HTTP - совсем не устаревший протокол для них, другого им и не надо.
А пользователи посмотрят на значок опасности - и не зайдут на сайт. Это уже трестовый сговор.
Суперпоисковики несправедливы к вебмастерам.
Сами зарабатывают деньги, а другим не дают, сайты с партнерками принижают в рейтинге.
А, если их в партнеры брать - платят не много.
Гугл однажды неплохо платил за свой Adwords, потом резко снизил цены. Яндекс вообще всегда платит копейки.
На правах рекламы (см.
условия):
[an error occurred while processing this directive]
|
Ключевые слова для поиска сведений о поиске сайтов в сети Интернет:
На русском языке: поиск информации в сети, сканирование Интернета, системы веб-поиска, поисковые машины,
поисковики, сканеры сайтов, боты, роботы, спайдеры, веб-пауки, веб-сканеры, сетевые обходчики, кроулеры, веб-серфинг;
На английском языке: Internet search, web-scaner, bot, web-spider.
|
Страница обновлена 22.03.2024