Информация о сервере

Основная задача - предоставить возможность полнотекстового поиска в интернет информации по белорусским сайтам. В нем собраны все белорусские Интернет-ресурсы с BY доменами и большая часть с не-BY доменами. Поиск информации может осуществляться визуально, по каталогу; или автоматически, по ключевым словам, с использованием логических операций. Специальная система рейтингов обеспечивает первоочередной показ наиболее популярных и посещаемых серверов.
Информация обновляется ежедневно!

Каталог

Структура каталога построена по принципу известного каталога Yahoo! Выбрав интересующий Вас раздел, Вы получаете доступ к содержащимся в нем ресурсам отсоритрованным в первую очередь по рейтингу (только уникальные бел. посетители за вчера), затем по индексу цитирования и в последнюю очередь по названию.

Поиск

Поиск в интернет осуществляется по белорусским сайтам.
По умолчанию поиск осуществляется по всем проиндексированным документам, по содержимому html тагов <title>, <description>, <keywords>, <author> и по текстовой части документов с логикой "and" для всех слов запроса.
Индексация сайтов производится с учетом правил для файла Robots.txt и директив <meta name="robots" content="nofollow"> и <meta name="robots" content="noindex"> для страниц сайта.
Результаты отображаются с учетом взаимной цитируемости сайтов. Учитывается контекст ссылок!
Также используются результаты поиска в Яндекс, но приоритет отдается собственным результатам поиска. С учетом этого результаты объединяются и отображаются.

По умолчанию поисковый запрос расширяется с учетом морфологии русского языка.
Пример запроса:
     поисковая машина = (поисковая or поисковый) машина
В случае наличия в запросе служебных слов или символов, расширение запроса с учетом морфологии не производится (поисковая) машина.

Есть возможность создавать запрос со сложной логикой используя следующие символы и операторы:
(, ), ", and, or, not.
Символ " позволяет искать по фразам (пример: "поисковая машина" - означает: обязательное присутствие слов поисковая и машина в документе в пределах предложения).
Оператор not - предполагает обязательное отсутствие слова в документе (пример: поисковая not машина - означает: обязательное присутствие слова поисковая и отсутствие слова машина в документе).
Оператор and используется по умолчанию для объединения слов в запросе.
Оператор or (пример: поисковая or машина - означает: поисковая или машина).
( ) - "группировка выражений" (пример: (поисковая not машина) or (поисковая and машина) - означает: поисковая но не машина или поисковая и машина).
Допустимо использование вложенных скобок.

Дополнительно можно ограничить поиск используя специальные команды:
поисковая машина chapter:0100 - поиск будет ограничен сайтами, зарегистрированными в разделе 0100.
поисковая машина site:www.open.by - поиск будет ограничен сайтом Open.by.
поисковая машина -site:www.open.by - из результатов поиска будут исключены страницы сайта Open.by.

На странице расширенный поиск можно создать поисковый запрос, учитывающий любую логику комбинирования слов в запросе поиска не используя служебные операторы и символы.

Получить все проиндексированные страницы для определенного сайта можно так: Open.BY

Рейтинг

Система рейтингов All.by обеспечивает первоочередной показ наиболее популярных и посещаемых серверов.
Уникальный посетитель определяется на основе уникального идентификатора, сохраняемого в cookie броузера, либо если cookie не принимаются, на основе IP адреса посетителя и IP адреса его прокси сервера.
В системе работают следующие рейтинги: "Сегодняшний", "Вчерашний", "Средний за неделю", "Средний за месяц", "Всего".
Обнуление сегодняшнего рейтинга, а также изменение остальных рейтингов происходит ночью в 01:00. Среди каждого из перечисленных рейтингов существует следующие деления:
- общий рейтинг всех ресурсов;
- рейтинг в разделе;
- с учетом только белорусских посетителей либо всех посетителей;

"Уникальных обращений" означает сколько уникальных( в течение суток) пользователей обратилось к ресурсу.
"Всего обращений" означает к скольким страницам ресурса обратились пользователи.
Уникальные пользователи определяются по уникальному идентификатору, сохраняемому в cookie на машине пользователя, либо по алгоритму с использованием IP, если cookie не принимается.
Основная задача счетчика - зафиксировать уникальных пользователей для каждого участвующего в рейтинге сайта, поэтому показания по хитам могут не вполне соответствовать действительности.
Динамику посещаемости в течении месяца можно посмотреть нажав на икону , рядом со ссылкой на сайт.

Положение в рейтинге определяется по количеству уникальных обращений (с учетом отображаемой категории все/белорусские). Дополнительно к позиции в рейтинге, отображается ее изменение по отношению к такому же времени за вчерашний день.

Для участия ресурса в рейтинге All.BY необходимо на его страницах разместить специальный идентификатор (графический логотип в виде фрагмента HTML-кода). В случае если ресурс еще не зарегистрирован в системе, код идентификатора будет предложен при регистрации. Если же ресурс уже зарегистрирован, то код идентификатора можно получить здесь.
В связи с постоянными попытками накручивания рейтинга, совместным решением 3-х белорусских систем, принят ряд мер по борьбе с этим явлением.

Назначение Индекса цитирования

Белорусский Индекс цитирования предназначен для отображения степени популярности информации, расположенной на каком-либо сайте, у создателей других сайтов.
Поскольку мы ограничиваемся исследованием белорусской части Интернета, то Индекс цитирования отображает наиболее цитируемые сайты BY-нета.
Белорусскими считаются все сайты, представленные в каталоге.
Информация, извлекаемая при расчете индекса цитирования, используется для повышения позиции страниц сайта в результатах поиска.

Способ подсчета Индекса цитирования

Подсчет производится по ресурсам, проиндексированным поисковой системой. Все зарегистрированные в All.by ресурсы считаются белорусскими. Сайты, содержащие фреймы или переадресацию, могут быть проиндексированы не полностью, поэтому ссылки с них не будут учтены при подсчете Индекса цитирования. Расчет производится раз в неделю.
Учитываются только ссылки с уникальных доменов, т.е. ссылка со страниц http://www.open.by/~love/1.html и http://open.by/xfiles.html считаются ссылкой с домена open.by. Не учитываются ссылки в пределах одного домена. Ссылки на страницы http://open.by/xfiles.html#top и http://open.by/xfiles.html считаются ссылкой на http://open.by/xfiles.html.

Рейтинг Индекса цитирования

По умолчанию, сортировка производится по количеству уникальных доменов, имеющих ссылки на данный ресурс. 
Так же отображается количество уникальных страниц ресурса, на которые есть ссылки с других доменов. Этот показатель хорошо отражает глубину цитирования ресурса, и можно посмотреть Индекс цитирования, отсортированный по этому полю. 
Для просмотра Индекса цитирования вашего сайта воспользуйтесь поиском в ИЦ, указав его домен.

История создания и развития

Поисковая машина ALL.BY является первой поисковой системой в Беларуси. За время своего существования сменилось несколько доменов, а начинала свою работу как каталог и поисковик белорусских сайтов 09.open.by в декабре 1998 года. Официальное открытие для публичного пользования состоялось 30 марта 1999 года.
В каталоге поиск проводился по описаниям сайтов, по базе объявлений и по системе телеконференций USENET.
Также использовался web-паук (spider), который в автоматическом режиме сохранял страницы сайтов на поисковом сервере. По этим страницам производился полнотекстовой поиск. Предлагалось установить счетчик посещений на сайт, по которому формировался рейтинг сайтов.

В 2000-2001 годах была проведена первая серьезная переработка системы.
Расширина глубина выкачки сайтов и дополнительно стали выкачивать динамические страницы.
Для ускорения и улучшения релевантности поиска начали использовать индексный файл, для осуществления полнотекстового поиска по полному содержимому сайтов. Появилась возможность создания сложных запросов с вложенностью и логикой "НЕ", "ИЛИ", "И".
Доработан рейтинг, добавлено определение белорусских пользователей.
Появилось автоматическое поисковое устройство новых белорусских сайтов.
Домен поисковика сменился на All.by 18 октября 2000 года.

В середине 2002 года был кардинально изменен движок (поисковый механизм), в основу которого была положена технология, впервые использованная в Google.com, это существенно повлияло на повышение релевантности "запрос-ответ". Впервые в Беларуси стал возможным поиск с учетом морфологии русского языка ("вижу" = "вижу" или "видеть"). Добавился индекс цитирования, статистика рейтинга за месяц, стал возможным просмотр локальной копии сайтов, улучшилась схема ранжирования страниц с учетом индекса цитирования сайтов.

В конце 2002 года система стала частью портала Open.by домен сменился на poisk.open.by. За это время в каталоге были добавлены новые разделы, появилась возможность расширенного поиска, а также поиск по товарам на торговой площадке shop.by и контекстная реклама товаров в результатах поиска.

В 2003 году в поисковике был усовершенствован механизм индексирования страниц, а также создана система, позволяющая максимально быстро обрабатывать запросы пользователей даже в часы пик. Добавилось индексирование документов в формате doc, xls, rtf, pdf, swf.

В середине 2004 года количество сайтов зарегистрированных в системе превысило 8000. Из них около 3000 участвуют в рейтинге. Число проиндексированных страниц достигло 3000000.

Март 2005 года ознаменовался началом сотрудничества с Яндексом. Цель - расширение предлагаемых сервисов и улучшение качества поиска. Теперь результаты поиска по Белорусским сайтам формируются на основе данных поиска в All.by и в Яндекс.