Re: [кпло]Тоже хочу свой поисковик.

Проще всего взять исходники гугла и подправить в них главную страницу, что бы там было написано "BolgenSearch".

> Теперь серьезно и без лулзов:
> А сложно ли вообще создать и раскрутить свой интернет-поисковик?
Ты какую-нибудь хотя бы самую коротенькую заметку читал про то, как создавался гугл? На эту тему много написано, даже фильм как минимум один снят.

> Может что заморачивался по таким вопросам?
С.Брин со товарищи однозначно заморачивался

> Я думаю, что это очень сложно, но в то же время не невозможно.
По крайней мере можно однозначно утверждать, что поисковики существуют

> Какой вообще принцип работы поисковика?
Индексация данных

> Как я понимаю мониторит интернет, собирает на своих серверах данные о ресурсах и выдает пользователю при поисках.
Собрать байты из сети - это самая простая и тупая часть процесса

> Северов наверно масса нужна для этого,
Да.

> тем более если еще и почта, сервисы и прочее.
Поисковик может работать и без почты, и для почты интернет-поисковик не нужен, достаточно локального поиска

> Какие есть мысли?
Надо заниматься в чём разбираешься или чевонить почитать о том предмете, которым тебе хотелось бы заниматься.

Re: [кпло]Тоже хочу свой поисковик.

>По крайней мере можно однозначно утверждать, что поисковики существуют
Плюсую, железная логика. :)

>Собрать байты из сети - это самая простая и тупая часть процесса
Нифига себе, я думал наоборот это самая сложная часть процесса.

>Поисковик может работать и без почты, и для почты интернет-поисковик не нужен, достаточно локального поиска
Я понимаю, а почта и другие сервисы делаются для того, чтобы привлекать посетителей.

Re: [кпло]Тоже хочу свой поисковик.

>А сложно ли вообще создать и раскрутить свой интернет-поисковик?
Создать несложно. Создать хороший - сложно. Раскрутить тоже.

>Может что заморачивался по таким вопросам?
Ты назвал Брина "что"?:)

>Какой вообще принцип работы поисковика?
Вкратце - злобный бот обходит все возможные сайты и берёт с них информацию. Далее создаются поисковые индексы, где можно для каждого ключевого слова найти список ссылок, отсортированный по куче разных алгоритмов. В них и вся суть, так как тупо по количеству данного слова/фразы в тексте искать неспортивно - результат будет уныл. Ну и веб-морда ко всему этому.

Почитай про полнотекстовый поиск для начала, есть поисковые движки (lucene, xapian, sphinx итд), где есть попытка придумать адекватные алгоритмы для вычисления наиболее лучшего результата поиска по запросу итд. Естественно у гугла всё намного хитрее, там учитывается не только само содержимое, но и ссылки на страницу, и ешё куча всего, про что они не рассказывают (и правильно делают).

>Северов наверно масса нужна для этого, тем более если еще и почта, сервисы и прочее.
Да. Во-первых, там большое количество информации собирается, его надо хранить. Далее информацию надо обрабатывать, что тоже затратно. И, наконец, надо обслуживать богомерзких пользователей, которые устраивают сайту невольный ДДоС.

А почта и прочее как раз делается попроще поисковика.

>Какие есть мысли?
Когда станешь миллиардером со своим поисковиком, тебе будет некуда девать деньги. Вот я с удовольствием их приму в дар.

Re: [кпло]Тоже хочу свой поисковик.

> Нифига себе, я думал наоборот это самая сложная часть процесса.
wget -r ИМЯ_ЛЮБОГО_САЙТА

Потом парсишь улов, вытаскиваешь из них ссылки на новые, ранее непосещённые сайты и снова тащишь рекурсивно.

Другой вопрос чо с вытащенным делать и как потом обеспечить выдачу релевантных результатов поиска за очень короткое время.

> Я понимаю, а почта и другие сервисы делаются для того, чтобы привлекать посетителей.
Да нет, что ты. Хороших поисковиков намного меньше в сети, чем почтовых сервисов. Поэтому почтовые сервисы не играют роли в качестве привлекаловки новых посетителей. Единственный смысл в такой интеграции, который приходит мне на ум - это более качественное отслеживание личной жизни пользователей. Ведь если по поисковым запросам пользователя можно примерно составить представление о круге его интересов, чем он занимается в данный момент, какого уровня у него доход и примерно прикинуть его место жительства, то, например для суда над пользователем такой информации может оказаться недостаточно (хотя были и такие прецеденты - какого-то американского молчела осудили например за взлом беспроводной сети предприятия после того, как он проживая в том же районе где расположено пострадавшее предприятие поинтересовался в гугле тем, как нынче ломают беспроводные сети). Разумеется интегрированные сервисы дают лучшую доказательную базу чем просто поисковики. Если ты рассказываешь гугл-финансу про свои сомнительные финансовые операции, в гугл-почте у тебя лежит куча возмущённых писем от обманутых тобой контрагентов, в логах гугл-сёрча видно, что ты постоянно интересуешься каналами сбыта кокаина, а на гугл-картинках ты выкладываешь фотографии изнасилованных тобою жертв с датой и координатами места в exif тегах и что самое ужасное, на гугл-конфах было зафиксировано употребление тобою слов "обама", "бомба" и "нигер" в одном предложении - то тут уже любой суд присяжных согласится, что тебя лучше изолировать от общества.

Re: [кпло]Тоже хочу свой поисковик.

Да гугл еще тот ФБР сам по себе.

Надо срочно мир спасать и писать коммунистический Энгельс и спасать мир от империалистического за всеми шпионящего гугла. :)

В общем ладно это все лирика

Теперь к физике и серьезным вопросам.

Как я понимаю, программная часть не такая уж сложная.

Теперь к железу.

А примерный расчет серверов, железа и т. д. как прикинуть? Хотя-бы для простейшего поисковика.

Или для начала чтобы самому не заморачиваться с серверами и с высокоскоростными подключениями для этого дела можно арендовать какой-то хостинг но помощнее? Просто дома серверную разводить не хочется. Да и бабла в сервера надо втюхать, а пойдет или нет неизвестно. Или все-таки лучше свои сервера?

В общем вопросов масса по организации.

Re: [кпло]Тоже хочу свой поисковик.

с такими вопросами тебе сюда -  http://www.nigma.ru/

Re: [кпло]Тоже хочу свой поисковик.

>Как я понимаю, программная часть не такая уж сложная.
> А примерный расчет серверов, железа и т. д. как прикинуть? Хотя-бы для простейшего поисковика.
Ну так как, реализуешь несложную программную часть. Потом берёшь единицу железа и тестируешь на ней сколько одновременных запросов она держит при времени отклика остающемся в пределах допустимого. Прикидываешь сколько тебе таких единиц железа потребуется, снова тестируешь уже на полномасштабной нагрузке. Если всё ОК срослось - домножаешь количество железа на 2 и просишь приготовит тебе три таких комплекта (основной рабочий, запасной и для тестирования), а сам тем временем бежишь в банк за ссудой. И вот уже из банка тебя госпитализируют.

> арендовать какой-то хостинг но помощнее? Просто дома серверную разводить не хочется.
Арендуй, кто тебе мешает. Тока сначала программу напиши и прикинь железо..

Re: [кпло]Тоже хочу свой поисковик.

> с такими вопросами тебе сюда -  http://www.nigma.ru/
Вау, круто: "Nigma стала самым интересным стартапом имеющим на логотипе изображение паучка по версии Forbes".

Они опенсорсные?

Re: [кпло]Тоже хочу свой поисковик.

>> Какие есть мысли?
> Когда станешь миллиардером со своим поисковиком, тебе будет некуда девать деньги. Вот я с удовольствием их приму в дар.
Что бы стать миллиардером поисковника не достаточно. "Простые" парни из google и yahoo учились в Станфорде, а это связи с нужными людьми.

Re: [кпло]Тоже хочу свой поисковик.

Лучше делать узкоспециальные, заточенные на определенный контент поисковики использующие Гугель или Яндокс. Или Нигму для нердов-математиков.

Re: [кпло]Тоже хочу свой поисковик.

> поисковики использующие Гугель или Яндокс.
Гугель не особо жалует автоматы

Re: [кпло]Тоже хочу свой поисковик.

>Гугель не особо жалует автоматы
А уж яндекс вдвойне не жалует. И не разбанивает, гад, даже после сотни успешных вводов капчи.