Они опенсорсные?

> арендовать какой-то хостинг но помощнее? Просто дома серверную разводить не хочется.
Арендуй, кто тебе мешает. Тока сначала программу напиши и прикинь железо..

Надо срочно мир спасать и писать коммунистический Энгельс и спасать мир от империалистического за всеми шпионящего гугла. :)

В общем ладно это все лирика

Теперь к физике и серьезным вопросам.

Как я понимаю, программная часть не такая уж сложная.

Теперь к железу.

А примерный расчет серверов, железа и т. д. как прикинуть? Хотя-бы для простейшего поисковика.

Или для начала чтобы самому не заморачиваться с серверами и с высокоскоростными подключениями для этого дела можно арендовать какой-то хостинг но помощнее? Просто дома серверную разводить не хочется. Да и бабла в сервера надо втюхать, а пойдет или нет неизвестно. Или все-таки лучше свои сервера?

В общем вопросов масса по организации.

Потом парсишь улов, вытаскиваешь из них ссылки на новые, ранее непосещённые сайты и снова тащишь рекурсивно.

Другой вопрос чо с вытащенным делать и как потом обеспечить выдачу релевантных результатов поиска за очень короткое время.

> Я понимаю, а почта и другие сервисы делаются для того, чтобы привлекать посетителей.
Да нет, что ты. Хороших поисковиков намного меньше в сети, чем почтовых сервисов. Поэтому почтовые сервисы не играют роли в качестве привлекаловки новых посетителей. Единственный смысл в такой интеграции, который приходит мне на ум - это более качественное отслеживание личной жизни пользователей. Ведь если по поисковым запросам пользователя можно примерно составить представление о круге его интересов, чем он занимается в данный момент, какого уровня у него доход и примерно прикинуть его место жительства, то, например для суда над пользователем такой информации может оказаться недостаточно (хотя были и такие прецеденты - какого-то американского молчела осудили например за взлом беспроводной сети предприятия после того, как он проживая в том же районе где расположено пострадавшее предприятие поинтересовался в гугле тем, как нынче ломают беспроводные сети). Разумеется интегрированные сервисы дают лучшую доказательную базу чем просто поисковики. Если ты рассказываешь гугл-финансу про свои сомнительные финансовые операции, в гугл-почте у тебя лежит куча возмущённых писем от обманутых тобой контрагентов, в логах гугл-сёрча видно, что ты постоянно интересуешься каналами сбыта кокаина, а на гугл-картинках ты выкладываешь фотографии изнасилованных тобою жертв с датой и координатами места в exif тегах и что самое ужасное, на гугл-конфах было зафиксировано употребление тобою слов "обама", "бомба" и "нигер" в одном предложении - то тут уже любой суд присяжных согласится, что тебя лучше изолировать от общества.

>Может что заморачивался по таким вопросам?
Ты назвал Брина "что"?:)

>Какой вообще принцип работы поисковика?
Вкратце - злобный бот обходит все возможные сайты и берёт с них информацию. Далее создаются поисковые индексы, где можно для каждого ключевого слова найти список ссылок, отсортированный по куче разных алгоритмов. В них и вся суть, так как тупо по количеству данного слова/фразы в тексте искать неспортивно - результат будет уныл. Ну и веб-морда ко всему этому.

Почитай про полнотекстовый поиск для начала, есть поисковые движки (lucene, xapian, sphinx итд), где есть попытка придумать адекватные алгоритмы для вычисления наиболее лучшего результата поиска по запросу итд. Естественно у гугла всё намного хитрее, там учитывается не только само содержимое, но и ссылки на страницу, и ешё куча всего, про что они не рассказывают (и правильно делают).

>Северов наверно масса нужна для этого, тем более если еще и почта, сервисы и прочее.
Да. Во-первых, там большое количество информации собирается, его надо хранить. Далее информацию надо обрабатывать, что тоже затратно. И, наконец, надо обслуживать богомерзких пользователей, которые устраивают сайту невольный ДДоС.

А почта и прочее как раз делается попроще поисковика.

>Какие есть мысли?
Когда станешь миллиардером со своим поисковиком, тебе будет некуда девать деньги. Вот я с удовольствием их приму в дар.

>Собрать байты из сети - это самая простая и тупая часть процесса
Нифига себе, я думал наоборот это самая сложная часть процесса.

>Поисковик может работать и без почты, и для почты интернет-поисковик не нужен, достаточно локального поиска
Я понимаю, а почта и другие сервисы делаются для того, чтобы привлекать посетителей.

> Теперь серьезно и без лулзов:
> А сложно ли вообще создать и раскрутить свой интернет-поисковик?
Ты какую-нибудь хотя бы самую коротенькую заметку читал про то, как создавался гугл? На эту тему много написано, даже фильм как минимум один снят.

> Может что заморачивался по таким вопросам?
С.Брин со товарищи однозначно заморачивался

> Я думаю, что это очень сложно, но в то же время не невозможно.
По крайней мере можно однозначно утверждать, что поисковики существуют

> Какой вообще принцип работы поисковика?
Индексация данных

> Как я понимаю мониторит интернет, собирает на своих серверах данные о ресурсах и выдает пользователю при поисках.
Собрать байты из сети - это самая простая и тупая часть процесса

> Северов наверно масса нужна для этого,
Да.

> тем более если еще и почта, сервисы и прочее.
Поисковик может работать и без почты, и для почты интернет-поисковик не нужен, достаточно локального поиска

> Какие есть мысли?
Надо заниматься в чём разбираешься или чевонить почитать о том предмете, которым тебе хотелось бы заниматься.

Теперь серьезно и без лулзов:

А сложно ли вообще создать и раскрутить свой интернет-поисковик?

Может что заморачивался по таким вопросам?

Я думаю, что это очень сложно, но в то же время не невозможно.

Какой вообще принцип работы поисковика?

Как я понимаю мониторит интернет, собирает на своих серверах данные о ресурсах и выдает пользователю при поисках.

Северов наверно масса нужна для этого, тем более если еще и почта, сервисы и прочее.

Какие есть мысли?