Re: пожалуй потихонечку возьмусь за распределенный форум

каким образом такие распределенные транзакции осуществлять - не знаю.

но придумать наверное чтото можно

это могло бы быть совсем новой вехой в интернет общении, твиттеры всякие умрут.

Re: пожалуй потихонечку возьмусь за распределенный форум

freenet: vilfred edition, release codename acetone?

Re: пожалуй потихонечку возьмусь за распределенный форум

вобщем хочется сделать модель FIDONET'a поверх протокола HTTP, примерно такое дело. А уж кто там какую ноду(форум) себе заведет - его дело

Re: пожалуй потихонечку возьмусь за распределенный форум

Зачем привязка именно к HTTP?

Re: пожалуй потихонечку возьмусь за распределенный форум

Ну здрасьте. Ты пропустил мой пост что ли?  http://www.lor-ng.org/message.php?newsid=7237&page=0#59268

Сейчас там статья на английском, русский вариант тут:  http://vminko.org/free_forum_ru

Моё видение решения (с точки зрения использования, без технических деталей) такое: 1. Пользователь ставит себе прогу потипу обычного почтовика. Серверов как таковых в системе нет вообще. 2. Пользователь генерирует пару ключей, если хочет быть зарегистрированным (иначе он пишет от анона, ключи к которому идут с дистрибутивом проги). 3. Пользователь задаёт bootstrap (начальные) адреса нодов. Это может быть либо нод друга (который посоветовал попробовать), либо какой-то типа сервак в сети. На основе этого адреса, этот пир начинает искать другие доступные адреса. 4. Пользователь выбирает интересный ему канал, скажем /comp/unix/blah-blah/lor-ng и подписывается на него. 5. ПО ищет в сети ноды, у которых этот канал засинкан и сосёт с них данные, теперь пользователь может читать канал. 6. Когда пользователь постит что-то в сеть, прога подписывает сообщение приватным ключём и рассылает уведомления нодам-соседам, что вот новое сообщение. Соседи проверяют подпись на открытом ключе, если она валидна - добавляют сообщение себе и рассылают всем своим соседям.

Из технология тут ясно Bittorrent вырисовывается, но надо ещё поглядеть на gnunet и прочее.

На чём писать - в принципе я перл знаю неплохо, это по-моему неплохой вариант для быстрого старта, но потом я бы переписал его добротно на C++ скажем.

Я планировал это скоро начать реализовывать.

Ещё по теме - недавно переговаривал с GNU-Social перцами. Они все сильно замарочены на приватности данных. Хотят по сути из каждой ноды делать серв. Хотя там и предусмотрены режимы зеркалирования данных, но это ещё только задумка, которую они сами пока не знают толком как делать. Короче, меня не особо вдохновил их подход - они хотят сделать соц.сеть как основу, а всё остальное вторично.

Да, ещё пытался с авторами Osiris (P2P-форум) связаться, типа давайте уже сурсы, я хочу форкнуть. Пока молчат.

Вообще, если интересна тема - можем встреться как-ть и обсудить всё, яж тут недалеко.

Re: пожалуй потихонечку возьмусь за распределенный форум

freenet тут никаким боком не сдался.

Re: пожалуй потихонечку возьмусь за распределенный форум

потому что все общение сидит по протоколу хттп

Re: пожалуй потихонечку возьмусь за распределенный форум

Можно юзать что то типа этого  http://www.opennet.ru/opennews/art.shtml?num=27137

с распределенными базами и разными мордами, в том числе и по НТТР

Re: пожалуй потихонечку возьмусь за распределенный форум

Интересная штука. Этим можно сделать систему уведомлений.

Re: пожалуй потихонечку возьмусь за распределенный форум

В целом согласен, против перла категорически против.

Re: пожалуй потихонечку возьмусь за распределенный форум

> прога подписывает сообщение приватным ключём и рассылает
И если кому-нибудь не понравится то, что ты написал, то от подписанного сообщения ты уж точно не отопрёшься, проклятый анонимус :о)

Re: пожалуй потихонечку возьмусь за распределенный форум

И кроме того защита от изменений при распространении.

Re: пожалуй потихонечку возьмусь за распределенный форум

> Можно юзать что то типа этого  http://www.opennet.ru/opennews/art.shtml?num=27137 с распределенными базами и разными мордами, в том числе и по НТТР
Если отправителю потребуется анонимность - как там это можно будет реализовать? ИМХО это наибольшая проблема в современных коммуникациях. Власти разных стран норовят насадить регистрацию, авторизацию и цензуризацию в сети, требуют регистрировать сервера, вводятся законы, что пользователи сети обязаны паспорт предъявлять (я был шокирован этим в Италии, теперь вот в Белоруссии такая же хуйня - и неизвестно где в следующий раз взыграет этот тоталитаризм) - так что лучше начинать с этой стороны, делать безопасный протокол обмена. Распределённым он будет по любому, а авторизоваться при желании подтвердить авторство всегда можно посредством PGP. Насколько TOR в этом плане безопасен и насколько он эффективен я не знаю, но наверное для начала нужно смотреть в ту сторону.

Re: пожалуй потихонечку возьмусь за распределенный форум

>Пользователь ставит себе прогу потипу обычного почтовика. Серверов как таковых в системе нет вообще.
это зависит от того, что считать сервером.))) как по мне - так там одни только сервера.

>Соседи проверяют подпись на открытом ключе, если она валидна - добавляют сообщение себе и рассылают всем своим соседям.
т.е. я правильно понял, что при отправке сообщения к тебе вернется тысячи его копий? или ты вместе с сообщением предлагаешь отсылать айпишник?

Re: пожалуй потихонечку возьмусь за распределенный форум

Согласен, это важно, но анонимный текст меньше нуждается в такой защите. Смысл подписи в том, что бы автор мог своим авторитетом компенсировать пробелы в аргументации. Например, если Штольман напишет, что он сам лично видел как Лукашенко ночью у себя в Минске пил кровь христианских младенцев - то ему поверят. Если то же самое напишет анонимус, то от него потребуют доказательств вне зависимости мог быть изменён его текст или нет. При этом за счёт избыточности можно попытаться достичь распознавания попытки внесения изменений - сообщение ведь может быть послано по нескольким маршрутам и если получатель принял сообщение по другому маршруту с отличиями, то надо бить тревогу. Однако возникает проблема как определить, что это версии одного и того же сообщения и желательно ещё понять какое из них истинное что бы отсечь скомпроментированный сегмент сети. Т.е. получается, что для анонимусов нет места в такой сети.

Re: пожалуй потихонечку возьмусь за распределенный форум

>Если отправителю потребуется анонимность - как там это можно будет реализовать?
Основная идея анонимности в той схеме, что описал я - это неразличимость распространяемых и отсылаемых сообщений. Т.е. когда к кому-то на ноду пришли обновления, она не может понять это соседская нода их сделала или она их ещё от кого-то шлёт. В малой сети - понятно, можно вычислить. Но в большой - уже нет.

>это зависит от того, что считать сервером.))) как по мне - так там одни только сервера.
Я имею ввиду, что в сети все машины должны быть равноправны. Не должно возлагаться на кого-то каких-то особенных функций. Мы можем скажем сделать ноду, которая будет шлюзом в http и позволять людям читать сообщения сети (как гугль для usenet сделал), можем сделать репликаторы, которые будут только сосать сообщения, чтобы всегда были пиры от кого скачать, но это всё опционально, сеть должна работать и на голых пользователях.

>т.е. я правильно понял, что при отправке сообщения к тебе вернется тысячи его копий? или ты вместе с сообщением предлагаешь отсылать айпишник?
Затрудняюсь ответить. Но уже примеры есть и они как-то работают (Osiris тот же), я пока не вкапывался как именно (сурсов нет).

>Т.е. получается, что для анонимусов нет места в такой сети.
Для анонов вообще подписывать сообщения смысла нет. Для анонов нужно их просто хешить. Хеш не совпал - отвергать.

Re: пожалуй потихонечку возьмусь за распределенный форум

> Основная идея анонимности в той схеме, что описал я - это неразличимость распространяемых и отсылаемых сообщений. Т.е. когда к кому-то на ноду пришли обновления, она не может понять это соседская нода их сделала или она их ещё от кого-то шлёт. В малой сети - понятно, можно вычислить. Но в большой - уже нет.
Нет такого - большая сеть или малая :) Есть одна сеть, которую пытаются контролировать все, кому не лень. И в случае с подписью в некоторых случаях, ставя подпись под сообщением ты сам себе подписываешь приговор. Вот в качестве примера, я давеча пейсал об инициативе властей чтобы каждый участковый имел свой веб-сайт, а граждане стало быть могли ему анонимно, будучи уверенными в своей безопасности стучать туда на всяких коррупциоонеров. Давай допустим недопустимое - власти какую-то чудесную хуйню придумали чтобы их же собственные СОРМЫ не ловили этот трафик, что бы в логах у провайдера вопреки их же собственным законам не откладывалась информация об этой транзакции и т.п. - ну просто и впрямь анонимусно типа можно настучать на мафию. И что? Ты подписываешь своё сообщение! Я, бля, являлся свидетелем такого-то преступления. А коррупция это, как известно, сращивание интересов криминала и чиновничества. Т.е. преступникам это твоё сообщение становится доступно как только оно стало доступно чиновникам. Осталось пройтись по нескольким квартирам потенциальных свидетелей и грохнуть того, кто реально что-то видел. А как его вычислить? Да по подписи же, у тебя же закрытый ключ от подписи лежит же в машине - вот, следовательно, и всё. Всех потенциальных свидетелей перебить трудно и рискованно, а когда понятно и очевидно, что это был ты - то уничтожать придётся лишь одного анонимуса.

>> Т.е. получается, что для анонимусов нет места в такой сети.
> Для анонов вообще подписывать сообщения смысла нет. Для анонов нужно их просто хешить. Хеш не совпал - отвергать.
Хеш не совпал с чем?

Re: пожалуй потихонечку возьмусь за распределенный форум

>И в случае с подписью в некоторых случаях, ставя подпись под сообщением ты сам себе подписываешь приговор.
>А как его вычислить? Да по подписи же
Я не понял как выяснится связь между тобой физически и тем сообщением. Ну есть у тебя подпись и как ты выйдешь на IP?

>Хеш не совпал с чем?
Каждое сообщение анонов распространяется с хешем.

PS. Я не понял почему vilfred не участвует в дискуссии.

Re: пожалуй потихонечку возьмусь за распределенный форум

> Ну есть у тебя подпись и как ты выйдешь на IP?
Не обязательно выходить на IP, достаточно определить круг подозреваемых и к ним вломиться. Если ты попал в этот круг - то ты, соответственно, попал.

> Каждое сообщение анонов распространяется с хешем.
sha1("Ну и что?");

> PS. Я не понял почему vilfred не участвует в дискуссии.
Потому, что у него четыре часа ночи?

Re: пожалуй потихонечку возьмусь за распределенный форум

>Я имею ввиду, что в сети все машины должны быть равноправны. Не должно возлагаться на кого-то каких-то особенных функций. Мы можем скажем сделать ноду, которая будет шлюзом в http и позволять людям читать сообщения сети (как гугль для usenet сделал), можем сделать репликаторы, которые будут только сосать сообщения, чтобы всегда были пиры от кого скачать, но это всё опционально, сеть должна работать и на голых пользователях.
но ты тут же пишешь о GNU-Social перцах, которые "Хотят по сути из каждой ноды делать серв". ведь если все сервы, то получается никто не серв?

и чем репликатор отличается от "голого" пользователя, который решил подписаться на все?

>Затрудняюсь ответить. Но уже примеры есть и они как-то работают (Osiris тот же)
быстрый поиск в гугле ничего не дал. можно ссылку, что это?

//кстати, а как будет проходить передача публичного ключа другим нодам? его ведь можно и на свой подменить в процессе.

Re: пожалуй потихонечку возьмусь за распределенный форум

>Не обязательно выходить на IP, достаточно определить круг подозреваемых и к ним вломиться. Если ты попал в этот круг - то ты, соответственно, попал.
Ну и как ты выйдешь на этот круг? Ты запостил сообщение и оно разлетелось сразу к скажем ста твоим соседским нодам, которые территориально никак не связаны.

>> Каждое сообщение анонов распространяется с хешем.
>sha1("Ну и что?");
Типа такого. Можно ещё timestamp добавить.

Re: пожалуй потихонечку возьмусь за распределенный форум

> Ну и как ты выйдешь на этот круг?
Посредством дедукции. Ну вот скажем свидетель пишет что из окна своего дома он увидел как совершается преступление. Соответственно преступнику, которому разумеется известно где произошло преступление, уже не составит труда вычислить требемые дома, что уже сужает поиск от нескольких миллионов жителей к всего нескольким подьездам. Осталось проанализировать трафик жителей этих подъездов, вычислить кто из них пользуется нашей анонимизирующей сетью, вломиться в квратитры этих пользователей в отсутствие хозяев, по наличию ключа выяснить кто из них тот самый свидетель. Всё.

> Ты запостил сообщение и оно разлетелось сразу к скажем ста твоим соседским нодам, которые территориально никак не связаны.
Но при этом 33 из этих ста уже кем-то перевербованы и сливают хозяину информацию о том, какое сообщение когда и от какого соседа было получено.

>>>>> Для анонов вообще подписывать сообщения смысла нет. Для анонов нужно их просто хешить. Хеш не совпал - отвергать.
>>>> Хеш не совпал с чем?
>>> Каждое сообщение анонов распространяется с хешем.
>> sha1("Ну и что?");
> Типа такого. Можно ещё timestamp добавить.
С чем должен совпадать хеш? И что это будет гарантировать? Что мешает злоумышленнику подменив твоё сообщение, пересчитать его хеш и выдавать подделку за истинное сообщение?

Re: пожалуй потихонечку возьмусь за распределенный форум

Имхо самый элегантный способ - РПЦ (xml-rpc).

Тут обсуждалось, с подачи невесть_кого, но я не асилил (сейчас учу яву):

 http://www.lor-ng.org/message.php?newsid=5452&fid=9&page=0

зы. Опять же и в название присутствует намек на некий позитив

Re: пожалуй потихонечку возьмусь за распределенный форум

>но ты тут же пишешь о GNU-Social перцах, которые "Хотят по сути из каждой ноды делать серв". ведь если все сервы, то получается никто не серв?
Не совсем так. По их архитектуре у каждого пользователя свой сервер. Каждый должен покупать аппаратуру или поднимать где-то на существующем сервере или арендовать и т.п. Там запланирован режим для установки на десктоп, при этом когда он опущен данные зеркалируются на машинах друзей. Но во-первых, толком не понятно что именно зеркалировать. Если просто свои данные, то, скажем, для чтения всех комментариев к блогу нужно будет по отдельности запросить каждый комментарий с разных машин. Вообщем, они сами ещё толком не решили как сделать, но какая-то избыточность предполагается.

В P2P-архитектуре типа Osiris, все данные хранятся на каждой ноде. Если человек подписался, то он становится достаточным сервером для потенциальных новичков в сети, кто захочет почитать канал. В этом случае каждая нода скорее torrent-сидер, чем сервер. Она не выполняет каких-то уникальных функций и не хранит уникальные данные.

Re: пожалуй потихонечку возьмусь за распределенный форум

>и чем репликатор отличается от "голого" пользователя, который решил подписаться на все?
Ничем

>быстрый поиск в гугле ничего не дал. можно ссылку, что это?
 http://osiris.kodeware.net/index.php

Вот ещё интересная подборочка по теме  http://groups.fsf.org/wiki/Group:GNU_Social/Project_Comparison

>//кстати, а как будет проходить передача публичного ключа другим нодам? его ведь можно и на свой подменить в процессе.
Вот как об этом говорят GNU-social перцы: The origin UI obtains the target UI public key through various means (from another friend, from a directory or as a last resort by contacting the target UI at a manually entered URL)

 http://groups.fsf.org/wiki/Group:GNU_Social/P2P/Keys

Кстати, это обязательное "подружение" меня тоже не радует. Я считаю пользователь должен свободно выбирать своих друзей, от кого будет перенимать модерирующие действия.

Re: пожалуй потихонечку возьмусь за распределенный форум

>Ну вот скажем свидетель пишет что из окна своего дома он увидел
В этом случае нет вообще никакой защиты по определению свободного СМИ. Оно предполагает, что все могут читать. Если автор сам себя деанонимирует информацией из сообщения, он с головой не дружит. Таки сообщений нужно как раз писать в приватных дикуссиях типа шифрованной email-переписки или тех же распределённых соц. сетей.

>Но при этом 33 из этих ста уже кем-то перевербованы и сливают хозяину информацию о том, какое сообщение когда и от какого соседа было получено.
Таким же методом и Tor атакуют. Чем больше сеть, тем сложнее это сделать. В любом случае это лучше, чем иметь один центральный сервер, который гарантированно можно оприходовать.

Re: пожалуй потихонечку возьмусь за распределенный форум

>С чем должен совпадать хеш? И что это будет гарантировать? Что мешает злоумышленнику подменив твоё сообщение, пересчитать его хеш и выдавать подделку за истинное сообщение?
Тут нужно думать. Сейчас приходит такая схема. Каждое сообщение нумеруется потипу git-коммитов. Сопоставляется с временем. Вычисляется хеш для контроля, что между двумя соседними нодами не было помех в сети (не для проверки изменений вообще). Все анонимные сообщения качаются с нескольких источников. Если все они совпадают для одного Id, то сообщение принимается. Иначе можно докачать ещё с других нод для повышения статистики, чтобы выявить где ложное.

Меня тут больше волнует вопрос как защититься от затоплений. Обычная капча подразумевает наличие некоего проверочного сервера, чего в данной архитектуре быть не может. И мы не может просто запретить большой трафик через ноду, это может быть удобно для скачки каждодневных обновлений. Надо думать...

Re: пожалуй потихонечку возьмусь за распределенный форум

>Имхо самый элегантный способ - РПЦ (xml-rpc).
Способ чего? Проблемы как передать сообщения по сети нет. Тут уйма разных вариантов. GNU-Social перцы вообще предлагают сделать тут модульную структуру, кому какой транспорт удобен, тот и использовать:

 http://groups.fsf.org/wiki/Group:GNU_Social/P2P/Node_Architecture#Core_Transports

Re: пожалуй потихонечку возьмусь за распределенный форум

>Не совсем так. По их архитектуре у каждого пользователя свой сервер.
>>Я имею ввиду, что в сети все машины должны быть равноправны.
так значит серверов все-таки нет?:)

Re: пожалуй потихонечку возьмусь за распределенный форум

>так значит серверов все-таки нет?:)
Что есть сервер? В классической терминологии - это то, что обслуживает клиентов. Тут все есть и клиенты и все друг друга обслуживают. Разница в архитектурах в том, что в GNU-Social подходе машины в нормальном режиме должны постоянно висеть в сети хранят в основном только свои данные, а в моём - что они выходят в сеть периодически и хранят все данные, нужно лишь чтоб постоянно было некое их число в on-line, чтоб было с кого синкануть новости и кого уведомить о своих постах.

Re: пожалуй потихонечку возьмусь за распределенный форум

гуй хочень написать чтоли? или это скрипт будет?

похоже по схеме на IRC с каналами пользователей однако

Re: пожалуй потихонечку возьмусь за распределенный форум

>гуй хочень написать чтоли? или это скрипт будет?
Как писать - вопрос вторичный. Я предлагаю разработать протокол, который может иметь разные реализации. И насчёт гуя. Можно разделить систему на две части - ядро и интерфейс. Ядро будет заниматься пересылкой и хранением сообщений. А интерфейс уже как удобно, можно Gtk/Qt, можно консольный, да хоть web.

>похоже по схеме на IRC с каналами пользователей однако
Скорее на usenet без серверов.