http://rulinux.net/ http://rulinux.net/ http://rulinux.net/rss_icon.png https://rulinux.net/message.php?newsid=35896&page=1#123202 https://rulinux.net/message.php?newsid=35896&page=1#123202 Tue, 24 Jan 2012 22:00:36 +0400 >Понимаешь, я может тупля. Но эта твоя самая "readability" очень сильно зависит от природы информации, которую мы собираем.
Я просто как пример интересной штуки для узкого применения - выдирания контента из веб страниц.

>Моя идея даже построена на том, что бы по максиму снизить зависимость от "схемы" по которой мы будеем собирать данные.
Берёшь документно-ориентированную БД, которой пофиг на то, что ты собираешь, пишешь простое API для укладывания в неё данных, ну и для извлечения - и вот тебе готов data-agnostic (уж простите) engine, к которому остаётся только писать парсеры. Тут ничего другого изобретать не надо, имхо.

А вот писать парсеры - скучно, долго и однообразно, а также это дело требует хорошего терпения:)

Но организовать такое дело всё же проще, чем найти клиентов, хотя я не уверен.

]]> https://rulinux.net/message.php?newsid=35896&page=1#123198 https://rulinux.net/message.php?newsid=35896&page=1#123198 Tue, 24 Jan 2012 21:53:20 +0400 > Да, насчёт readability.
Понимаешь, я может тупля. Но эта твоя самая "readability" очень сильно зависит от природы информации, которую мы собираем. Моя идея даже построена на том, что бы по максиму снизить зависимость от "схемы" по которой мы будеем собирать данные.

]]> https://rulinux.net/message.php?newsid=35896&page=1#123192 https://rulinux.net/message.php?newsid=35896&page=1#123192 Tue, 24 Jan 2012 21:45:01 +0400 Да, насчёт readability. Это штука, которая довольно неплохо умеет выдирать из веб-страницы "основной" контент, по куче эмпирических алгоритмов. Есть реализация для питона, кстати. На форумах относительно часто ошибается, а вот на стандартной странице вполне эффективно выдирает действительно нужную информацию.

Это я на тему парсеров и адаптации их к сайтам. Оказывается, сделать почти-универсальный парсер уже вполне возможно, проблема остаётся только в автоматизации.

>Моя проблем, отлично организовать доставку.
>В нашем деле, нюансы такие - доставка, настройёка, обучение и запуск в эксплуатацию.
Это ты, в такой странной форме, обсуждаешь бизнес-план?:)

]]> https://rulinux.net/message.php?newsid=35896&page=1#123190 https://rulinux.net/message.php?newsid=35896&page=1#123190 Tue, 24 Jan 2012 21:39:13 +0400 > Алсо, в наше время можно даже не адаптировать почти ничего: http://www.readability.com/
Ты кидаешь какие-то данные или я их сам выбираю из доступного. Допустим образовался мой брат с рыбками.

Я не совсем понел что нам дают. Ок. Он (мой брат) например разводит рыбок аквариумных Южной Америки. Для меня собственно пох, я должен этих рыбок собрать и доставить тем кто их заказал, пока они не здохли.)))

Моя проблем, отлично организовать доставку.

В нашем деле, нюансы такие - доставка, настройёка, обучение и запуск в эксплуатацию.

]]> https://rulinux.net/message.php?newsid=35896&page=1#123188 https://rulinux.net/message.php?newsid=35896&page=1#123188 Tue, 24 Jan 2012 21:33:44 +0400 >Да это будет основная работа в этом предприятии, поддерживать адекватность парсеров.
Это ты хочешь как тот человек, который собирал данные про Болотную через вконтакт?:)

]]> https://rulinux.net/message.php?newsid=35896&page=1#123186 https://rulinux.net/message.php?newsid=35896&page=1#123186 Tue, 24 Jan 2012 21:31:05 +0400 >> В этом случае парсер легко можно будет адаптировать к переделке дизайна сайта.
> Так вся работа написания парсера, обычно, в этом и заключается.
Сразу видно человека? который стакивался с темой.

Да это будет основная работа в этом предприятии, поддерживать адекватность парсеров. Но как бы и люди у нас будут, которые знают в этом толк? Не?

]]> https://rulinux.net/message.php?newsid=35896&page=1#123185 https://rulinux.net/message.php?newsid=35896&page=1#123185 Tue, 24 Jan 2012 21:30:05 +0400 Алсо, в наше время можно даже не адаптировать почти ничего: http://www.readability.com/

]]> https://rulinux.net/message.php?newsid=35896&page=1#123184 https://rulinux.net/message.php?newsid=35896&page=1#123184 Tue, 24 Jan 2012 21:26:59 +0400 >В этом случае парсер легко можно будет адаптировать к переделке дизайна сайта.
Так вся работа написания парсера, обычно, в этом и заключается.

]]> https://rulinux.net/message.php?newsid=35896&page=1#123177 https://rulinux.net/message.php?newsid=35896&page=1#123177 Tue, 24 Jan 2012 21:12:58 +0400 Есть некоторая идея - сделать агрегатор. Парсер инфы сделать как можно не зависимым от кода. В этом случае парсер легко можно будет адаптировать к переделке дизайна сайта.У кого есть опыт таких штук, готов обменяться знаниями.

Ну вообщем вопрос, если кто сталкивался. Давайте обсудим тему. Если кто не сталкивался давайте обсудим, что же все таки творилось на фотографии в этом посте Все принцессы делают это

]]>