http://rulinux.net/ http://rulinux.net/ http://rulinux.net/rss_icon.png https://rulinux.net/message.php?newsid=42892&page=1#220111 https://rulinux.net/message.php?newsid=42892&page=1#220111 Fri, 28 Apr 2017 15:05:47 +0300 Мне не надо миррор. Мне надо взять данные с сайта и положить в БД. И ещё надо чтобы в будущем если они затеют менять дизайн или защищаться от меня, мои действия были бы минимальными.

]]> https://rulinux.net/message.php?newsid=42892&page=1#220107 https://rulinux.net/message.php?newsid=42892&page=1#220107 Fri, 28 Apr 2017 08:21:58 +0300 wget -m?

]]> https://rulinux.net/message.php?newsid=42892&page=1#220104 https://rulinux.net/message.php?newsid=42892&page=1#220104 Thu, 27 Apr 2017 19:33:59 +0300 Хочу тащить данные с одного сайта в свою БД, там JSON и нет проверок реферрера/юзер-агента, так что вроде всё просто. Но времена меняются и они чего доброго там или сайт заредизайнят или защит понавешают от такого огульного злоупотребления. Нужно какую-то платформу наверное сразу закладывать, чтобы умела прикидываться бровсером, чтобы её было легко перенастроить, чтобы она уже была с готовыми либами чтобы данные экстрактировать (желательно из pdf тоже на всякий случай), складывать всё это в базу данных, и желательно чтобы эта платформа была не на каком-нибудь маргинальном языку написана. Есть идеи?

]]>