anonymous@RULINUX.NET~# Last login: 2024-11-19 02:43:22
Регистрация Вход Новости | Разметка | Пользователи | Галерея | Форум | Статьи | Неподтвержденное | Трекер | Правила форума | F.A.Q. | Ссылки | Поиск
[#] [Добавить метку] [Редактировать]
Скрыть

А чем сейчас модно грабить сайты?

Хочу тащить данные с одного сайта в свою БД, там JSON и нет проверок реферрера/юзер-агента, так что вроде всё просто. Но времена меняются и они чего доброго там или сайт заредизайнят или защит понавешают от такого огульного злоупотребления. Нужно какую-то платформу наверное сразу закладывать, чтобы умела прикидываться бровсером, чтобы её было легко перенастроить, чтобы она уже была с готовыми либами чтобы данные экстрактировать (желательно из pdf тоже на всякий случай), складывать всё это в базу данных, и желательно чтобы эта платформа была не на каком-нибудь маргинальном языку написана. Есть идеи?

anonymous(*) (2017-04-27 23:33:59)
Отредактировано anonymous по причине "не указана"
Mozilla/5.0 (X11; Fedora; Linux x86_64; rv:53.0) Gecko/20100101 Firefox/53.0

[Ответить на это сообщение]
[#] [Добавить метку] [Редактировать] Ответ на: А чем сейчас модно грабить сайты? от anonymous 2017-04-27 23:33:59
avatar
Скрыть

Re:А чем сейчас модно грабить сайты?

wget -m?

anonymous(*)(2017-04-28 12:21:58)

[#] [Добавить метку] [Редактировать] Ответ на: Re:А чем сейчас модно грабить сайты? от anonymous 2017-04-28 12:21:58
avatar
Скрыть

Re:А чем сейчас модно грабить сайты?

Мне не надо миррор. Мне надо взять данные с сайта и положить в БД. И ещё надо чтобы в будущем если они затеют менять дизайн или защищаться от меня, мои действия были бы минимальными.

anonymous(*)(2017-04-28 19:05:47)

Этот тред читают 1 пользователь:
Анонимных: 1
Зарегистрированных: 0




(c) 2010-2020 LOR-NG Developers Group
Powered by TimeMachine

Valid HTML 4.01 Transitional Правильный CSS!