Скрыть

О недавних событиях

В общем, в один прекрасный момент сайт стал сообщать, что не может соединиться с базой данных. Раньше такого не было, и я решил быстро зайти и посмотреть, что же там произошло. Зайдя внутрь, я решил перезапустить постгрес для надёжности, ну а постгрес же запускаться отказывался. После непродолжительного тыканья палочкой постгреса оказалось, что директория с данными /var/lib/pgsql пуста. После чего был созван консилиум в аварийно созданной джаббер-конференции [email protected]. Дальнейшее расследование выявило вот что.

Неизвестный хакер какое-то время назад зашел под постгресом по ssh, закинул свой сертификат в ~/.ssh (тут ~ - /var/lib/pgsql), поставил некий софт для irc (psybnc), и, через какое-то время, ликвидировал всё, сделав живительный rm -rf. От него остался .bash_history, кусок которого можно посмотреть тут.

В результате база сайта перестала существовать. Бэкапов на сервере тоже не оказалось (да и откуда), но у хостера остались снапшоты всей системы за последнюю пару дней. Поковыряв немного полумёртвый сервер, было решено восстановить свежий снапшот, взять оттуда ценные данные вроде базы, и переустановить всё заново, во избежание. Что и было произведено ночью (по МСК), но некоторые вещи, наверное, нужно будет ещё донастроить. При настройке учитывались пожелания участников конференции, коих набралось внушительное количество, и которые давали полезные советы по ходу процесса. Не могу не отметить то, что в самой конференции на тот момент было довольно интересно.

В процессе расследования выяснилось, что доступ к серверу у злоумышленников был давно, как минимум с августа (по датам создания ~/.ssh). Следов хакерской активности в других местах замечено не было, но это не значит, что её не было вообще. Логи ssh были в наличии только с ноября, так что изначальный источник атаки установить не удалось. Насколько действительно был заражён сервер, были ли там пропатченные бинарники и прочее - неизвестно, потому решение "переустановить всё с нуля" оказалось самым оптимальным.

Вот интересный кусок /var/log/secure, который относится к тому моменту (единственный успешный заход под postgres по ssh за день). Смена пароля, скорее всего, соответствует последним строкам из bash_history:

text


Dec 15 15:22:48 rulinux sshd[22899]: Address 82.137.11.57 maps to 82-137-11-57.rdsnet.ro, but this does no
t map back to the address - POSSIBLE BREAK-IN ATTEMPT!
Dec 15 15:22:50 rulinux sshd[22899]: Accepted password for postgres from 82.137.11.57 port 2352 ssh2
Dec 15 15:22:50 rulinux sshd[22899]: pam_unix(sshd:session): session opened for user postgres by (uid=0)
Dec 15 15:23:49 rulinux passwd: pam_unix(passwd:chauthtok): password changed for postgres
 

Каким образом злоумышленники получили доступ к пользователю postgres тоже непонятно. По-идее, он создаётся при установке пакета, и не имеет пароля (но имеет shell). Возможно, изначально они проникли в систему другим способом.

Если у кого-нибудь есть что добавить - пишите.