rulinux.net - Форум - Rulinux.net - а статьям всё, кирдык? http://rulinux.net/ rulinux.net - Форум - Rulinux.net - а статьям всё, кирдык? http://rulinux.net/ http://rulinux.net/rss_icon.png Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108896 https://rulinux.net/message.php?newsid=34798&page=1#108896 Tue, 04 Oct 2011 14:39:38 +0400 Копия

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108891 https://rulinux.net/message.php?newsid=34798&page=1#108891 Tue, 04 Oct 2011 14:01:19 +0400 > Я посмотрел это на локалхосте.
А у тебя там копия основной базы или пустышка?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108888 https://rulinux.net/message.php?newsid=34798&page=1#108888 Tue, 04 Oct 2011 13:55:13 +0400 > Эти цифры настолько незначительные что я и не знаю откуда набегает в сумме 4 секунды.
Короткий запрос многократно выполняется в каком нибудь цикле (но ты бы увидел что у тебя в выхлопе повыше колена однообразных запросов - запросов длительностью 0.067 сек должно быть больше пятидесяти штук чтобы набрать 4 секунды), либо тормозит уже где-то в похапэ.

Кстати, ты 60% постгреса в ТОПе усмотрел на рабочей машине где запросы к основному сайту обрабатываются? И кто ел ещё 40%?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108887 https://rulinux.net/message.php?newsid=34798&page=1#108887 Tue, 04 Oct 2011 13:50:13 +0400 Ступил. Я посмотрел это на локалхосте.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108886 https://rulinux.net/message.php?newsid=34798&page=1#108886 Tue, 04 Oct 2011 13:45:06 +0400 дольше всего выполняется запрос

sql
SELECT ALL * FROM comments WHERE timest > '2011-10-04 12:37:53' ORDER BY timest DESC OFFSET 0 LIMIT NULL
 


<!-- Запрос SELECT ALL * FROM comments WHERE timest > '2011-10-04 12:37:53' ORDER BY timest DESC OFFSET 0 LIMIT NULL выполнен за 0.066905 сек.--> все остальные не медленнее 0.000600 сек. Эти цифры настолько незначительные что я и не знаю откуда набегает в сумме 4 секунды.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108884 https://rulinux.net/message.php?newsid=34798&page=1#108884 Tue, 04 Oct 2011 13:29:37 +0400 Ну так догадайся уже :)

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108882 https://rulinux.net/message.php?newsid=34798&page=1#108882 Tue, 04 Oct 2011 13:18:39 +0400 Текст запроса итак выводится оттуда. А вставить счетчик туда я что-то не догадался.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108880 https://rulinux.net/message.php?newsid=34798&page=1#108880 Tue, 04 Oct 2011 13:11:47 +0400 Кстати, а чего бы тебе просто не вставить код в метод base::select() и не выводить текст каждого запроса и продолжительность его исполнения в виде комментария html?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108879 https://rulinux.net/message.php?newsid=34798&page=1#108879 Tue, 04 Oct 2011 13:06:02 +0400 Чем я и занят.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108875 https://rulinux.net/message.php?newsid=34798&page=1#108875 Tue, 04 Oct 2011 12:57:15 +0400 Ищи дальше кто тормозит - разбей код на части и выводи время исполнения каждой части, смотри что там исполняется и соответственно подозрительные запросы.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108870 https://rulinux.net/message.php?newsid=34798&page=1#108870 Tue, 04 Oct 2011 12:42:56 +0400 Все тот-же постгрес отжирает 60% проца.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108865 https://rulinux.net/message.php?newsid=34798&page=1#108865 Tue, 04 Oct 2011 12:37:40 +0400 Так, хорошо. А кто теперь развлекает CPU на хосте: вебсервер, постгрес или %wa?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108863 https://rulinux.net/message.php?newsid=34798&page=1#108863 Tue, 04 Oct 2011 12:33:51 +0400 а-а, дошло.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108862 https://rulinux.net/message.php?newsid=34798&page=1#108862 Tue, 04 Oct 2011 12:32:25 +0400 Т.е. с четырёх секунд после аналайза упало до чуть ли не нуля? о_О

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108858 https://rulinux.net/message.php?newsid=34798&page=1#108858 Tue, 04 Oct 2011 12:30:26 +0400 Ну этот запрос выполняется моментально, сама главная генерится медленно.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108856 https://rulinux.net/message.php?newsid=34798&page=1#108856 Tue, 04 Oct 2011 12:26:31 +0400 На скорость выполнения запроса повлияло?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108849 https://rulinux.net/message.php?newsid=34798&page=1#108849 Tue, 04 Oct 2011 12:18:55 +0400 
INFO:  analyzing "public.blocks" 
 INFO:  "blocks": scanned 1 of 1 pages, containing 5 live rows and 0 dead rows; 5 rows in sample, 5 estimated total rows 
 INFO:  analyzing "public.faq" 
 INFO:  "faq": scanned 0 of 0 pages, containing 0 live rows and 0 dead rows; 0 rows in sample, 0 estimated total rows 
 INFO:  analyzing "public.filters" 
 INFO:  "filters": scanned 1 of 1 pages, containing 8 live rows and 0 dead rows; 8 rows in sample, 8 estimated total rows 
 INFO:  analyzing "public.links" 
 INFO:  "links": scanned 1 of 1 pages, containing 4 live rows and 0 dead rows; 4 rows in sample, 4 estimated total rows 
 INFO:  analyzing "public.sections" 
 INFO:  "sections": scanned 1 of 1 pages, containing 4 live rows and 0 dead rows; 4 rows in sample, 4 estimated total rows 
 INFO:  analyzing "public.settings" 
 INFO:  "settings": scanned 1 of 1 pages, containing 6 live rows and 0 dead rows; 6 rows in sample, 6 estimated total rows 
 INFO:  analyzing "public.groups" 
 INFO:  "groups": scanned 1 of 1 pages, containing 3 live rows and 0 dead rows; 3 rows in sample, 3 estimated total rows 
 INFO:  analyzing "public.sessions" 
 INFO:  "sessions": scanned 1 of 1 pages, containing 5 live rows and 31 dead rows; 5 rows in sample, 5 estimated total rows 
 INFO:  analyzing "public.marks" 
 INFO:  "marks": scanned 1 of 1 pages, containing 4 live rows and 0 dead rows; 4 rows in sample, 4 estimated total rows 
 INFO:  analyzing "public.themes" 
 INFO:  "themes": scanned 1 of 1 pages, containing 5 live rows and 0 dead rows; 5 rows in sample, 5 estimated total rows 
 INFO:  analyzing "public.threads" 
 INFO:  "threads": scanned 126 of 126 pages, containing 9357 live rows and 1 dead rows; 3000 rows in sample, 9357 estimated total rows 
 INFO:  analyzing "public.comments" 
 INFO:  "comments": scanned 3000 of 12322 pages, containing 26386 live rows and 23 dead rows; 3000 rows in sample, 108376 estimated total rows 
 INFO:  analyzing "public.subsections" 
 INFO:  "subsections": scanned 3 of 3 pages, containing 56 live rows and 0 dead rows; 56 rows in sample, 56 estimated total rows 
 INFO:  analyzing "public.users" 
 INFO:  "users": scanned 31 of 31 pages, containing 461 live rows and 130 dead rows; 461 rows in sample, 461 estimated total rows 
 ANALYZE


]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108843 https://rulinux.net/message.php?newsid=34798&page=1#108843 Tue, 04 Oct 2011 12:10:52 +0400 analyze сотвори уже

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108841 https://rulinux.net/message.php?newsid=34798&page=1#108841 Tue, 04 Oct 2011 11:58:08 +0400 >или t.cid - это не стартовое сообщение
Стартовое. Это запрос с главной. Но все равно медленно выполняется. <!--Страница сгенерировалась за 4.626793 сек.-->

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108839 https://rulinux.net/message.php?newsid=34798&page=1#108839 Tue, 04 Oct 2011 11:54:09 +0400 > Следовало еще вместо ON t.id = c.tid указать ON t.cid=c.id
Я думал ты последние сообщения выгребаешь для самых свежих тредов данного раздела, а не самые первые (или t.cid - это не стартовое сообщение?).

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108832 https://rulinux.net/message.php?newsid=34798&page=1#108832 Tue, 04 Oct 2011 11:35:53 +0400 Ты "id DESC" на "c.id DESC" поменял в order by?

анализ таблиц как-нибудь сказался на производительности или ты его еще не запускал?

Кстати, ты не пробовал поменять местами таблицы в INNER JOIN? Это в идеале не должно ни на что повлиять, но хрен его знает..

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108831 https://rulinux.net/message.php?newsid=34798&page=1#108831 Tue, 04 Oct 2011 11:33:13 +0400 Убрал таки цикл из WHERE

sql
SELECT t.id, t.cid, t.attached, t.prooflink, t.approved, t.approved_by, t.approve_timest, t.subsection, c.subject, c.comment, c.uid, c.timest FROM threads t INNER JOIN comments c ON t.cid = c.id WHERE t.approved=true AND t.section=1 ORDER BY t.attached <>true ASC, t.id DESC LIMIT 10 OFFSET 0
 


Следовало еще вместо ON t.id = c.tid указать ON t.cid=c.id

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108830 https://rulinux.net/message.php?newsid=34798&page=1#108830 Tue, 04 Oct 2011 11:17:44 +0400 >Ну не нужен тебе этот луп во where :)
Без него результат становится совсем другим.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108826 https://rulinux.net/message.php?newsid=34798&page=1#108826 Tue, 04 Oct 2011 10:45:07 +0400 Ну не нужен тебе этот луп во where :) Проверь функциональность запроса без него и устраняй причину тормозов.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108824 https://rulinux.net/message.php?newsid=34798&page=1#108824 Tue, 04 Oct 2011 10:39:09 +0400 Заменил запрос

sql
SELECT t.id, t.cid, t.attached, t.prooflink, t.approved, t.approved_by, t.approve_timest, t.subsection, c.subject, c.comment, c.uid, c.timest FROM threads t INNER JOIN comments c ON t.id = c.tid WHERE t.approved=true AND c.id IN (SELECT cid FROM threads WHERE t.section=1) ORDER BY t.attached <>true ASC, id DESC LIMIT 10 OFFSET 0
 


на

sql
SELECT t.id, t.cid, t.attached, t.prooflink, t.approved, t.approved_by, t.approve_timest, t.subsection, c.subject, c.comment, c.uid, c.timest FROM threads t INNER JOIN comments c ON t.id = c.tid WHERE t.approved=true AND EXISTS (SELECT cid FROM threads WHERE t.section=1 AND cid=c.id)  ORDER BY t.attached <>true ASC, id DESC LIMIT 10 OFFSET 0;
 


и постгрес в 2 раза быстрее выдал результат.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108821 https://rulinux.net/message.php?newsid=34798&page=1#108821 Tue, 04 Oct 2011 10:12:21 +0400 > Время выполнения: 38,010.538 мсек
Ничего страшного. Запрос лупает сперва по сообщениям, которых в базе намного больше и выдёргивает для них треды. Ты убрал ограничение - стало больше по чему лупать - в памяти это немного дольше, но если бы дело дошло до подкачек тредов с диска, то наоборот - намного быстрее.

Сделай analyze таблицам, может до него дойдёт что лучше начать с тредов. <i>Поправка, подумал тут и решил что он скорее всего лупает как раз по тредам, на каждый сканируя базу сообщений, но не суть - рекоммендации остаются в силе</i>

comments.tid я бы индексом сделал

Есть возможность как-то дополнительно ограничить рабор данных просматриваемый в comments? Например если ты будешь фильтровать запрос по timest чтобы выдернуть записи за последний месяц - никто и не и не заметит разницы ведь?

Разница с другими окружениями - возможно у тебя там база комментов намного меньше?

Для сравнения запросов на разных серверах используй EXPLAIN ANALYZE

По функциональности запроса - после исправления ORDER BY он выдаёт то, что ты хотел?



]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108817 https://rulinux.net/message.php?newsid=34798&page=1#108817 Tue, 04 Oct 2011 09:48:23 +0400 > Угу. Хавает 100%, вот только не пойму почему. На локалхосте не отжирает. Правда у меня на локалке версия 9.0, а на серве 8.3
Если диска он не ждёт, значит роется в кеше. Да и план запроса мог поменяться в зависимости от версии и внешних условий.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108816 https://rulinux.net/message.php?newsid=34798&page=1#108816 Tue, 04 Oct 2011 09:47:24 +0400 >По скорости исполнения изменилось чо?
Время выполнения: 38,010.538 мсек

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108815 https://rulinux.net/message.php?newsid=34798&page=1#108815 Tue, 04 Oct 2011 09:43:40 +0400 > Я даже засомневался слегка, что даже открыл phppgadmin и проверил. Нет результаты не те.
Я думаю это потому, что они упорядочиваются не так, как ты предполагаешь. в выражении "id DESC" явно укажи таблицу на чей ид он должен ориентироваться: "c.id DESC"

По скорости исполнения изменилось чо?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108814 https://rulinux.net/message.php?newsid=34798&page=1#108814 Tue, 04 Oct 2011 09:40:38 +0400 >PostgreSQL так медленно отдает результаты запросов.
Он, наверное, по-дефолту настроен. Там у него какая-то странная конфигурация.

А может проще сделать кэш? Есть memcached какой-нибудь на сервере? Ну или, на крайний случай, что-нибудь на файлах соорудить?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108813 https://rulinux.net/message.php?newsid=34798&page=1#108813 Tue, 04 Oct 2011 09:37:42 +0400 Угу. Хавает 100%, вот только не пойму почему. На локалхосте не отжирает. Правда у меня на локалке версия 9.0, а на серве 8.3

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108810 https://rulinux.net/message.php?newsid=34798&page=1#108810 Tue, 04 Oct 2011 09:32:08 +0400 >"AND t.section=1" разве не отфильтрует только то, что тебе нужно?
Я даже засомневался слегка, что даже открыл phppgadmin и проверил. Нет результаты не те.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108809 https://rulinux.net/message.php?newsid=34798&page=1#108809 Tue, 04 Oct 2011 09:27:40 +0400 > 0.0%wa
Хм, значит постгрес жрёт 100% проца? Что там вообще кажет top?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108808 https://rulinux.net/message.php?newsid=34798&page=1#108808 Tue, 04 Oct 2011 09:25:29 +0400 > Так как ты предлагаешь выводятся все последние сообщения, а не только последние новости
"AND t.section=1" разве не отфильтрует только то, что тебе нужно?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108807 https://rulinux.net/message.php?newsid=34798&page=1#108807 Tue, 04 Oct 2011 09:21:17 +0400 >top в это время небось показывает приличный %wa?
0.0%wa

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108805 https://rulinux.net/message.php?newsid=34798&page=1#108805 Tue, 04 Oct 2011 09:17:21 +0400 Да изменится. Так как ты предлагаешь выводятся все последние сообщения, а не только последние новости. Тут не в запросе дело. Запрос вполне корректный. К тому-же на rulinux.dyndns.org и на локалхосте у меня он обрабатывается быстро.

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108804 https://rulinux.net/message.php?newsid=34798&page=1#108804 Tue, 04 Oct 2011 09:13:05 +0400 > выдает
> 10 запис(ь/и/ей)
> Время выполнения: 27,272.181 мсек
> SQL-запрос выполнен.
top в это время небось показывает приличный %wa?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108803 https://rulinux.net/message.php?newsid=34798&page=1#108803 Tue, 04 Oct 2011 09:08:42 +0400 Чота я недопонял, если "AND c.id IN (SELECT cid FROM threads WHERE t.section=1)" заменить на "AND t.section=1" - что нибудь в логике изменится?

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108801 https://rulinux.net/message.php?newsid=34798&page=1#108801 Tue, 04 Oct 2011 09:07:15 +0400 ясно.... не знаю что там с постгрисом, понятия даже не имею

]]> Re:а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108797 https://rulinux.net/message.php?newsid=34798&page=1#108797 Tue, 04 Oct 2011 08:54:14 +0400 Нет не кирдык. Я их еще просто не переносил. Как только разберусь с тормозами, так сразу и перенесу. Кстати причину тормозов я нашел. PostgreSQL так медленно отдает результаты запросов. Например на запрос

sql
SELECT t.id, t.cid, t.attached, t.prooflink, t.approved, t.approved_by, t.approve_timest, t.subsection, c.subject, c.comment, c.uid, c.timest FROM threads t INNER JOIN comments c ON t.id = c.tid WHERE t.approved=true AND c.id IN (SELECT cid FROM threads WHERE t.section=1) ORDER BY t.attached <>true ASC, id DESC LIMIT 10 OFFSET 0
 


выдает

10 запис(ь/и/ей)
Время выполнения: 27,272.181 мсек
SQL-запрос выполнен.

Буду ковырять дальше.

]]> а статьям всё, кирдык? https://rulinux.net/message.php?newsid=34798&page=1#108795 https://rulinux.net/message.php?newsid=34798&page=1#108795 Tue, 04 Oct 2011 08:45:15 +0400 а то у меня бекапов то нету! =(

]]>