rulinux.net - Форум - Rulinux.net - Ну так чо там с апгрейдом постгреса?

Re:Ну так чо там с апгрейдом постгреса?

Sat, 22 Oct 2011 15:48:43 +0400

А сколько он реально потребляет-то сейчас, в пиковое время?

Re:Ну так чо там с апгрейдом постгреса?

Tue, 11 Oct 2011 14:23:40 +0400

>>Ах-да на серваке 2 ксеона и гиг оперативы.
Вообще-то, оперативы 2 гига. Но могу добавить, если есть необходимость. CPU тоже до 8 штук могу сделать. Ну и учитывай, что 100% CPU - это показатель конкретного CPU, а не суммарно.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:46:21 +0400

> это что, мы за это время написали 150 мегов текста? )))
Нет, в дампе 100К сообщений, всего пользователями набито 30 миллионов букв:

text



long_temp=# select count(1), sum(char_length(subject)+char_length(raw_comment)) from comments;



 count  |   sum

--------+----------

 108442 | 31208523

(1 row)

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:30:06 +0400

> Если верно влияние секунд в запросах на кэш, то надо их убрать и на трекере.
Не, потестировал локально - не увидел разницы. Флуктуации в производительности одного и того же запроса от запуска к запуску выше чем разница средних значений между запросами с секундами и без.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:26:33 +0400

Подтверждаю! Оптимизация делает своё дело.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:22:31 +0400

НИХУЯ СЕБЕ! у меня галлюцинации, или рулинукс в самом деле стал работать с приемлимой скоростью?

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:18:56 +0400

> без индекса
> с индексом
56 мсек - хорошая разница, оставляй индекс.

> Они полюбомы не были вытащены ибо эти данные тянутся к списку тредов. А он уникален.
Это правильный подход

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:15:00 +0400

> Вообще сейчас дамп базы составляет 150 метров

это что, мы за это время написали 150 мегов текста? )))

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:11:34 +0400

> Тоже верно. Правда остаётся трекер, который только по timest-у и ищет.
Кстати да. Хоть это и однократный запрос на страницу, но со временем тоже начнёт привносить тормоза. Тут можно извратиться и ограничить поиск по мессажам, принадлежащим только тем тредам, которые менялись в течение заданного периода.

Вообще сейчас дамп базы составляет 150 метров и она должна бы помещаться в файловый кеш вся вместе со всеми индексами, так что большой разницы мы не заметим ни так ни так ни этак, а вот когда оно разрастётся раза в четыре - там уже будет интересно. Надеюсь к тому времени уже кеширование будет реализовано.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 11:11:02 +0400

>А какова получилась разница с индексом по timest и без него?
без индекса

с индексом

>Ещё вопрос - по старому коду мне показалось ты вызываешь эти запросы для каждого мессажа, попавшего в выблоку, безотносительно того, не были ли те же данные уже вытащены из базы для одного из предыдухи сообщений.. Это так?
Они полюбомы не были вытащены ибо эти данные тянутся к списку тредов. А он уникален. Один и тот-же тред в списке не встречается более одного раза.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:59:57 +0400

Как это нет? Целых 6 миллисекунд! И это на выборке за 3 часа небось? А если кто за больший период смотрит?

А какова получилась разница с индексом по timest и без него?

Ещё вопрос - по старому коду мне показалось ты вызываешь эти запросы для каждого мессажа, попавшего в выблоку, безотносительно того, не были ли те же данные уже вытащены из базы для одного из предыдухи сообщений.. Это так?

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:58:32 +0400

>Лучше ограничиться tid пока: на каждый тред приходится не так уж много каментов и дополнительно их индексировать ни к чему.
Тоже верно. Правда остаётся трекер, который только по timest-у и ищет.

Если верно влияние секунд в запросах на кэш, то надо их убрать и на трекере.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:44:36 +0400

>слей всё в один запрос, посмотри разницу, обрежь секунды - снова посмотри.
как было

заменил

Разницы почти нет.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:30:38 +0400

Попробуй теперь убей индекс на timest, убедись что разница ничтожна, потом остальное реализуй тоже: слей всё в один запрос, посмотри разницу, обрежь секунды - снова посмотри.

У тебя ведь эта группа запросов выполняется многократно, так что каждая сэкономленная миллисекунда даст 10-50 сэкономленных миллисекунд на страницу.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:27:05 +0400

> Мне кажется, что тебе надо сделать индексы по timest и tid.
Лучше ограничиться tid пока: на каждый тред приходится не так уж много каментов и дополнительно их индексировать ни к чему. А памяти на хосте не вагон - в результате эти индексы со временем перестанут помещаться в системном кеше и из-за лишних индексов, те индексы что действительно необходимы могут оказаться сброшены и за ними придётся ходить на диск.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:26:46 +0400

Создал индексы на внешние ключи и на timest и tid. Отпустило.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:19:06 +0400

Фантастика какая-то. И именно в этом порядке?

Попробуй заменить эти три запроса одним (запуск запроса тоже стоит времени сам по себе):

sql



SELECT count(1) AS cnt_all, 

       sum(CASE WHEN timest > '2011-10-05 07:37' THEN 1 ELSE 0 END) AS cnt_24h,

       sum(CASE WHEN timest > '2011-10-06 06:37' THEN 1 ELSE 0 END) AS cnt_1h

FROM comments WHERE tid ='34799'

Обрати внимание, я ещё секунды из даты убрал. Не знаю осмысленно ли это в случае с постгресом, судя по докам он не должен перепаршивать запросы при изменении параметров, но возможно это позволит ему брать данные прямо из его кеша (от предыдущего такого же запроса) в течение той же минуты. Может есть смысл попробовать и так и так для сравнения.. По функционалу небольшая неточность не должна быть фатальной.

Так же проиндексируй каменты по TID. У тебя выборка каментов обычно идёт в привязке к треду, поэтому такой индекс будет много где полезен, к тому же он обладает хорошей селективностью. Если сейчас РДБМС не имеет никакого представления о каментах и делает фулл-скан по таблице (т.е. перебирает все записи в поисках ну максимум 100 каментов с данным tid, то при наличии индекса объём данных которые ей надо просмотреть уменьшится на порядки).

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 10:03:11 +0400

>Думаю теперь чем заменить эти 3 запроса.
Мне кажется, что тебе надо сделать индексы по timest и tid. Обе эти колонки довольно активно используются в запросах (особенно tid).

Я проверил на глаз, на паре запросов, время заметно уменьшилось.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 08:14:23 +0400

>это флуктуация или разница от раза к разу такая?
От раза к разу.

>А для чего тебе эти запросы?
Это число ответов всего/день/час в списке тредов. http://rulinux.net/forum_10_page_1

>Если считаешь сообщения после какого-то заданного, то лучше ориентироваться на ИДы, они в индексе сидят.
Тогда придется усложнять запрос еще одной агрегирующей функцией что только замедлит его.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 08:01:47 +0400

Второй и третий запросы практически одинаковы, а третий исполнялся втрое дольше - это флуктуация или разница от раза к разу такая?

А для чего тебе эти запросы? Если считаешь сообщения после какого-то заданного, то лучше ориентироваться на ИДы, они в индексе сидят.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 07:39:06 +0400

Думаю теперь чем заменить эти 3 запроса.

Re:Ну так чо там с апгрейдом постгреса?

Thu, 06 Oct 2011 07:36:10 +0400

Заменил запрос

sql



SELECT t.id, t.attached, c.subject, c.changing_timest, c.timest FROM threads t INNER JOIN (SELECT tm.tid, tm.subject, tm.timest, max(ch.changing_timest) AS changing_timest FROM comments ch INNER JOIN (SELECT tid, timest, subject FROM comments WHERE timest IN (SELECT min(timest) FROM comments WHERE tid IN (SELECT id FROM threads WHERE section='4' AND subsection='10')  GROUP BY tid)) tm ON ch.tid = tm.tid WHERE ch.tid IN (SELECT id FROM threads WHERE section='4' AND subsection='10')  GROUP BY ch.tid, tm.timest, tm.subject, tm.tid) c ON t.id = c.tid WHERE t.section ='4' AND t.subsection = '10' ORDER BY t.attached <>true ASC, c.timest DESC LIMIT 30 OFFSET 0

на

sql



SELECT t.id, t.attached, c.subject, t.changing_timest, t.timest, c.uid FROM threads t INNER JOIN comments c ON t.cid = c.id WHERE t.section ='4' AND t.subsection = '10' ORDER BY t.attached <>true ASC, c.timest DESC LIMIT 30 OFFSET 0

и триггер

sql



CREATE OR REPLACE FUNCTION "THREAD_CH_TIMEST_UPDATE"()

  RETURNS TRIGGER AS

$BODY$

DECLARE

ch_timest timestamp without time zone = NEW.changing_timest;

tid INTEGER = NEW.tid;

BEGIN

IF EXISTS (SELECT * FROM threads WHERE id = tid)

THEN

UPDATE threads SET changing_timest = ch_timest WHERE id = tid;

END IF;

RETURN NEW;

END

$BODY$

LANGUAGE 'plpgsql' VOLATILE;



CREATE TRIGGER "THREAD_CH_TIMEST_UPDATE_TRIGGER"

BEFORE INSERT OR UPDATE

ON comments

FOR EACH ROW

EXECUTE PROCEDURE "THREAD_CH_TIMEST_UPDATE"();

и время генерации странички со списком тредов сократилось в 2 раза.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 19:39:41 +0400

... хотя на своей машине не вижу никакого улучшения производительности от задания большего кеша, да и shared_buffers не хочет подниматься выше 27Мб..

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 17:54:02 +0400

Вобщем посмотрел настройки - практически всё тоже что и у меня по дефолту..

Но:

1. shared_buffers=24MB - это в мане советуют выставить в 25% оперативки, но в каком-то референсе по тьюнингу вычитал что увлекаться не стоит и лучше поставить поменьше, например 64MB, и полагаться на кеш, см.ниже:

2. effective_cache_size=128MB - этот параметр советуют выставить в честное значение, обозначающее количество памяти доступной для файлового кеша ОС. Если для твоей домашней машины такое значение более-менее честно, то тут я думаю полгига где-то надо выставить. Ибо "PostgreSQL counts a lot on the OS to cache data files and hence does not bother with duplicating its file caching effort. The shared buffers parameter assumes that OS is going to cache a lot of files and hence it is generally very low compared with system RAM."

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 17:30:59 +0400

Делал полностью REINDEX DATABASE не помогло.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 16:39:51 +0400

Если в CPU тогда мож где не прописал индексы и оно скатилось до линейного поиска?

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 13:25:46 +0400

Алсо, воткнул глобальный счётчик времени запросов в движок, убедился, что почти 90% времени таки занимают запросы, и пхп совсем не виноват. Если, конечно, с кодом не ошибся.

Вообще там есть простор для денормализации, например для того же самого количества сообщений. Ведь запись тут намного реже чтения, а значит лучше один раз при записи увеличивать счётчик, а не считать его при каждом выводе.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 13:20:02 +0400

>Кстати там я наткнулся на такой ужаснейший запрос с 2 иннер джойнами и вложенными подзапросами аж 4 уровня выполняющийся больше секунды.
Жуть. У меня на 9.1 оно аж 2,5 сек отрабатывает. Попробовал 8.3 на lenny с сильно загруженным процом - около 3 сек, может оптимизатор со временем урежет. А вообще, конечно, надо на explain смотреть, но я в этом не силён.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 13:18:42 +0400

угу. Абсолютно такой-же. Я его уже заменил. Но сам запрос меня сейчас позабавил. Походу я его по пьяни писал.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 13:13:01 +0400

Этот похож на то, что рассматривали вчера.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 13:10:01 +0400

У меня 9.0.4, а сайт сегодня скачать и поставить наверное не смогу.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 13:07:33 +0400

Кстати там я наткнулся на такой ужаснейший запрос с 2 иннер джойнами и вложенными подзапросами аж 4 уровня выполняющийся больше секунды.

sql



SELECT t.id, t.attached, c.subject, c.changing_timest, c.timest FROM threads t INNER JOIN (SELECT tm.tid, tm.subject, tm.timest, max(ch.changing_timest) AS changing_timest FROM comments ch INNER JOIN (SELECT tid, timest, subject FROM comments WHERE timest IN (SELECT min(timest) FROM comments WHERE tid IN (SELECT id FROM threads WHERE section='4' AND subsection='10')  GROUP BY tid)) tm ON ch.tid = tm.tid WHERE ch.tid IN (SELECT id FROM threads WHERE section='4' AND subsection='10')  GROUP BY ch.tid, tm.timest, tm.subject, tm.tid) c ON t.id = c.tid WHERE t.section ='4' AND t.subsection = '10' ORDER BY t.attached <>true ASC, c.timest DESC LIMIT 30 OFFSET 0

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:45:46 +0400

Ох ты ж. Список сообщений в толксах:

Страница сгенерировалась за 8.81644 сек

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:43:52 +0400

Ну и у меня на локалке главная за секунду генерится.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:35:50 +0400

> Да, и я не верю что разница в производительности в 200 раз связана с версией СУБД :) Этого просто не может быть.
может. Блокировки и оптимизатор. Собственно за это ынтырпрайзу бабло и плотят, за умение написать оптимизированный запрос. Не тестируйте скорость на одном запросе, это бессмысленно. Надо сделать хотя бы десяток одновременно и смотреть тогда. Алсо иннер джоины и вложеные запросы суксь.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:30:55 +0400

>Ты там вроде на каждый запрос ещё делаешь "UPDATE users SET last_visit" - он не тормозит на анонимусах?
Не делаю. last_visit обновляется при загрузке страницы. А тормозят именно запросы к таблице comments

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:27:10 +0400

>Ну чо, втянул базу..
Почти такие же цифры, постгрес 9.1.1. Главная генерится за ~1 сек, список форумов - за 1,5 сек.

Попозже доберусь до постгреса 8.3 и 8.4.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:21:46 +0400

У меня он 50 мсек дает.. Чему там набигать, если у тебя запросов штук десять на страницу, не больше.

Ты там вроде на каждый запрос ещё делаешь "UPDATE users SET last_visit" - он не тормозит на анонимусах?

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:21:08 +0400

text



# -----------------------------

# PostgreSQL configuration file

# -----------------------------

#

# This file consists of lines of the form:

#

#   name = value

#

# (The "=" is optional.)  Whitespace may be used.  Comments are introduced with

# "#" anywhere on a line.  The complete list of parameter names and allowed

# values can be found in the PostgreSQL documentation.

#

# The commented-out settings shown in this file represent the default values.

# Re-commenting a setting is NOT sufficient to revert it to the default value;

# you need to reload the server.

#

# This file is read on server startup and when the server receives a SIGHUP

# signal.  If you edit the file on a running system, you have to SIGHUP the

# server for the changes to take effect, or use "pg_ctl reload".  Some

# parameters, which are marked below, require a server shutdown and restart to

# take effect.

#

# Any parameter can also be given as a command-line option to the server, e.g.,

# "postgres -c log_connections=on".  Some paramters can be changed at run time

# with the "SET" SQL command.

#

# Memory units:  kB = kilobytes MB = megabytes GB = gigabytes

# Time units:    ms = milliseconds s = seconds min = minutes h = hours d = days





#------------------------------------------------------------------------------

# FILE LOCATIONS

#------------------------------------------------------------------------------



# The default values of these variables are driven from the -D command-line

# option or PGDATA environment variable, represented here as ConfigDir.



data_directory = '/var/lib/postgresql/8.3/main'         # use data in another directory

                                        # (change requires restart)

hba_file = '/etc/postgresql/8.3/main/pg_hba.conf'       # host-based authentication file

                                        # (change requires restart)

ident_file = '/etc/postgresql/8.3/main/pg_ident.conf'   # ident configuration file

                                        # (change requires restart)



# If external_pid_file is not explicitly set, no extra PID file is written.

external_pid_file = '/var/run/postgresql/8.3-main.pid'          # write an extra PID file

                                        # (change requires restart)





#------------------------------------------------------------------------------

# CONNECTIONS AND AUTHENTICATION

#------------------------------------------------------------------------------



# - Connection Settings -



#listen_addresses = 'localhost'         # what IP address(es) to listen on;

                                        # comma-separated list of addresses;

                                        # defaults to 'localhost', '*' = all

                                        # (change requires restart)

port = 5432                             # (change requires restart)

max_connections = 120                   # (change requires restart)

# Note:  Increasing max_connections costs ~400 bytes of shared memory per 

# connection slot, plus lock space (see max_locks_per_transaction).  You might

# also need to raise shared_buffers to support more connections.

#superuser_reserved_connections = 3     # (change requires restart)

unix_socket_directory = '/var/run/postgresql'           # (change requires restart)

#unix_socket_group = ''                 # (change requires restart)

#unix_socket_permissions = 0777         # begin with 0 to use octal notation

                                        # (change requires restart)

#bonjour_name = ''                      # defaults to the computer name

                                        # (change requires restart)



# - Security and Authentication -



#authentication_timeout = 1min          # 1s-600s

ssl = true                              # (change requires restart)

#ssl_ciphers = 'ALL:!ADH:!LOW:!EXP:!MD5:@STRENGTH'      # allowed SSL ciphers

                                        # (change requires restart)

#ssl_renegotiation_limit = 512MB        # amount of data between renegotiations

#password_encryption = on

#db_user_namespace = off



# Kerberos and GSSAPI

#krb_server_keyfile = ''                # (change requires restart)

#krb_srvname = 'postgres'               # (change requires restart, Kerberos only)

#krb_server_hostname = ''               # empty string matches any keytab entry

                                        # (change requires restart, Kerberos only)

#krb_caseins_users = off                # (change requires restart)

#krb_realm = ''                         # (change requires restart)



# - TCP Keepalives -

# see "man 7 tcp" for details



#tcp_keepalives_idle = 0                # TCP_KEEPIDLE, in seconds;

                                        # 0 selects the system default

#tcp_keepalives_interval = 0            # TCP_KEEPINTVL, in seconds;

                                        # 0 selects the system default

#tcp_keepalives_count = 0               # TCP_KEEPCNT;

                                        # 0 selects the system default





#------------------------------------------------------------------------------

# RESOURCE USAGE (except WAL)

#------------------------------------------------------------------------------



# - Memory -



shared_buffers = 24MB                   # min 128kB or max_connections*16kB

                                        # (change requires restart)

temp_buffers = 8MB                      # min 800kB

#max_prepared_transactions = 5          # can be 0 or more

                                        # (change requires restart)

# Note:  Increasing max_prepared_transactions costs ~600 bytes of shared memory

# per transaction slot, plus lock space (see max_locks_per_transaction).

work_mem = 256MB                                # min 64kB

maintenance_work_mem = 8MB              # min 1MB

max_stack_depth = 2MB                   # min 100kB



# - Free Space Map -



max_fsm_pages = 153600                  # min max_fsm_relations*16, 6 bytes each

                                        # (change requires restart)

#max_fsm_relations = 1000               # min 100, ~70 bytes each

                                        # (change requires restart)



# - Kernel Resource Usage -



#max_files_per_process = 1000           # min 25

                                        # (change requires restart)

#shared_preload_libraries = ''          # (change requires restart)



# - Cost-Based Vacuum Delay -



#vacuum_cost_delay = 0                  # 0-1000 milliseconds

#vacuum_cost_page_hit = 1               # 0-10000 credits

#vacuum_cost_page_miss = 10             # 0-10000 credits

#vacuum_cost_page_dirty = 20            # 0-10000 credits

#vacuum_cost_limit = 200                # 1-10000 credits



# - Background Writer -



#bgwriter_delay = 200ms                 # 10-10000ms between rounds

#bgwriter_lru_maxpages = 100            # 0-1000 max buffers written/round

#bgwriter_lru_multiplier = 2.0          # 0-10.0 multipler on buffers scanned/round





#------------------------------------------------------------------------------

# WRITE AHEAD LOG

#------------------------------------------------------------------------------



# - Settings -



#fsync = on                             # turns forced synchronization on or off

#synchronous_commit = on                # immediate fsync at commit

#wal_sync_method = fsync                # the default is the first option 

                                        # supported by the operating system:

                                        #   open_datasync

                                        #   fdatasync

                                        #   fsync

                                        #   fsync_writethrough

                                        #   open_sync

#full_page_writes = on                  # recover from partial page writes

#wal_buffers = 64kB                     # min 32kB

                                        # (change requires restart)

#wal_writer_delay = 200ms               # 1-10000 milliseconds



#commit_delay = 0                       # range 0-100000, in microseconds

#commit_siblings = 5                    # range 1-1000



# - Checkpoints -



#checkpoint_segments = 3                # in logfile segments, min 1, 16MB each

#checkpoint_timeout = 5min              # range 30s-1h

#checkpoint_completion_target = 0.5     # checkpoint target duration, 0.0 - 1.0

#checkpoint_warning = 30s               # 0 is off



# - Archiving -



#archive_mode = off             # allows archiving to be done

                                # (change requires restart)

#archive_command = ''           # command to use to archive a logfile segment

#archive_timeout = 0            # force a logfile segment switch after this

                                # time; 0 is off





#------------------------------------------------------------------------------

# QUERY TUNING

#------------------------------------------------------------------------------



# - Planner Method Configuration -



enable_bitmapscan = on

enable_hashagg = on

enable_hashjoin = on

enable_indexscan = on

enable_mergejoin = on

enable_nestloop = on

enable_seqscan = on

enable_sort = on

enable_tidscan = on



# - Planner Cost Constants -



#seq_page_cost = 1.0                    # measured on an arbitrary scale

#random_page_cost = 4.0                 # same scale as above

cpu_tuple_cost = 0.01                   # same scale as above

cpu_index_tuple_cost = 0.005            # same scale as above

cpu_operator_cost = 0.0025              # same scale as above

effective_cache_size = 128MB



# - Genetic Query Optimizer -



#geqo = on

#geqo_threshold = 12

#geqo_effort = 5                        # range 1-10

#geqo_pool_size = 0                     # selects default based on effort

#geqo_generations = 0                   # selects default based on effort

#geqo_selection_bias = 2.0              # range 1.5-2.0



# - Other Planner Options -



#default_statistics_target = 10         # range 1-1000

#constraint_exclusion = off

#from_collapse_limit = 8

#join_collapse_limit = 8                # 1 disables collapsing of explicit 

                                        # JOIN clauses





#------------------------------------------------------------------------------

# ERROR REPORTING AND LOGGING

#------------------------------------------------------------------------------



# - Where to Log -



#log_destination = 'stderr'             # Valid values are combinations of

                                        # stderr, csvlog, syslog and eventlog,

                                        # depending on platform.  csvlog

                                        # requires logging_collector to be on.



# This is used when logging to stderr:

#logging_collector = off                # Enable capturing of stderr and csvlog

                                        # into log files. Required to be on for

                                        # csvlogs.

                                        # (change requires restart)



# These are only used if logging_collector is on:

#log_directory = 'pg_log'               # directory where log files are written,

                                        # can be absolute or relative to PGDATA

#log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'        # log file name pattern,

                                        # can include strftime() escapes

#log_truncate_on_rotation = off         # If on, an existing log file of the

                                        # same name as the new log file will be

                                        # truncated rather than appended to.

                                        # But such truncation only occurs on

                                        # time-driven rotation, not on restarts

                                        # or size-driven rotation.  Default is

                                        # off, meaning append to existing files

                                        # in all cases.

#log_rotation_age = 1d                  # Automatic rotation of logfiles will

                                        # happen after that time.  0 to disable.

#log_rotation_size = 10MB               # Automatic rotation of logfiles will 

                                        # happen after that much log output.

                                        # 0 to disable.



# These are relevant when logging to syslog:

#syslog_facility = 'LOCAL0'

#syslog_ident = 'postgres'





# - When to Log -



#client_min_messages = notice           # values in order of decreasing detail:

                                        #   debug5

                                        #   debug4

                                        #   debug3

                                        #   debug2

                                        #   debug1

                                        #   log

                                        #   notice

                                        #   warning

                                        #   error



#log_min_messages = notice              # values in order of decreasing detail:

                                        #   debug5

                                        #   debug4

                                        #   debug3

                                        #   debug2

                                        #   debug1

                                        #   info

                                        #   notice

                                        #   warning

                                        #   error

                                        #   log

                                        #   fatal

                                        #   panic



#log_error_verbosity = default          # terse, default, or verbose messages



#log_min_error_statement = error        # values in order of decreasing detail:

                                        #   debug5

                                        #   debug4

                                        #   debug3

                                        #   debug2

                                        #   debug1

                                        #   info

                                        #   notice

                                        #   warning

                                        #   error

                                        #   log

                                        #   fatal

                                        #   panic (effectively off)



#log_min_duration_statement = -1        # -1 is disabled, 0 logs all statements

                                        # and their durations, > 0 logs only

                                        # statements running at least this time.



#silent_mode = off                      # DO NOT USE without syslog or

                                        # logging_collector

                                        # (change requires restart)



# - What to Log -



#debug_print_parse = off

#debug_print_rewritten = off

#debug_print_plan = off

#debug_pretty_print = off

#log_checkpoints = off

#log_connections = off

#log_disconnections = off

#log_duration = off

#log_hostname = off

log_line_prefix = '%t '                 # special values:

                                        #   %u = user name

                                        #   %d = database name

                                        #   %r = remote host and port

                                        #   %h = remote host

                                        #   %p = process ID

                                        #   %t = timestamp without milliseconds

                                        #   %m = timestamp with milliseconds

                                        #   %i = command tag

                                        #   %c = session ID

                                        #   %l = session line number

                                        #   %s = session start timestamp

                                        #   %v = virtual transaction ID

                                        #   %x = transaction ID (0 if none)

                                        #   %q = stop here in non-session

                                        #        processes

                                        #   %% = '%'

                                        # e.g. '<%u%%%d> '

#log_lock_waits = off                   # log lock waits >= deadlock_timeout

#log_statement = 'none'                 # none, ddl, mod, all

#log_temp_files = -1                    # log temporary files equal or larger

                                        # than specified size;

                                        # -1 disables, 0 logs all temp files

#log_timezone = unknown                 # actually, defaults to TZ environment

                                        # setting





#------------------------------------------------------------------------------

# RUNTIME STATISTICS

#------------------------------------------------------------------------------



# - Query/Index Statistics Collector -



#track_activities = on

#track_counts = on

#update_process_title = on





# - Statistics Monitoring -



#log_parser_stats = off

#log_planner_stats = off

#log_executor_stats = off

#log_statement_stats = off





#------------------------------------------------------------------------------

# AUTOVACUUM PARAMETERS

#------------------------------------------------------------------------------



#autovacuum = on                        # Enable autovacuum subprocess?  'on' 

                                        # requires track_counts to also be on.

#log_autovacuum_min_duration = -1       # -1 disables, 0 logs all actions and

                                        # their durations, > 0 logs only

                                        # actions running at least that time.

#autovacuum_max_workers = 3             # max number of autovacuum subprocesses

#autovacuum_naptime = 1min              # time between autovacuum runs

#autovacuum_vacuum_threshold = 50       # min number of row updates before

                                        # vacuum

#autovacuum_analyze_threshold = 50      # min number of row updates before 

                                        # analyze

#autovacuum_vacuum_scale_factor = 0.2   # fraction of table size before vacuum

#autovacuum_analyze_scale_factor = 0.1  # fraction of table size before analyze

#autovacuum_freeze_max_age = 200000000  # maximum XID age before forced vacuum

                                        # (change requires restart)

#autovacuum_vacuum_cost_delay = 20      # default vacuum cost delay for

                                        # autovacuum, -1 means use

                                        # vacuum_cost_delay

#autovacuum_vacuum_cost_limit = -1      # default vacuum cost limit for

                                        # autovacuum, -1 means use

                                        # vacuum_cost_limit





#------------------------------------------------------------------------------

# CLIENT CONNECTION DEFAULTS

#------------------------------------------------------------------------------



# - Statement Behavior -



#search_path = '"$user",public'         # schema names

#default_tablespace = ''                # a tablespace name, '' uses the default

#temp_tablespaces = ''                  # a list of tablespace names, '' uses

                                        # only default tablespace

#check_function_bodies = on

#default_transaction_isolation = 'read committed'

#default_transaction_read_only = off

#session_replication_role = 'origin'

#statement_timeout = 0                  # 0 is disabled

#vacuum_freeze_min_age = 100000000

#xmlbinary = 'base64'

#xmloption = 'content'



# - Locale and Formatting -



datestyle = 'iso, mdy'

#timezone = unknown                     # actually, defaults to TZ environment

                                        # setting

#timezone_abbreviations = 'Default'     # Select the set of available time zone

                                        # abbreviations.  Currently, there are

                                        #   Default

                                        #   Australia

                                        #   India

                                        # You can create your own file in

                                        # share/timezonesets/.

#extra_float_digits = 0                 # min -15, max 2

#client_encoding = sql_ascii            # actually, defaults to database

                                        # encoding



# These settings are initialized by initdb, but they can be changed.

lc_messages = 'C'                       # locale for system error message

                                        # strings

lc_monetary = 'C'                       # locale for monetary formatting

lc_numeric = 'C'                        # locale for number formatting

lc_time = 'C'                           # locale for time formatting



# default configuration for text search

default_text_search_config = 'pg_catalog.english'



# - Other Defaults -



#explain_pretty_print = on

#dynamic_library_path = '$libdir'

#local_preload_libraries = ''





#------------------------------------------------------------------------------

# LOCK MANAGEMENT

#------------------------------------------------------------------------------



#deadlock_timeout = 1s

#max_locks_per_transaction = 64         # min 10

                                        # (change requires restart)

# Note:  Each lock table slot uses ~270 bytes of shared memory, and there are

# max_locks_per_transaction * (max_connections + max_prepared_transactions)

# lock table slots.





#------------------------------------------------------------------------------

# VERSION/PLATFORM COMPATIBILITY

#------------------------------------------------------------------------------



# - Previous PostgreSQL Versions -



#add_missing_from = off

#array_nulls = on

#backslash_quote = safe_encoding        # on, off, or safe_encoding

#default_with_oids = off

#escape_string_warning = on

#regex_flavor = advanced                # advanced, extended, or basic

#sql_inheritance = on

#standard_conforming_strings = off

#synchronize_seqscans = on



# - Other Platforms and Clients -



#transform_null_equals = off





#------------------------------------------------------------------------------

# CUSTOMIZED OPTIONS

#------------------------------------------------------------------------------



#custom_variable_classes = ''           # list of custom variable class names

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 12:14:41 +0400

Да они все по мелочи притормаживают. Вот в сумме и набегает. Вот например А конфиг будет уже ближе к вечеру.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 11:41:33 +0400

Ну чо, втянул базу..

SELECT count(*) AS cnt FROM comments where tid = 34536 кушает ~50 миллисеков

SELECT ALL * FROM comments WHERE timest > '2011-10-04 12:37:53' ORDER BY timest DESC OFFSET 0 LIMIT NULL => 60 миллисеков

SELECT t.id, t.cid, t.attached, t.prooflink, t.approved, t.approved_by, t.approve_timest, t.subsection, c.subject, c.comment, c.uid, c.timest FROM threads t INNER JOIN comments c ON t.cid = c.id WHERE t.approved=true AND t.section=1 ORDER BY t.attached <>true ASC, t.id DESC LIMIT 10 OFFSET 0 => 15 миллисеков

Тюксоид, Выкладывай наверное и postgresql.conf - чтобы можно было свой конфиг портить и смотреть где затормозит. У тебя есть какие-нибудь образцово-тормозные запросы сейчас?

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 10:23:50 +0400

Much better :)

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 10:21:53 +0400

лови http://rulinux.net/dump.sql.gz

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 10:05:22 +0400

wget-нул его с домашней машины, получил какой-то мусор, похожий на ХТМЛ со вставками джаваскрипта. w3m вообще нифига не показывает по данному урлу. Чо тебе на собственном хостинге файл не выложить?

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 09:49:52 +0400

ловите ссылку на дамп http://zalil.ru/31812593

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 09:47:35 +0400

уже сменил на qwerty и noim@rulinux.net, noemail@rulinux.net. Ссылку дам как только загрузится на zalil.ru

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 09:43:20 +0400

Ну пароли сбросить - дело одного апдейта, я про остальное: насколько я понимаю у тебя раньше тебе базу расшарить мешали трудности с зачисткой айпишников и другой приватной информации и типа того?

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 09:40:28 +0400

>В новой БД они вроде и храниться-то кстати не должны, что облегчает дело.
Как это пароли не хранятся? IPшники не харнятся, а пароли хранятся ввиде md5-хешей.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 09:38:25 +0400

Нет во время выполнения запроса.

Re:Ну так чо там с апгрейдом постгреса?

Wed, 05 Oct 2011 09:27:11 +0400

> А может ты выложишь дамп БД, естественно без паролей, емейлов и im-ов? Тогда можно будет попробовать потестировать на реальных данных на разных машинах.
В новой БД они вроде и храниться-то кстати не должны, что облегчает дело.