rulinux.net - Форум - Talks - Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:37:01 +0400

> Показываю тебе, что размещение файла данный СУБД SQLite дает прирост по чтению в 4 раза, а по записи в 2 раза)))

Кто бы сомневался, кэп.

> Теперь посмотри на название темы которую ты создал и подумай. Кто дебил, ты или люди размещающие в память файлы БД.

Естественно, люди размещающие в памяти файлы БД.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:34:02 +0400

> Кстати, да, wtf?

У меня при чтении с tmpfs выдало 190 переключений контекста вместо 179 при чтении из дискового кеша, больше так особо значимой разгицы не просматривается:

< from  /opt/tmp/000.db: 0.450294017792
---
> from  /opt/tmp/tmpfs/000.db: 0.49324798584
3,4c3,4
<         User time (seconds): 1.49
<         System time (seconds): 0.20
---
>         User time (seconds): 1.51
>         System time (seconds): 0.24
6c6
<         Elapsed (wall clock) time (h:mm:ss or m:ss): 0:01.70
---
>         Elapsed (wall clock) time (h:mm:ss or m:ss): 0:01.76
11c11
<         Maximum resident set size (kbytes): 16724
---
>         Maximum resident set size (kbytes): 16728
14c14
<         Minor (reclaiming a frame) page faults: 4500
---
>         Minor (reclaiming a frame) page faults: 4501
16c16
<         Involuntary context switches: 179
---
>         Involuntary context switches: 190

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:32:49 +0400

> А можно у тебя узнать, что собственно ты тестируешь? :D
Ну ты тупой!)))

Показываю тебе, что размещение файла данный СУБД SQLite в памяти дает прирост по чтению в 4 раза, а по записи в 2 раза)))

Теперь посмотри на название темы которую ты создал и подумай. Кто дебил, ты или люди размещающие в память файлы БД.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:29:15 +0400

text



Write to ./000.db: 66.7474119663

(47897,)

Read from  ./000.db: 14.3888070583

Write to :memory:: 48.875647068

(47897,)

Read from  :memory:: 1.48184204102

Write to /tmp/000.db: 51.551500082

(47897,)

Read from  /tmp/000.db: 2.63639497757

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:27:46 +0400

> Если я правильно его понял, он может динамически задать по каким полям ему нужно агрегировать данные в отчетах.
все так и есть

> Или ты знаешь как это за день сделать на stl?))) Тогда код в студию!
Врядли мы увидим такой код, тем более сделаный за день. :)

А с какого, ты меня молодым определил?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:24:59 +0400

Хм, винт у тебя все таки хорош. Блин вспомнил, я же винт у себя вообще не апгрейдил, старье стоит на 250 и 120 гектар. Надо все таки винт прикупить.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:22:25 +0400

> Я надеюсь, эта прога не попадётся нам где-нить в публичном дистре? ;)
Моя прога не попадет в дистры, не волнуйся, заказчик будет против.

Я смотрю ты очень высокого мнения о себе тут. Но походу это не помешало тебе выставиться идиотом. :)

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:17:45 +0400

А можно у тебя узнать, что собственно ты тестируешь? :D

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:17:21 +0400

Как-то так:



Write to /tmp/000.db: 6.99869608879

(47890,)

Read from  /tmp/000.db: 0.49294090271

Write to /home/zaza/000.db: 8.98530387878

(47890,)

Read from  /home/zaza/000.db: 2.89799404144

Write to :memory:: 5.95300316811

(47890,)

Read from  :memory:: 0.367172956467

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:10:01 +0400

> Правильней было бы записать, сбросить кэш, а уж потом читать, давайте по новой тесты :)
fixed, только теперь придется из под рута запускать.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:07:30 +0400

> Правильней было бы записать, сбросить кэш, а уж потом читать, давайте по новой тесты :)

Смотря для чего правильней.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 17:02:29 +0400

> Но ведь и tmpfs в памяти висит.
Не знаю где висит tmpfs))), но чтение с диска "приходит в порядок", если вставить в мой скрипт между чтением и записью строчку: "os.system('sync && echo 1 > /proc/sys/vm/drop_caches')".

text



Write to /home/research/000.db: 11.295388937

(47515,)

Read from  /home/research/000.db: 4.89410090446

Write to :memory:: 6.28914189339

(47515,)

Read from  :memory:: 0.410305976868

Write to /mnt/tmpfs/000.db: 6.94133210182

(47515,)

Read from  /mnt/tmpfs/000.db: 0.467751979828

Да запускать после этого из под sudo придется. Скрипт поправлю сейчас.

Так что ват зе фак, был видимо из за того, что дисковый кэш более качественно сделан, чем tmpfs)))

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:57:51 +0400

>Этот вопрос снимится с повестки для, так как дисковый кэш перестанет вносить свою лепту)))
Но ведь и tmpfs в памяти висит.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:52:52 +0400

>> WTF?
> Кстати, да, wtf?

Я думаю если заюзать более длинную запись, заюзать пару-тройку таблиц с джоином и агрегированием. Этот вопрос снимится с повестки для, так как дисковый кэш перестанет вносить свою лепту)))

Кстати видимо это как раз и наблюдает, молодой анон.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:50:38 +0400

>WTF?
Кстати, да, wtf?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:49:21 +0400

У вас с системом один ситочник ? ;)

Правильней было бы записать, сбросить кэш, а уж потом читать, давайте по новой тесты :)

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:47:46 +0400

> Кстати, вот вариант с tmpfs, где действительно файлы базы данных лежат в памяти:)

Итого:

С "диска":
Read from /home/zaza/000.db: 0.443228006363

С tmpfs:
Read from /tmp/000.db: 0.514477968216

WTF?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:46:40 +0400

sync && echo 1 > /proc/sys/vm/drop_caches

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:45:55 +0400

>Каким макаром можно все кэши скинуть , перед началом чтения ?
Как-то так: echo 3 > /proc/sys/vm/drop_caches

оттуда

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:45:14 +0400

> Если ты не собираешься использовать данные постфактум - ну и агрегировал бы их по мере поступления.

Если я правильно его понял, он может динамически задать по каким полям ему нужно агрегировать данные в отчетах. Так что опять ты мимо кассы))) Или ты знаешь как это за день сделать на stl?))) Тогда код в студию!

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:43:15 +0400

Каким макаром можно все кэши скинуть , перед началом чтения ?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:41:22 +0400

> :memory: должно работать ещё шустрее, потому что файловая система не должна вовлекаться вовсе.
Что бы ты тут сильно не вводил молодежь в заблуждения вот тебе еще замер)))

bash



sudo mkdir /mnt/tmpfs/

sudo chmod 777 /mnt/tmpfs/

sudo mount -t tmpfs -o size=500M tmpfs /mnt/tmpfs/

Почти уверен, что SQLite, делает что-то подобное, когда задается БД ":memory:")))

text



Write to /home/research/000.db: 11.1104290485

(47497,)

Read from  /home/research/000.db: 0.464012861252

Write to :memory:: 6.26504397392

(47497,)

Read from  :memory:: 0.301959991455

Write to /mnt/tmpfs/000.db: 6.9493598938

(47497,)

Read from  /mnt/tmpfs/000.db: 0.462486982346

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:40:33 +0400

>Я тоже разместил в тмпфс, но у меня читалось относительно быстрее, а у тебя почему то медленней.
Я пару раз попробовал прогнать - всё равно разница в секунду вылезает.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:38:14 +0400

Я тоже разместил в тмпфс, но у меня читалось относительно быстрее, а у тебя почему то медленней.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:34:35 +0400

>Я думаю, при "чтении" с диска скорость сильнее зависит от таймингов твоей памяти, в которой эти данные лежат :D :D
Кстати, вот вариант с tmpfs, где действительно файлы базы данных лежат в памяти:)

text



Write to /tmp/000.db: 7.0347840786

(47423,)

Read from  /tmp/000.db: 0.514477968216

Write to :memory:: 5.94798898697

(47423,)

Read from  :memory:: 0.299348115921

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:34:16 +0400

> Кстати про файлы ты сам додумавать начал, речь изначально шла о части данных.

> похуй на самом деле, в файлах эти данные или не в файлах.

> Я думаю по итогам треда, ты понял что выставил себя идиотом.

Ах неужели :)

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:31:18 +0400

> может оно при чтении с диска от него сильнее зависит

Я думаю, при "чтении" с диска скорость сильнее зависит от таймингов твоей памяти, в которой эти данные лежат :D :D

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:28:54 +0400

> Профита было кстате больше, чем замерах Хаха, в 2-3 раза точно.

что странно, :memory: должно работать ещё шустрее, потому что файловая система не должна вовлекаться вовсе.

> У меня и запись длинее и запросы гораздо сложней.

Я всё-таки не понимаю. Если ты не собираешься использовать данные постфактум - ну и агрегировал бы их по мере поступления. Ну зачем вообще тратить память на ненужное промежуточное хранение данных.

P.S.
Я надеюсь, эта прога не попадётся нам где-нить в публичном дистре? ;)

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:20:08 +0400

>Прикольно, память у тебя почти столько же, а диск веселей гораздо.
У меня в /home какой-то WD caviar blue, средненький. На самом деле может и процессор повлиял, может оно при чтении с диска от него сильнее зависит. У меня 6х7050 этих самых богомипсов (никогда не понимал, что это такое, наверное что-то религиозное, судя по началу слова). После новогоднего хардварного веселья я таки всё обновил:)

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:17:10 +0400

> Надо же как мало надо некоторым для радости
Да успокойся уже, а то перепроизводство кирпичей будет. Придется тебе их на рамдиск складывать)))

Я думаю по итогам треда, ты понял что выставил себя идиотом. Народ юзает эту фишку, и похуй на самом деле, в файлах эти данные или не в файлах.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:07:58 +0400

> )))

Надо же как мало надо некоторым для радости: выставить себя кретином спизднув глупость, привести какую-то ссылку, которая не имеет отношения к обсуждаемому вопросу, и быть посланным нахуй.
Я думаю, тебя надо чаще посылать, ведь положительные эмоции могут оказать положительное влияние на твой повреждённый рассудок.

> Кстати про файлы ты сам додумавать начал, речь изначально шла о части данных.

Т.е. ты утвеждаешь что твои тупые мужики не файлы держат на рамдрайве? Они что, ещё более тупые, чем мне показалось изначально? :)

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:05:11 +0400

Прикольно, память у тебя почти столько же, а диск веселей гораздо. На винт не поскупился видимо при покупке))) Да и рандом у тебя щедрее на семерки)))

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:02:21 +0400

> Но всё-таки какой профит по производительности тебе дало размещение файлов не на диске
Профита было кстате больше, чем замерах Хаха, в 2-3 раза точно. У меня и запись длинее и запросы гораздо сложней.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 16:01:00 +0400

>И да, зачем версию питона не указываешь ?
Так по коду видно же, что 2.6 и выше:)

А вот поставил бы он скобки вокруг print, и заменил бы xrange на range - работало бы и на третьем. Развели тут безответственность, не думают о будущем.

text



Write to /home/zaza/000.db: 8.9937479496

(47830,)

Read from  /home/zaza/000.db: 0.443228006363

Write to :memory:: 6.02213406563

(47830,)

Read from  :memory:: 0.302751779556

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 15:57:36 +0400

> зачем версию питона не указываешь ?

Это в принципе без разницы, как ни играй в КО, а скорость дисковых операций мало зависит от версии петона.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 15:57:14 +0400

Шото у тебя слабенький паровоз)))

У меня 4x5999.85 bogomips Atlon X4, x86_64 Python 2.7

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 15:50:46 +0400

Write to ./000.db: 66.5168938637
(47700,)
Read from ./000.db: 2.63378500938
Write to :memory:: 48.4398999214
(47700,)
Read from :memory:: 1.18591189384

Architecture: x86_64

BogoMIPS: 3326.52

И да, зачем версию питона не указываешь ?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 15:46:37 +0400

>> Не знаю
> Ах вот оно что! Ну тогда ступай себе нахуй, голубчик.
Ну поздравляю с первой партией кирпичей!))) Кстати про файлы ты сам додумавать начал, речь изначально шла о части данных.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 15:40:39 +0400

> Не знаю

Ах вот оно что! Ну тогда ступай себе нахуй, голубчик.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 15:30:06 +0400

> Но всё-таки какой профит по производительности тебе дало размещение файлов не на диске, а на рамдрайве? Насколько быстрее стала работать программа?

И действительно сказал я себе, а что это дает. А дает следующее (Профит на запись очевиден и пропорционален размеру записи, на чтение кстати тоже)

text



Write to /home/research/000.db: 10.9755270481

(47469,)

Read from  /home/research/000.db: 0.494474172592

Write to :memory:: 6.15873003006

(47469,)

Read from  :memory:: 0.30100107193

python



# -*- coding:utf8 -*-

import os

import time

import os.path

import sqlite3

from random import randrange



max_record = 1000000



data = []

for n in xrange(0, max_record):

    data.append(randrange(21))



text = """Но всё-таки какой профит по производительности тебе дало размещение файлов не на диске,

          а на рамдрайве? Насколько быстрее стала работать программа?"""



def test(db):

    if db!=':memory:' and os.path.exists(db):

        os.unlink(db)



    start = time.time()

    conn = sqlite3.connect(db)

    curs = conn.cursor()

    curs.execute('CREATE TABLE test (number int, number1 int, number2 int, number3 int, data text)')

    for n in xrange(0, max_record):

        curs.execute('INSERT INTO test(number, number1, number2, number3, data) VALUES ({0},{0},{0},{0},"{1}")'.format(data[n], text))

    conn.commit()

    print "Write to {1}: {0}".format(time.time()-start, db)

    

    os.system('sync && echo 1 > /proc/sys/vm/drop_caches')

    

    start = time.time()

    curs = conn.cursor()

    curs.execute('SELECT count(*) FROM test WHERE number={0}'.format(7))

    print curs.fetchone()

    conn.close()

    print "Read from  {1}: {0}".format(time.time()-start, db)



test('./000.db')

test(':memory:')

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 15:27:00 +0400

>> По ссылке интересная статья по In-Memory Data Grid.
> Там что-нибудь пишут про хранение файлов на рамдрайве?
Не знаю сын мой, почитай))) Мы вообще-то о хранение данных БД в памяти беседуем, а статья по теме.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 14:52:59 +0400

> По ссылке интересная статья по In-Memory Data Grid.

Там что-нибудь пишут про хранение файлов на рамдрайве?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 14:48:59 +0400

> Если ты можешь такое реализовать на STL за день, то я искренне за тебя рад.
Я бы тоже был бы искренне рад, если бы "учитель" явил бы нам свой код, в подтверждение своей "концепции")))

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 14:47:09 +0400

Но всё-таки какой профит по производительности тебе дало размещение файлов не на диске, а на рамдрайве? Насколько быстрее стала работать программа?

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 14:47:01 +0400

Ой столько дебилов, столько дебилов оказывается в АйТи)))

По ссылке интересная статья по In-Memory Data Grid.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 14:35:46 +0400

> Судя по количеству инсертов - у тебя всего две структуры хранятся в БД
Их со временем будет больше, и я не вижу проблем добавить хоть десяток по той же схеме.

> можешь использовать деревья поиска, например на базе std::map/std::set
Да помню, проходил в ВУЗЕ. :) Только зачем мне все это, особенно в Кутяшной программе если и так нормально все работает и гибко получилось.

> Хотя мне кажется
Когда кажется, креститься надо. Данных собирается достаточно много, и группировка идет по нескольким проиндексированным полям. Которые могут быть выбраны произвольно при необходимости. Если ты можешь такое реализовать на STL за день, то я искренне за тебя рад.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 14:15:55 +0400

> У меня на всё про всё ушло по 9-10 строчек кода на инсерты для записи данных, их всего два. И примерно столько же строчек на селесты уже с сгруппированными и просчитанными данными, их четыре по количеству отчетов. Вместе с рисованием отчетов и отладкой, это взяло день.

А сколько у тебя ушло времени на всё то же самое, но не размещая данные на рамдрайве?

> Ты мне предлагаешь написать свою подсистему хранения данных в памяти, плюс процедуры их расчета. Да у меня бы месяц ушел на это все!

Судя по количеству инсертов - у тебя всего две структуры хранятся в БД, чтобы объявить два массива с соответствующим типом элементов и где надо перебирать их в цикле - месяц не нужен. Если у тебя есть возможность оптимизировать работу с данными - тем лучше, можешь использовать деревья поиска, например на базе std::map/std::set. На это тоже месяц не требуется.

Хотя мне кажется, что задача, о которой ты говорил - разовая, и требований к производительности там просто нет никаких потому, что большую часть времени у тебя отъедает собственно программирование, а сколько она данные жевать будет - уже не существенно на этом фоне.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 14:07:46 +0400

> Я уже сказал, любой каприз за ваши деньги

Я бы даже за деньги не стал. У него "природная жадность", кинет однозначно))) Тем более ты его дебилом называл, пациент этого не любит)))

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 13:55:26 +0400

> Если тебе нужно что-то посчитать по твоим данным - чего бы самому не пробежаться по массиву структур данных в памяти
У меня на всё про всё ушло по 9-10 строчек кода на инсерты для записи данных, их всего два. И примерно столько же строчек на селесты уже с сгруппированными и просчитанными данными, их четыре по количеству отчетов. Вместе с рисованием отчетов и отладкой, это взяло день.

Ты мне предлагаешь написать свою подсистему хранения данных в памяти, плюс процедуры их расчета. Да у меня бы месяц ушел на это все!

Я уже сказал, любой каприз за ваши деньги :) Плати, перепишу на свой костыль с удовольствием.

Re:Каким надо быть дебилом, чтобы размещать файлы БД на виртуальном диске в памяти?

Tue, 23 Apr 2013 13:39:07 +0400

> А зачем мне придумывать свой велосипет в достаточно простенкой GUI программе, когда есть SQLite с готовой группировкой и суммированием. Что бы тебя порадовать? :) Хотя если ты готов оплатить, с удовольствием поковыряюсь с памятью.

За тем же, за чем ты размещаешь временные данные в виде файлов SQLite на рамдрайве - для скорости. Если тебе нужно что-то посчитать по твоим данным - чего бы самому не пробежаться по массиву структур данных в памяти, чем писать сикели для SQLite чтобы он их парсил затем бегал по своим структурам, заточенным под общий случай, а не под твою конкретную задачу?