|
Big data MySql
|
|||
---|---|---|---|
#18+
В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 19:14 |
|
Big data MySql
|
|
---|---|
#18+
Енот 05.11.2018, 19:14 В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? напрямую запросы на таких базах будут работать вечность. ... |
|
Модератор:
|
|
05.11.2018, 19:37 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Bango Bongo 05.11.2018, 19:37 через таблицы промежуточных рассчётов только видимо ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 19:45 |
|
Big data MySql
|
|
---|---|
#18+
Енот 05.11.2018, 19:45 Bango Bongo через таблицы промежуточных рассчётов только видимо и почаще архивировать с предварительными рассчётами. потом складываешь то что рассчитано на большой статике с последней динамикой ... |
|
Модератор:
|
|
05.11.2018, 19:48 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Енот 05.11.2018, 19:14 В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? откуда они знают какой размер твоей базы будет и что и сколько ты будешь писать? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 19:50 |
|
Big data MySql
|
|
---|---|
#18+
Енот 05.11.2018, 19:14 В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? Озвученная нагрузка - детская. Скорость обработки запроса будет 1 миллисек при правильно настроенном всём как надо. append-only тип нагрузки - самый простой в природе. Посмотри на СУБД yandex clickhouse - она вообще рождена для того, что ты хочешь. В кликхаусе данные займут минимвльно возможное число байт на диске, ибо она колоночная, а жать поколоночно сам бог велел. Ну и еще кликхаус - он merge по природе своея. Непонятно что за запросы на чтение будут, если всякие аггркюегации - то в кликхаусе они летают. И он для этого не хранит ничего, кроме самих данных. ... |
|
Модератор:
|
|
05.11.2018, 19:58 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Bango Bongo 05.11.2018, 19:48 Енот Bango Bongo ... и почаще архивировать с предварительными рассчётами. потом складываешь то что рассчитано на большой статике с последней динамикой Мне нужно выводить суточные грфики работы процесса и рассчитывать наработку за выбранные периоды. Как тут применить промежуточные расчеты? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 20:17 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
rd 05.11.2018, 19:58 Посмотри на СУБД yandex clickhouse - Паша, а в танках какая база? Какие максимальные значения у тебя? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 20:27 |
|
Big data MySql
|
|
---|---|
#18+
Енот 05.11.2018, 20:27 rd Посмотри на СУБД yandex clickhouse - Паша, а в танках какая база? Какие максимальные значения у тебя? В пашэтанках самописные поделия, заточенные под полтора типа запросов, бенчмарков нет, но запросы в рамках микросекунд, ибо все прямолинейно как только можно. ... |
|
Модератор:
|
|
05.11.2018, 20:31 |
|
Big data MySql
|
|
---|---|
#18+
Енот 05.11.2018, 19:14 В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? Вообще для такого монго какой нить больше подходит. ... |
|
Модератор:
|
|
05.11.2018, 20:55 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
ЙуХу 05.11.2018, 19:50 Енот В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? откуда они знают какой размер твоей базы будет и что и сколько ты будешь писать? ещё и типы полей не указаны. Может value char(max)... Что за запросы то? Селект по Id_process, или за период... Или с агрегатным функциями? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 21:44 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Енот 05.11.2018, 20:17 Bango Bongo Енот ... и почаще архивировать с предварительными рассчётами. потом складываешь то что рассчитано на большой статике с последней динамикой Мне нужно выводить суточные грфики работы процесса и рассчитывать наработку за выбранные периоды. Как тут применить промежуточные расчеты? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 21:47 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
no_wait 05.11.2018, 20:55 Енот В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? Вообще для такого монго какой нить больше подходит. Монга заточена под произвольный набор полей в документе и индексацию по ним, а вопрос логирования - оеа с ним никак не связана (монга). Если схема у афтара фиксированная, зачем ему монга, на диске мускуль меньше займёт. ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 22:03 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
3_po 05.11.2018, 21:44 Может value char(max)... Что за запросы то? Селект по Id_process, или за период... Или с агрегатным функциями? Запросы что-то типа такого. 1. График за любой период (день, неделя, месяц, год) для каждого idprocess по значению value. Select value from table where datetime >= A and datetime <= B and idprocess = N 2. Подсчет простоя за любой период для каждого idprocess когда value = 0 ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 22:06 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Енот 05.11.2018, 22:06 3_po Может value char(max)... Что за запросы то? Селект по Id_process, или за период... Или с агрегатным функциями? Запросы что-то типа такого. 1. График за любой период (день, неделя, месяц, год) для каждого idprocess по значению value. Select value from table where datetime >= A and datetime <= B and idprocess = N 2. Подсчет простоя за любой период для каждого idprocess когда value = 0 Может какой составной ключ поможет. ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 22:14 |
|
Big data MySql
|
|
---|---|
#18+
Енот 05.11.2018, 20:27 rd Посмотри на СУБД yandex clickhouse - Паша, а в танках какая база? Какие максимальные значения у тебя? секция 30 млн это норм ну или извратись и помесячно разбивай вместо годичной. будет по 10 млн секция только запросы нужно аккуратнее составлять ... |
|
Модератор:
|
|
05.11.2018, 22:21 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Дырокол, Может тогда лучше изначально 100 таблиц иметь - отдельную для каждого idprocess? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
05.11.2018, 22:28 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Енот 05.11.2018, 22:28 Дырокол, Может тогда лучше изначально 100 таблиц иметь - отдельную для каждого idprocess? ну если не запаривает - имей но собственно для этого секционирование и придумали - чтоб не городить 100 таблиц и неужели не будет запросов, где надо данные от нескольких процессов отобразить за период? ... |
|||
Модератор:
Изменено: 05.11.2018, 22:37 - Дырокол
Нравится:
Не нравится:
|
|||
05.11.2018, 22:36 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Я как-то в 2014 пейсал на C++ штуку, которая херачила сотни нефти в MySQL. В конфиге стояло число 1024 и оно пейсало в 1024 таблицы с именами wwww_%d скажем. С чем именно мы таким макаром бились - это уже конь проссыт. Предположительно: - имея 1024 независимых индексов, мы уменьшаем вероятность сидения в локе. - индекс условного размера 1/1024 быстрее апдейтить, чем размера 1. То есть цена инсерта снижена. Но да, больше срем на диск, ведь индекс (b+tree) всегда имеет в страницах пустоту. ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
06.11.2018, 00:06 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Штука была многопоточная, это её и сгубировало. Зато как: пришло тело, кладет обьект 50. Пошло в таблицу zzz_50. Класть обьект, допустим, долго из-за трех индексов, мать их. В другом потоке новое тельце пришло читать обьект 66 и пошло в таблицу zzz_66. Тот факт, что щас индексы в таблице zzz_50 модифицируются и она залочена, не волнует клиента 66 - он куяк и прочитал без блокировок своё. Ясно, что в нормальных движках, (видимо в InnoDB) читатели не ждут пейсателей, а видят свой снепшот мира в изоляции от других транзакций. То есть 66 бы прочитался из таблицы, куда шас пишут 50, без базара. А транзакции нам нах не нужны больше ни для чего. Держать сложный движок только ради этого? Фтопку! Проще пошардить на 1024 и взять движок MyISAM, который попроще и побыстрее за счет своей относительной тупости. Профит. Рекомендую осуществить наглый зазыр доступных в MySQL движков. Там че только нет. Есть даже движок CSV - то есть он в каталоге данных прямо CSV кладет. Ему туда подсовываешь csv филе и куяк таблица уже создана. То есть ты селектишь прямо из CSV файла. Индексов нет. Жесть конечно, зато конизм. Хош поселектить ЦСВ-шечку, карл? И там есть еще merge движок какой-то: он условно пишет гиг, потом куй на него кладет и пишет новый гиг. Незнаю что потом. Читает как-то хитро. ClickHouse так делает, но CH в фоне эти куски гиговые агрегирует ещё и т.п. ... |
|||
Модератор:
Изменено: 06.11.2018, 00:31 - rd
Нравится:
Не нравится:
|
|||
06.11.2018, 00:31 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Енот 05.11.2018, 20:27 rd Посмотри на СУБД yandex clickhouse - Паша, а в танках какая база? Какие максимальные значения у тебя? ... |
|||
Зачем платить психотерапевту, если его можно придумать, и разговаривать с ним совершенно бесплатно?
Модератор:
Нравится:
Не нравится:
|
|||
06.11.2018, 01:10 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Дырокол 05.11.2018, 22:36 Енот Дырокол, Может тогда лучше изначально 100 таблиц иметь - отдельную для каждого idprocess? ну если не запаривает - имей но собственно для этого секционирование и придумали - чтоб не городить 100 таблиц и неужели не будет запросов, где надо данные от нескольких процессов отобразить за период? ... |
|||
Зачем платить психотерапевту, если его можно придумать, и разговаривать с ним совершенно бесплатно?
Модератор:
Нравится:
Не нравится:
|
|||
06.11.2018, 01:12 |
|
Big data MySql
|
|||
---|---|---|---|
#18+
Енот 05.11.2018, 19:14 В БД я профан. Допустим, нужно ежесекундно логгировать 100 процессов. База MySql. Одна таблица: Id_process, datetime, value За год получится 3 млрд записей Вопрос знатокам. 1. Какой размер базы будет через год (плюс минус какие порядки)? 2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)? Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
06.11.2018, 17:26 |
|
|
start [/forum/topic.php?fid=2&fpage=5&tid=18866]: |
0ms |
get settings: |
7ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
42ms |
get topic data: |
49ms |
get forum data: |
3ms |
get page messages: |
167ms |
get tp. blocked users: |
2ms |
others: | 17ms |
total: | 299ms |
0 / 0 |