powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
23 сообщений из 23, страница 1 из 1
Big data MySql
    #706856
Енот
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
...
Рейтинг: 0 / 0
Big data MySql
    #706899
Фотография Bango Bongo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Енот  05.11.2018, 19:14
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
через таблицы промежуточных рассчётов только видимо

напрямую запросы на таких базах будут работать вечность.
...
Рейтинг: 1 / 0
Нравится: Енот
Big data MySql
    #706922
Енот
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bango Bongo  05.11.2018, 19:37
через таблицы промежуточных рассчётов только видимо
Как применить промежуточные таблицы в этой задаче?
...
Рейтинг: 0 / 0
Big data MySql
    #706930
Фотография Bango Bongo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Енот  05.11.2018, 19:45
Bango Bongo 
через таблицы промежуточных рассчётов только видимо
Как применить промежуточные таблицы в этой задаче?
рассчёты порций данных по лимитам из последних ,
и почаще архивировать с предварительными рассчётами.

потом складываешь то что рассчитано на большой статике с последней динамикой
...
Рейтинг: 1 / 0
Нравится: Енот
Big data MySql
    #706940
ЙуХу
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Енот  05.11.2018, 19:14
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
вася ты дибил
откуда они знают какой размер твоей базы будет и что и сколько ты будешь писать?
...
Рейтинг: 0 / 0
Big data MySql
    #706971
rd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Енот  05.11.2018, 19:14
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
У мускуля для этих целей есть движок merge (вместо innodb).

Озвученная нагрузка - детская.

Скорость обработки запроса будет 1 миллисек при правильно настроенном всём как надо.

append-only тип нагрузки - самый простой в природе.

Посмотри на СУБД yandex clickhouse - она вообще рождена для того, что ты хочешь. В кликхаусе данные займут минимвльно возможное число байт на диске, ибо она колоночная, а жать поколоночно сам бог велел. Ну и еще кликхаус - он merge по природе своея.

Непонятно что за запросы на чтение будут, если всякие аггркюегации - то в кликхаусе они летают. И он для этого не хранит ничего, кроме самих данных.
...
Изменено: 05.11.2018, 20:03 - rd
Рейтинг: 1 / 0
Нравится: Енот
Big data MySql
    #707024
Енот
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bango Bongo  05.11.2018, 19:48
Енот 
Bango Bongo 
...
Как применить промежуточные таблицы в этой задаче?
рассчёты порций данных по лимитам из последних ,
и почаще архивировать с предварительными рассчётами.

потом складываешь то что рассчитано на большой статике с последней динамикой
Объясни поконкретней.
Мне нужно выводить суточные грфики работы процесса и рассчитывать наработку за выбранные периоды.
Как тут применить промежуточные расчеты?
...
Рейтинг: 0 / 0
Big data MySql
    #707052
Енот
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rd  05.11.2018, 19:58
Посмотри на СУБД yandex clickhouse -
Ограничение только на MySql.
Паша, а в танках какая база? Какие максимальные значения у тебя?
...
Рейтинг: 0 / 0
Big data MySql
    #707063
rd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Енот  05.11.2018, 20:27
rd 
Посмотри на СУБД yandex clickhouse -
Ограничение только на MySql.
Паша, а в танках какая база? Какие максимальные значения у тебя?
mysql - ок. Добавлять что-то постоянно в конец - примитивная и для мускуля таска. Ну если не 100500 индексов и прочей куеты.

В пашэтанках самописные поделия, заточенные под полтора типа запросов, бенчмарков нет, но запросы в рамках микросекунд, ибо все прямолинейно как только можно.
...
Рейтинг: 1 / 0
Нравится: Енот
Big data MySql
    #707138
no_wait
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
пятый угол
Енот  05.11.2018, 19:14
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
Если читать не надо и пишущих всего 100 в секунду . То все быстро будет работать.
Вообще для такого монго какой нить больше подходит.
...
Рейтинг: 1 / 0
Нравится: Енот
Big data MySql
    #707264
Фотография 3_po
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЙуХу  05.11.2018, 19:50
Енот 
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
вася ты дибил
откуда они знают какой размер твоей базы будет и что и сколько ты будешь писать?
+1
ещё и типы полей не указаны.
Может value char(max)...
Что за запросы то?
Селект по Id_process, или за период... Или с агрегатным функциями?
...
Рейтинг: 0 / 0
Big data MySql
    #707270
Фотография 3_po
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Енот  05.11.2018, 20:17
Bango Bongo 
Енот 
...
рассчёты порций данных по лимитам из последних ,
и почаще архивировать с предварительными рассчётами.

потом складываешь то что рассчитано на большой статике с последней динамикой
Объясни поконкретней.
Мне нужно выводить суточные грфики работы процесса и рассчитывать наработку за выбранные периоды.
Как тут применить промежуточные расчеты?
Периоды какие нибудь фиксированные или отсюда и до заката?
...
Рейтинг: 0 / 0
Big data MySql
    #707338
rd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
no_wait  05.11.2018, 20:55
Енот 
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
Если читать не надо и пишущих всего 100 в секунду . То все быстро будет работать.
Вообще для такого монго какой нить больше подходит.
Ни одна из фич могни тут использована не будет.
Монга заточена под произвольный набор полей в документе и индексацию по ним, а вопрос логирования - оеа с ним никак не связана (монга). Если схема у афтара фиксированная, зачем ему монга, на диске мускуль меньше займёт.
...
Рейтинг: 0 / 0
Big data MySql
    #707353
Енот
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
3_po  05.11.2018, 21:44
Может value char(max)...
Что за запросы то?
Селект по Id_process, или за период... Или с агрегатным функциями?
Value - integer
Запросы что-то типа такого.
1. График за любой период (день, неделя, месяц, год) для каждого idprocess по значению value.
Select value from table where datetime >= A and datetime <= B and idprocess = N
2. Подсчет простоя за любой период для каждого idprocess когда value = 0
...
Рейтинг: 0 / 0
Big data MySql
    #707391
Фотография 3_po
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Енот  05.11.2018, 22:06
3_po 
Может value char(max)...
Что за запросы то?
Селект по Id_process, или за период... Или с агрегатным функциями?
Value - integer
Запросы что-то типа такого.
1. График за любой период (день, неделя, месяц, год) для каждого idprocess по значению value.
Select value from table where datetime >= A and datetime <= B and idprocess = N
2. Подсчет простоя за любой период для каждого idprocess когда value = 0
Тут подумал, что селективность данных так себе...
Может какой составной ключ поможет.
...
Рейтинг: 0 / 0
Big data MySql
    #707418
Дырокол
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Колю дыры
Енот  05.11.2018, 20:27
rd 
Посмотри на СУБД yandex clickhouse -
Ограничение только на MySql.
Паша, а в танках какая база? Какие максимальные значения у тебя?
секционируй по году и по id процесса, если их всего 100 уникальных
секция 30 млн это норм
ну или извратись и помесячно разбивай вместо годичной. будет по 10 млн секция

только запросы нужно аккуратнее составлять
...
Рейтинг: 1 / 0
Нравится: Енот
Big data MySql
    #707444
Енот
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дырокол,

Может тогда лучше изначально 100 таблиц иметь - отдельную для каждого idprocess?
...
Рейтинг: 0 / 0
Big data MySql
    #707472
Дырокол
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Колю дыры
Енот  05.11.2018, 22:28
Дырокол,

Может тогда лучше изначально 100 таблиц иметь - отдельную для каждого idprocess?
ээ. это усложнит код.
ну если не запаривает - имей

но собственно для этого секционирование и придумали - чтоб не городить 100 таблиц

и неужели не будет запросов, где надо данные от нескольких процессов отобразить за период?
...
Изменено: 05.11.2018, 22:37 - Дырокол
Рейтинг: 0 / 0
Big data MySql
    #707671
rd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я как-то в 2014 пейсал на C++ штуку, которая херачила сотни нефти в MySQL. В конфиге стояло число 1024 и оно пейсало в 1024 таблицы с именами wwww_%d скажем.

С чем именно мы таким макаром бились - это уже конь проссыт. Предположительно:
- имея 1024 независимых индексов, мы уменьшаем вероятность сидения в локе.
- индекс условного размера 1/1024 быстрее апдейтить, чем размера 1. То есть цена инсерта снижена.

Но да, больше срем на диск, ведь индекс (b+tree) всегда имеет в страницах пустоту.
...
Рейтинг: 0 / 0
Big data MySql
    #707717
rd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Штука была многопоточная, это её и сгубировало.

Зато как: пришло тело, кладет обьект 50. Пошло в таблицу zzz_50. Класть обьект, допустим, долго из-за трех индексов, мать их. В другом потоке новое тельце пришло читать обьект 66 и пошло в таблицу zzz_66. Тот факт, что щас индексы в таблице zzz_50 модифицируются и она залочена, не волнует клиента 66 - он куяк и прочитал без блокировок своё. Ясно, что в нормальных движках, (видимо в InnoDB) читатели не ждут пейсателей, а видят свой снепшот мира в изоляции от других транзакций. То есть 66 бы прочитался из таблицы, куда шас пишут 50, без базара. А транзакции нам нах не нужны больше ни для чего. Держать сложный движок только ради этого? Фтопку! Проще пошардить на 1024 и взять движок MyISAM, который попроще и побыстрее за счет своей относительной тупости. Профит.

Рекомендую осуществить наглый зазыр доступных в MySQL движков. Там че только нет. Есть даже движок CSV - то есть он в каталоге данных прямо CSV кладет. Ему туда подсовываешь csv филе и куяк таблица уже создана. То есть ты селектишь прямо из CSV файла. Индексов нет. Жесть конечно, зато конизм. Хош поселектить ЦСВ-шечку, карл? И там есть еще merge движок какой-то: он условно пишет гиг, потом куй на него кладет и пишет новый гиг. Незнаю что потом. Читает как-то хитро. ClickHouse так делает, но CH в фоне эти куски гиговые агрегирует ещё и т.п.
...
Изменено: 06.11.2018, 00:31 - rd
Рейтинг: 0 / 0
Big data MySql
    #707750
Фотография Владайка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хочется быть немножко сумасшедшей, а получается множко.
Енот  05.11.2018, 20:27
rd 
Посмотри на СУБД yandex clickhouse -
Ограничение только на MySql.
Паша, а в танках какая база? Какие максимальные значения у тебя?
Там у него R-Tree
...
Зачем платить психотерапевту, если его можно придумать, и разговаривать с ним совершенно бесплатно?
Рейтинг: 0 / 0
Big data MySql
    #707751
Фотография Владайка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хочется быть немножко сумасшедшей, а получается множко.
Дырокол  05.11.2018, 22:36
Енот 
Дырокол,

Может тогда лучше изначально 100 таблиц иметь - отдельную для каждого idprocess?
ээ. это усложнит код.
ну если не запаривает - имей

но собственно для этого секционирование и придумали - чтоб не городить 100 таблиц

и неужели не будет запросов, где надо данные от нескольких процессов отобразить за период?
Выбрать в таблицу одно, потом из второй и соединить. как в Exel по ВПР
...
Зачем платить психотерапевту, если его можно придумать, и разговаривать с ним совершенно бесплатно?
Рейтинг: 0 / 0
Big data MySql
    #709039
bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Енот  05.11.2018, 19:14
В БД я профан.
Допустим, нужно ежесекундно логгировать 100 процессов.
База MySql. Одна таблица: Id_process, datetime, value

За год получится 3 млрд записей

Вопрос знатокам.
1. Какой размер базы будет через год (плюс минус какие порядки)?
2. Какая будет скорость обработки запросов(мс, сек, мин, вечность)?
Скажем так, реально ли будет работать с этой базой с частотой запросов 5-10 шт. в минуту?
списки через вьюху достанутся довольно быстро, так что можно смело использовать
...
Рейтинг: 0 / 0
23 сообщений из 23, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]