Гость
Форумы / Вопросы по IT / SQL Azure / 19 сообщений из 19, страница 1 из 1
04.01.2020, 02:50
    #1815760
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
Можете посоветовать как регулярно перекидывать данные с локальной базы в SQL Azure.

Опробован Linked Server, но работает слишком медленно.
Есть такие идеи:
1. .NET transfer
2. SSIS
3. BCP
4. PowerShell

Что выбрать и какие могут быть затыки и что я может упустил?
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
04.01.2020, 02:54
    #1815767
3_po
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
SandalTree
А что ты пробовал?
...
Рейтинг: 0 / 0
04.01.2020, 03:46
    #1815787
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
3_po  04.01.2020, 02:54
SandalTree
А что ты пробовал?
Да вот мне пожаловались что Linked Server работает медленно, а типа при связи с другим червером он это делает быстрее.

Смотрю что он вставляет строчки по одной.

Вот есть первый вопрос: Можно заставить Linked Server делать Bulk Insert? - ну это что-б малой кровью обойтись.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
04.01.2020, 03:49
    #1815788
3_po
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
SandalTree  04.01.2020, 03:46
3_po  04.01.2020, 02:54
SandalTree
А что ты пробовал?
Да вот мне пожаловались что Linked Server работает медленно, а типа при связи с другим червером он это делает быстрее.

Смотрю что он вставляет строчки по одной.

Вот есть первый вопрос: Можно заставить Linked Server делать Bulk Insert? - ну это что-б малой кровью обойтись.
Онож не просто с хренов в произвольный момент времени берется!
...
Рейтинг: 0 / 0
04.01.2020, 03:54
    #1815789
3_po
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
SandalTree не гуру. Но линкед или опенквери, вроде, по строчно вычитывают.

По этому руби все что можно на стороне того сервера.
А вообще, некоторые товарищи используют мерду мердж между серверами.
...
Рейтинг: 0 / 0
04.01.2020, 03:57
    #1815790
3_po
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
Всио, напилсцо.
Линкед вкуда?
А оно ещё и должно целостность проверять или нет?
...
Рейтинг: 0 / 0
04.01.2020, 04:00
    #1815791
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
Вот нашёл решение проблемы. Оно хорошее, но некрасивое.
https://dba.stackexchange.com/questions/59328/insert-to-sql-azure-through-linked-server-very-slow

Булк не пойдёт, ибо в Ажуре база в фуле.
Хорошо-бы прочитать ИЗнутри Ажура, но оттуда я не знаю как коннектиться.

Вобщем даже думаю что всю табличку запихнуть в блоб и одним запросом переслать.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
04.01.2020, 04:01
    #1815792
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить?

Пошёл искать.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
04.01.2020, 04:04
    #1815794
WildMage
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
SandalTree  04.01.2020, 04:01
Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить?

Пошёл искать.
В хмл... Но это такое себе
...
Рейтинг: 0 / 0
04.01.2020, 06:00
    #1815800
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
Комкаю всё по 1000 строк в блоб, потом архивирую и посылаю.
Получается очень быстро, но потом нужно всё обратно парсить, а это головная боль.
Вот-бы можно было табличку всю целиком залить в блоб, как она есть. Было-б замечательно.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
04.01.2020, 15:18
    #1816266
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
Придумал как не парсить.
Когда комкаю по 1000 строк, то сразу форматирую как надо.
Тестирую.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
04.01.2020, 16:52
    #1816391
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
WildMage  04.01.2020, 04:04
SandalTree  04.01.2020, 04:01
Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить?

Пошёл искать.
В хмл... Но это такое себе
Вот тут идейку подкинули в JSON. Буду пробовать.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
04.01.2020, 20:33
    #1816896
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
Сделал JSON.
Получилось даже быстрее.
севодня я красафчег.

Всем участникам спасибо за моральную поддержку.
...
А вы шо думали, всё так просто?
Рейтинг: 1 / 0
Нравится: DragonFly
09.01.2020, 08:54
    #1826896
andreymx
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
Через джсон обмениваемся, полёт нормальный

А почему у тебя инсерт построчно
Покажи сам запрос

Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал
...
Рейтинг: 0 / 0
10.01.2020, 04:13
    #1829085
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
andreymx  09.01.2020, 08:54
Через джсон обмениваемся, полёт нормальный

А почему у тебя инсерт построчно
Покажи сам запрос

Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал
Это мой первый опыт с ажуром, но мне кажется это не ажур, а просто линкед сервак так работает.

Запрос простой

INSERT INTO Linked.Server.table(a,b,c)
SELECT A,B,C FROM Very_Big_Table
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
10.01.2020, 06:42
    #1829123
andreymx
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
SandalTree  10.01.2020, 04:13
andreymx  09.01.2020, 08:54
Через джсон обмениваемся, полёт нормальный

А почему у тебя инсерт построчно
Покажи сам запрос

Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал
Это мой первый опыт с ажуром, но мне кажется это не ажур, а просто линкед сервак так работает.

Запрос простой

INSERT INTO Linked.Server.table(a,b,c)
SELECT A,B,C FROM Very_Big_Table
А наоборот пробовали? Не писать по линкед, а читать?
...
Рейтинг: 0 / 0
11.01.2020, 02:04
    #1831474
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
andreymx  10.01.2020, 06:42
SandalTree  10.01.2020, 04:13
andreymx  09.01.2020, 08:54
...
Это мой первый опыт с ажуром, но мне кажется это не ажур, а просто линкед сервак так работает.

Запрос простой

INSERT INTO Linked.Server.table(a,b,c)
SELECT A,B,C FROM Very_Big_Table
А наоборот пробовали? Не писать по линкед, а читать?
А это была моя первая мысль, но вроде из ажура нельзя сделать линкед. Или я тут не по годам?
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
16.01.2020, 13:50
    #1843428
andreymx
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL Azure
Перебросили сервер бд нашей мсскл в Ажур
теперь чтение по линку запроса из одного поля намбер и 150 тыс строк занимает 2 минуты

Эти линки между МССКЛ Ажуром и Ораклом можно как-то настраивать?
...
Изменено: 16.01.2020, 13:51 - andreymx
Рейтинг: 0 / 0
17.01.2020, 04:09
    #1845039
SandalTree
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Powered by Power Rangers
SQL Azure
andreymx  16.01.2020, 13:50
Перебросили сервер бд нашей мсскл в Ажур
теперь чтение по линку запроса из одного поля намбер и 150 тыс строк занимает 2 минуты

Эти линки между МССКЛ Ажуром и Ораклом можно как-то настраивать?
А вы через линкед сервер забираете?
Сколько мегабайт в секунду?
Какие вэйты на обоих серверах в течении этих 2-х минут.

Надеюсь данные передаются пучком, а не строка за строкой, как было у меня.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
Форумы / Вопросы по IT / SQL Azure / 19 сообщений из 19, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]