powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
19 сообщений из 19, страница 1 из 1
SQL Azure
    #1815760
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
Можете посоветовать как регулярно перекидывать данные с локальной базы в SQL Azure.

Опробован Linked Server, но работает слишком медленно.
Есть такие идеи:
1. .NET transfer
2. SSIS
3. BCP
4. PowerShell

Что выбрать и какие могут быть затыки и что я может упустил?
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1815767
Фотография 3_po
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SandalTree
А что ты пробовал?
...
Рейтинг: 0 / 0
SQL Azure
    #1815787
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
3_po  04.01.2020, 02:54
SandalTree
А что ты пробовал?
Да вот мне пожаловались что Linked Server работает медленно, а типа при связи с другим червером он это делает быстрее.

Смотрю что он вставляет строчки по одной.

Вот есть первый вопрос: Можно заставить Linked Server делать Bulk Insert? - ну это что-б малой кровью обойтись.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1815788
Фотография 3_po
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SandalTree  04.01.2020, 03:46
3_po  04.01.2020, 02:54
SandalTree
А что ты пробовал?
Да вот мне пожаловались что Linked Server работает медленно, а типа при связи с другим червером он это делает быстрее.

Смотрю что он вставляет строчки по одной.

Вот есть первый вопрос: Можно заставить Linked Server делать Bulk Insert? - ну это что-б малой кровью обойтись.
Онож не просто с хренов в произвольный момент времени берется!
...
Рейтинг: 0 / 0
SQL Azure
    #1815789
Фотография 3_po
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SandalTree не гуру. Но линкед или опенквери, вроде, по строчно вычитывают.

По этому руби все что можно на стороне того сервера.
А вообще, некоторые товарищи используют мерду мердж между серверами.
...
Рейтинг: 0 / 0
SQL Azure
    #1815790
Фотография 3_po
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всио, напилсцо.
Линкед вкуда?
А оно ещё и должно целостность проверять или нет?
...
Рейтинг: 0 / 0
SQL Azure
    #1815791
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
Вот нашёл решение проблемы. Оно хорошее, но некрасивое.
https://dba.stackexchange.com/questions/59328/insert-to-sql-azure-through-linked-server-very-slow

Булк не пойдёт, ибо в Ажуре база в фуле.
Хорошо-бы прочитать ИЗнутри Ажура, но оттуда я не знаю как коннектиться.

Вобщем даже думаю что всю табличку запихнуть в блоб и одним запросом переслать.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1815792
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить?

Пошёл искать.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1815794
WildMage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SandalTree  04.01.2020, 04:01
Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить?

Пошёл искать.
В хмл... Но это такое себе
...
Рейтинг: 0 / 0
SQL Azure
    #1815800
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
Комкаю всё по 1000 строк в блоб, потом архивирую и посылаю.
Получается очень быстро, но потом нужно всё обратно парсить, а это головная боль.
Вот-бы можно было табличку всю целиком залить в блоб, как она есть. Было-б замечательно.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1816266
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
Придумал как не парсить.
Когда комкаю по 1000 строк, то сразу форматирую как надо.
Тестирую.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1816391
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
WildMage  04.01.2020, 04:04
SandalTree  04.01.2020, 04:01
Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить?

Пошёл искать.
В хмл... Но это такое себе
Вот тут идейку подкинули в JSON. Буду пробовать.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1816896
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
Сделал JSON.
Получилось даже быстрее.
севодня я красафчег.

Всем участникам спасибо за моральную поддержку.
...
А вы шо думали, всё так просто?
Рейтинг: 1 / 0
Нравится: DragonFly
SQL Azure
    #1826896
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Через джсон обмениваемся, полёт нормальный

А почему у тебя инсерт построчно
Покажи сам запрос

Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал
...
Рейтинг: 0 / 0
SQL Azure
    #1829085
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
andreymx  09.01.2020, 08:54
Через джсон обмениваемся, полёт нормальный

А почему у тебя инсерт построчно
Покажи сам запрос

Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал
Это мой первый опыт с ажуром, но мне кажется это не ажур, а просто линкед сервак так работает.

Запрос простой

INSERT INTO Linked.Server.table(a,b,c)
SELECT A,B,C FROM Very_Big_Table
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1829123
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SandalTree  10.01.2020, 04:13
andreymx  09.01.2020, 08:54
Через джсон обмениваемся, полёт нормальный

А почему у тебя инсерт построчно
Покажи сам запрос

Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал
Это мой первый опыт с ажуром, но мне кажется это не ажур, а просто линкед сервак так работает.

Запрос простой

INSERT INTO Linked.Server.table(a,b,c)
SELECT A,B,C FROM Very_Big_Table
А наоборот пробовали? Не писать по линкед, а читать?
...
Рейтинг: 0 / 0
SQL Azure
    #1831474
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
andreymx  10.01.2020, 06:42
SandalTree  10.01.2020, 04:13
andreymx  09.01.2020, 08:54
...
Это мой первый опыт с ажуром, но мне кажется это не ажур, а просто линкед сервак так работает.

Запрос простой

INSERT INTO Linked.Server.table(a,b,c)
SELECT A,B,C FROM Very_Big_Table
А наоборот пробовали? Не писать по линкед, а читать?
А это была моя первая мысль, но вроде из ажура нельзя сделать линкед. Или я тут не по годам?
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
SQL Azure
    #1843428
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Перебросили сервер бд нашей мсскл в Ажур
теперь чтение по линку запроса из одного поля намбер и 150 тыс строк занимает 2 минуты

Эти линки между МССКЛ Ажуром и Ораклом можно как-то настраивать?
...
Изменено: 16.01.2020, 13:51 - andreymx
Рейтинг: 0 / 0
SQL Azure
    #1845039
SandalTree
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Powered by Power Rangers
andreymx  16.01.2020, 13:50
Перебросили сервер бд нашей мсскл в Ажур
теперь чтение по линку запроса из одного поля намбер и 150 тыс строк занимает 2 минуты

Эти линки между МССКЛ Ажуром и Ораклом можно как-то настраивать?
А вы через линкед сервер забираете?
Сколько мегабайт в секунду?
Какие вэйты на обоих серверах в течении этих 2-х минут.

Надеюсь данные передаются пучком, а не строка за строкой, как было у меня.
...
А вы шо думали, всё так просто?
Рейтинг: 0 / 0
19 сообщений из 19, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]