|
SQL Azure
|
|||
---|---|---|---|
#18+
Можете посоветовать как регулярно перекидывать данные с локальной базы в SQL Azure. Опробован Linked Server, но работает слишком медленно. Есть такие идеи: 1. .NET transfer 2. SSIS 3. BCP 4. PowerShell Что выбрать и какие могут быть затыки и что я может упустил? ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 02:50 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
SandalTree А что ты пробовал? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 02:54 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
3_po 04.01.2020, 02:54 SandalTree А что ты пробовал? Смотрю что он вставляет строчки по одной. Вот есть первый вопрос: Можно заставить Linked Server делать Bulk Insert? - ну это что-б малой кровью обойтись. ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 03:46 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
SandalTree 04.01.2020, 03:46 3_po 04.01.2020, 02:54 SandalTree А что ты пробовал? Смотрю что он вставляет строчки по одной. Вот есть первый вопрос: Можно заставить Linked Server делать Bulk Insert? - ну это что-б малой кровью обойтись. ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 03:49 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
SandalTree не гуру. Но линкед или опенквери, вроде, по строчно вычитывают. По этому руби все что можно на стороне того сервера. А вообще, некоторые товарищи используют мерду мердж между серверами. ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 03:54 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Всио, напилсцо. Линкед вкуда? А оно ещё и должно целостность проверять или нет? ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 03:57 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Вот нашёл решение проблемы. Оно хорошее, но некрасивое. https://dba.stackexchange.com/questions/59328/insert-to-sql-azure-through-linked-server-very-slow Булк не пойдёт, ибо в Ажуре база в фуле. Хорошо-бы прочитать ИЗнутри Ажура, но оттуда я не знаю как коннектиться. Вобщем даже думаю что всю табличку запихнуть в блоб и одним запросом переслать. ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 04:00 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить? Пошёл искать. ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 04:01 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
SandalTree 04.01.2020, 04:01 Вот вопрос тогда: как можно высосать целую таблицу в одну VARBINARY(MAX) переменную и как её оттуда потом вытащить? Пошёл искать. ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 04:04 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Комкаю всё по 1000 строк в блоб, потом архивирую и посылаю. Получается очень быстро, но потом нужно всё обратно парсить, а это головная боль. Вот-бы можно было табличку всю целиком залить в блоб, как она есть. Было-б замечательно. ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 06:00 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Придумал как не парсить. Когда комкаю по 1000 строк, то сразу форматирую как надо. Тестирую. ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 15:18 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Вот тут идейку подкинули в JSON. Буду пробовать. ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
04.01.2020, 16:52 |
|
SQL Azure
|
|
---|---|
#18+
Сделал JSON. Получилось даже быстрее. севодня я красафчег. Всем участникам спасибо за моральную поддержку. ... |
|
А вы шо думали, всё так просто?
Модератор:
|
|
04.01.2020, 20:33 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Через джсон обмениваемся, полёт нормальный А почему у тебя инсерт построчно Покажи сам запрос Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
09.01.2020, 08:54 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
andreymx 09.01.2020, 08:54 Через джсон обмениваемся, полёт нормальный А почему у тебя инсерт построчно Покажи сам запрос Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал Запрос простой INSERT INTO Linked.Server.table(a,b,c) SELECT A,B,C FROM Very_Big_Table ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
10.01.2020, 04:13 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
SandalTree 10.01.2020, 04:13 andreymx 09.01.2020, 08:54 Через джсон обмениваемся, полёт нормальный А почему у тебя инсерт построчно Покажи сам запрос Наши архитектуры перестраивпют нас в Azure Data Factory, но лично ещё не пробовал Запрос простой INSERT INTO Linked.Server.table(a,b,c) SELECT A,B,C FROM Very_Big_Table ... |
|||
Модератор:
Нравится:
Не нравится:
|
|||
10.01.2020, 06:42 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
andreymx 10.01.2020, 06:42
А наоборот пробовали? Не писать по линкед, а читать? ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
11.01.2020, 02:04 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
Перебросили сервер бд нашей мсскл в Ажур теперь чтение по линку запроса из одного поля намбер и 150 тыс строк занимает 2 минуты Эти линки между МССКЛ Ажуром и Ораклом можно как-то настраивать? ... |
|||
Модератор:
Изменено: 16.01.2020, 13:51 - andreymx
Нравится:
Не нравится:
|
|||
16.01.2020, 13:50 |
|
SQL Azure
|
|||
---|---|---|---|
#18+
andreymx 16.01.2020, 13:50 Перебросили сервер бд нашей мсскл в Ажур теперь чтение по линку запроса из одного поля намбер и 150 тыс строк занимает 2 минуты Эти линки между МССКЛ Ажуром и Ораклом можно как-то настраивать? Сколько мегабайт в секунду? Какие вэйты на обоих серверах в течении этих 2-х минут. Надеюсь данные передаются пучком, а не строка за строкой, как было у меня. ... |
|||
А вы шо думали, всё так просто?
Модератор:
Нравится:
Не нравится:
|
|||
17.01.2020, 04:09 |
|
|
start [/forum/topic.php?fid=2&fpage=3&tid=41806]: |
0ms |
get settings: |
10ms |
get forum list: |
10ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
24ms |
get topic data: |
28ms |
get forum data: |
2ms |
get page messages: |
248ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 345ms |
0 / 0 |