бекап сайта по ssh

[rаshman]

есть проект 10Гб весом. хочется иметь его актуальную копию на локальной машине.

решение: взять програмку, которая умеет синхронизировать удаленую папочку с локальной.

проблема: у хостера стоит ограничение на чтение файлов по фтп - 2000 файлов.

альтернатива: использовать клиента, который умеет делать то же самое, только по ssh.

wincsp показывает все файлы и хорошо их копирует, но не умеет синхронизировать.

вот теперь вопрос: кто-то знает такую программку, которая бы умела делать по ssh синхронизацию? можно платную!

[Jooz]

rar ))
поднимаете на логале FTP, на сервере архивируете и выплевываете на локаль.
Если строго по ssh, разворачиваете на локале ssh, на сервере ставите fsbackup прописываете в крон sh, подсовываете открытые ключи и вуаля! Позволяет гнать только модифицированные и новые файлы, или делать инкрементальные/дефиринциальные копии.

[rаshman]

я не уточнил: 10Гб картинок. сжимай их, не сжимай - результат не будет сильно отличаться от 10Гб. вариант с архивированием отбрасываем.

fsbackup смотрел. им действительно удобно между двумя серверами работать... но у меня задачка чуть по-другому... с разворачиванием на локальной виндовой машине ssh - проблема. и с со стабильностью коннекта - могут быть обрывы.

[Alexey]

rsync на серваке не стоит? его можно поверх ssh проложить и вполне нормально работает.

[kep]

Сообщение от rаshman

я не уточнил: 10Гб картинок. сжимай их, не сжимай - результат не будет сильно отличаться от 10Гб. вариант с архивированием отбрасываем.

fsbackup смотрел. им действительно удобно между двумя серверами работать... но у меня задачка чуть по-другому... с разворачиванием на локальной виндовой машине ssh - проблема. и с со стабильностью коннекта - могут быть обрывы.

Тут не в зажатии дело, а то, что вы 1 файлом все заберете.
Некто не знает, как мускул синхронизировать, допустим, у меня дома стоит, сайт и копия на хосте и чтоб по крону это все добро обновлялось, было бы удобно.

[rаshman]

rsync не стоит

Добавлено через 1 минуту
одним файлом тянуть 10Гб тоже приятного мало... можно разбить и на меньшие куски, но это не решает проблему ежедневной синхронизации.

бд весит 300 метров. запакованная и того меньше. так что ее можно и по фтп тянуть

[Ulf]

Ничего не сможет синхронизировать, именно из-за большого кол-ва картинок в одной папке, по собственному опыту могу сказать, что обосрется даже дуплисити.
Как Вариант - настроить тот же duplicity, но без папки с картинками.

[Jooz]

Сообщение от Ulf

Ничего не сможет синхронизировать, именно из-за большого кол-ва картинок в одной папке, по собственному опыту могу сказать, что обосрется даже дуплисити.
Как Вариант - настроить тот же duplicity, но без папки с картинками.

А зачем же вы так дисковую подсистему подсаживаете?
Бздя как и другой nix перед чтением файла делает list директории, по опыту могу сказать 10000 файлов в одном фолдере, садит производительность процентов 10% (15-20 картинок на http), причем прогрессия этого явления не линейная.
Касательно вашего вопроса, я бы все такие остановился на fsbackup, развернуть на винде ssh не такой уж гимор, касательно обрывов коннекта, волноваться не должны, сначала создайте полную копию на локале, а потом синхронизируйте, трафик будет только уходить на чтение директорий и выплевывания новых/измененых файлов, если коннект откиниться, все повториться в следующий цикл.

Можно еще самому утилитку написать и локальным wget-om выкачивать, хоть по http, раз в ftp у вас такая беда.

[Ulf]

Jooz, если бы мы.... Была парочка таких вот "умных" клиентов, у которых в каталоге хранилось от 100к картинок....