Как скопировать файл на удаленный сервер на Python с помощью SCP или SSH?

Вы можете вызвать команду bash scp (она копирует файлы поверх SSH) с _ 2_:

import subprocess
subprocess.run(["scp", FILE, "USER@SERVER:PATH"])
#e.g. subprocess.run(["scp", "foo.bar", "[email protected]:/path/to/foo.bar"])

Если вы создаете файл, который хотите отправить, в той же программе Python, вам нужно вызвать команду subprocess.run за пределами блока with, который вы используете для открытия файла (или сначала вызовите .close() в файле, если вы без блока with), поэтому вы знаете, что он сбрасывается на диск из Python.

Вам необходимо заранее сгенерировать (на исходном компьютере) и установить (на конечном компьютере) ключ ssh, чтобы scp автоматически аутентифицировался с вашим открытым ключом ssh (другими словами, чтобы ваш скрипт не запрашивал пароль) .

Чтобы сделать это в Python (т.е. не оборачивать scp через subprocess.Popen или подобное) с библиотекой Paramiko, вы сделал бы что-то вроде этого:

import os
import paramiko

ssh = paramiko.SSHClient() 
ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts")))
ssh.connect(server, username=username, password=password)
sftp = ssh.open_sftp()
sftp.put(localpath, remotepath)
sftp.close()
ssh.close()

(Вы, вероятно, захотите иметь дело с неизвестными хостами, ошибками, созданием любых необходимых каталогов и т. Д.).

Вероятно, вы использовали бы модуль подпроцесса. Что-то вроде этого:

import subprocess
p = subprocess.Popen(["scp", myfile, destination])
sts = os.waitpid(p.pid, 0)

Где destination, вероятно, имеет форму user@remotehost:remotepath. Спасибо @Charles Duffy за указание на слабость в моем исходном ответе, в котором для указания операции scp shell=True использовался единственный строковый аргумент, который не обрабатывал пробелы в путях.

В документации модуля есть примеры проверки ошибок, которые вы, возможно, захотите выполнить вместе с этой операцией.

Убедитесь, что вы настроили правильные учетные данные, чтобы можно было выполнять автоматическую передачу данных без пароля между машинами. Для этого уже существует вопрос о stackoverflow.

Есть несколько разных подходов к решению проблемы:

1. Обернуть программы командной строки
2. используйте библиотеку Python, которая предоставляет возможности SSH (например, Paramiko или Витая раковина)

У каждого подхода есть свои особенности. Вам нужно будет настроить ключи SSH, чтобы разрешить вход без пароля, если вы обертываете системные команды, такие как «ssh», «scp» или «rsync». Вы можете встроить пароль в скрипт с помощью Paramiko или какой-либо другой библиотеки, но отсутствие документации может вас расстроить, особенно если вы не знакомы с основами SSH-соединения (например, обмен ключами, агенты и т. Д.). Само собой разумеется, что ключи SSH почти всегда лучше, чем пароли для такого рода вещей.

ПРИМЕЧАНИЕ: его сложно превзойти rsync, если вы планируете передавать файлы через SSH, особенно если альтернативой является старый добрый scp.

Я использовал Paramiko с прицелом на замену системных вызовов, но обнаружил, что меня снова привлекают завернутые команды из-за их простоты использования и непосредственного знакомства. Ты мог бы быть другим. Некоторое время назад я осмотрел Конча, но мне это не понравилось.

Если вы выбираете путь системного вызова, Python предлагает массив параметров, таких как os.system или модули команд / подпроцесса. Я бы пошел с модулем подпроцесса, если использую версию 2.4+.

Достигнута та же проблема, но вместо "взлома" или эмуляции командной строки:

Нашел этот ответ здесь.

from paramiko import SSHClient
from scp import SCPClient

ssh = SSHClient()
ssh.load_system_host_keys()
ssh.connect('example.com')

with SCPClient(ssh.get_transport()) as scp:
    scp.put('test.txt', 'test2.txt')
    scp.get('test2.txt')

Вы можете сделать что-то вроде этого, чтобы обрабатывать проверку ключа хоста

import os
os.system("sshpass -p password scp -o StrictHostKeyChecking=no local_file_path username@hostname:remote_path")

fabric можно использовать для загрузки файлов по ssh:

#!/usr/bin/env python
from fabric.api import execute, put
from fabric.network import disconnect_all

if __name__=="__main__":
    import sys
    # specify hostname to connect to and the remote/local paths
    srcdir, remote_dirname, hostname = sys.argv[1:]
    try:
        s = execute(put, srcdir, remote_dirname, host=hostname)
        print(repr(s))
    finally:
        disconnect_all()

Вы можете использовать пакет vassal, который как раз для этого предназначен.

Все, что вам нужно, это установить вассала и сделать

from vassal.terminal import Terminal
shell = Terminal(["scp username@host:/home/foo.txt foo_local.txt"])
shell.run()

Кроме того, это избавит вас от аутентификации учетных данных, и вам не придется вводить их снова и снова.

Я использовал sshfs для монтирования удаленного каталога через ssh и shutil, чтобы скопировать файлы:

$ mkdir ~/sshmount
$ sshfs user@remotehost:/path/to/remote/dst ~/sshmount

Затем в питоне:

import shutil
shutil.copy('a.txt', '~/sshmount')

Этот метод имеет то преимущество, что вы можете передавать данные в потоке, если генерируете данные, а не кэшируете локально и отправляете один большой файл.

Попробуйте это, если вы не хотите использовать сертификаты SSL:

import subprocess

try:
    # Set scp and ssh data.
    connUser = 'john'
    connHost = 'my.host.com'
    connPath = '/home/john/'
    connPrivateKey = '/home/user/myKey.pem'

    # Use scp to send file from local to host.
    scp = subprocess.Popen(['scp', '-i', connPrivateKey, 'myFile.txt', '{}@{}:{}'.format(connUser, connHost, connPath)])

except CalledProcessError:
    print('ERROR: Connection to host failed!')

Использование внешнего ресурса paramiko;

    from paramiko import SSHClient
    from scp import SCPClient
    import os

    ssh = SSHClient() 
    ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts")))
    ssh.connect(server, username='username', password='password')
    with SCPClient(ssh.get_transport()) as scp:
            scp.put('test.txt', 'test2.txt')

Вызов команды scp через подпроцесс не позволяет получить отчет о проделанной работе внутри скрипта. pexpect можно использовать для извлечения этой информации:

import pipes
import re
import pexpect # $ pip install pexpect

def progress(locals):
    # extract percents
    print(int(re.search(br'(\d+)%$', locals['child'].after).group(1)))

command = "scp %s %s" % tuple(map(pipes.quote, [srcfile, destination]))
pexpect.run(command, events={r'\d+%': progress})

См. файл копии python в локальной сети (linux -> linux)

Очень простой подход заключается в следующем:

import os
os.system('sshpass -p "password" scp user@host:/path/to/file ./')

Библиотеки python не требуются (только os), и она работает, однако использование этого метода требует установки другого клиента ssh. Это может привести к нежелательному поведению при запуске в другой системе.

Вроде хаки, но должно работать следующее :)

import os
filePath = "/foo/bar/baz.py"
serverPath = "/blah/boo/boom.py"
os.system("scp "+filePath+" [email protected]:"+serverPath)