Почему скорость передачи CF FTP в несколько раз ниже, чем у стандартного FTP?

У меня есть приложение ColdFusion, которое я использую для передачи файлов между нашими серверами разработки и производства. Код, который фактически отправляет файлы, выглядит следующим образом:

ftp = new Ftp();
ftp.setUsername(username);
ftp.setPassword(password);
ftp.setServer(server);
ftp.setTimeout(1800);
ftp.setConnection('dev');
ftp.open();
ftp.putFile(transferMode="binary",localFile=localpath,remoteFile=remotepath);
ftp.close(connection='dev');

При отправке файла с использованием приведенного выше кода я ограничиваю скорость чуть менее 100 КБ/с (отслеживается через FileZilla на принимающем сервере). Если я отправлю тот же самый файл с помощью инструмента FTP командной строки Windows, моя скорость превысит 1000 КБ/с.

Я создал совершенно новый файл, содержащий только приведенный выше код, и это не влияет на скорость передачи, поэтому я знаю, что он не имеет ничего общего с окружающим кодом в исходном приложении.

Итак, что может быть причиной этих ужасно низких скоростей?

Редактировать: все тесты выполняются для передачи файлов с моего рабочего сервера на мой сервер разработки. Я также пытался использовать тег <cfftp> вместо cfscript, и у меня те же результаты.

Изменить №2: в итоге я использовал cfexecute, код выглядит следующим образом:

Из моего FTP-скрипта:

public function sendFiles(required string localpath, required string remotepath) {
    this.writeFtpInstructions(localpath);
    exe = "C:\Windows\system32\ftp.exe";
    params = "-s:" & request.localapproot & "/" & "upload.txt";
    outputfile = request.localapproot & '/ftp.log';
    timeout = 120;
    Request.cliExec(exe,params,outputfile,timeout);
}

public function writeFtpInstructions(required string localpath) {
    instructions = request.localapproot & "/" & "upload.txt";
    crlf = chr(13) & chr(10);
    data = "";
    data &= "open " & this.server & crlf;
    data &= this.username & crlf;
    data &= this.password & crlf;
    data &= "cd " & request.remoteapproot & crlf;
    data &= "put " & localpath & crlf;
    data &= "quit";
    FileWrite(instructions, data);
}

Функция cliExec() (необходима для создания обёртки, так как в cfscript нет эквивалента cfexecute):

<cffunction name="cliExec">
    <cfargument name="name">
    <cfargument name="arguments">
    <cfargument name="outputfile">
    <cfargument name="timeout">
    <cfexecute
        name="#name#"
        arguments="#arguments#"
        outputFile="#outputfile#"
        timeout="#timeout#" />
</cffunction>

person Sean Walsh    schedule 26.05.2011    source источник
comment
был ли ваш тест с использованием ftp-инструмента командной строки Windows с того же сервера, на котором работает ваш скрипт CF?   -  person Ryan Guill    schedule 27.05.2011
comment
Да, все мои тесты переносятся с рабочего сервера на сервер разработки.   -  person Sean Walsh    schedule 27.05.2011
comment
Я просто хотел сказать большое спасибо за размещение этого вопроса и вашего решения. Это сэкономило мне много часов на одних и тех же шагах. :)   -  person Nicholas    schedule 29.07.2012


Ответы (2)


Я искал, и у меня нет ответа о том, почему это медленнее. Но теоретически вы должны иметь возможность использовать cfexecute для этого через командную строку Windows. Вы могли бы даже создать пакетный файл и сделать это за один вызов.

person Ryan Guill    schedule 27.05.2011
comment
Я тоже так думал. Я позволю этому немного подождать, прежде чем приму ответ, но если я в конечном итоге реализую cfexecute, я отдам вам должное. :) - person Sean Walsh; 27.05.2011
comment
звучит справедливо для меня. Надеюсь, вы найдете лучшее решение. - person Ryan Guill; 31.05.2011
comment
Что ж, похоже, этот никуда не денется. Я собираюсь реализовать cfexecute. Спасибо! - person Sean Walsh; 01.06.2011
comment
Просто чтобы продолжить - я заменил свои вызовы cfftp на cfexecute, и теперь я последовательно перехожу со скоростью 1,3 МБ / с против менее 100 КБ / с. Такая странная проблема... - person Sean Walsh; 01.06.2011
comment
вы сделали это с помощью пакетного сценария или нескольких последующих вызовов cfexecute? Я хотел бы увидеть, как вы это сделали. - person Ryan Guill; 02.06.2011
comment
Поскольку я передаю только один файл за раз (либо экспорт SQL, либо zip-файл, содержащий несколько каталогов), мне не нужен пакетный файл. Однако я динамически создавал инструкции по загрузке, которые затем передавались на ftp.exe через cfexecute. Вы можете увидеть полный код в моем последнем редактировании. - person Sean Walsh; 03.06.2011

С моим опытом использования cfftp на CF9 было невозможно передавать большие файлы. Если вы просмотрите активные передачи на стороне FTP-сервера, вы заметите, что передачи начинаются с максимальной скорости, но по мере того, как передается все больше и больше данных, скорость продолжает падать. После того, как было передано 100 МБ, сокращение стало очень резким, пока в конечном итоге они не достигли однозначного числа сканирования. В конце концов время передачи истекло и не удалось. Я пытался работать с файлом размером 330 МБ и обнаружил, что его невозможно передать с помощью cfftp. Cfexecute не был для меня вариантом использования стандартного Windows ftp.exe, потому что он, похоже, не поддерживает SFTP.

В итоге я искал внешний класс Java для использования через coldfusion и остановился на JSch (http://www.jcraft.com/jsch/). По иронии судьбы, CF9 использует вариант этого класса для CFFTP (jsch-0.1.41m.jar), но результаты сильно отличаются при использовании этой последней загруженной версии (jsch-0.1.45.jar).

Вот код, который я собрал для доказательства концепции:

<cfscript>
    stAppPrefs = {
        stISOFtp = {
             server = 'sftp.server.com',
             port = '22',
             username = 'youser',
             password = 'pa$$w0rd'
        }
    };

    /* Side-Load JSch Java Class (http://www.jcraft.com/jsch/) */
    try {
        // Load Class Using Mark Mandel's JavaLoader (http://www.compoundtheory.com/?action=javaloader.index)
        /* 
        Add Mark's LoaderClass To The ColdFusion Class Path Under CF Admin:
        Java and JVM : ColdFusion Class Path : C:\inetpub\wwwroot\javaloader\lib\classloader-20100119110136.jar
        Then Restart The Coldfusion Application Service
        */
        loader = CreateObject("component", "javaloader.JavaLoader").init([expandPath("jsch-0.1.45.jar")]);
        // Initiate Instance
        jsch = loader.create("com.jcraft.jsch.JSch").init();
    }
    catch(any excpt) {          
        WriteOutput("Error loading ""jsch-0.1.45.jar"" java class: " & excpt.Message & "<br>");
        abort;
    }

    /* SFTP Session & Channel */
    try {
        // Create SFTP Session
        session = jsch.getSession(stAppPrefs.stISOFtp.username, stAppPrefs.stISOFtp.server, stAppPrefs.stISOFtp.port);
        // Turn Off & Use Username/Password
        session.setConfig("StrictHostKeyChecking", "no");
        session.setPassword(stAppPrefs.stISOFtp.password);
        session.connect();
        // Create Channel To Transfer File(s) On
        channel = session.openChannel("sftp");
        channel.connect();
    }
    catch(any excpt) { 
        WriteOutput("Error connecting to FTP server: " & excpt.Message & "<br>");
        abort;
    } 

    // Returns Array Of Java Objects, One For Each Zip Compressed File Listed In Root DIR
    // WriteDump(channel.ls('*.zip'));      
    // Get First Zip File Listed For Transfer From SFTP To CF Server
    serverFile = channel.ls('*.zip')[1].getFilename();

    /* Debug */
    startTime = Now();
    WriteOutput("Transfer Started: " & TimeFormat(startTime, 'hh:mm:ss') & "<br>");
    /* // Debug */

    /* Transfer File From SFTP Server To CF Server */
    try {
        // Create File On Server To Write Byte Stream To
        transferFile = CreateObject("java", "java.io.File").init(expandPath(serverFile));
        channel.get(serverFile, CreateObject("java", "java.io.FileOutputStream").init(transferFile));
        // Close The File Output Stream
        transferFile = '';
    }
    catch(any excpt) { 
        WriteOutput("Error transfering file """ & expandPath(serverFile) & """: " & excpt.Message & "<br>");
        abort;
    }

    /* Debug */
    finishTime = Now();
    WriteOutput("Transfer Finished: " & TimeFormat(finishTime, 'hh:mm:ss') & "<br>");
    expiredTime = (finishTime - startTime);
    WriteOutput("Duration: " & TimeFormat(expiredTime, 'HH:MM:SS') & "<br>");
    WriteOutput("File Size: " & NumberFormat(Evaluate(GetFileInfo(ExpandPath(serverFile)).size / 1024), '_,___._') & " KB<br>");
    WriteOutput("Transfer Rate: " & NumberFormat(Evaluate(Evaluate(GetFileInfo(ExpandPath(serverFile)).size / 1024) / Evaluate(((TimeFormat(expiredTime, 'H') * 60 * 60) + (TimeFormat(expiredTime, 'M') * 60) + TimeFormat(expiredTime, 'S')))), '_,___._') & " KB/Sec <br>");
    /* // Debug */

    channel.disconnect();
    session.disconnect();
    </cfscript>

Результаты:

Transfer Started: 09:37:57
Transfer Finished: 09:42:01
Duration: 00:04:04
File Size: 331,770.8 KB
Transfer Rate: 1,359.7 KB/Sec

Достигнутая скорость передачи соответствует той, которую я получил, используя FTP-клиент FileZilla и загружая вручную. Я нашел этот метод жизнеспособным решением для неадекватности cfftp.

person Gavin Dority    schedule 10.01.2012