Сжатие трафика HTTP

2002 г

Сжатие трафика HTTP

Андрей Ниденс
"Открытые Системы"
Windows 2000 Magazine, #06/2002

Алгоритм gZip поможет сберечь полосу пропускания

Использование в протоколе НТТР 1.1. сжатия с помощью алгоритма gZip позволяет добиться увеличения скорости передачи пользователю сгенерированных страниц. По моим наблюдениям, благодаря этой возможности объем передаваемых по сети данных можно уменьшить в 10 раз, тем самым сокращая время ожидания. Не во всех версиях IIS имеет встроенную поддержку компрессии по алгоритму gZip (http://support.microsoft.com/default.aspx?scid=kb;en-us;Q276488), позволяющую сжимать не только статические, но и динамически сформированные страницы.

Вопросы конфигурирования и использования встроенной в IIS компрессии обсуждались на многих форумах, и я пришел к выводу, что настройка данной возможности IIS - занятие не для начинающих. Можно ли произвести сжатие не встроенными средствами IIS? После поиска в Internet я нашел пару компаний, разрабатывающих ISAPI-фильтры, которые позволяют сжимать данные в обход стандартных методов IIS. При дальнейшем изучении продуктов этих компаний оказалось, что они дорого стоят и сложно конфигурируются. Что же делать начинающему Web-мастеру, работающему с IIS? Попробуем выполнить компрессию своими руками.

Конечно, метод, который предлагается ниже, не претендует на звание самого эффективного и вряд ли его стоит применять на сайтах, которые обслуживают в день сотни тысяч клиентов. Однако для небольших компаний, не сильно загруженных сайтов и внутренних приложений в сети компании он годится. Мы использовали его для приложений и проверяли на клиентах, подключенных на скорости 9600 бод. В качестве клиентской программы использовались браузеры IE старше версии 5.0, а также Netscape Navigator 4.72.

Для написания кода нам понадобится только один "внешний" компонент: стандартный gZip, переписанный с сайта www.gzip.org (http://www.gzip.org/gzip124xN.zip). GZip.exe можно переписать в один из системных каталогов (я записал его в winnt), чтобы его было удобно вызывать. Все остальные объекты, которые мы будем использовать, разработаны компанией Microsoft.

Для начала проведем маленький эксперимент - попробуем создать в корневом каталоге IIS (по умолчанию это c:\inetpub\wwwroot) каталог test, затем войдем в консоль Internet Information Services и создадим для каталога test-приложение (см. Экран 1).

Экран 1. Назначение каталогу приложения.

Поместим в созданный каталог файл test.html со следующим содержанием:

<HTML>
<HEAD>
<TITLE>Test</TITLE>
</HEAD>
<BODY>
1234567890<br>
1234567890<br>
1234567890<br>
1234567890<br>
1234567890<br>
</BODY>
</HTML>

Вызовем оболочку MS-DOS, перейдем в каталог, в который мы записали test.html, и сожмем его с помощью gZip.

gzip.exe -c -n -a -9 test.html " test.gz

Получим сжатый файл test.gz. Можно сравнить размеры двух файлов - исходный файл test.html занимал у меня на диске 304 байт, после компрессии test.gz стал занимать 85 байт. Уменьшение почти в три с половиной раза!!! В продолжение эксперимента создадим в том же каталоге страничку test.asp (см. Листинг 1).

Листинг 1. Тестовая asp-страница.

<%@ LANGUAGE=>VBScript> %>
<%
        Response.AddHeader <content-encoding>, <gzip>
        Const adTypeBinary = 1
        Dim strFilePath
        Set objStream = Server.CreateObject(<ADODB.Stream>)
        objStream.Open
        objStream.Type = adTypeBinary
        objStream.LoadFromFile Request.ServerVariables
        (<APPL_PHYSICAL_PATH>)+>test.gz>
        Response.BinaryWrite objStream.Read
        objStream.Close
        Set objStream = Nothing
%>

Если все сделано правильно, то вызов
http://localhost/test/test.html и
http://localhost/test/test.asp выдаст в окне браузера одну и ту же страницу. Разница только в том, что при вызове http://localhost/test/test.asp количество информации, переданной от сервера к клиенту почти вдвое меньше.

В коде, размещенном в файле test.asp, упоминается объект ADODB.Stream, который используется для чтения с диска сжатого файла test.gz. Подробнее об этом объекте можно прочесть на сайте Microsoft по адресу: http://support.microsoft.com/default.aspx?scid=kb;en-us;Q276488.

Теперь реализуем более полную версию программы сжатия для asp-страниц. В первую очередь нужно позаботиться о том, чтобы можно было вызывать из ASP компонент WScript.Shell и выполнять с его помощью вызов gZip. Для этого c помощью приложения Computer Management необходимо создать учетную запись для нового пользователя, которую затем указать в консоли Internet Information Services как учетную запись анонимного пользователя, на закладке Directory Security для нашего приложения, созданного в IIS (см. Экран 2).

Экран 2. Новая учетная запись для анонимного пользователя.

Теперь переходим непосредственно к программированию. Необходимо позаботиться о том, чтобы генерируемая для пользователя страница не сразу передавалась клиенту, а кэшировалась в файле на сервере для дальнейшего сжатия. Создаем на нашем сервере файл output.inc, содержимое которого представлено в Листинге 2.

Листинг 2. Программа сжатия отсылаемого файла.

<%
Const OpenFileForReading = 1 
Const OpenFileForWriting = 2 
Const OpenFileForAppending = 8 
Const adTypeBinary = 1
function CreateTempFile(name)
 if InStr(LCase(Request.ServerVariables(<HTTP_ACCEPT_ENCODING>)), 
 LCase(<gzip>))=0 then
 CreateTempFile =>>
  else
    Randomize 
    pPath=Request.ServerVariables(<APPL_PHYSICAL_PATH>)
    if Len(name)=0 then
        filename= pPath +>c_>+CStr(Int(1001 * Rnd))
    else
        filename= pPath +name
    end if      
    filename=Replace(filename,>\\>,>\>)
    Set fso = CreateObject(<Scripting.FileSystemObject>)
    Set tf = fso.CreateTextFile(filename+>.txt>, True)
    tf.Close
    Set tf = Nothing    
    Set fso = Nothing
    CreateTempFile = filename
  end if
end function
sub Write(filename,str)
 if Len(filename)=0 then
    Response.write(str)
 else
     Dim fso, tf
     Set fso = CreateObject(<Scripting.FileSystemObject>)
     Set tf = fso.OpenTextFile(filename+>.txt>, 
    OpenFileForAppending, True, TristateFalse)
     tf.Write(CStr(str))
     tf.Close
     Set tf = Nothing 
     Set fso = Nothing
  end if
end sub
function Compress(filename)
   if Len(filename)>0 then
     command=>cmd /c gzip.exe -c -n -a -9 <+filename+>.txt > 
     <+filename+>.gz>
     Set WshShell = CreateObject(<WScript.Shell>)
     WshShell.Run command,0,true
     Set WshShell=Nothing
   end if
end function
function Send(filename)
        if Len(filename)>0 then
          Response.AddHeader 
          <content-encoding>, <gzip>
          Set objStream = Server.CreateObject
          (<ADODB.Stream>)
          objStream.Open
          objStream.Type = adTypeBinary
          objStream.LoadFromFile filename+>.gz>
          Response.BinaryWrite objStream.Read
          objStream.Close
          Set objStream = Nothing
        end if
end function
function DeleteFiles(filename)
   if Len(filename)>0 then
     Set fso = CreateObject(<Scripting.FileSystemObject>)
     fso.DeleteFile(filename)
     Set fso = Nothing
   end if  
end function
 %>

В принципе, код довольно прост, но все-таки хочется пояснить, для чего нам понадобились подобные функции и подпрограмма. Функция CreateTempFile предназначена для создания пустого временного файла, в который мы направим весь поток формируемых для клиента данных. Эта функция возвращает имя созданного файла. Если браузер клиента не умеет работать с gZip-компрессией, возвращается пустое значение. Это означает, что генерируемые данные нужно отправлять клиенту без сжатия. Подпрограмма Write осуществляет запись строки данных str в файл с именем filename или передает строку данных клиенту, если filename содержит пустую строку. Когда страница будет готова, необходимо вызвать функцию Compress - она сжимает исходный файл, содержащий сгенерированную страницу. Функция Send завершает вывод информации клиенту - она непосредственно передает клиенту полученный в результате сжатия файл. Можно приступить к испытаниям программы сжатия. Создаем новый файл test1.asp (см. Листинг 3).

Листинг 3. Страница test1.asp для проверки программы сжатия.

<%@ LANGUAGE=>VBScript> %>
<!-- #INCLUDE VIRTUAL=>/test/output.inc> -->
<%
Response.Buffer = TRUE
file=>>
file=CreateTempFile(<>)
call Write(file,><html><head><title>Test<
/title></head><body><table border='0'>>)
color=>#d0fdc8>
for i=0 to 1999
  if color=>#d0fdc8> then
          color=>#9ef988>
  else
          color=>#d0fdc8>
  end if
  call Write(file,><tr>>)
  call Write(file,><td bgcolor='>+color+>'>
  Row <+CStr(i)+></td>>)
  call Write(file,><td bgcolor='>+color+>'>>
  +CStr(Rnd(i))+></td>>)
  call Write(file,></tr>>)
next
call Write (file,></table></body></html>>)
call Compress(file)
call Send(file)
call DeleteFiles(file&>.txt>)
call DeleteFiles(file&>.gz>)
%>

Текст этого файла специально написан так, чтобы мы получили выходной файл большого размера. Загружаем в браузере написанный test1.asp. Кажется, ничего особенного не происходит - мы видим обычную таблицу длиной 2000 строк (см. Экран 3).

Экран 3. Результат работы test1.asp.

Временно закомментируем в файле test1.asp две строчки

call DeleteFiles(file&".txt") 
call DeleteFiles(file&".gz")

И еще раз вызовем в браузере страницу test1.asp. В нашем каталоге на сервере появилось два новых файла, причем файл с расширением gz значительно меньше файла txt (у меня исходный файл имел размер 217 Кбайт, а сжатый - 17 Кбайт, почти в 13 раз меньше). Именно этот маленький файл и отправляется клиенту при запросе страницы test1.asp. Интересно содержимое полученного файла с расширением txt. Если открыть его, мы увидим, что, хотя был написан хорошо размеченный текст test1.asp, в полученном файле txt нет лишних пробелов, символов табуляции, переводов строк и т. д. Конечно, все это помогает разработчику ориентироваться в структуре HTML-документа, однако совершенно не нужно для браузера, который прекрасно разбирает даже написанный в одну строку код HTML. Такой побочный эффект от использования нашей программы компрессии позволяет дополнительно уменьшить объем передаваемой информации. Теперь можно попробовать подключиться к нашему серверу с помощью модема и вызвать test1.asp с удаленного компьютера.

Каковы плюсы и минусы описанного выше метода? Выигрыш в размере предаваемой информации - это плюс. Однако нам пришлось выполнить лишние операции на сервере с жестким диском и использовать лишнее процессорное время - это минус. Конечно, диск - относительно медленное устройство, но следует помнить, что модем пользователя - устройство еще более медленное, и часто время, потраченное на передачу несжатого документа, намного больше, чем время, необходимое для сжатия.

Приведенная схема - это только набросок, ее можно развить, добавив отслеживание актуальности страницы, что позволит избежать повторного создания и сжатия страниц. К примеру, если сайт, который мы разрабатываем, не содержит динамически изменяемых данных (например, если он представляет собой сборник статей, каждая из которых будет содержаться в обычном HTML-файле), то можно использовать метод оптимизации, основанный на нашей методике. После создания статической страницы ее можно сжать с помощью gZip, а полученный сжатый файл передавать клиентам сайта вместо первичных данных. Нам только придется позаботиться о том, чтобы в случае внесения изменений в исходную информацию происходило автоматическое обновление соответствующего сжатого файла. Попробуем решить эту задачу. Допишем в наш output.inc следующую функцию (см. Листинг 4).

Листинг 4. Добавление для output.inc.

function CompareModifyDate(filename1, filename2)
if InStr(LCase(Request.ServerVariables(<HTTP_ACCEPT_ENCODING>)), 
    LCase(<gzip>))=0 then
   CompareModifyDate=1
else
 on error resume next
     Set fso = CreateObject(<Scripting.FileSystemObject>)
     Set File1 = fso.GetFile(filename1)
     Set File2 = fso.GetFile(filename2)
     if (File1.DateLastModified>File2.DateLastModified) 
     or (File2.Size=0) then
             CompareModifyDate=1
     else
             CompareModifyDate=2
     end if
     Set File2 = Nothing
     Set File1 = Nothing
     Set fso = Nothing
end if
end function

Данная функция предназначена для сравнения даты последней модификации двух файлов, имена которых передаются в качестве параметров. Одним из этих файлов будет файл с исходной информацией (имя файла - первый параметр функции), а вторым - сжатый файл (имя файла - второй параметр функции). В том случае, если исходный файл более новый или если сжатый файл имеет нулевую длину (например, его просто нет на диске), функция возвращает значение 1.

Попробуем написать "самосжимающуюся" статическую страницу. Страницу test1.asp нужно переделать в test2.asp так, как показано в Листинге 5.

Листинг 5. Самосжимаемая asp-страница

<%@ LANGUAGE=>VBScript> %>
<!-- #INCLUDE VIRTUAL=>/test/output.inc> -->
<%
' Основная идея в том, чтобы проверить, является ли дата 
создания этого файла более поздней, 
' чем дата создания сжатого файла. 
' Если да, надо создать сжатый файл заново
' Если нет - то надо передавать клиенту существующий сжатый файл
Response.Buffer = TRUE
file=>test2>
file=CreateTempFile(file)       
compare=CompareModifyDate(file&>.asp>,file&>.gz>)
if CInt(compare)=1 then
  'Создание нового содержимого и компрессия данных
  'Здесь можно вставлять вызовы функции Write, с помощью которых 
  'формировать текст нашей <статической> страницы
  ''''''''''''''''''''''''''''''''''''''''''''''''''''''
  call Write(file,><html><head><title>Test<
  /title></head><body><table border='0'>>)
  color=>#d0fdc8>
  for i=0 to 1999
    if color=>#d0fdc8> then
            color=>#9ef988>
    else
            color=>#d0fdc8>
    end if
    call Write(file,><tr>>)
    call Write(file,><td bgcolor='>+color+>'>Row 
    <+CStr(i)+></td>>)
    call Write(file,><td bgcolor='>+color+>'>>
   +CStr(2000-i)+></td>>)
    call Write(file,></tr>>)
  next
  call Write (file,></table></body></html>>)
  ''''''''''''''''''''''''''''''''''''''''''''''''''''''
  'Компрессия данных
  call Compress(file)
end if  
'Удаление промежуточного файла
call DeleteFiles(file&>.txt>)
'Отправка сжатых данных
call Send(file)
%>

Из комментариев, которые вставлены в текст этой страницы, становится ясно, как происходит "самосжимание". К сожалению, написанная страница отслеживает только собственную актуальность, и этот код пригоден лишь для сжатия "статических" страниц. Если же используются динамически изменяемые данные, например при формировании прайс-листа или форума, придется вместо функции CompareModifyDate написать функцию, которая будет проверять необходимость обновления архивного файла, основываясь на данных, предназначенных для вывода на экран.

АНДРЕЙ НИДЕНС - заместитель директора департамента информатики в Объединенном Грузинском банке. С ним можно связаться по адресу: root@ugb.com.ge