   Статистика.

   Далее под статистикой будет подразумеваться исключительно анализ информации о
запросах к веб-ресурсу, доступному по HTTP.

I. Коммерческое предложение.
    1. Лицензионное соглашение.
    2. Система статистики.
       2.1. Для кого и зачем?
       2.2. Консалтинг.
       2.3. Разработка и установка.
       2.4. Обработка уже накопленной статистики.
    3. Анонимность при работе в интернете.
       3.1. Для кого и зачем?
       3.2. Консалтинг.
       3.3. Обеспечение на месте.
    4. Повышение популярности сайта.
       4.1. Для кого и зачем?
       4.2. Консалтинг.
       4.3. Реализация.
    5. Описание используемого ПО и БД.
    6. Способы оплаты.

II. Методы сбора информации о посетителях.
    1. Счетчики на веб-страницах.
       1.1. Описание.
       1.2. Пример HTML-кода счетчика.
       1.3. Примеры систем.
          1.3.1. Общедоступные сервисы в интернет.
          1.3.2. ПО для собственного счетчика.
       1.4. Основные достоинства.
       1.5. Основные недостатки.
    2. Анализ журнала запросов к HTTP-серверу.
       2.1. Описание.
       2.2. Пример содержимого журнала.
       2.3. Обзор ПО для анализа журналов запросов к HTTP-серверу.
          2.3.1. WebAlizer 2.10.
          2.3.2. 123LogAnalyzer 3.10.
          2.3.3. SawMill 6.4.8.
          2.3.4. 10-Strike Log-Analyzer 1.31.
          2.3.5. WebTrends LogAnalyzer 8.2.
       2.3.2. Сравнение форматов журналов различных веб-сервисов.
       2.5. Основные достоинства.
       2.6. Основные недостатки.
    3. Интегрированная система сбора статистики.
       3.1. Описание.
       3.2. Пример собираемой информации.
       3.3. Пример реализации.
       3.4. Основные достоинства.
       3.5. Основные недостатки.

III. Исходные данные.
    1. Дата/время.
    2. Информация о ip-маршруте клиента до сервера.
       2.1. ip-адрес пользователя (c-ip).
       2.2. Подпись последнего прокси-серверы.
       2.3. Список ip-адресов прокси-серверов.
    3. Заголовок HTTP-запроса.
       3.1. Имя пользователя (cs-username).
       3.2. Метод (cs-method).
       3.3. Запрашиваемая страница (cs-uri-stem).
       3.4. Параметры, передаваемые странице (cs-uri-query).
       3.5. Принято байт (cs-bytes).
       3.6. Версия HTTP-протокола (cs-version).
       3.7. Имя хоста (сs-host).
       3.8. Строка идентификации браузера (cs(User-Agent)).
       3.9. Cookies (cs(Cookie)).
          3.9.1. Маркер пользователя.
       3.10. Реферер (cs(Referer)).
       3.11. E-Tag.
       3.12. Список типов поддерживаемых документов.
       3.13. Поддерживаемый язык.
       3.14. Параметры HTTP-соединения.
       3.15. Параметры кэширования.
    4. Ответ сервера.
       4.1. Код статуса (sc-status).
       4.2. Код win32-статуса (sc-win32-status).
       4.3. Отправлено байт (sc-bytes).
    5. JavaScript-информация.
       5.1. Разрешение монитора.
       5.2. Глубина цвета монитора.
       5.3. Разрешение окна браузера.
       5.4. Cookies.
          5.4.1. Поддержка Cookies.
          5.4.2. Содержимое Cookies.
          5.4.3. Маркер пользователя.
          5.4.4. Время последнего посещения.
          5.4.5. Время устаревания Cookies.
       5.5. JavaScript.
          5.5.1. Поддержка JavaScript.
          5.5.2. Версия JavaScript.
       5.6. Поддержка Java.
       5.7. Поддержка ActiveX.
          5.7.1. Поддержка Flash.
       5.8. Поддержка .Net-компонент.
       5.9. Строка запроса.
       5.10. Реферер.
       5.11. Браузер.
       5.12. Временная зона пользователя.
       5.13. Время полной загрузки страницы.
    6. Серверная информация.
       6.1. Временная зона.
       6.2. Заняло времени (time-taken).
       6.3. Имя сервиса (s-sitename).
       6.4. Имя компьютера (s-computername).
       6.5. ip-адрес сервера (s-ip).
       6.6. Порт сервера (s-port).
       6.7. Тип авторизации пользователя.

IV. Результаты статистического анализа.
    1. Информация о пользователе.
       1.1. Географическое положение пользователя.
          1.1.1. Континент.
          1.1.2. Страна.
          1.1.3. Регион.
          1.1.4. Область.
          1.1.5. Административный район.
          1.1.6. Город или населенный пункт.
          1.1.7. Микрорайон, улица, дом, подъезд, этаж, квартира, комната.
          1.1.8. Организация.
       1.2. Текущее время у пользователя, день недели.
       1.3. Пользовательская сессия.
          1.3.1. Сессия на основе Cookies.
          1.3.2. Сессия на основе eTag на уровне HTTP.
          1.3.3. Сессия на основе связки ip+браузер.
          1.3.4. Длительность сессии(время проведенное на сайте).
       1.4. Последовательность переходов по страницам на сайте.
          1.4.1. Точка входа.
          1.4.2. Возвраты.
          1.4.3. Маршруты.
          1.4.4. Точка ухода.
          1.4.5. Непосещаемые разделы.
       1.5. Время загрузки и просмотра страниц.
       1.6. Интересы пользователя.
          1.6.1. Искомые фразы/термины на этом сайте.
          1.6.2. Искомые фразы/термины на сайте-реферере.
          1.6.3. Разделы каталога на этом сайте.
          1.6.4. Разделы каталога на сайте-реферере.
          1.6.5. Разделы сайта.
          1.6.6. Тематика сайта-реферера.
    2. Информация о компьютере пользователя.
       2.1. Тип операционной системы и ее версия.
       2.2. Разрешение и глубина цвета монитора.
       2.3. Поддерживаемые по умолчанию языки.
       2.4. Поддерживаемые расширения файлов принимаемых из интернета.
    3. Информация о браузере пользователя.
       3.1. Тип браузера.
       3.2. Версия браузера.
       3.3. Наличие установленных обновлений.
       3.4. Наличие установленных плугинов.
       3.5. Наличие установленных браузеров-паразитов.
       3.6. Наличие включенных Cookies, JavaScript, Java, ActiveX, .Net-компонент.
       3.7. Версия поддерживаемых HTTP, JavaScript.
       3.8. Размер окна браузера.
       3.9. Кодовая страница по умолчанию.
       3.10. Реальный пользователь или бот.
    4. Информация о не пользователе.
       4.1. Менеджер закачки.
       4.2. Бот, краулер, индексатор.
       4.3. Сканер.
       4.4. Верификатор доступности ссылок.
    5. Информация о сети от клиента до сервера.
       5.1. Провайдер.
       5.2. Тип соединения.
          5.2.1. Диал-ап.
          5.2.2. Выделенная линия.
          5.2.3. Домашние сети.
          5.2.4. Локальная сеть организации.
          5.2.5. Скорость соединения (объем/время).
       5.3. Имя хоста, имя сети, маска сети, зона сети.
       5.4. Иформация о прокси-серверах и их параметрах.
       5.5. Режимы соединения, Keep-Alive.
       5.6. Параметры кэширования.
    6. Информация о сервере.
       6.1. Мертвые ссылки.
       6.2. Атака на скрипт.
       6.3. Незащищенность скрытых областей сайта.
       6.4. Уязвимость к некорректным, либо деструктивным запросам.

V. Отчеты.
    1. Классификация.
       1.1. Типы отчетов.
       1.2. Категории пользователей отчетов.
       1.3. Отчеты для организаций со специфической деятельностью.
    2. Top'ы.
    3. Примеры отчетов SpyLog, HotLog.
       3.1. SpyLog.
       3.1. HotLog.
       3.1. Rambler Top100.
       3.1. RB2.
       3.1. Soft razniy.
    4. Примеры узко-специализированных отчетов.

VI. Обучение своей системы статистики.
    1. Открытые источники для обучения системы статистики.
       1.1. База данных RIPE.
          1.1.1. Страна.
          1.1.2. Название сети.
          1.1.3. Провайдер.
          1.1.4. Описание.
             1.1.4.1. Организация.
             1.1.4.2. Город.
       1.2. База данных WHOIS.
          1.2.1. Страна.
          1.2.2. Организация.
          1.2.3. Регистратор.
       1.3. База данных reverse-lookups.
          1.3.1. Имя хоста.
          1.3.2. Название сети.
          1.3.3. Маска сети.
          1.3.4. Зона сети.
          1.3.5. Тип сети.
    2. Географическая информация.
       2.1. Shape-файлы от ESRI.
          2.1.1. Континенты.
          2.1.2. Страны.
          2.1.3. Области.
          2.1.4. Города и населенные пункты.
       2.2. Информация из интернета и атласов.
          2.2.1. Регионы.
          2.2.2. Административные районы.
          2.2.3. Почтовые коды городов.
    3. Ручная обработка статистической информации.
       3.1. Список user-agent.
          3.1.1. Типы операционных систем.
          3.1.2. Версии операционных систем.
          3.1.3. Типы браузеров.
          3.1.4. Версии браузеров.
          3.1.5. Разделение на пользователей и не совсем.
             3.1.5.1. Пользователи с браузерами.
             3.1.5.2. Менеджеры закачки.
             3.1.5.3. Боты, краулеры, индексаторы.
             3.1.5.4. Сканеры.
             3.1.5.5. Верификаторы доступности ссылок.
       3.2. Список рефереров.
          3.2.1. Статические ссылки.
          3.2.2. Баннерные сети.
          3.2.3. Поисковые системы.
             3.2.2.1. Область поиска.
             3.2.2.2. Искомые фразы.
             3.2.2.3. Искомые термины.
             3.2.2.4. Тип контента.
             3.2.2.5. Кодовая страница.
             3.2.2.6. Язык.
          3.2.4. Каталоги.
             3.2.3.1. Раздел каталога.
             3.2.3.2. Искомые фразы.
             3.2.3.3. Искомые термины.
             3.2.3.4. Тип контента.
             3.2.3.5. Кодовая страница.
             3.2.3.6. Язык.
          3.2.5. Рандомизаторы ссылок.
          3.2.6. Ссылки в почтовых сообщениях.
       3.3. Список строк запроса.
          3.3.1. Пользователи с браузерами.
             3.3.1.1. Длительные временные промежутки между переходами.
             3.3.1.2. Не фиксированные временные промежутки между переходами.
             3.3.1.3. Сначала HTML страница, потом картинки из нее.
             3.3.1.4. Обращение к favicon.ico.
             3.3.1.5. Автоматический переход по редиректу.
          3.3.2. Менеджеры закачки.
             3.3.2.1. Множественный доступ к одному файлу.
             3.3.2.2. Частое обращение и скачивание всего подряд.
             3.3.2.3. Фиксированное кол-во одновременных подключений.
             3.3.2.4. Автоматический переход по редиректу.
          3.3.3. Боты, краулеры, индексаторы.
             3.3.3.1. Предварительное выполненение HEAD вместо GET.
             3.3.3.2. Запрос к файлу robots.txt.
             3.3.3.3. Отказ от перехода по редиректу.
             3.3.3.4. Обращения к серверу с фиксированными временными промежутками.
          3.3.4. Сканеры.
             3.3.4.1. Последовательное обращение к несуществующим ссылкам.
             3.3.4.2. Обращение к cmd32.exe, cmd.exe, cmd1.exe, shell.exe, root.exe.
             3.3.4.3. Обращение к default.ida, _vti_bin, _mem_bin, msadc, scripts.
             3.3.4.4. Обращение методом CONNECT, OPTIONS, TRACE, PROPFIND, LOCK.
             3.3.4.5. Обращения к серверу с фиксированными временными промежутками.
          3.3.5. Верификатор доступности ссылок.
             3.3.5.1. Предварительное выполненение HEAD вместо GET.
             3.3.5.2. Единичное обращение к серверу или ссылке.
       3.4. Cookies.
          3.4.1. Пользователи с браузерами.
          3.4.2. Менеджеры закачки.
          3.4.3. Боты, краулеры, индексаторы.
          3.4.4. Сканеры.
          3.4.5. Верификатор доступности ссылок.

VII. Борьба со статистикой.
    1. Анонимайзеры.
    2. Прокси-серверы.
       2.1. Обычные прокси-серверы.
       2.2. Анонимные прокси-серверы.
       2.3. Искажающие прокси-серверы.
       2.4. Цепочки прокси-серверов.
       2.5. Кэширующие и прозрачные прокси-серверы.
    3. Файрволы.
       3.1. На уровне ip-адресов.
       3.2. На уровне имен хостов.
       3.3. На уровне HTTP-заголовков.
       3.4. На уровне HTTP-содержимого.
    4. Настройки браузера.
       4.1. Подмена User-agent.
       4.2. Отключение или блокирование Cookies.
       4.3. Отключение JavaScript.
       4.4. Отключение ActiveX.
       4.5. Отключение .Net-компонент.
    5. Борьба с баннерами и счетчиками.
       5.1. Методы борьбы.
          5.1.1. Блокировка обращения к серверу.
          5.1.2. Редирект на другой сервер.
          nbsp;   3.3.2.1. РњРЅРѕР¶РµСЃС‚РІРµРЅРЅС‹Р№ РґРѕСЃС‚СѓРї Рє РѕРґРЅРѕРјСѓ С„Р°Р№Р»Сѓ.
             3.3.2.2. Р§Р°СЃС‚РѕРµ РѕР±СЂР°С‰РµРЅРёРµ Рё СЃРєР°С‡РёРІР°РЅРёРµ РІСЃРµРіРѕ РїРѕРґСЂСЏРґ.
             3.3.2.3. Р¤РёРєСЃРёСЂРѕРІР°РЅРЅРѕРµ РєРѕР»-РІРѕ РѕРґРЅРѕРІСЂРµРјРµРЅРЅС‹С… РїРѕРґРєР»СЋС‡РµРЅРёР№.
             3.3.2.4. РђРІС‚РѕРјР°С‚РёС‡РµСЃРєРёР№ РїРµСЂРµС…РѕРґ РїРѕ СЂРµРґРёСЂРµРєС‚Сѓ.
          3.3.3. Р‘РѕС‚С‹, РєСЂР°СѓР»РµСЂС‹, РёРЅРґРµРєСЃР°С‚РѕСЂС‹.
             3.3.3.1. РџСЂРµРґРІР°СЂРёС‚РµР»СЊРЅРѕРµ РІС‹РїРѕР»РЅРµРЅРµРЅРёРµ HEAD РІРјРµСЃС‚Рѕ GET.
             3.3.3.2. Р—Р°РїСЂРѕСЃ Рє С„Р°Р№Р»Сѓ robots.txt.
             3.3.3.3. РћС‚РєР°Р· РѕС‚ РїРµСЂРµС…РѕРґР° РїРѕ СЂРµРґРёСЂРµРєС‚Сѓ.
             3.3.3.4. РћР±СЂР°С‰РµРЅРёСЏ Рє СЃРµСЂРІРµСЂСѓ СЃ С„РёРєСЃРёСЂРѕРІР°РЅРЅС‹РјРё РІСЂРµРјРµРЅРЅС‹РјРё РїСЂРѕРјРµР¶СѓС‚РєР°РјРё.
          3.3.4. РЎРєР°РЅРµСЂС‹.