Презентация на тему: Кэширование файлов

Обзор технологий и решений PeerApp

Содержание презентации Что такое UltraBand™ О чем сегодня думает ISP Технические решения по кешированию трафика UltraBand Схема работы Ключевые особенности UltraBand Key

Что такое UltraBand™ Прозрачное кеширование (Transparent Internet Caching – TIC) Технология UltraBand Media Caching оптимизирована для работы с потоковым видео, скачиванием файлов HTTP большого размера и P2P Решение масштабируется для скоростей обмена данными от 100Мбит/с до 30Гбит/с Единое решение для мультисервисного кеширования. В одном шасси реализованы все доступные сервисы на текущий момент Экономия 25%- 35% на операционных расходах на канал до ISP более высокого уровня Улучшение уровня удовлетворенности клиентов - Quality of Experience (QoE) Интегрирована фильтрация контента от McAfee SmartFilter™

О чем сегодня думает ISP? Удовлетворить потребность в производительности каналов связи для сервисов потокового видео, скачивания файлов и P2P. Именно эти сервисы дают основной рост нагрузки на существующие линии связи с оператором ISP Year in Review: Mobile Data Traffic Growth in 2009 In spite of the economic downturn, which many regions only now are starting to slowly rebound from, the demand for mobile services has remained constant and has in fact grown in many areas. Our global estimates show that mobile data traffic increased 160 percent from calendar year-end 2008 to calendar year-end 2009. And individually, some mobile carriers have published some dramatic traffic increases. For example, the United Kingdom-based O2 reported that its mobile data traffic in Europe doubled every three months in 2009; Telecom Italia announced that its mobile traffic grew 216 percent from mid-2008 to mid-2009; and AT&T has reported that its mobile traffic increased 5000 percent in the past 3 years. The Impact of Video and Advanced Devices on Mobile Traffic According to the Cisco VNI Global Mobile Data Traffic Forecast, video will be responsible for the majority of the traffic growth between 2009 and 2014. As Figures 1 and 2 show, overall mobile data traffic is expected to grow to 3.6 exabytes per month by 2014, and over 2.3 of those are due to mobile video traffic.

О чем сегодня думает ISP? QoE является ключевым фактором, влияющим на удовлетворенность и рост активности пользователя различных видео сервисов There cutomes doesn’t see the Youtub they see all the time the buffering. Espcailly when you seelling

Технологии кеширования UltraBand Сокращение издержек и рост инвестиционных фондов Снижение на 25%-30% издержек на аренду канала связи до ISP более высокого уровня Позволяет отложить на будущее дорогостоящие расходы на модернизацию сети Деньги вложенные в систему PeerApp инвестируются один раз. Сбережения, генерируемые системой производятся год за годом Максимальная ориентированность на конечного пользователя Соответствие запросам на рост сервисом Интернет видео/скачивание больших afqkjd|P2P Скорость скачивания файлов и видео ускоряется на 800% (с точки зрения конечного пользователя) Максимальный массив наиболее популярного контента доступен в кеше в любой момент времени

Схема работы 1 Абонент ISP впервые запрашивает файл Прозрачная обработка файла в кеше Internet UltraBand 5000 Абонент ISP Пользователи Internet Redirector 1 Размер файла должен быть не менее определенного Minimum File Size В кеше для файла создается HASH и MD5 Internet

Схема работы Размер файла должен быть не менее определенного Minimum File Size В кеше для файла создается HASH и MD5 Кеш проверяет HASH метку файла, создает MD5 и сравнивает с сохраненной ранее версией MD5, включается режим CACHE_IN 2 Абонент ISP запрашивает файл во второй раз Прозрачная обработка файла в кеше Internet UltraBand 5000 Абонент ISP Пользователи Internet Redirector 2 Internet

Размер файла должен быть не менее определенного Minimum File Size В кеше для файла создается HASH и MD5 Кеш проверяет HASH метку файла, создает MD5 и сравнивает с сохраненной ранее версией MD5, включается режим CACHE_IN Включается режим CACHE_OUT, файл выдается из кеша Схема работы 3 Абонент ISP запрашивает файл в третий раз Прозрачная обработка файла в кеше Internet UltraBand 5000 Абонент ISP Пользователи Internet Redirector 3 Internet

Ключевые особенности UltraBand Key Высокая масштабируемость: Архитектура решения обеспечивает возможности наращивания мощности системы вместе с ростом трафика от абонентов Экономия полосы пропускания: Экономия 25% - 35% общей емкости канала связи позволяет отложить дорогостоящую модернизацию инфраструктуры Клиентоориентированность: Ускорение доставки контента вплоть до скоростей сети доступа к абоненту. Дает возможности роста выручки за счет улучшения качества услуг, так и за счет повышения лояльности абонента. Мультипротокольное кеширование: Поддержка всех актуальных сервисов в одном решении Прозрачность на уровне IP: Не меняет логики работы приложений P2P и прочих HTTP сервисов. Информация об использовании сети: предоставляет информацию об изменениях в предпочтениях потребителей и трендах. Фильтрация контента/контроль: Определяет условия переадресации на кеш и политики работы с трафиком, включая классы сервисов Соблюдение правовых норм: Полностью соответствует процедурам DMCA и ЕС

Обзор архитектуры системы Storage Cache Engine СХД типа SAN общего доступа Высокая производительность I/O Общая библиотека имен для всего СХД Централизованная система управления Встроенный балансировщик нагрузки

Масштабируемость Мультигигабитная масштабируемость От 100 Мбит/с до 30 Гбит/с в одном решении. Емкость СХД и мощность обслуживания трафика масштабируются отдельно Снижение стоиомсти Масштабируется до 16 кеш серверов и 9 СХД SAN (64.8TB)

Линейка решений PeerApp Proprietary and Confidential UB5000Small Grid PeerApp UB500 это масштабируемая платформа для кеширования и ускорения доставки медиа контента внутри сети оператора. Она может быть организована, как один или несколько (до 16) кеширующих серверов и до 9 массивов хранения данных, что позволяет быть эффективным и для ISP небольшого размера. UB200-SP UB5000-SP UB5000-05 UB5000 Large Grid UB100-SP UB5000-100 ForwardTraffic UB5000-50 ForwardTraffic UB5000-25 ForwardTraffic UB5000-10 ForwardTraffic UB5000-05 ForwardTraffic UB5000-SP ForwardTraffic UB200-SP ForwardTraffic UB100-SP Forward Traffic 24 G 12G 8G 4G 1.5G 1.5 G 500M 200M

Архитектура приложений Standard Hardware Cluster Server Processing Storage Area Networking PeerApp application suite HW Layer Application Layer Кластерная файловая система Глубокий анализа IP пакетов Кеширование Полноценная виртуализация Управление контентов Идентификация HTTP & P2P Принцип анализа первого пакета Прозрачное кеширование Работа с файлами из нескольких частей Динамическое прогнозирование Управление и отчеты Отчеты о производительности кеширования Мониторинг активности системы Проверка кешируемости контента Исследование первого пакета

Оптимизация использования полосы пропускания Снижение нагрузки на опорную сеть оператора и канал связи до оператора вышестоящего уровня, возможности отсрочки модернизации инфраструктуры. Оптимизирует работу сети оператора для большего соответствия текущим желаниям конечных пользователей, что особенно актуально при взрывном характере трафика UltraBand смещает на 30-40% нагрузку с опорной сети на сеть доступа . Bandwidth arbitrage Through support of variety of popular HTTP and P2P protocols, UltraBand product consistently offsets 30-40% of the backhaul traffic in access network, reducing utilization of operator’s backhaul and transit capacity and deferring the need for capacity upgrades. Because of the consistent and significant impact that UltraBand has on the ISP network, operators factor it into their network capacity planning and procurement. Bandwidth fault tolerance Except for the immediate benefits of traffic localization and reduction in backhaul capacity utilization, UltraBand provides additional optimization benefits. As transit capacity becomes degraded due to fault, the caching solution is able to complement the degraded transit by providing same content locally.

Прогнозы изменения трафика – снижение нагрузки на полосу пропускания “We have been able to defer upgrades otherwise needed because of the traffic generated by the UltraBand.” (Exetel Australia) Платить за 3Гбит/с Требования к полосе 5 Гбит/с Выдача из кеша 2 Гбит/с Оптимизация использования полосы пропускания Remove this slide

Clear Session Throughput Cache Session Throughput Ускорение повышает удовлетворенность Снижается время ожидания ответа и доставки контента Уменьшается количество «заторов» в опорной сети Доставка контента осуществляется на скорости сети доступа (скорости последней мили до абонента). Снижаются административные издержки на поддержку пользователей

Становится возможным обеспечить ранее недоступные классы качества обслуживания Возможность реализации пакетов услуг TOP-Tier уровня Ускорение повышает удовлетворенность Cache Session Throughput Transit Session Throughput Cache Session Throughput Cache Session Throughput Transit Session Throughput Cache Session Throughput Remove this slide

Мультипротокольное кеширование поддерживаемые сервисы PeerApp Proprietary and Confidential P2P Sliver light Silverlight iPhone & Droid applications, 3rd party ringtones, mobile games… YouTube, DailyMotion, Youku, Google Video, Yahoo Video, Divx… RapidShare, MegaUpload, Badongo, zShare, DL Free…. Microsoft, Adobe, Apple, McAfee, QuickTime, Trend Micro, Gaming…. BitTorrent, eDonkey, Ares, Gnutella/2, Pando… HTTP traffic not associated with any known service; large objects Online Software Updates Online Software Updates Web-Based File Sharing HTTP Downloads Notice that YouTube is not on this slide under mobile. The solution does not support the youtube for mobile implementation using RTSP. This is a roadmap item. YouTube is in the flash video because that is normal support for data card usage on laptops. 3rd party ringtones are large enough to be found as well as mobile gaming and adult content for mobile. Adult is left off the slide, but can be a talking point.

Мультипротокольное кеширование PeerApp Proprietary and Confidential NetfFlix Автоматическая поддержка новых популярных сайтов Ускорение доставки контента до 10 раз быстрее Ускорение доставки зависит от типа контента Одновременная поддержка Video, HTTP & P2P Caching на единой платформе Content acceleration bullet is a 3.2 feature where the operator can begin to establish rules for what content is accelerated. The grouping functionality in 3.1 is the first step toward this.

Прозрачное кеширование Подмена инициированных абонентом TCP сессий на уровне MAC адресов – прозрачный Кеш не имеет своего IP адреса Обеспечивается прозрачность как со стороны сервера, там и со стороны конечного пользователя Абонент видит запросы из интернета «как есть», будто на пути нет никакой Кеш системы Провайдер не теряет ни одного запроса пользователя Пользователи широкополосной сети не вносят никаких изменений в настройки своего оборудования для того чтобы использовать возможности Кеш системы Do all in one box – Handles P2P AND http protocol The system can adapt popular content unlike oversea that the content that is cache is per IP address Traffic is redirected to the system in Layer 4 -7 Support dynamic URL’s LIKE RAPSHER Content is always fresh The Content provider companies getting money according to the amount of clicks, if there is cache that decreasing the amount of clicks , the content providers makes less money. To the transparent there are two sides, its not allowed that the ISP will be exposed to customers according to source IP, since its can be illegal for the ISP to provide the content, the ISP can be charge to be provided ilegal content from the users side. On the other hand I have the Content provider companies getting money according to the amount of clicks, if there is cache that decreasing the amount of clicks , the content providers makes less money. Preserves all application logic including click-through, authentication, and DRM – NOT SAVING USERNAME and passwords. Ability to host new value added applications---Today Youtube leading in http tomorrow some other site will be leading as far as the system concerned its transparent. This is the hug disadvantage of oversea , they have Mapping of IP addresses if Youtube will be decreasing in the statistics, when will I discover why my traffic is decreased in the mean time I lost money and crested congestion on the network. In Peer APP cache it wont happen as long the file passes the minimum file size required, we will know to do caching and handle the file.

Трафик перенаправляется на Кеш систему, основываясь на информации уровня 4 или 7 Если в кеше уже есть запрашиваемый файл, то он отдается абоненту прозрачно, как будто от удаленного сервера Сессия всегда инициируется интернет пользователем или сервером, чтобы быть уверенным в целостности и актуальности запрашиваемого контента Логика работы приложения и контроль осуществляется постоянно Прозрачная схема работы кеша PeerApp 1 2 3 Абонент ISP запрашивает файл Передача файла останавливается, но соединение поддерживается активным для сохранения прозрачности Файл выдается из кеша прозрачно Internet UltraBand 5000 Абонент ISP Пользователи Internet X Keep-Alive Redirector Internet

Отказоустойчивость Архитектура с резервированием Резервирование аппаратного обеспечения Система хранения Резервирование блока питания Жесткие диски с поддержкой горячей замены Поддержка сдвоенного контроллера для iSCSI массивов Система кеширования Резервирование блока питания Жесткий диск–Raid 1 Жесткие диски с поддержкой горячей замены Пересылка трафика Обход NIC в случае сбоя кеширующего

In-band Интерфейсы, через которые идет работа с трафиком абонентов не имеют и не используют IP адреса IP адреса Кеш системы не видны в сети Интернет и третьим лицам. Интерфейсы используют не маршрутизируемые в сети Интернет непубличные IP адреса и только для целей мониторинга состояния системы и интеграции ее с инфраструктурой оператора Out-of-band Доступ к интерфейсам управления ограничен списком: Web-based UBView HTTP XML RESTful SSHv2 CLI SNMP v2cB Доступ ограничен по имени пользователя и паролю Управление безопасностью системы Authorization - The 2-tier authorization is required to gain supervisor access at the SSH in order to perform the following operations: Stop/start service or individual cache engine Upgrade system or roll back a version Apply new software license Change system configuration UltraBand management server supports local authorization scheme, as well as integration with external LDAP and Radius servers.

Предоставляются отчеты по недельным изменениям и трендам Формат отчета может настраиваться вручную Application can be configured manually. детальная информация по количеству обработанного трафика (входящий, исходящий, максимальный, по типам и т.д.). QoE Total Services Total Traffic Отчеты

Фильтрация контента Дает провайдеру возможность ускорить доставку желаемого контента и одновременно заблокировать нежелательный, включая законодательно запрещенный. Дает возможность блокировать и перенаправлять различные классы трафика, основываясь на предустановленных категориях при помощи интергации с McAfee Smart Filter SDK Ultra Band также дает возможность создавать собственные категории, основываясь на URL листах. Сервис McAfee Secure Computing осуществляет поддержку классификации web серверов по всему пространству Интернет в виде обновляемой базы данных

Процесс фильтрации контента Настройки политик фильтрации Без фильтрации С фильтрацией Отфильтрованный контент Не отфильтрованный контент Перенаправление на фильтрацию контента McAfee обновляется каждые 24 часа x Поставщики контента If

Соответствие нормам DMCA Section 512b Кеширование контента P2P и HTTP для целей повышения эффективности работы и без изменений содержимого – легально и не запрещено законом DMCA: Digital Millennium Copyright Act - USA ТерминыDMCA PeerApp UltraBand The ISP is not the one who originally made the material available 100% Compliance Caching is automatic, intermediate and temporary storage of content in local servers 100% Compliance ISP did not modify the content 100% Compliance ISP complies with industry standards regarding the updating of the content 100% Compliance ISP does not interfere with content’s access manners (such as passwords, etc.) 100% Compliance Provider must remove infringing files upon gaining actual knowledge of infringement 100% Compliance

PeerApp Proprietary and Confidential Solution Compliance PeerApp Proprietary and Confidential UltraBand Cache ISP Subscriber Internet Server or User Network Element 2 Server or user agrees to the transaction ISP Internet External source of content required in every transaction Cache automatically intermediates all media sessions within ISP network Application access conditions are met prior to cache starting delivery Content freshness assured in each transaction 3 Cache serves request locally in same transaction Internet server/user and ISP subscriber do not see cache IP address 1 ISP subscriber requests a file