👋 Привет, сетевые друзья! Сегодня закончим тему про уровни TCP/IP

🟢Уровень: прикладной

Для чего нужен: решать разнообразные задачи пользователя, для которых нужна связь между компьютерами.

Примеры протоколов: HTTP, FTP, SMTP.

Как работает: использует различные протоколы и сервисы, которые помогают приложениям обмениваться данными по интернету.

На прикладном уровне хранятся протоколы для всего, что нужно человеку: отправки имейлов, веб-браузинга, передачи файлов и удалённого доступа.

Этот уровень нужен, чтобы упростить пользователям передачу данных по интернету. Именно с его помощью программисты и обычные пользователи взаимодействуют с сетью, использующей протоколы TCP/IP.

Network Academy | #tcpip

👋 Привет, сетевые друзья! Сегодня расскажем из чего состоит URL

⏺ В самом общем виде URL состоит из следующих частей:

scheme://username:password@host:port/path?query#fragment

scheme: используемый протокол (например, http или https)

username:password: Сайты, на которых используется базовая схема аутентификации, позволяют при аутентификации вставлять ваши имя пользователя и пароль прямо в URL. Такая практика считается очень небезопасной, поэтому не так много сайтов, где она поддерживается.

host: Это домен или IP-адрес, к которому вы хотите подключиться (например, google.com или 127.0.0.1).

port: порт напоминает номер абонентского ящика, и по этому номеру можно связаться с хостом. Если такого порта нет, то по умолчанию в такой схеме используется 80 для http и 443 для https).

path: это конкретная веб-страница на хосте. Например, путь к оригиналу этой статьи - /posts/what-is-a-url.html

query: это коллекция параметров, обычно представленных в форме пар key=value, которые объединяются знаком &. Они используются для отправки на сервер более конкретной информации.

fragment: обычно используется в качестве якоря для перехода в конкретный раздел документа. Например, именно к этому разделу можно перейти по ссылке #parts. Правда, обратите внимание, что сервер не видит этого фрагмента. Он обрабатывается (или игнорируется) именно на стороне клиента.

Network Academy | #url

👋 Привет, сетевые друзья! Тема нашего поста: TCP Congestion Control

⏺ В процессе передачи данных по сети мы можем столкнуться с проблемой из-за перегрузки трафика в узлах, превышающего их пропускную способность. Это приводит к потере пакетов в сети и, как следствие, может серьезно навредить работе пользователя. Хотя полностью избежать перегрузок невозможно, существуют механизмы сведения их к минимуму, чтобы предотвратить разрушительные последствия.

⏺ Другими словами, у нас в арсенале есть алгоритмы, которые призваны контролировать перегрузку в TCP, например:

Медленный старт (slow start) — один из алгоритмов, который TCP использует для контроля над перегрузкой сети.

Алгоритм медленного старта работает за счёт увеличения окна TCP каждый раз, когда получено подтверждение, то есть увеличивает размер окна в зависимости от количества подтверждённых сегментов. Это происходит до тех пор, пока для какого-то сегмента не будет получено подтверждение или будет достигнуто какое-то заданное пороговое значение.

Network Academy | #TCP

👋 Привет, сетевые друзья! Поговорим про EtherСhannel

⏺ Etherchannel — это технология, позволяющая объединять несколько физических проводов (каналов, портов) в единый логический интерфейс.

⏺ EtherChannel даёт возможность объединять от двух до восьми 100 Мбит/с, 1 Гбит/с или 10 Гбит/с портов Ethernet, работающего по витой паре или по оптоволокну, что позволяет достичь результирующей скорости до 80 Гбит/с.

⏺ Как правило, технология используется для повышения отказоустойчивости и увеличения пропускной способности канала. Само слово Etherchannel введено компанией Cisco и все, что связано с агрегированием, она включает в него. Другие вендоры агрегирование называют по-разному. Huawei называет это Link Aggregation, D-Link называет LAG и так далее. Но суть от этого не меняется.

Канал может устанавливаться между маршрутизаторами, коммутаторами и сетевыми адаптерами на сервере. Все сетевые адаптеры, являющиеся частью канала, получают один MAC-адрес, что делает канал прозрачным для сетевых приложений.

Network Academy | #Ethernet

👋 Привет, сетевые друзья! Поговорим про куки

⏺ HTTP — это протокол без сохранения состояния. Это значит, что когда на сервер поступают два запроса, он не понимает: их послал один клиент или разные. В реальных приложениях постоянно надо идентифицировать пользователя: проверять, авторизован ли он, выводить пользовательские рекомендации, хранить корзину выбранных товаров в магазине. Для этого есть механизм Cookies.

⏺ Cookies — это фрагмент данных, в которых сервер передаёт важную информацию о клиенте. Браузер получает этот фрагмент, сохраняет его и с каждым последующим запросом отсылает обратно на сервер. Так он понимает, от какого клиента пришёл запрос.

⏺ Куки выглядят, как пара ключ=значение. Для их установки сервер должен в ответе на запрос клиента прислать заголовок Set-Cookie со значением.

Set-Cookie: token=123abc

Network Academy | #сookies

👋 Привет, сетевые друзья! Поговорим про куки (ч. 2)

⏺ Пример куки, который мы указывали в предыдущем посте — это сессионный куки, для них не указываются сроки хранения. Он будет существовать, пока пользователь не закроет вкладку с сайтом в браузере. Но многие браузеры используют механизм восстановления сессий, поэтому сессионные куки теоретически могут жить вечно.

⏺ Обычно кукам устанавливается фиксированное время жизни. Это можно сделать двумя способами:

⬜️ Установить дату истечения срока годности — Expires,
⬜️ Установить количество секунд, по истечении которых кука перестанет быть актуальной — MAX_AGE.

⏺ Вот пример кука, который должен истечь 1 января 2030 года:

Set-Cookie: token=123abc; Expires=Tue, 01 Jan 2030 00:00:00 -0000 

Network Academy | #сookies

👋 Привет, сетевые друзья! Поговорим про куки (ч. 3)

⏺ Параметры domain и path управляют областью видимости куки и определяют, на каких поддоменах и для каких URL они будут работать. Если не указать параметр domain, то он по умолчанию будет равен хосту сайта, например, example.com.

Тогда куки не будут работать для поддоменов, например, test.example.com. Если указать значение domain, то куки будет работать для хоста и всех поддоменов.

⏺ Параметр path указывает, по каким URL при запросе ресурсов необходимо передавать куку в заголовке. Если установить path=/, то куки будут отправляться для всех запросов. Если указать значение path=/api, то они будут передаваться для всех запросов на ресурсы, URL которых начинается с /api.

Расширим предыдущий пример:

Set-Cookie: token=123abc; expires=Thu, 05 Aug 2021 18:45:00 -0000; max_age=120; domain=example.com; path=/api

Network Academy | #сookies

Passivedns — пассивный сбор записей DNS

⏺ Один из лучших инструментов сетевой безопасности для пассивного сбора записей DNS, а также облегчения обработки инцидентов, мониторинга сетевой безопасности (NSM) и общей цифровой экспертизы.

⏺ PassiveDNS отслеживает трафик с интерфейса или считывает рсар-файл и выводит ответы DNS-сервера в файл журнала. Пассивные DNS могут кэшировать / агрегировать повторяющиеся ответы DNS в памяти, ограничивая объем данных в файле журнала, не теряя значения в ответе DNS.

↪️ GitHub

Network Academy | #инструмент

👋 Привет, сетевые друзья! Поговорим про WebTorrent

Теперь для скачивания и просмотра фильмов с торрентов не нужен отдельный торрент-клиент. Также как и для раздачи файлов по протоколу BitTorrent, тоже не нужен отдельный клиент. Достаточно обычного браузера.

⏺ Всё это благодаря WebTorrent — гибриду BitTorrent и WebRTC.

⏺ WebTorrent позволяет воспроизводить видео- и аудио-ролики, содержащиеся в загружаемом торренте, прямо во время загрузки, без необходимости её полного завершения. Он не требует плагинов, расширений или установки другого дополнительного ПО. Он полностью написан на JavaScript и использует WebRTC для честной пиринговой передачи данных.

⏺ Авторами данного торрент-клиента являются Феросс Абухадиех, Джон Хиси и его команда из WebTorrent и GitHub.

Network Academy | #webtorrent

👋 Привет, сетевые друзья! Поговорим про стандарты IEEE

⏺ Институт IEEE утверждает стандарты не только в компьютерных сетях, но также в других сферах электроники, электротехники. Институт поделен на комитеты. Разработкой стандартов для комп. сетей занимается комитет под № 802.

⏺ Каждый № это семейство стандартов. Например, 802.3 описывает разные варианты технологий Ethernet, такие как, Fast Ethernet, Gigabit Ethernet и 10 Gigabit Ethernet.

Network Academy | #IEEE

👋 Привет, сетевые друзья! Сегодня мы поговорим про W3C

⏺ Консорциум Всемирной паутины (W3C) является главной международной организацией по стандартизации веба.

⏺ Основанный в 1994 году, консорциум состоит из сотрудников, совместно работающих над разработкой стандартов для Всемирной паутины. Про некоторые из них мы расскажем в следующем посте.

⏺ W3C также занимается образованием и информационно-пропагандистской деятельностью, разрабатывает программное обеспечение и служит открытым форумом для обсуждения вопросов Интернета.

⏺ Принципы W3C:
В своей работе W3C руководствуется следующими принципами:

⬜️ Веб для всех
Общественное значение веба состоит в том, что он облегчает общение, ведение дел, обмен знаниями. Одна из основных целей W3C – сделать эти преимущества доступными для всех людей.

⬜️ Веб повсюду
Интернет должен быть открыт для любых устройств; мобильные телефоны, смартфоны, персональные цифровые помощники, интерактивные телевизионные системы, системы голосового реагирования, киоски, и даже некоторые бытовые приборы могут получить доступ к сети.

Network Academy | #W3C

👋 Привет, сетевые друзья! Сегодня поговорим про стандарты W3C

⏺ Стандарты W3C определяют открытую веб-платформу для разработки приложений, которая позволяет разработчикам создавать богатые интерактивные приложения. Лидеры отрасли считают, что краеугольным камнем этой платформы становится HTML5.

⏺ Но платформа опирается и на многие другие технологии, разработанные W3C и ее партнерами: CSS, SVG, WOFF, семантический веб-стек, XML и различные API.

⏺ Ниже мы охарактеризовали основные направления стандартов W3C:

⬜️ Веб-дизайн и приложения
Включают стандарты для создания и рендеринга веб-страниц, включая HTML, CSS, SVG, Ajax и другие технологии для веб-приложений.

⬜️ Веб устройства
W3C создает технологии для обеспечения веб-доступа в любом месте в любое время с помощью любого устройства.

⬜️ Архитектура веба
Архитектура Веба фокусируется на базовых технологиях и принципах, которые поддерживают Веб, включая URI и HTTP.

⏺ Про остальные расскажем в следующем посте.

Network Academy | #W3C

Httpx — HTTP Toolkit

⏺ С помощью Httpx можно регулярно отправлять зонды для получения данных о веб-сайтах.

⏺ Мы часто используем его для проверки работоспособности наших сайтов и приложений.

↪️ GitHub

Network Academy | #инструмент

👋 Привет, сетевые друзья! Продолжим про стандарты W3C

⬜️ Семантический веб
Дать возможность компьютерам выполнять более полезную работу и разработать системы, способные поддерживать доверенные взаимодействия по сети.

⬜️ Веб сервисы
Означает использование обмена сообщениями. Веб сервисов базируется на таких технологиях, как HTTP, XML, SOAP, WSDL, SPARQL и др.

⬜️ Браузеры и инструменты разработки
Пользователи должны иметь возможность размещать в вебе информацию или получать её независимо от любых условий и режимов взаимодействия.

Network Academy | #W3C

👋 Привет, сетевые друзья! Продолжим про эволюцию HTTP

⏺ Сегодня HTTP это основной язык между клиентами и серверами, обеспечивающий работу современного Интернета. Начав путь от простого однострочного протокола, HTTP стал выбором не только для браузеров, но и практически для всех приложений.

⬜️ HTTP/0.9
HTTP/0.9 был текстовым протоколом, использующим TCP в качестве транспортного слоя.

HTTP/0.9 был ориентирован только на передачу гипертекста, как основной идеи представления данных в сети на тот момент.

⬜️ HTTP/1.0
HTTP/1.0 тоже был текстовым и работал поверх TCP, как и его предшественник, но теперь включал в себя заголовки клиента при запросе и сервера при ответе.

⬜️ HTTP-NG
В 1997-м году консорциум W3C (про который мы писали ранее) занялся разработкой экспериментального протокола HTTP-NG. Он решал основные проблемы HTTP/1.0.

⬜️ HTTP/1.1
В 1999-м году IETF выпускает стандарт HTTP/1.1— наиболее более известный сейчас всем современным разработчикам.

HTTP/1.1 — это текстовый протокол, расширивший семантику своего предшественника, но сохранивший основные принципы работы. Протокол работает поверх TCP с опциональным слоем шифрования SSL/TLS. В отличие от HTTP/1.0, IETF сначала опубликовала стандарт, а позднее появились реализации.

Network Academy | #HTTP

👋 Привет, сетевые друзья! Сегодня продолжим рассказывать вам про полезные команды Linux (ч. 5)

⬜️ Traceroute
Traceroute — это утилита, которая позволяет исследовать маршруты передачи данных между компьютерами. В то время как команда ping направлена на то, чтобы выяснить, можно ли установить связь между двумя узлами сети, traceroute даёт сведения об IP-адресах маршрутизаторов, через которые проходят данные от вашей системы до конечной, например — до веб-сайта или сервера. Команда traceroute обычно применяется на втором шаге диагностики сети, после команды ping.

$ traceroute <ip address>/<fqdn>

⬜️ Netstat
Утилита arpwatch - это надежный инструмент мониторинга Ethernet, который позволяет системным администраторам легко отслеживать пары Ethernet / IP-адресов в своей сети. Это может иметь огромное значение для системных администраторов предприятия, а также для опытных пользователей Linux.

🟢Для того чтобы получить список всех портов, находящихся в режиме прослушивания, воспользуйтесь такой командой:

$ 

netstat -l

⬜️ Nmcli
Утилита nmcli отлично подходит для управления сетевыми соединениями, для выполнения настроек и для решения других подобных задач. С её помощью можно управлять программой NetworkManager и модифицировать сетевые параметры различных устройств.

🟢Вывести список сетевых интерфейсов:
$ nmcli device

Network Academy | #linux

👋 Привет, сетевые друзья! Сегодня расскажем про классификацию Ethernet по скорости

⏺ По скорости передачи данных существуют такие технологии:

⬜️ Ethernet – 10 Мб/с.
⬜️ Fast Ethernet – 100 Мб/с.
⬜️ Gigabit Ethernet – 1 Гб/с.
⬜️ 10G Ethernet – 10 Гб/с.
⬜️ 40-гигабитный и 100-гигабитный Ethernet.

⏺ Современное оборудование позволяет достигать скорости в 40 Гб/с и 100 Гб/с: такие технологии получили название 40GbE и 100GbE.

Network Academy | #Ethernet

👋 Привет, сетевые друзья! Сегодня расскажем про IPSec

⏺ Первоначально Интернет был создан как безопасная среда передачи данных между военными. Безопасность организовывалась на уровне физической изоляции объектов от посторонних лиц, и это было оправдано, когда к сети имело доступ ограниченное число машин. Однако, когда Интернет стал публичным и начал активно развиваться и разрастаться, появилась нужда в защищённых протоколах. В результате появились стандарты защищённых протоколов, в числе которых и IPsec.

⏺ IPSec (IP Security) — набор протоколов для обеспечения защиты данных, передаваемых по IP. Позволяет осуществлять подтверждение подлинности (аутентификацию), проверку целостности и/или шифрование IP-пакетов. IPsec также включает в себя протоколы для защищённого обмена ключами в сети Интернет.

⏺ Основное назначение протокола — организация VPN-соединений.

⏺ IPsec можно использовать для выполнения следующих задач:

⬜️ Обеспечение защиты маршрутизатора при отправке данных.
⬜️ Шифрование данных.
⬜️ Быстрая проверка подлинности данных.
⬜️ Защита сетевых данных путем настройки зашифрованных каналов, называемых туннелями IPsec, которые шифруют все данные, отправляемые между двумя адресами.

Network Academy | #IPSec #протокол

👋 Привет, сетевые друзья! Сегодня расскажем про RFC

⏺ RFC — документы, содержащие технические спецификации и примечания для Интернета.

⏺ Веб-сайт RFC является официальным архивом интернет-стандартов, проектов стандартов и предлагаемых стандартов.

⏺ Аббревиатура RFC произошла от фразы "Запрос комментариев" - сегодня она больше не используется и теперь называется просто RFC. Этот термин появился во времена ARPANET, где исследователи в основном просто выбрасывали идеи, чтобы запросить комментарии у других исследователей по проекту.

⏺ Практически все стандарты Интернета существуют в виде опубликованных заявок RFC. Но в виде документов RFC выходят не только стандарты, но также концепции, введения в новые направления в исследованиях, результаты экспериментов и т.д.

Network Academy | #RFC

👋 Привет, сетевые друзья! Сегодня поговорим про место, где создается будущее Интернета

⏺ Немного истории. Многие знают, что на заре Интернета существовала сеть ARPAnet, объединявшая сети университетов в США. Но лишь некоторые в курсе, что ARPAnet была далеко не единственной сетью-прототипом – в то время одновременно с ARPAnet существовали другие, несовместимые между собой сети. Однако со временем все они были поглощены ARPAnet, принципиальным отличием которой была открытость стандартов передачи данных и абстракция от внутреннего устройства разных сетей.

⏺ Это привело к появлению современной модели сети Интернет. Вместе с бурным ростом числа автономных систем открытости было уже недостаточно – стало важно качество, расширяемость и сохранение обратной совместимости. Именно эти принципы улучшения открытых стандартов привели к появлению IETF (Internet Engineering Task Force – Инженерный совет Интернета) в 1986 году.

⏺ IETF — открытое международное сообщество проектировщиков, учёных, сетевых операторов и провайдеров, занимающееся развитием протоколов и архитектуры Интернета.

⏺ За 30 лет своего существования в рамках IETF было разработано несколько тысяч стандартов, но еще больше было просто «заморожено».

Network Academy | #IETF