Суть кэширования процессора 

Так как скорость работы процессора отличается от скорости работы оперативной памяти, то возникают простои и страдает производительность, чтобы этого избежать, появляется маленькая, но быстрая память под названием кэш.

Суть кэширования заключается в сокращении задержек доступа, касающиеся взаимодействия с оперативной памятью. 

Кэш память, которая меньше по объему оперативы примерно в 1000 раз, но по скорости работы сопоставима со скоростью работы процессора отлично вписалась в общую модель работы компьютера, ничего при этом не сломав. Вообще кэш по прежнему можно рассматривать, как обычную ОП, только в уменьшенном размере.

И там, и там используется двоичная адресация, хранятся те же самые данные. И к той, и той памяти идет обращение, как на получение данных, так и на их запись.

Логика в том, что если данные будут находится в кэше, а не в оперативе, то это и избавит нас от задержек.

Виды адресаций

В оперативной памяти каждый набор ячеек (байт) имеет свой адрес, по которому процессор может к нему обращаться.

Из-за того, что каждый байт имеет свой отдельный адрес, такой вид адресации называется — байтовый.

Но существуют компьютеры, у которых размер одной ячейки памяти равняется машинному слову — это максимальное кол-во бит, которыми может оперировать процессор за раз. То есть в 32-х разрядных процессорах размер регистров и размер машинного слова будет равен 32 бита, а в 64-х — 64 бита и тд (такие компьютеры предназначены для научных целей). Из-за того, что процессор обращается не к байту, а к слову, то такая адресация называется словесной адресацией.

Реляционная модель Баз Данных.

Элементы данных представлены в виде таблиц. Является наиболее распространенной моделью.

К преимуществам реляционной модели можно отнести следующие особенности:

- Теоретическая основа. Формально определяет базовые понятия модели, язык описания и операции над отношениями;
- Стандартизация. Стандарты SQL-NN (SQL-89, SQL-92, SQL-99 и т д.), имеющие несколько уровней полноты реализации, позволяют создавать приложения, переносимые между СУБД разных поставщиков;
- Полное разделение доступа к данным от способа их физической организации;
- Универсальность. Информационное моделирование сущностей реального мира в виде набора связанных таблиц является достаточно хорошим подходом в большинстве случаев;
- Простота манипуляции данными с точки зрения конечного пользователя;
SQL — развитый стандартизованный декларативный язык 4-го поколения.

Недостатки:
- В общем случае, более низкое быстродействие по сравнению с сетевыми и иерархическими СУБД или другими подходами, обеспечивающими доступ к данным непосредственно на уровне их физической организации, например, индексированные файлы;
- Неполнота реализации стандартов SQL-NN, а также специфические языковые и процедурные расширения СУБД разных поставщиков, осложняющие переносимость приложений (так называемый vendor lock);
- Необходимость учёта некоторых особенностей модели на концептуальном уровне (ключи — идентификаторы сущностей), отсутствующая, например, в сетевой модели.

Этапы процесса компиляции:

1. Предварительная проверка.
Исходная программа обрабатывается путём подстановки имеющихся макросов и заголовочных файлов.

2. Лексический и синтаксический анализ.
Программа преобразовывается в цепочку лексем, а затем во внутреннее представление в виде дерева.

3. Семантический анализ.
Дерево разбора обрабатывается с целью установления его семантики (смысла) — например, привязка идентификаторов к их декларациям, типам, проверка совместимости, определение типов выражений и т. д. Результат обычно называется «промежуточным представлением/кодом», и может быть дополненным деревом разбора, новым деревом, абстрактным набором команд или чем-то ещё, удобным для дальнейшей обработки.

4. Оптимизация.
Внутреннее представление программы неоднократно преобразовывается с целью сокращения размера и времени исполнения программы.

5. Генерация кода.
Внутреннее представление преобразовывается в блоки команд процессора, которые преобразовываются в объектный код.

6. Сборка.
Компоновщик соединяет несколько объектных файлов в исполняемый файл или библиотеку.

Принципы архитектуры фон Неймана

Архитектура фон Неймана — широко известный принцип совместного хранения команд и данных в памяти компьютера.

Компьютеры, построенные на этих принципах, относят к типу фоннеймановских:

 ⁃ Принцип двоичности.
Для представления данных и команд используется двоичная система счисления.

 ⁃ Принцип программного управления.
Программа состоит из набора команд, которые выполняются процессором друг за другом в определённой последовательности.

 ⁃ Принцип однородности памяти.
Как программы (команды), так и данные хранятся в одной и той же памяти. Над командами можно выполнять такие же действия, как и над данными.

 ⁃ Принцип адресуемости памяти.
Структурно основная память состоит из пронумерованных ячеек; процессору в произвольный момент времени доступна любая ячейка.

 ⁃ Принцип последовательного программного управления.
Все команды располагаются в памяти и выполняются последовательно, одна после завершения другой.

 ⁃ Принцип условного перехода.
Команды из программы не всегда выполняются одна за другой. Возможно присутствие в программе команд условного перехода, которые изменяют последовательность выполнения команд в зависимости от значений данных.

Виды рекурсии 

Существует два вида рекурсии, так называемая головная и хвостовая (иногда головную рекурсией называют просто рекурсией). Рекурсия будет "хвостовой", если рекурсивный вызов будет последним действием функции перед возвратом результата. 

Использование хвостовой рекурсии позволяют некоторым компилятор автоматически выполняет преобразование рекурсии в итерацию.

Хвостовая рекурсия часто применяется в программах на функциональных языках программирования. Многие вычисления на таких языках естественно выражать в виде рекурсивных функций, а возможность автоматической замены транслятором хвостовой рекурсии на итерацию означает, что по вычислительной эффективности она равна эквивалентному коду, записанному в итеративном виде.

В отличие от низкоуровневых языков программирования высокоуровневые имеют более высокий уровень абстракции, позволяющий компилировать или интерпретировать код для обеспечения его работоспособности на различных машинах.

Эта абстракция означает, что программист не может оптимизировать код, исходя из свойств конкретного оборудования, на котором он будет выполняться.

В ситуации, когда производительность имеет критическое значение,  а о целевом оборудовании известно все, программист может написать самый важный фрагмент кода на языке ассемблера, а остальную часть программы — на высокоуровневом языке. В других случаях программист, умеющий работать как с языком ассемблера, так и с компилятором для высокоуровневого языка, может написать высокоуровневый код таким образом, чтобы скомпилированный код, генерируемый компилятором, был достаточно эффективным.

Кэш

Состоит из двух частей: контроллер (управляет кэш-памятью) и саму кэш-память.

Чтение и запись в ОП происходит сразу целыми пакетами данных, которые могут состоять из нескольких машинных слов. Такой объем информации процессор не может напрямую поместить в свой регистр, поэтому данные сохраняются в кэше, как в некотором промежуточном хранилище.

Так как оставлять кэш пустым хотя бы частично нерационально, поэтому на протяжении всей работы, он всегда будет заполнен различными данными. Когда процессор формирует запрос на получение данных, он перехватывается контролером, который определяет, имеется ли копия требуемых данных в кэше, если они есть, то данные, минуя оперативу, передаются процессору, если их нет, запрос передается ОП.

Измененные данные записываются обратно в кэш, где в один прекрасный момент они будут выгружены обратно в оперативу, на то место, где эти данные располагались.

Point-to-Point протоколы (PPP)

PPP уникален по своим функциям, он применяется для коммуникации между двумя маршрутизаторами без участия хоста или какой-либо сетевой структуры в промежутке. При необходимости, PPP обеспечивает аутентификацию, шифрование, а также сжатие данных.

У PPP есть два подвида — PPPoE (PPP по Ethernet) и PPPoA (PPP через асинхронный способ передачи данных — ATM).

PPP формально относится к межсетевому уровню TCP/IP, но в силу особого принципа работы, иногда выделяются в отдельную категорию. Преимущество PPP в том, что для установки соединения не требуется сетевая инфраструктура, а необходимость маршрутизаторов отпадает. Эти факторы обуславливают специфику использования PPP протоколов.

Низкоуровневое форматирование

Есть несколько этапов форматирования дисков. Самый первый этап – это низкоуровневое форматирование.

Низкоуровневое форматирование — это базовая разметка области хранения данных жесткого диска, которая выполняется на заводе-изготовителе устройства с использованием специального оборудования. 

При низкоуровневом форматировании область хранения данных размечается физически — создаются так называемые сервометки, которые используются в дальнейшем для правильного позиционирования магнитной головки считывающей информацию с носителя.

Во время низкоуровневого форматирования создаются треки и сектора, в которых затем будут храниться данные, а также записывается служебная информация о местоположении этих треков и секторов.

Высокоуровневое форматирование

Обычно высокоуровневое форматирование выполняют после разбивки жесткого диска на логические разделы.

После разбивки жесткого диска на логические диски необходимо на них создать файловую систему чтобы операционная система могла управлять данными, которые будут записываться, храниться и читаться с жесткого диска. Для создания файловой системы достаточно запустить процесс высокоуровневого форматирования, причем на разных логических дисках можно создать различные файловые системы с различным размером кластера (хоть данная возможность уже не актуальна).

Системные вызовы

Основным предназначением ядра всякой операционной системы является обслуживание системных вызовов из выполняющихся в системе процессов.

Системный вызов выполняется некоторой процессорной инструкцией прерывающей последовательное выполнение команд, и передающий управление коду режима супервизора. 
Это обычно некоторая команда программного прерывания, в зависимости от архитектуры процессора.

Если для конкретики рассмотреть архитектуру Intel x86, то это традиционно команда программного прерывания с различным вектором. Сравним, как это делают самые разнородные системы:
В MS-DOS дескриптор прерывания для системного вызова — 21h
Windows — 2Eh 
Linux — 80h 
QNX — 21h
MINIX 3 — 21h

Архитектура пакетов прикладных программ. 

Могут иметь различную архитектуру. Они могут поставляться в виде библиотеки объектных модулей или классов (библиотеки статистики, линейной алгебры).

Другой вид пакетов прикладных программ с точки зрения их архитектуры представляется в виде системы программирования. Для какой-то объектной области строится простой язык, способный описывать объекты, отношения и действия в данной предметной области. 
Конечно, этот язык должен быть понятен специалистам этой предметной области, а программистские способности пользователей могут быть уже существенно хуже, чем у пользователей библиотек. 

Для этого языка строится компилятор, который генерирует программу из библиотеки функций, поддерживающих данную предметную область. Такой способ организации использовался во времена, когда средства визуализации отсутствовали. С развитием средств отображения информации эта архитектура прикладных программ уступила место программным системам.

Рендеринг — это процесс создания изображений или анимации с помощью компьютера с использованием трехмерных моделей, текстур, освещения и других графических объектов. Он выполняется в несколько этапов:

Моделирование сцены: Сначала создается трехмерная модель сцены, включающая объекты, их форму, размеры и размещение. Модель может быть создана в специальных программных пакетах для трехмерного моделирования или импортирована из других источников.

Назначение материалов и текстур: Для каждого объекта в сцене задаются материалы, которые определяют его внешний вид, такие как цвет, отражение, прозрачность и текстуры. Текстуры могут быть созданы в специальных программных приложениях или взяты из фотографий или других источников.

Освещение: Затем определяется освещение сцены. Рендерер распределяет источники света (например, солнце, фонарь) и вычисляет, как свет будет отражаться от объектов на сцене.

Расчет тени: Если требуется, рендерер также может вычислять и визуализировать тени, создаваемые источниками света и другими объектами в сцене.

Перспектива и камера: Затем выбирается точка обзора и параметры камеры, такие как положение, угол обзора и глубина резкости. Это определяет, как будет видима сцена из выбранной точки обзора.

Растеризация: В этом этапе трехмерная модель и ее состояние (положение, поворот и масштабирование) преобразуется в двумерное изображение. Растеризация включает в себя разбиение модели на треугольники, расчет координат текстур и освещения для каждого пикселя в изображении.

Затенение и добавление эффектов: После растеризации применяются шейдеры для каждого пикселя, что позволяет добавить эффекты, такие как затенение, отражение, преломление и т. д. Некоторые эффекты могут быть добавлены во время этапа растеризации.

Пост-обработка: Наконец, происходит пост-обработка изображения, включающая наложение фильтров, коррекцию цвета, добавление эффектов и другие тонкие настройки для придания желаемого внешнего вида и настроения.

Вся этапы рендеринга выполняются программными пакетами для трехмерной графики или движками рендеринга, которые используют различные алгоритмы и методы для получения конечного изображения.

Data mining - это процесс извлечения полезных информационных образцов из больших наборов данных, который включает в себя методы из статистики, искусственного интеллекта и машинного обучения. Основная цель data mining заключается в превращении необработанных данных в полезную информацию и получении новых знаний из больших объемов данных.

Некоторые из множества инструментов для реализации процессов data mining:

RapidMiner (ранее YALE)

Это мощная система для выполнения различных задач data mining и machine learning. Она поддерживает все этапы аналитики данных: от подготовки и предобработки данных до визуализации результатов.

WEKA (Waikato Environment for Knowledge Analysis)

WEKA предоставляет набор алгоритмов машинного обучения для задач data mining. Эти алгоритмы могут быть применены непосредственно к данным через интерфейс программы или вызваны из собственного Java-кода.

Orange

Это компонентный инструмент для data mining и машинного обучения. Он предназначен для новичков и экспертов и работает с виджетами, которые можно перетаскивать, чтобы создавать потоки данных.

Tableau

Это инструмент визуализации данных, который часто используется для business intelligence и аналитики данных, но также можно использовать и для data mining. Он позволяет пользователям создавать комплексные графики и интерактивные дашборды.

SQL Server Integration Services (SSIS) с SQL Server Analysis Services (SSAS)

Решения от Microsoft являются частью набора инструментов Microsoft SQL Server и предоставляют возможности ETL (Extract, Transform, Load) и OLAP (Online Analytical Processing), соответственно, которые можно использовать для data mining задач.

Python и его библиотеки (Pandas, NumPy, SciPy, Scikit-learn, Matplotlib)

Python является одним из ведущих языков программирования для data science и машинного обучения с множеством библиотек, позволяющих проводить данных анализ, включая предобработку данных, статистический анализ, моделирование и создание предсказательных моделей.

Apache Spark и его MLlib

Spark предназначен для анализа больших данных и может выполнять data mining задачи в большом масштабе. MLlib - это библиотека машинного обучения, которая включена в Spark.

SAS (Statistical Analysis System)

SAS предлагает широкий спектр статистических функций и имеет мощные возможности для data mining, при этом он часто используется в корпоративной среде.

Для чего нужны демоны?

Демоны — это фоновые процессы, которые являются потомками основного процесса «init». 

Чаще всего демоны отвечают за какие-то важные системные процессы:
 ⁃ обработка сетевых запросов;
 ⁃ контроль своевременного запуска необходимых системных программ; 
 ⁃ прослушивание портов;
 ⁃ синхронизация файлов на разных дисках;
 ⁃ отслеживание памяти;
 ⁃ «слежение» за работой аппаратных устройств, подключенных к компьютеру;
 ⁃ и другие процессы, где нужно «ждать и смотреть».

Демоны следят за нормальной работой ОС. Без них не было бы стабильности в системе. Чаще всего демоны уже встроены в систему, однако если есть необходимость, то всегда можно написать демон самостоятельно.

Чипсет

Чипсет — микросхема, присутствующая на вашей материнской плате. Обеспечивает доступ процессора к значительной части периферии, упрощая работу всей вашей системы, как как центральный процессор, как правило, не может взаимодействовать с ней напрямую.

Определяет во многом тип, объём, быстродействие и вид поддерживаемой памяти, рабочие частоты различных шин, их разрядность и тип, поддержку плат расширения, их количество и тип, и т. д. Таким образом, этот набор микросхем относится к числу наиболее важных компонентов системы.

В персональных компьютерах первым набором микросхем для IBM PC AT 1984 года был набор микросхем NEAT, разработанный Chips and Technologies для процессора Intel 80286.

Квантовый компьютер — это сравнительно новая модель вычислений, основанная на квантовой механике.

Там, где в классических компьютерах используются биты, которые могут быть равны 0 или 1, в квантовых компьютерах применяются кубиты. Последние существуют в суперпозиции состояний: каждый бит равен 0 и 1 одновременно. Если байт выражает одно значение от 0 до 255, то квантовый байт выражает все 256 значений одновременно. Если прочитать кубиты, то они свернутся в одно состояние. Другими словами, вместо того, чтобы находиться во всех возможных состояниях сразу, они имеют ровно одно значение. При этом нет гарантии, что это значение будет правильным; алгоритм просто манипулирует кубитами так, что при их измерении они с большой вероятностью придут в правильное состояние.

Какого размера может быть кэш-память?

Чтобы кэш-память можно было полностью заполнить, ее размер должен быть кратен степени числа 2, по тем же причинам что и оперативная память. Это касается и кэш строк, поэтому например кэш-память размером в 14 байт, не удастся полностью заполнить кэш-строками по 4 байта

Размер кэша, о котором мы говорим, называется полезный размер кэша. Именно он и указывается в документации, то есть это размер без указания служебных данных, которые тоже будут храниться в кэш-памяти.

Поэтому полный размер кэша складывается из самих данных, которые записываются в него из оперативной памяти + различные служебные данные.

Понятие процесса в ОС

Часто понятие процесса отождествляют с программой. Но это приводит к путанице и не позволяет ясно понять работу ОС. Действительно, каждый процесс создается для того, чтобы в его рамках выполнялись программы. С другой стороны, программа в мультипрограммной системе выполняется в рамках некоторого процесса. И все же понятие программы и процесса различны. 

Процесс (задача) это независимая единица работы, участвующая в конкурентной борьбе за ресурсы системы с другими такими работами. 
(Под работой подразумевается преобразование и переработка информации)