# Для вычисления расстояния Кульбака-Лейблера для двух текстовых файлов на Python можно использовать следующий код:

import nltk
import numpy as np
import pandas as pd
import os
import re

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

def preprocess_text(text):
    """
    Функция для предварительной обработки текста: удаление знаков препинания, цифр и стоп-слов.
    """
    stop_words = set(stopwords.words('english'))
    text = re.sub(r'[^\w\s]', '', text)  # удаление знаков препинания
    text = re.sub(r'\d+', '', text)  # удаление цифр
    tokens = word_tokenize(text.lower())
    tokens = [t for t in tokens if t not in stop_words]
    return tokens

def compute_kl_divergence(file1, file2):
    """
    Функция для вычисления расстояния Кульбака-Лейблера для двух текстовых файлов.
    """
    with open(file1, 'r') as f:
        text1 = f.read()
    with open(file2, 'r') as f:
        text2 = f.read()
        
    # Предварительная обработка текста
    tokens1 = preprocess_text(text1)
    tokens2 = preprocess_text(text2)
    
    # Подсчет частот слов
    freq1 = nltk.FreqDist(tokens1)
    freq2 = nltk.FreqDist(tokens2)
    
    # Получение списка всех слов, встречающихся в двух текстах
    all_words = list(set(list(freq1.keys()) + list(freq2.keys())))
    
    # Получение частот слов для каждого текста и запись их в массивы
    freqs1 = np.array([freq1.get(w, 0) for w in all_words])
    freqs2 = np.array([freq2.get(w, 0) for w in all_words])
    
    # Вычисление расстояния Кульбака-Лейблера
    kl_divergence = np.sum(np.where(freqs1 != 0, freqs1 * np.log(freqs1 / freqs2), 0))
    
    return kl_divergence

library(tm)
library(proxy)

# Загрузка текстовых файлов
file1 <- "file1.txt"
file2 <- "file2.txt"

# Чтение текстовых файлов
text1 <- readLines(file1)
text2 <- readLines(file2)

# Создание корпуса документов
corpus <- Corpus(VectorSource(c(text1, text2)))

# Предварительная обработка текстов
corpus <- tm_map(corpus, content_transformer(tolower))
corpus <- tm_map(corpus, removePunctuation)
corpus <- tm_map(corpus, removeNumbers)
corpus <- tm_map(corpus, removeWords, stopwords("russian"))
corpus <- tm_map(corpus, stripWhitespace)

# Создание матрицы документ-термин
dtm <- DocumentTermMatrix(corpus)

# Преобразование матрицы документ-термин в распределение вероятностей
term_probs <- t(apply(dtm, 1, function(x) prop.table(x)))

# Вычисление KL-расстояния
kl_distance <- proxy::dist(term_probs, method = "kullback-leibler")

# Вывод результата
print(kl_distance)

filename = 'file.txt'

with open(filename, 'r') as file:
    text = file.read()

word_count = len(text.split())
sentence_count = len(text.split('.'))
character_count = len(text)

print("Количество слов:", word_count)
print("Количество предложений:", sentence_count)
print("Количество символов:", character_count)

import re
from collections import Counter

with open(filename, 'r') as file:
    text = file.read()

words = re.findall(r'\w+', text.lower())
word_counts = Counter(words)

most_common_words = word_counts.most_common(5)  # Получить 5 наиболее часто встречающихся слов

print("Наиболее часто встречающиеся слова:")
for word, count in most_common_words:
    print(word, ":", count)

from collections import Counter

with open(filename, 'r') as file:
    text = file.read()

words = text.lower().split()
word_counts = Counter(words)

total_words = sum(word_counts.values())

word_frequencies = {word: count / total_words for word, count in word_counts.items()}

print("Частота слов:")
for word, frequency in word_frequencies.items():
    print(word, ":", frequency)

import re

with open(filename, 'r') as file:
    text = file.read()

words = re.findall(r'\w+', text)
total_length = sum(len(word) for word in words)
average_length = total_length / len(words)

print("Средняя длина слова:", average_length)

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
word_count <- length(strsplit(text, "\\s+|\\n")[[1]])
sentence_count <- length(gregexpr("\\.", text)[[1]])
character_count <- sum(nchar(text))

print(paste("Количество слов:", word_count))
print(paste("Количество предложений:", sentence_count))
print(paste("Количество символов:", character_count))

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
words <- unlist(strsplit(tolower(text), "\\W+"))
word_counts <- table(words)

most_common_words <- head(sort(word_counts, decreasing = TRUE), 5)

print("Наиболее часто встречающиеся слова:")
for (word in names(most_common_words)) {
  print(paste(word, ":", most_common_words[[word]]))
}

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
words <- unlist(strsplit(tolower(text), "\\W+"))
word_counts <- table(words)

total_words <- sum(word_counts)

word_frequencies <- prop.table(word_counts)

print("Частота слов:")
for (word in names(word_frequencies)) {
  print(paste(word, ":", word_frequencies[[word]]))
}

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
words <- unlist(strsplit(text, "\\W+"))

total_length <- sum(nchar(words))
average_length <- total_length / length(words)

print(paste("Средняя длина слова:", average_length))