# Для вычисления расстояния Кульбака-Лейблера для двух текстовых файлов на Python можно использовать следующий код:

import nltk
import numpy as np
import pandas as pd
import os
import re

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

def preprocess_text(text):
    """
    Функция для предварительной обработки текста: удаление знаков препинания, цифр и стоп-слов.
    """
    stop_words = set(stopwords.words('english'))
    text = re.sub(r'[^\w\s]', '', text)  # удаление знаков препинания
    text = re.sub(r'\d+', '', text)  # удаление цифр
    tokens = word_tokenize(text.lower())
    tokens = [t for t in tokens if t not in stop_words]
    return tokens

def compute_kl_divergence(file1, file2):
    """
    Функция для вычисления расстояния Кульбака-Лейблера для двух текстовых файлов.
    """
    with open(file1, 'r') as f:
        text1 = f.read()
    with open(file2, 'r') as f:
        text2 = f.read()
        
    # Предварительная обработка текста
    tokens1 = preprocess_text(text1)
    tokens2 = preprocess_text(text2)
    
    # Подсчет частот слов
    freq1 = nltk.FreqDist(tokens1)
    freq2 = nltk.FreqDist(tokens2)
    
    # Получение списка всех слов, встречающихся в двух текстах
    all_words = list(set(list(freq1.keys()) + list(freq2.keys())))
    
    # Получение частот слов для каждого текста и запись их в массивы
    freqs1 = np.array([freq1.get(w, 0) for w in all_words])
    freqs2 = np.array([freq2.get(w, 0) for w in all_words])
    
    # Вычисление расстояния Кульбака-Лейблера
    kl_divergence = np.sum(np.where(freqs1 != 0, freqs1 * np.log(freqs1 / freqs2), 0))
    
    return kl_divergence

library(tm)
library(proxy)

# Загрузка текстовых файлов
file1 <- "file1.txt"
file2 <- "file2.txt"

# Чтение текстовых файлов
text1 <- readLines(file1)
text2 <- readLines(file2)

# Создание корпуса документов
corpus <- Corpus(VectorSource(c(text1, text2)))

# Предварительная обработка текстов
corpus <- tm_map(corpus, content_transformer(tolower))
corpus <- tm_map(corpus, removePunctuation)
corpus <- tm_map(corpus, removeNumbers)
corpus <- tm_map(corpus, removeWords, stopwords("russian"))
corpus <- tm_map(corpus, stripWhitespace)

# Создание матрицы документ-термин
dtm <- DocumentTermMatrix(corpus)

# Преобразование матрицы документ-термин в распределение вероятностей
term_probs <- t(apply(dtm, 1, function(x) prop.table(x)))

# Вычисление KL-расстояния
kl_distance <- proxy::dist(term_probs, method = "kullback-leibler")

# Вывод результата
print(kl_distance)

filename = 'file.txt'

with open(filename, 'r') as file:
    text = file.read()

word_count = len(text.split())
sentence_count = len(text.split('.'))
character_count = len(text)

print("Количество слов:", word_count)
print("Количество предложений:", sentence_count)
print("Количество символов:", character_count)

import re
from collections import Counter

with open(filename, 'r') as file:
    text = file.read()

words = re.findall(r'\w+', text.lower())
word_counts = Counter(words)

most_common_words = word_counts.most_common(5)  # Получить 5 наиболее часто встречающихся слов

print("Наиболее часто встречающиеся слова:")
for word, count in most_common_words:
    print(word, ":", count)

from collections import Counter

with open(filename, 'r') as file:
    text = file.read()

words = text.lower().split()
word_counts = Counter(words)

total_words = sum(word_counts.values())

word_frequencies = {word: count / total_words for word, count in word_counts.items()}

print("Частота слов:")
for word, frequency in word_frequencies.items():
    print(word, ":", frequency)

import re

with open(filename, 'r') as file:
    text = file.read()

words = re.findall(r'\w+', text)
total_length = sum(len(word) for word in words)
average_length = total_length / len(words)

print("Средняя длина слова:", average_length)

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
word_count <- length(strsplit(text, "\\s+|\\n")[[1]])
sentence_count <- length(gregexpr("\\.", text)[[1]])
character_count <- sum(nchar(text))

print(paste("Количество слов:", word_count))
print(paste("Количество предложений:", sentence_count))
print(paste("Количество символов:", character_count))

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
words <- unlist(strsplit(tolower(text), "\\W+"))
word_counts <- table(words)

most_common_words <- head(sort(word_counts, decreasing = TRUE), 5)

print("Наиболее часто встречающиеся слова:")
for (word in names(most_common_words)) {
  print(paste(word, ":", most_common_words[[word]]))
}

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
words <- unlist(strsplit(tolower(text), "\\W+"))
word_counts <- table(words)

total_words <- sum(word_counts)

word_frequencies <- prop.table(word_counts)

print("Частота слов:")
for (word in names(word_frequencies)) {
  print(paste(word, ":", word_frequencies[[word]]))
}

filename <- "file.txt"

text <- readLines(filename, warn = FALSE)
words <- unlist(strsplit(text, "\\W+"))

total_length <- sum(nchar(words))
average_length <- total_length / length(words)

print(paste("Средняя длина слова:", average_length))

# Загрузка данных
text1 <- readLines("text1.txt")
text2 <- readLines("text2.txt")

# Создание функции для вычисления количества слов в тексте
word_count <- function(text) {
  words <- unlist(strsplit(text, "\\W+"))
  words <- words[words != ""]
  return(length(words))
}

# Вычисление количества слов в каждом тексте
n_words1 <- word_count(text1)
n_words2 <- word_count(text2)

# Вычисление доли уникальных слов в каждом тексте
unique_words1 <- length(unique(strsplit(text1, "\\W+")[[1]]))/n_words1
unique_words2 <- length(unique(strsplit(text2, "\\W+")[[1]]))/n_words2

# Построение графика изменения доли уникальных слов в текстах на протяжении жизни автора
years <- seq(1900, 2020, 10)
unique_words <- c(0.2, 0.25, 0.3, 0.35, 0.4, 0.45, 0.5, 0.55, 0.6, 0.65)
plot(years, unique_words, type="o", xlab="Год", ylab="Доля уникальных слов", main="Эволюция стиля автора")

use strict;
use warnings;

my $text = "Это пример текста для анализа стилометрии.";
my %word_count;

# Разбиваем текст на слова и подсчитываем их количество
foreach my $word (split(/\s+/, $text)) {
    $word_count{lc($word)}++;
}

# Выводим результаты
while (my ($word, $count) = each %word_count) {
    print "$word: $count\n";
}

use strict;
use warnings;
use Lingua::EN::Tokenizer::Simple;

my $tokenizer = Lingua::EN::Tokenizer::Simple->new();
my $text = "This is a simple example of tokenizing a text in Perl.";

# Токенизация текста
my @tokens = $tokenizer->tokenize($text);

# Вывод токенов
foreach my $token (@tokens) {
    print "$token\n";
}

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Пример текстов от двух авторов
texts = ["Текст первого автора", "Ещё один текст первого автора", 
         "Текст второго автора", "Ещё один текст второго автора"]
labels = ["Author 1", "Author 1", "Author 2", "Author 2"]

# Векторизация текстов
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(texts)

# Разделение на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.3, random_state=42)

# Обучение модели
model = MultinomialNB()
model.fit(X_train, y_train)

# Предсказание и оценка точности
y_pred = model.predict(X_test)
print(f"Точность модели: {accuracy_score(y_test, y_pred)}")