# Загрузка данных
text1 <- readLines("text1.txt")
text2 <- readLines("text2.txt")

# Создание функции для вычисления количества слов в тексте
word_count <- function(text) {
  words <- unlist(strsplit(text, "\\W+"))
  words <- words[words != ""]
  return(length(words))
}

# Вычисление количества слов в каждом тексте
n_words1 <- word_count(text1)
n_words2 <- word_count(text2)

# Вычисление доли уникальных слов в каждом тексте
unique_words1 <- length(unique(strsplit(text1, "\\W+")[[1]]))/n_words1
unique_words2 <- length(unique(strsplit(text2, "\\W+")[[1]]))/n_words2

# Построение графика изменения доли уникальных слов в текстах на протяжении жизни автора
years <- seq(1900, 2020, 10)
unique_words <- c(0.2, 0.25, 0.3, 0.35, 0.4, 0.45, 0.5, 0.55, 0.6, 0.65)
plot(years, unique_words, type="o", xlab="Год", ylab="Доля уникальных слов", main="Эволюция стиля автора")

use strict;
use warnings;

my $text = "Это пример текста для анализа стилометрии.";
my %word_count;

# Разбиваем текст на слова и подсчитываем их количество
foreach my $word (split(/\s+/, $text)) {
    $word_count{lc($word)}++;
}

# Выводим результаты
while (my ($word, $count) = each %word_count) {
    print "$word: $count\n";
}

use strict;
use warnings;
use Lingua::EN::Tokenizer::Simple;

my $tokenizer = Lingua::EN::Tokenizer::Simple->new();
my $text = "This is a simple example of tokenizing a text in Perl.";

# Токенизация текста
my @tokens = $tokenizer->tokenize($text);

# Вывод токенов
foreach my $token (@tokens) {
    print "$token\n";
}

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Пример текстов от двух авторов
texts = ["Текст первого автора", "Ещё один текст первого автора", 
         "Текст второго автора", "Ещё один текст второго автора"]
labels = ["Author 1", "Author 1", "Author 2", "Author 2"]

# Векторизация текстов
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(texts)

# Разделение на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.3, random_state=42)

# Обучение модели
model = MultinomialNB()
model.fit(X_train, y_train)

# Предсказание и оценка точности
y_pred = model.predict(X_test)
print(f"Точность модели: {accuracy_score(y_test, y_pred)}")

import spacy

# Загрузка многоязычной модели для spaCy
nlp = spacy.load("xx_ent_wiki_sm")

# Текст для анализа
text = "Иван и Марья Ивановна были в парке. Петр и Ирина пошли в магазин."

# Применяем spaCy для анализа текста
doc = nlp(text)

# Выделяем имена собственные (на основе модели NER)
persons = []

for ent in doc.ents:
    if ent.label_ == "PERSON":
        persons.append(ent.text)

# Выводим имена собственные
print("Найденные имена собственные:", persons)

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import nltk
from nltk.corpus import stopwords
import pymorphy3
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# Загрузка стоп-слов для русского языка
nltk.download('stopwords')
russian_stopwords = stopwords.words('russian')

# Чтение файла
with open(path_to_text_file, 'r', encoding='utf-8') as file:
    text_data = file.readlines()

# Объединение текста в один большой текст для анализа
full_text = ' '.join(text_data)

# Создание экземпляра морфологического анализатора
morph = pymorphy3.MorphAnalyzer()

# Разделение текста на слова
words = full_text.split()

# Поиск имен собственных с использованием pymorphy3
proper_nouns = set()
for word in words:
    parsed_word = morph.parse(word)[0]
    if 'Name' in parsed_word.tag:  # Проверка, является ли слово именем собственным
        proper_nouns.add(word)

# Выводим найденные имена собственные таблицей
proper_nouns_df = pd.DataFrame(list(proper_nouns), columns=["Имена собственные"])
print("\nНайденные имена собственные:")
print(proper_nouns_df)

import numpy as np
import matplotlib.pyplot as plt
# Метод Монте Карло
# Количество точек для симуляции
num_points = 10000

# Генерация случайных точек в квадрате [0, 1] x [0, 1]
x = np.random.uniform(0, 1, num_points)
y = np.random.uniform(0, 1, num_points)

# Определение, попадает ли точка в круг (радиус = 1, центр = (0, 0))
inside_circle = x**2 + y**2 <= 1

# Оценка числа π
pi_estimate = 4 * np.sum(inside_circle) / num_points

# Графическое отображение
plt.figure(figsize=(8, 8))
plt.scatter(x, y, c=inside_circle, cmap='coolwarm', s=1, label='Точки')
circle = plt.Circle((0, 0), 1, color='blue', fill=False, linewidth=2, label='Круг радиусом 1')
plt.gca().add_artist(circle)
plt.title(f'Оценка числа π методом Монте-Карло\nЧисло точек: {num_points}, π ≈ {pi_estimate:.4f}')
plt.xlabel('x')
plt.ylabel('y')
plt.legend()
plt.axis('equal')
plt.show()

import os
import pandas as pd
import markovify
from tqdm import tqdm

# Папка с текстами
folder_path = "data"

# Чтение текстовых файлов в один DataFrame
files = [f for f in os.listdir(folder_path) if f.endswith(".txt")]

# Создаем список для хранения данных
data = []

# Чтение каждого файла и добавление в DataFrame
for file in tqdm(files, desc="Чтение файлов"):
    with open(os.path.join(folder_path, file), 'r', encoding='utf-8') as f:
        text = f.read().lower()  # Приводим текст к нижнему регистру
        data.append({'id': os.path.splitext(file)[0], 'text': text})

# Создаем DataFrame
df_texts = pd.DataFrame(data)

# Объединяем все тексты в один
all_text = " ".join(df_texts['text'])

# Строим марковскую модель
# Используем прогресс-бар для анализа текста
print("Создание марковской цепи...")
text_model = markovify.Text(all_text, state_size=2)

# Функция для генерации фразы
def generate_phrase(model, length=10):
    phrase = []
    current_sentence = model.make_sentence()
    if not current_sentence:
        return ""
    
    phrase.append(current_sentence)
    
    # Генерация дополнительных фраз
    for _ in range(length - 1):
        current_sentence = model.make_sentence()
        if not current_sentence:
            break
        phrase.append(current_sentence)
    
    return " ".join(phrase)

# Пример генерации фразы
generated_phrase = generate_phrase(text_model, length=10)
print("Generated phrase:", generated_phrase)