Завтра начинаем проходить SQL - язык запросов к базам данных. На прохождение темы "Основы реляционной модели и SQL" предлагаю потратить одну неделю (многие проходят быстрее).

Для более удобного прохождения я создал класс:
https://stepik.org/join-class/de2c1666c5acbf684da1c1eee3bd9b843f262420
Вступайте, начинайте проходить курс :)

Поддержка - в вк-беседе группы Учим Python:
https://vk.me/join/f3TH4PUvo/KO5n/P4hqoivIO6MS418GuUqc=

и в тг-чате:
https://t.me/learnpythonforfun_chat

Всем удачи!

А еще вот style guide для PySpark:
https://www.palantir.com/docs/foundry/transforms-python/pyspark-style-guide/

Напоминаю, что в эту неделю мы начали проходить курс по SQL.
А вот небольшая памятка о том, как форматировать код SQL-запросов:
https://www.sqlstyle.guide/ru/

#sql

Итак, немного информации по совместному прохождению курса по SQL (https://stepik.org/course/63054/).

tl;dr: до конца следующей недели проходим пункты 1.1-1.4.

В наш класс совместного прохождения вступило 129 человек (!).
За неполную первую неделю:
- 73 человека приступил к выполнению
- 51 человек выполнил успешно все задания в самом первом пункте (1.1)
- 19 человек прошли весь первый модуль (1. Основы реляционной модели и SQL).

Справедливости ради, большая часть выполнивших весь первый модуль - те, кто уже когда-то проходил курс.

Учитывая текущие темпы прохождения, чтобы оставаться в ритме, предлагаю до конца следующей недели выполнить пункты 1.1-1.4 (включительно). Вопросы задавайте в чатах тг и вк, вступайте в класс, если еще не вступили
(https://stepik.org/join-class/de2c1666c5acbf684da1c1eee3bd9b843f262420), приступайте к прорешиванию, если еще не приступили.

Всем удачи!

#sql

Небольшое напоминание о том, что до конца этой недели мы проходим курс SQL пункты 1.1-1.4 включительно (https://stepik.org/course/63054/).
В понедельник попробую выложить анонимизированную статистику по проходящим в классе (https://stepik.org/join-class/de2c1666c5acbf684da1c1eee3bd9b843f262420).
Если застряли, вопросы можно задавать в тг-чате и вк-беседах. В тг-чате отвечают даже на более продвинутые вопросы.

Всем удачи!

В статье неплохие картинки: https://habr.com/ru/post/711020/

Итак, снова про совместное прохождение SQL. На курс поступило 159 человек. Многие вступили с уже частично пройденным курсом.

За прошедшие две недели:
- что-то выполнило 43 человека;
- прошли весь первый модуль (пересекли рубеж в 60 баллов) 8 человек.

Наибольший прогресс за последние две недели показали:
- Миша Т. (110.8 баллов всего, 110.8 - прирост)
- Irina K. (145 баллов на данный момент, 103 - прирост)
- Anton S. (72 баллов на данный момент, 71 - прирост).

Судя по статистике, многие еще в процессе прохождения первого модуля (и что-то делают), поэтому продлеваем его прохождение ещё на неделю (пункты 1.1-1.8).

Если застряли, вопросы можно задавать в тг-чате и вк-беседах (у нас ведь есть прошедшие, они смогут помочь).

Всем удачи!
#sql

Итак, снова про совместное прохождение SQL.

В этот раз статистика будет короткой. Наибольший прогресс за неделю:
- Георгий Ж. (151 баллов всего, 70 - прирост)
- Бизнес А. (95 баллов всего, 67 - прирост)
- Алексей Б. (137 баллов всего, 61 - прирост).

Судя по статистике, многие из выполняющих уже подошли вплотную ко второй главе. Поэтому план на следующую неделю: пункты 2.1-2.2.

Если застряли, вопросы можно задавать в тг-чате и вк-беседах (у нас ведь есть прошедшие, они смогут помочь).

Всем удачи!
#sql

Итак, снова про совместное прохождение SQL.

В этот раз статистика будет короткой. Наибольший прогресс за неделю:
- Valery B. (155.0 баллов всего, 110.0 - прирост)
- Илья Б. (52.0 баллов всего, 47.0 - прирост)
- Владимир И. (43.0 баллов всего, 43.0 - прирост)

План на следующую неделю: пункты 2.1-2.2.

Если застряли, вопросы можно задавать в тг-чате и вк-беседах (у нас ведь есть прошедшие, они смогут помочь).

Всем удачи!
#sql

Итак, снова про совместное прохождение SQL.

В ближайшее время попробую найти интересных материалов на тему хранения данных. Но и про совместное обучение тоже будет.

Наибольший прогресс за неделю:
- Илья Б. (156.0 баллов всего, 104.0 - прирост)
- Alexandr S. (163.0 баллов всего, 41.0 - прирост)
- Alpine P. (67.0 баллов всего, 35.0 - прирост)

План на следующую неделю: пункты 2.3.

Если застряли, вопросы можно задавать в тг-чате и вк-беседах (у нас ведь есть прошедшие, они смогут помочь).

Всем удачи!
#sql

Небольшой апдейт по совместному прохождению SQL: апдейтов больше не будет :D.
Я заметил, что людей, которые проходят значительное количество заданий, уже совсем немного, поэтому серия постов заканчивается.
В ближайшее время совместных прохождений не планируется. Вероятно, новые посты будут про стандартную библиотеку python и про анализ данных на python + опросы по всему этому добру.

О будущем канала

tl;dr: изменение названия и контент-план.

У нас в канале и чате, как это можно легко заметить, нет большой активности. Вряд ли это получится исправить - у меня не так много времени остается на ведение этого канала. И тем не менее, небольшой апдейт.
Так как я работаю в исследовательской библиотеке, то и контент будет соответствующий. В ближайшие месяцы:
- прохождение того же курса Карпова по статистике и выкладывание моих конспектов
- инструменты для работы с данными: визуализация, инструменты для работы с большими данными
- материалы по представлению знаний: графовые представления, triple-stores, онтологии и логики.

Материалы будут появляться не часто, вряд ли чаще раза в неделю. Изменится и название группы, чтобы лучше соответствовать:
Data Science Club -> Data&Knowledge

Немногие знают, но помимо википедии существует еще и ресурс, где хранятся структурированные знания в виде концептов-триплетов. К примеру:
(Казань, численность-населения, 1243500)
В таком виде хранится очень много информации, её можно найти по адресу wikidata.org. Общее название таких технологий хранения знаний: semantic web.

Интереснее то, что хранением информации всё не ограничивается. Оказывается, в семантической паутине есть целый ряд технологий для работы с информацией. К примеру, есть целый свой язык запросов, который называется SPARQL. Он отдаленно похож на SQL, но оперирует на триплетах. Давайте посмотрим на примере:

SELECT ?city 
WHERE 
{
  ?city has_population 2000. 
}

Такое запрос вводит переменную city и возвращает все концепты, у которых население 2000 человек. К примеру, из этого набора:
(Чуповка, has_population, 546)
(Капивник, has_population, 2000)
(Лопопон, has_population, 3332)
(Воскма, has_population, 2000)
Будут выведены только Капивник и Воскма.

А вот мой короткий код, показывающий, как в викидате по введеному названию найти семантическую сущность для города, его GeoName Id и численность его населения:
https://colab.research.google.com/drive/13XKDzOkjG17zfPGy8Dnnqrcv4C4dO7F4?usp=sharing

Небольшая рекламнопросветительская статья про huggingface:
https://towardsdatascience.com/whats-hugging-face-122f4e7eb11a
а тут на русском:
https://habr.com/ru/post/704592/

Вводная статья про машинное обучение на графах: https://towardsdatascience.com/graph-machine-learning-an-overview-c996e53fab90

Неплохой лектор и курс по нейронкам:
https://www.youtube.com/playlist?list=PLlb7e2G7aSpT1ntsozWmWJ4kGUsUs141Y

Рассуждения про параметрические и непараметрические тесты, как части generalized linear models:
https://lindeloev.github.io/tests-as-linear/

О нормальном распределении вышла статья на хабре: https://habr.com/ru/articles/730936/