py123 Парсинг лекций сайта ИНТУИТ
Описана простейшая программа, позволяющая скачать курс лекций с сайта ИНТУИТ, очистить его от рекламы и убрать пагинацию.
Алгоритм тривиален: скармливаем ей ссылку на первую лекцию курса, после чего она скачивает смысловое содержимое с каждой страницы и переходит к следующей по гиперссылке. После завершения скачивания материал сохраняется в html файле, позволяющем его просматривать не отвлекаясь на рекламу.
Работа опирается на webdriver + selenium, которые мы достаточно подробно рассмотрели ранее.
Из интересного: потребовалось вызвать из питона кусочек javascript на странице и встретилась упрямая гиперссылка, которая не всегда откликалась на click
ссылка на исходник и файл стилей как всегда на моем сайте (см описание канала)