Курс Web Scraping

За 11 занять на курсі ви опануєте основи вебскрапінгу, розглянете етичні питання та перейдете до практичних завдань: моніторингу аудиторії, пошуку лідів, обходу блокерів. В результаті навчитеся створювати власні скрапери, імітувати поведінку користувачів та вилучати інформацію з різноманітних сторінок, користуючись фреймворками Beautiful Soup, Scrapy, Selenium.

Програма курсу

Вступ до курсу Web Scraping

• З'ясуєте, що таке Web Scraping та які є бібліотеки для розробки скраперів
• Дізнаєтеся, де можна використовувати набуті за курс знання
• Зрозумієте етичні та легальні аспекти використання скраперів

Початок роботи в парсингу даних

• Опрацюєте основні мови розмітки вебсайтів - HTML, XML, JSON
• Створите віртуальне оточення та встановите потрібні бібліотеки для парсингу даних

Методи вилучення даних

• Зрозумієте, яким чином будувати XPath для доступу до будь-якого тегу в документі
• Опануєте регулярні вирази та CSS-селектори для пошуку та вилучення інформації з вебсторінок

HTTP Request

• Дізнаєтеся про типи запитів та відповідей
• Опрацюєте інструмент Postman
• Навчитеся використовувати бібліотеку Requests для відправлення запитів на сервер

Робота з даними у Web Scraping

• Навчитеся зберігати дані локально та в бази даних
• Зможете обирати оптимальний формат збереження даних для подальшого аналізу
• Навчитеся писати SQL-запити для аналізу

Beautiful Soup

• Навчитеся використовувати бібліотеку Beautiful Soup для парсингу сайтів
• Опрацюєте Threads для парсингу
• Знайдете потрібні HTML-теги за допомогою BS

Scrapy

• Опануєте фреймворк Scrapy для парсингу сайтів
• Ознайомитеся з поняттям Spider
• Навчитеся використовувати Spider для парсингу сайту
• Зможете зберігати отримані дані в різних форматах

Selenium

• Розберете бібліотеку Selenium для парсингу сайтів
• Навчитеся працювати із CSS-селекторами або XPath для знаходження потрібних елементів
• Опануєте Selenium для заповнення форм та кліків на сторінці

Як уникнути захисту від Web Scrapers

Попрактикуєте підходи до імітації реального користувача для успішного отримання контенту сторінки.

Q&A-сесія з лектором

• Відповіді на питання студентів
• Поради щодо виконання курсового проєкту

Презентація курсових проєктів

Презентація курсових проєктів.

Викладачі курсу

Владислав Абрамов - Python Engineer at Jooble