Создаем парсер вакансий hh.ru на базе Python

Процесс сбора информации из всемирной сети интернет является актуальным уже многие годы. И не только сбора, но и систематизации, обработки по различным критериям. Только зачем это делать вручную, если существуют приложения-парсеры.

Они сделают это за вас, быстро, и представят в удобном формате. Но написание собственного парсера является нетривиальной задачей. За пять уроков мы напишем парсер на базе языка Python и фрейфмворка Flask.

На курсе:

В рамках итогового урока вы выполните развертывание проекта на хостинге. Вас ожидает максимум практики, интенсивного написания кода. В итоге вы получите и ценные теоретические знания по используемому стеку.

Каждый урок включает блок с видео, конспект и пример выполнения задания. Вместе с преподавателем вы узнаете особенности реализации веб-парсеров, прокачаете свои навыки области алгоритмизации и паттернов проектирования.

Вы улучшите свои знания в области самого популярного языка программирования Python и сможете применить полученные знания на практике. Вы узнаете какие могут возникать ошибки и как оперативно их устранить, в том числе в процессе развертывания на сервере.

Мы обязательно столкнемся со множеством ошибок, но успешно их преодолеем и получим благодаря ошибкам ценнейший опыт.

Остались вопросы? Задайте их преподавателю – https://t.me/cdi999

Содержание курса

О курсе

1.1. Что такое парсер

1.2. Как устроен наш парсер

1.3. Используемый стек

1.4. Как проходить курс

1.5. Материалы

Создаем виртуальное окружение и шаблон проекта

2.1. Создаем виртуальное окружение

2.2. Немного о Flask

2.3. Создаем начальную структуру

2.4. Выполняем тестовый запуск

2.5. Материалы

Создаем базовые компоненты проекта

3.1. Создаем главную страницу

3.2. Создаем базовые настройки

3.3. Создаем модели

3.4. Создаем функцию генерации хеша

3.5. Создаем контроллер для регистрации нового пользователя

3.6. Создаем функцию для верификации пароля

3.7. Создаем контроллер для авторизации пользователя

3.8. Создаем контроллер для завершения сессии пользователя

3.9. Регистрируем блюпринт и проверяем работу приложения

3.10. Материалы

Создаем и подключаем парсер

4.1. Создаем класс-обработчик объявлений

4.2. Создаем страницу для ввода запроса на парсинг

4.3. Создаем модуль-посредник для операций с базой данных

4.4. Создаем модуль-посредник для чтения запроса из базы данных

4.5. Создаем модуль парсинга описания вакансии

4.6. Создаем модуль парсинга навыков соискателя

4.7. Создаем модуль парсинга зарплат соискателя

4.8. Создаем функцию обработки запросов, поступивших на парсинг

4.9. Создаем функции обработки навыков

4.10. Создаем функции обработки зарплаты

4.11. Создаем функции обновления параметров запросов

4.12. Обновляем главный модуль парсера

4.13. Создаем обработчик перехода к истории запросов на парсинг

4.14. Создаем класс для описания элемента таблицы результатов

4.15. Создаем класс для описания таблицы с запросами

4.16. Создаем контроллер перехода к отдельной записи таблицы

4.17. Выполняем запуск и отладку

4.18. Материалы

Выполняем развертывание проекта

5.1. Готовим проект к развертыванию

5.2. Регистрируемся на render.com

5.3. Создаем удаленный репозиторий на GitHub

5.4. Создаем локальный репозиторий

5.5. Отправляем проект в удаленный репозиторий

5.6. Выполняем развертывание на render

5.7. Материалы

5.8. Заключение

Преподаватель:

Дмитрий Читалов

Python-разработчик с 2014 года. Опыт преподавания - 7 лет. За время работы провел более 250 вебинарных потоков, обучил несколько тысяч студентов.

Бесплатно

Подходит для
начинающих
Нагрузка в день:
1 ч. в день
Стек курса:
Python, Flask
Курс от эксперта.

Бесплатно