Веб-скрейпинг и API для джуна: как собрать данные без боли

Вы нашли идеальный датасет на Kaggle? Отлично. А теперь попробуйте найти актуальные цены на недвижимость в вашем районе за последний месяц или отзывы о новых моделях наушников, которые вышли вчера. Готовых наборов данных часто нет, а те, что есть, устарели быстрее, чем вы успеете их скачать. Вот тут и начинается настоящая работа исследователя данных - не моделирование, а сбор данных.

Для джуниора это может выглядеть как магия: скрипт запускается, и через минуту у вас в таблице тысячи строк. Но за этой простотой скрываются нюансы: блокировки по IP, меняющаяся верстка сайтов и лимиты запросов. Разберемся, когда использовать готовые интерфейсы (API), а когда писать своего паука, и как не сойти с ума от ошибок.

Почему «просто скопировать» не работает

Ручной сбор данных подходит для десятков записей, но не для тысяч. Если вам нужно проанализировать динамику цен на акции за год, вы физически не сможете копировать значения каждый день. Автоматизация сбора решает три задачи:

• Масштабируемость: скрипт соберет 10 000 страниц так же быстро, как вы выпьете кофе.
• Актуальность: можно настроить ежедневный запуск и получать свежие данные.
• Структурированность: сразу сохраняем данные в CSV или базу данных, минуя этап ручной очистки Excel.

Но прежде чем открывать редактор кода, нужно понять, откуда именно брать информацию. Здесь мы сталкиваемся с двумя основными путями: официальным (через API) и неофициальным (веб-скрейпинг).

Что такое API и почему это ваш лучший друг

API (Application Programming Interface) - это интерфейс, который позволяет программам общаться между собой. В контексте сбора данных это способ получить структурированную информацию напрямую из базы данных сервиса, минуя визуальный слой сайта.

Представьте, что вы хотите купить хлеб. Скрайпинг - это когда вы идете в магазин, фотографируете каждую этикетку, приходите домой и переписываете состав вручную. Работа с API - это когда вы отправляете продавцу смс: «Скинь список товаров», и он присылает вам чистый файл .csv или JSON. Это быстрее, надежнее и юридически чище.

Большинство крупных сервисов предоставляют публичные API. Например, Twitter (X), GitHub, OpenWeatherMap или даже некоторые интернет-магазины. Ваша задача - зарегистрироваться, получить ключ доступа и отправить HTTP-запрос.

Инструментарий джуна: библиотека Requests

Если вы выбрали путь API, ваш главный инструмент - библиотека Requests для Python. Она делает работу с HTTP-запросами человеческой. Вместо громоздкого кода стандартной библиотеки urllib, вы пишете одну строку.

Вот как выглядит типичный запрос к открытому API погоды:

import requests

url = "https://api.openweathermap.org/data/2.5/weather"
params = {
    'q': 'Kazan',
    'appid': 'YOUR_API_KEY',
    'units': 'metric'
}

response = requests.get(url, params=params)
if response.status_code == 200:
    data = response.json()
    print(data['main']['temp'])
else:
    print("Ошибка запроса")

Здесь важно запомнить пару вещей. Во-первых, всегда проверяйте status_code. Код 200 означает успех. Код 429 говорит о том, что вы слишком часто дергаете сервер (Rate Limit), и вам нужно сделать паузу. Код 403 - скорее всего, неверный ключ API или запрет доступа.

Во-вторых, не храните ключи API прямо в коде, если выкладываете проект на GitHub. Используйте переменные окружения или файлы конфигурации. Иначе боты найдут ваш ключ и потратят весь бесплатный лимит за ночь.

Когда API нет: основы веб-скрейпинга

Не все сайты дают доступ к данным через API. Блоги, форумы, новостные агрегаторы и многие интернет-магазины просто показывают HTML-страницу. Тогда приходится извлекать данные из кода страницы. Этот процесс называется веб-скрейпинг (или парсинг).

Технологически это состоит из двух этапов:

1. Загрузка HTML: получаем исходный код страницы (как в примере с API выше).
2. Извлечение данных: находим нужные элементы в HTML-дереве.

Для второго этапа золотым стандартом является связка библиотек BeautifulSoup и lxml. BeautifulSoup позволяет искать элементы по классам, ID или тексту, используя понятный синтаксис.

Допустим, нам нужно вытащить заголовки статей с главной страницы какого-то блога. В HTML они могут выглядеть так: <h2 class="article-title">Как научиться парсить</h2>. Ваш код будет таким:

from bs4 import BeautifulSoup
import requests

html_content = requests.get('https://example-blog.com').text
soup = BeautifulSoup(html_content, 'lxml')

# Находим все заголовки с определенным классом
titles = soup.find_all('h2', class_='article-title')

for title in titles:
    print(title.text.strip())

Ключевой навык здесь - умение читать HTML. Откройте страницу в браузере, нажмите F12 (DevTools) и посмотрите, где лежат нужные данные. Часто оказывается, что текст статьи лежит внутри блока <div class="post-content">, а авторы - в <span class="author-name">. Чем точнее селектор, тем меньше мусора вы соберете.

Подводные камни: антиботы и динамические сайты

В идеальном мире всё просто. В реальности сайты знают, что их хотят парсить, и защищаются.

Проблема 1: JavaScript. Современные сайты часто рендерят контент на стороне клиента. Если вы скачаете HTML такой страницы через requests, вы увидите пустые теги <div id="app"></div>. Данные подгружаются скриптами позже. BeautifulSoup тут бесполезен, потому что его нет в статическом HTML.

Решение: используйте инструменты автоматизации браузера, такие как Selenium или более современный Playwright. Они управляют реальным браузером, ждут загрузки всех скриптов и позволяют взаимодействовать с элементами как живой пользователь.

Проблема 2: Антиботы. Если вы отправите 100 запросов за секунду, сайт заподозрит неладное. Вас могут заблокировать по IP или показать капчу.

Как вести себя вежливо:

• Используйте time.sleep() между запросами (пауза 1-3 секунды).
• Устанавливайте User-Agent в заголовках запроса, чтобы имитировать обычный браузер.
• Чередуйте IP-адреса, если объем данных огромный (для этого существуют прокси-сервисы).

Хранение собранных данных

Собрать данные - полдела. Нужно их куда-то положить. Для джуниора лучше всего начать с простых форматов, прежде чем лезть в сложные базы данных.

CSV/Excel: Идеально для табличных данных небольшого объема (до нескольких сотен тысяч строк). Библиотека pandas позволяет сохранить DataFrame в один клик: df.to_csv('data.csv', index=False).

JSON: Хорошо подходит для хранения сложных структур (например, комментариев с ответами). Файл занимает больше места, чем CSV, но сохраняет иерархию.

SQLite: Легкая файловая база данных. Не требует установки сервера. Если вы планируете делать выборки SQL-запросами или данные будут постоянно дополняться, SQLite - отличный промежуточный вариант перед переходом на PostgreSQL.

Этика и законы: не будьте варваром

Парсинг не должен мешать работе сайта. Представьте, что вы зашли в библиотеку и начали фотографировать каждую страницу книги с вспышкой, бегая между стеллажами. Вы получите данные, но библиотекарь вас выгонит.

Перед началом работы проверьте файл robots.txt (он находится по адресу домена + /robots.txt, например, yandex.ru/robots.txt). Там указано, какие разделы сайта разрешено посещать роботам. Хотя этот файл носит рекомендательный характер, игнорирование прямых запретов может привести к бану вашего IP. Также соблюдайте условия использования (Terms of Service) конкретного ресурса. Некоторые сервисы явно запрещают коммерческое использование собранных данных.