Асинхронные HTTP-запросы в Python с aiohttp: клиент и сервер

Вы когда-нибудь ждали, пока ваш скрипт скачает данные с десяти сайтов по очереди? Это утомительно. В мире, где скорость решает всё, блокирующие запросы - это тормоза на колесах вашей программы. Если вы пишете на Python, то переход на асинхронность - это не просто модное слово, а необходимость для обработки сотен соединений одновременно.

Именно здесь на сцену выходит aiohttp. Это асинхронная библиотека для Python, позволяющая выполнять HTTP-запросы и создавать веб-серверы без блокировки потока. Она работает поверх asyncio и дает вам суперсилу: обрабатывать тысячи задач в одном потоке операционной системы. Давайте разберемся, как использовать её как мощный клиент и надежный сервер.

Почему стоит выбрать aiohttp?

На рынке есть несколько инструментов. Вы наверняка слышали о Requests. Это стандарт де-факто для синхронных запросов. Он прост, понятен и работает отлично, если вам нужно сделать пять запросов подряд. Но как только их становится сто или тысяча, Requests превращается в узкое горлышко. Каждый запрос ждет завершения предыдущего.

Есть еще HTTPX, который поддерживает и синхронный, и асинхронный режимы. Это удобно, но aiohttp заточена исключительно под асинхронность. Она легче, быстрее и имеет более глубокую интеграцию с экосистемой asyncio. Если ваша цель - высокая конкурентность (когда много пользователей или задач работают параллельно), aiohttp часто оказывается лучшим выбором благодаря своей зрелости и производительности.

Как работает асинхронность в aiohttp

Чтобы понять aiohttp, нужно помнить одно правило: здесь нет места обычным функциям. Всё должно быть объявлено через async def, а вызовы - через await. Без этого код вернет не результат, а объект корутины, который ничего не сделает.

Ключевой элемент работы с API - это ClientSession. Думайте о нем как о браузере, который сохраняет cookies и настройки соединения между запросами. Создавать новую сессию для каждого запроса - плохая практика, которая убивает производительность. Лучше создать одну сессию и использовать её повторно.

Для управления жизненным циклом сессии используется асинхронный контекстный менеджер async with. Он гарантирует, что соединение будет корректно закрыто после завершения работы, даже если произойдет ошибка.

Практика: Создание HTTP-клиента

Давайте напишем код, который делает четыре разных типа запросов (GET, POST, PUT, DELETE) почти одновременно. Мы будем использовать asyncio.gather(), чтобы запустить все задачи параллельно.

import aiohttp
import asyncio

# Функция для GET-запроса
async def fetch_get(session):
    url = "https://jsonplaceholder.typicode.com/posts/1"
    async with session.get(url) as response:
        return await response.json()

# Функция для POST-запроса
async def send_post(session):
    url = "https://jsonplaceholder.typicode.com/posts"
    payload = {"title": "foo", "body": "bar", "userId": 1}
    async with session.post(url, json=payload) as response:
        return await response.json()

# Функция для PUT-запроса
async def update_put(session):
    url = "https://jsonplaceholder.typicode.com/posts/1"
    payload = {"id": 1, "title": "updated", "body": "new body", "userId": 1}
    async with session.put(url, json=payload) as response:
        return await response.json()

# Функция для DELETE-запроса
async def delete_delete(session):
    url = "https://jsonplaceholder.typicode.com/posts/1"
    async with session.delete(url) as response:
        return response.status

# Основная функция
async def main():
    # Создаем одну сессию для всех запросов
    async with aiohttp.ClientSession() as session:
        # Запускаем все запросы параллельно
        results = await asyncio.gather(
            fetch_get(session),
            send_post(session),
            update_put(session),
            delete_delete(session)
        )
        print("Результаты:", results)

if __name__ == "__main__":
    asyncio.run(main())

Обратите внимание на структуру. Мы передаем объект session во все функции. Это позволяет aiohttp переиспользовать пул соединений, что значительно ускоряет работу. Метод response.json() автоматически парсит ответ в словарь Python.

Обработка ошибок и таймаутов

В реальном мире сети нестабильны. Сервер может упасть, интернет может пропасть. Поэтому всегда оборачивайте запросы в блок try-except.

Также важно настроить таймаут. По умолчанию aiohttp может ждать ответа бесконечно долго, что приведет к зависанию вашего приложения. Используйте параметр timeout при создании сессии:

from aiohttp import ClientTimeout

timeout = ClientTimeout(total=10) # 10 секунд на весь запрос
async with aiohttp.ClientSession(timeout=timeout) as session:
    # ... ваши запросы ...

Создание веб-сервера на aiohttp

aiohttp - это не только клиент. Это полноценный фреймворк для создания серверов. Он использует модель обработчиков (handlers). Каждый обработчик - это асинхронная функция, которая принимает объект Request и возвращает web.Response.

Вот пример простого REST-сервера:

from aiohttp import web

# Обработчик для получения данных
async def get_data(request):
    user_id = request.match_info.get('user_id', "anonymous")
    return web.json_response({"message": f"Hello, {user_id}!"})

# Обработчик для отправки данных
async def post_data(request):
    data = await request.json()
    # Здесь можно сохранить данные в базу данных
    return web.json_response({"status": "saved", "data": data})

# Создание приложения
app = web.Application()

# Регистрация маршрутов
app.router.add_get('/users/{user_id}', get_data)
app.router.add_post('/users', post_data)

# Запуск сервера
if __name__ == "__main__":
    web.run_app(app, host='localhost', port=8080)

Здесь мы создали два эндпоинта. Один возвращает JSON-ответ на основе ID пользователя из URL, другой принимает JSON-тело запроса. Метод web.run_app() запускает встроенный сервер, готовый принимать подключения.

Советы по производительности

• Не создавайте сессию внутри цикла. Создайте один раз перед циклом или используйте глобальную переменную.
• Используйте asyncio.gather() или asyncio.TaskGroup (в новых версиях Python) для параллельного выполнения запросов.
• Отключайте проверку SSL-сертификатов только в целях разработки. В продакшене это серьезная уязвимость безопасности.
• Используйте стриминг для больших файлов. Вместо загрузки всего файла в память (await response.read()), используйте итератор response.content.iter_chunked().

Часто задаваемые вопросы