Как скачать файл на python 3 инструкция с примерами

Как скачать файл на python 3

Для скачивания файлов в python есть очень мощная библиотека — requests. Почти все свои программки для работы с сайтами я пишу с использованием этого модуля. Он удобный, быстрый и многофункционален. Позволяет изменять headers, body, скачивать и заливать файлы. В этом посте я хочу рассказать вам как с легкостью качать файлы на питоне.

Простой запрос страницы через requests

Запросить код сайта можно обычным запросом requests.post(«http://bdseo.ru»).

Как вывести содержимое страницы после запроса

Чтобы обрабатывать результаты, нужно запросу присвоить переменную:

Теперь можно вывести результат запросом r.text (или print(r.text)).

Как сохранить страницу html через requests

1. Делаем запрос.
2. Записываем данные в файл.
На примере (полный код программы):

После этого на диске Д появился файл с содержимым главной страницы моего блога. Иногда может потребоваться сменить кодировку текста (питон буде подсказывать, выдавать ошибки).

Примеры запросов requests на python 3

Скачивать файлы можно посредством POST или GET запросов. Сам код запроса почти одинаковый:

Где:
send_request — моя переменная, сам запрос. Нужна для дальнейшего обращения к результатам (например, send_request.text — выведет весь код страницы; send_request.url — ссылка страница, если был редирект — то ссылка-редиректа; send_request.headers — код-хедерс страницы);
my_head — если я менял headers, то передаю свои параметры (например, подменил User-agent);
params — параметры запроса; например, логин/пароль.

Как сохранить файл через python (модуль requests)

Логика скачивания файла следующая:
1) делаем запрос на ссылку файла;
2) записываем данные в файл на ПК.

Выглядит все этого следующим образом (полный код программы):

Данный код скачает файл на диск Вашего компьютера. Обратите внимание на комментарии — режим записи ‘wb’, сохраняем ‘content’. Закрывайте файл после запроса.

Как скачать файл через прокси в python

Модуль requests имеет подробную документацию (на английском) — http://docs.python-requests.org/en/master/. Работать с сайтами можно и через прокси, для этого достаточно добавить в запрос данные по прокси.
Пример кода:

Обратите внимание, что некоторые сайты могут блокировать публичные прокси, а также дополнительно запрашивать капчу (редко, но бывает).

Как скачать много файлов с сайта

Чтобы скачать много файлов — пользуйтесь циклами. Чтобы получить ссылки с сайта, если вы хотите скачать много файлов — «просканируйте» сайт на эти ссылки, а потом делайте запросы. Это можно делать также модулем requests в python 3, но это уже совсем другая тема.

0 Comments

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

тринадцать − 6 =

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">