Все вопросы: [urllib]

39 вопросов

похожие теги:
120
голосов
4ответов
118568 просмотров
307
голосов
5ответов
254362 просмотров

Как кодировать параметры URL-адреса в процентах в Python?

Если да url = "http://example.com?p=" + urllib.quote(query) Он не кодирует /–%2F (нарушает нормализацию OAuth). Он не обрабатывает Юникод (вызывает исключение) Есть ли библиотека получше?

1
голосов
2ответов
717 просмотров

parse.unquote_plus TypeError

Я пытаюсь отформатировать файл так, чтобы его можно было вставить в базу данных, файл изначально сжат и имеет размер около 1,3 МБ. Каждая строка выглядит примерно так: 398,% 7EAnoniem + 001% 7E, 543,480,7525010,1775,0 Вот как выглядит код, анализирующий этот файл: Village = gzip....

2
голосов
4ответов
8255 просмотров

TypeError: невозможно объединить объекты 'str' и 'instance' (python urllib)

Написал программу на Python, и я столкнулся с этой ошибкой при использовании функции urllib.urlopen. Traceback (most recent call last): File "ChurchScraper.py", line 58, in <module> html = GetAllChurchPages() File "ChurchScraper.py", line 48, in GetAllChurchPages CPs = CPs + urllib.urlo...

0
голосов
3ответов
852 просмотров

как открыть URL-адрес с аргументами, отличными от utf-8

Используя Python, мне нужно передать данные, не закодированные в utf-8 (в частности, shift-jis), на URL-адрес через строку запроса. Как мне передать данные?Цитировать это?Кодировать в utf-8? Спасибо

3
голосов
2ответов
908 просмотров

Многопоточность Python с проблемой Urllib2

Я могу довольно быстро загрузить несколько файлов с помощью множества потоков одновременно, но проблема в том, что через несколько минут он имеет тенденцию постепенно замедляться почти до полной остановки, я не знаю почему.Нет ничего плохого в моем коде, который я вижу, и мой RAM / CPU в порядке...

0
голосов
1ответов
793 просмотров

urlretrieve возвращает пустой файл

Я пытаюсь использовать urlretrieve для загрузки файлов с URL-адресов, которые имеют форму: http://example.com/download.php?id= 6456 & name = foo но по какой-то причине я просто получаю пустой ответ. Я пробовал метод, предложенный в этот вопрос , похоже, не помог, потому что ...

2
голосов
2ответов
2313 просмотров

Trace / BPT trap при вызове urllib.urlopen

По какой-то причине я получаю ошибку Trace / BPT trap при вызове urllib.urlopen. Я пробовал и urllib, и urllib2 с идентичными результатами.Вот код, который вызывает ошибку: def get_url(url): from urllib2 import urlopen if not url or not url.startswith('http://'): return None retur...

71
голосов
4ответов
47408 просмотров

should I call close() after urllib.urlopen()?

I'm new to Python and reading someone else's code: should urllib.urlopen() be followed by urllib.close()? Otherwise, one would leak connections, correct?

34
голосов
7ответов
14694 просмотров

How to download any(!) webpage with correct charset in python?

Problem When screen-scraping a webpage using python one has to know the character encoding of the page. If you get the character encoding wrong than your output will be messed up. People usually use some rudimentary technique to detect the encoding. They either use the charset from the header o...

6
голосов
3ответов
9031 просмотров

Why I get urllib2.HTTPError with urllib2 and no errors with urllib?

I have the following simple code: import urllib2 import sys sys.path.append('../BeautifulSoup/BeautifulSoup-3.1.0.1') from BeautifulSoup import * page='http://en.wikipedia.org/wiki/Main_Page' c=urllib2.urlopen(page) This code generates the following error messages: c=urllib2.urlopen(page)...

0
голосов
2ответов
2575 просмотров

Python urllib, minidom and parsing international characters

When I try to retrieve information from Google weather API with the following URL, http://www.google.com/ig/api?weather=Munich,Germany&hl=de and then try to parse it with minidom, I get error that the document is not well formed. I use following code sock = urllib.urlopen(url) # above me...

84
голосов
8ответов
57727 просмотров

Django: add image in an ImageField from image url

please excuse me for my ugly english ;-) Imagine this very simple model : class Photo(models.Model): image = models.ImageField('Label', upload_to='path/') I would like to create a Photo from an image URL (i.e., not by hand in the django admin site). I think that I need to do something li...

1
голосов
3ответов
1872 просмотров

Python urllib.urlopen() call doesn't work with a URL that a browser accepts

If I point Firefox at http://bitbucket.org/tortoisehg/stable/wiki/Home/ReleaseNotes, I get a page of HTML. But if I try this in Python: import urllib site = 'http://bitbucket.org/tortoisehg/stable/wiki/Home/ReleaseNotes' req = urllib.urlopen(site) text = req.read() I get the following: 500 ...

28
голосов
3ответов
25130 просмотров

How to catch 404 error in urllib.urlretrieve

Background: I am using urllib.urlretrieve, as opposed to any other function in the urllib* modules, because of the hook function support (see reporthook below) .. which is used to display a textual progress bar. This is Python>=2.6. >>> urllib.urlretrieve(url[, filename[, reporthook[...

2
голосов
2ответов
1100 просмотров

relevent query to how to fetch public key from public key server

import urllib response = urllib.urlopen('http://pool.sks-keyservers.net/') print 'RESPONSE:', response print 'URL :', response.geturl() headers = response.info() print 'DATE :', headers['date'] print 'HEADERS :' print '---------' print headers data = response.read() print 'LENGTH :', l...

21
голосов
3ответов
15226 просмотров

Python standard library to POST multipart/form-data encoded data

I would like to POST multipart/form-data encoded data. I have found an external module that does it: http://atlee.ca/software/poster/index.html however I would rather avoid this dependency. Is there a way to do this using the standard libraries? thanks

2
голосов
2ответов
1001 просмотров

python urllib, how to watch messages?

How can I watch the messages being sent back and for on urllib shttp requests? If it were simple http I would just watch the socket traffic but of course that won't work for https. Is there a debug flag I can set that will do this? import urllib params = urllib.urlencode({'spam': 1, 'eggs': 2,...

0
голосов
2ответов
1441 просмотров

Проблема Unicode Django-Python-URLLIB-MySQL

Я получаю веб-страницу ( http://autoweek.com ) и пытаюсь обработать ее, но получаю ошибку кодирования . Autoweek объявляет кодировку "iso-8859-1" и содержит слово "Nürburgring" (u с умлаутом) Я: # -*- encoding: utf-8 -*- import urllib webpage = urllib.urlopen(feed.crawl_url).read() webpage...

54
голосов
8ответов
64649 просмотров

Как узнать, удастся ли urllib.urlretrieve?

urllib.urlretrieve возвращается без уведомления, даже если файл не существует на удаленном http-сервере, он просто сохраняет html-страницу в названный файл. Например: urllib.urlretrieve('http://google.com/abc.jpg', 'abc.jpg') просто возвращается без звука, даже если abc.jpg не существует ...

1
голосов
2ответов
1100 просмотров

Самый эффективный способ сохранения двоичного файла из Интернета с помощью Python 2.6?

Я пытаюсь загрузить (и сохранить) двоичный файл из Интернета, используя Python 2.6 и urllib. Насколько я понимаю, read (), readline () и readlines () - это 3 способа чтения файлового объекта. Поскольку двоичные файлы на самом деле не разбиваются на символы новой строки, read () и readlines ()...

49
голосов
6ответов
106154 просмотров

Python: получить заголовки HTTP из вызова urllib2.urlopen?

Извлекает ли urllib2 всю страницу при вызове urlopen? Я хотел бы просто прочитать заголовок HTTP-ответа, не открывая страницу. Похоже, что urllib2 открывает HTTP-соединение, а затем получает фактическую HTML-страницу ... или просто начинает буферизацию страницы с помощью вызова urlopen? im...

2
голосов
2ответов
3249 просмотров

Отправка формы в Python без атрибута имени

Справочная информация: Используя urllib и urllib2 в Python, вы можете отправить форму. Сначала вы создаете словарь. formdictionary = { 'search' : 'stackoverflow' } Затем вы используете метод urlencode для urllib для преобразования этого словаря. params = urllib.urlencode(formdict...

17
голосов
2ответов
12482 просмотров

Включение вывода отладки для urllib Python 3

В python 2 можно было получить отладочную информацию из urllib, выполнив import httplib import urllib httplib.HTTPConnection.debuglevel = 1 response = urllib.urlopen('http://example.com').read() Однако в python 3 похоже, что это было перемещено в http.client.HTTPConnection.set_debuglev...

20
голосов
3ответов
13894 просмотров

Интерфейс Python для PayPal - ошибка urllib.urlencode не-ASCII символов

Я пытаюсь реализовать функцию PayPal IPN. Базовый протокол такой: Клиент перенаправляется с моего сайта на сайт PayPal для завершения платежа. Он входит в свою учетную запись, авторизует платеж. PayPal вызывает страницу на моем сервере, передавая подробную информацию как POST. Подробная ин...

1
голосов
2ответов
1359 просмотров

Python / urllib внезапно перестает работать должным образом

Я пишу небольшой инструмент для наблюдения за открытием классов в моей школе. Я написал сценарий python, который будет получать информацию о текущей доступности классов из каждого отдела каждые несколько минут. Скрипт работал нормально, пока сайт универа не начал возвращать это: SIS Ser...

5
голосов
2ответов
6607 просмотров

Python: загрузка большого файла по локальному пути и установка пользовательских заголовков http

Я хочу загрузить файл с URL-адреса http в локальный файл. Размер файла достаточно велик, поэтому я хочу загрузить его и сохранить фрагменты, а не read() и write() весь файл как одну гигантскую строку. Интерфейс urllib.urlretrieve - это то, что я хочу. Однако я не вижу способа установить загол...

7
голосов
3ответов
9201 просмотров

Как лучше всего распаковать ответ сервера в формате gzip в Python 3?

Я ожидал, что это сработает: >>> import urllib.request as r >>> import zlib >>> r.urlopen( r.Request("http://google.com/search?q=foo", headers={"User-Agent": "Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11", "Accept-Encoding": "gzip"}) ).read() b'a...

13
голосов
3ответов
9900 просмотров

Как маршрутизировать запросы urllib через сеть TOR?

Как маршрутизировать запросы urllib через сеть TOR?

25
голосов
3ответов
31924 просмотров

Ошибка Python при использовании urllib.open

Когда я запускаю это: import urllib feed = urllib.urlopen("http://www.yahoo.com") print feed Я получаю этот вывод в интерактивном окне (PythonWin): <addinfourl at 48213968 whose fp = <socket._fileobject object at 0x02E14070>> Я ожидаю получить источник указанного выше...