Convierte bytes en una cadena en python 3

Capturé la salida estándar de un programa externo en un bytes objeto:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>>
>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Quiero convertir eso en una cadena normal de Python, para poder imprimirlo así:

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

¿Cómo convierto el bytes objetar a un str con pitón 3?

_{Consulte ¿La mejor manera de convertir cadenas en bytes en Python 3? por lo contrario.}

Decodificar el bytes objeto para producir una cadena:

>>> b"abcde".decode("utf-8") 
'abcde'

El ejemplo anterior asume que el bytes El objeto está en UTF-8, porque es una codificación común. Sin embargo, ¡debe usar la codificación en la que están realmente sus datos!

Decodifique la cadena de bytes y conviértala en una cadena de caracteres (Unicode).

Pitón 3:

encoding = 'utf-8'
b'hello'.decode(encoding)

o

str(b'hello', encoding)

Pitón 2:

encoding = 'utf-8'
'hello'.decode(encoding)

o

unicode('hello', encoding)

Esto une una lista de bytes en una cadena:

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

Si no conoce la codificación, entonces para leer la entrada binaria en una cadena en una forma compatible con Python 3 y Python 2, use el antiguo MS-DOS CP437 codificación:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

Debido a que se desconoce la codificación, espere que los símbolos que no están en inglés se traduzcan a caracteres de cp437 (Los caracteres en inglés no se traducen porque coinciden en la mayoría de las codificaciones de un solo byte y UTF-8).

La decodificación de una entrada binaria arbitraria a UTF-8 no es segura, porque puede obtener esto:

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

Lo mismo se aplica a latin-1que era popular (¿el predeterminado?) para Python 2. Vea los puntos que faltan en Diseño de página de códigos – es donde Python se ahoga con infame ordinal not in range.

ACTUALIZACIÓN 20150604: Hay rumores de que Python 3 tiene la surrogateescape estrategia de error para codificar cosas en datos binarios sin pérdida de datos y fallas, pero necesita pruebas de conversión, [binary] -> [str] -> [binary]para validar tanto el rendimiento como la fiabilidad.

ACTUALIZACIÓN 20170116: Gracias al comentario de Nearoo: también existe la posibilidad de recortar todos los bytes desconocidos con escape backslashreplace controlador de errores Eso funciona solo para Python 3, por lo que, incluso con esta solución, seguirá obteniendo resultados inconsistentes de diferentes versiones de Python:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

Ver Compatibilidad con Unicode de Python para detalles.

ACTUALIZACIÓN 20170119: Decidí implementar la decodificación de escape de barra que funciona tanto para Python 2 como para Python 3. Debería ser más lento que el cp437 solución, pero debería producir resultados idénticos en cada versión de Python.

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

en pitón 3la codificación predeterminada es "utf-8"por lo que puede usar directamente:

b'hello'.decode()

que es equivalente a

b'hello'.decode(encoding="utf-8")

Por otro lado, en pitón 2, la codificación tiene como valor predeterminado la codificación de cadena predeterminada. Por lo tanto, debe utilizar:

b'hello'.decode(encoding)

dónde encoding es la codificación que desea.

Nota: Se agregó soporte para argumentos de palabras clave en Python 2.7.

Creo que realmente quieres esto:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

La respuesta de Aaron fue correcta, excepto que necesitas saber cual codificación a utilizar. Y creo que Windows usa ‘windows-1252’. Solo importará si tiene algunos caracteres inusuales (no ASCII) en su contenido, pero luego marcará la diferencia.

Por cierto, el hecho de que hace La cuestión es la razón por la que Python pasó a usar dos tipos diferentes para datos binarios y de texto: no puede convertir mágicamente entre ellos, ¡porque no conoce la codificación a menos que usted se lo diga! La única manera de saberlo es leer la documentación de Windows (o leerla aquí).

Dado que esta pregunta en realidad se refiere a subprocess salida, tiene enfoques más directos disponibles. Lo más moderno sería usar subprocess.check_output y pasando text=True (Python 3.7+) para decodificar automáticamente la salida estándar utilizando la codificación predeterminada del sistema:

text = subprocess.check_output(["ls", "-l"], text=True)

Para Python 3.6, Popen acepta un codificación palabra clave:

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

La respuesta general a la pregunta del título, si no se trata de la salida de un subproceso, es descodificar bytes a texto:

>>> b'abcde'.decode()
'abcde'

Sin argumento, sys.getdefaultencoding() se utilizará. Si sus datos no están sys.getdefaultencoding()entonces debe especificar la codificación explícitamente en el decode llamar:

>>> b'caf\xe9'.decode('cp1250')
'café'