¿Cómo puedo usar cookies en las solicitudes de Python?

Estoy tratando de iniciar sesión en una página y acceder a otro enlace en la página.

Recibo un error “405 No permitido” de este intento:

payload={'username'=<username>,'password'=<password>}
with session() as s:
    r = c.post(<URL>, data=payload)
    print(r)
    print(r.content)

Revisé los detalles del método de publicación con las herramientas para desarrolladores de Chrome y encontré una URL que parecía ser un punto final de la API. Publiqué en esa URL con la carga útil y pareció funcionar; Obtuve una respuesta similar a la que pude ver en el desarrollador.

Desafortunadamente, cuando trato de ‘obtener’ otra URL después de iniciar sesión, sigo obteniendo el contenido de la página de inicio de sesión. ¿Por qué no se pega el inicio de sesión? ¿Debo usar cookies? ¿Cómo?

Puede utilizar un objeto de sesión. Almacena las cookies para que pueda realizar solicitudes y las maneja por usted.

s = requests.Session() 
# all cookies received will be stored in the session object

s.post('http://www...',data=payload)
s.get('http://www...')

Documentos: https://requests.readthedocs.io/en/master/user/advanced/#session-objects

También puede guardar los datos de las cookies en un archivo externo y luego volver a cargarlos para mantener la sesión persistente sin tener que iniciar sesión cada vez que ejecuta el script:

¿Cómo guardar cookies de solicitudes (python) en un archivo?

Desde el documentación:

1. obtener una cookie de la respuesta

    url="http://example.com/some/cookie/setting/url"
    r = requests.get(url)
    r.cookies
   

   {'example_cookie_name': 'example_cookie_value'}

2. devolver la cookie al servidor en una solicitud posterior

    url="http://httpbin.org/cookies"
    cookies = {'cookies_are': 'working'}
    r = requests.get(url, cookies=cookies)`
   

Resumen (@Freek Wiekmeijer, @gtalarico) la respuesta de otros:

Lógica de inicio de sesión

• Muchos recursos (páginas, api) necesitan authenticationentonces puede acceder, de lo contrario 405 Not Allowed
• Común authentication=grant access método son:
  • cookie
  • auth header
    • Basic xxx
    • Authorization xxx

Como usar cookie en requests para autenticar

1. primero obtener/generar cookie
2. enviar cookie para la siguiente solicitud

• conjunto manual cookie en headers
• proceso automático cookie por requests‘s
  • session para administrar automáticamente las cookies
  • response.cookies para configurar manualmente las cookies

utilizar requests‘s session administrar automáticamente las cookies

curSession = requests.Session() 
# all cookies received will be stored in the session object

payload={'username': "yourName",'password': "yourPassword"}
curSession.post(firstUrl, data=payload)
# internally return your expected cookies, can use for following auth

# internally use previously generated cookies, can access the resources
curSession.get(secondUrl)

curSession.get(thirdUrl)

controlar manualmente requests‘s response.cookies

payload={'username': "yourName",'password': "yourPassword"}
resp1 = requests.post(firstUrl, data=payload)

# manually pass previously returned cookies into following request
resp2 = requests.get(secondUrl, cookies= resp1.cookies)

resp3 = requests.get(thirdUrl, cookies= resp2.cookies)

Como otros señalaron, aquí hay un ejemplo de cómo agregar cookies como variable de cadena al parámetro de encabezado:

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...',
        'cookie': '_fbp=fb.1.1654447470850.2143140577; _ga=GA1.2.1...'
    }
    response = requests.get(url, headers=headers)