Ça dépend de la manière dont est codé le site. Si c'est du Server Side Rendering, tu peux récupérer le HTML (avec requests ou HTTPX par exemple) et parser le code HTML avec BeautifulSoup ou parsel.
Si le HTML a été rendu via du javascript (requête AJAX ou site web type SPA), deux solutions:
- la plus efficace c'est de trouver l'API qui renvoie les données et d'interroger directement l'API du site avec les bons paramètres.
- Ou alors utiliser un browser Headless (Playwright ou Selenium) qui va interprêter le javascript et rendre le HTML. Ensuite tu pourras parser le HTML avec les outils de ton framework ou alors passer le HTML à BS4 ou parsel.