Un nommé Bénézet serait à l'origine de la construction de l'ouvrage en 11772 sur des restes de culées romaines.

A son achèvement en 1185 22 arches enjambaient le Rhône en formant une courbe de 920 mètres de long pour une largeur de 4 mètres.

S'il fut longtemps le seul pont permettant de traverser le Rhône entre Lyon et la mer Méditerranée, son utilisation était pourtant bien specifique:

Trop étroit pour permettre aux charettes de se croiser, il n'a jamais pu être utilisé à de pures fins commerciales. Le transport de marchandises dût être assuré par barque ou par barge.

En revanche, il permettait de contrôler efficacement le trafic et prélever les droits de péage, conformément au rôle de poste-frontière entre l'État pontifical et le Royaume de France qui lui était dévolu.

Endommagé tant par les crues que par les guerres, l'ouvrage fût reconstruit plusieurs fois, notamment entre 1234 et 12374.

En 1479, à cause des inondations, deux arches furent entièrement détruites.

Aussi le roi de France Louis XI ordonna-t-il sa réparation par lettre patente royale datée du 10 octobre.

À la suite de la modification du lit du fleuve à l’époque du petit âge glaciaire, une première arche s'effondre en 1603, ensuite trois autres en 1605, enfin toutes quatre sont rebâties vers 1628. En 1633, juste après la réouverture du pont, deux nouvelles arches s'effondrent. En 1669, une nouvelle crue du Rhône emporta plusieurs autres arches pour ne laisser pratiquement que celles qu'on lui connaît de nos jours.

Son entretien, fort coûteux à longue, explique qu'il ait été décidé de le laisser à l'abandon.