Nace en El Havre en 1877 y muy temprano se manifiestan su afición y sus dotes para la pintura. A los dieciocho años de edad ingresa en la École des Beaux-Arts de Le Havre, donde conoce a Othon Friesz. Por esa época le influyen los «artistas de la modernidad». Entre 1895 y 1898 pinta paisajes y escenas de género al estilo de Boudin, Corot o Sisley. En 1899 se trasladó a París, matriculandose en la École Nationale des Beaux-Arts. Asiste a las clases de Léon Bonnat y profundiza en el estudio de los pintores impresionistas y postimpresionistas.
El año 1905 marca un primer hito en su obra. Se une al movimiento fauvista, creado en torno a Matisse. Pinta calles empavonadas y numerosos paisajes de litoral. Su paleta se ilumina, su trazo se suelta. En 1907 abandona a los fauves y se alista en las filas cubistas, donde se codea con Picasso, Derain y Léger. En 1919, recién terminada la Primera Guerra Mundial, Dufy desarrolla un estilo más personal. Su grafía adquiere mayor agilidad y energía, su paleta se aclara. Se instala en el sur de Francia y viaja por la cuenca mediterránea.
Dufy falleció en Forcalquier en 1953. Deja una obra muy copiosa, compuesta por unos tres mil cuadros al óleo, seis mil acuarelas, cuatro mil dibujos de gran tamaño, mil quinientos estampados para tela, grabados, xilografías, piezas de cerámica e incluso tapices.