Sweep It Into Space, parcialmente grabado y coproducido con Kurt Vile, sigue a Give a Glimpse of What Yer Not de 2016. Dinosaur Jr. compartió las canciones “Take It Back”, “Garden” y “I Ran Away” (que también presenta a Vile en la guitarra de 12 cuerdas) del disco en las semanas previas a su lanzamiento.