En abril de 1968 la nueva banda comienza a actuar cada jueves en el mítico The Marquee de Londres, como teloneros de Fleetwood Mac, Procol Harum y Ten Years After, entre otros. Se cuenta que, como no eran excesivamente buenos, cambiaban a menudo de nombre para poder seguir actuando. Uno de esos nombres con los que tocaron fue The Blakes. El repertorio que tocaban estaba compuesto exclusivamente por temas de Ian y Mick.
En el mes de mayo graban un single para la MGM, con los temas Aeroplane y Sunshine Day. Debido a la poca publicidad, el disco pasó sin pena ni gloria. La curiosidad es que, debido a un fallo de imprenta, salió publicado con el nombre Jethro Toe.
Será en el mes de junio cuando Terry Ellis y Chris Wright consiguen que el grupo fiche por la Chrysalis, sello subsidiario de Island Records. A partir de este momento, la banda comenzará a destacar en el panorama musical inglés.
En el mes de julio se meten en los Sound Techniques Studios de Londres y graban los temas que conformarán su primer álbum. El 23 de agosto terminarán las grabaciones y la compañía, que apuesta fuertemente por ellos, los promocionará muchísimo. Así, los presentará en el National Rhytm & Blues Festival celebrado en Kempton Park de Sunburry. Allí compartirán cartel con John Mayall, Cream, Nice y Ten Years After. Consiguen un éxito espectacular.
En septiembre de 1968 se publica su primer LP, This Was, que contiene diez temas. Rápidamente consigue el beneplácito del público y de la crítica. En Estados Unidos el disco se vendió poco, pero en Inglaterra los consolida totalmente. La revista Melody Maker los sitúa como la segunda banda más prometedora de toda Inglaterra: la primera eran The Beatles y la tercera The Rolling Stones.
En noviembre del 68 vuelven al estudio, en este caso los Morgan Studios de Londres, y graban los temas que formarán su primer single para la Chrysalis. Se publicará en diciembre y contendrá los temas Love story y Christmas song.
En ese mismo mes de diciembre, Mick Abrahams abandona el grupo para formar su propia banda, Blodwyn Pig. Para sustituir a Abrahams, Anderson llama a Tonni Iommi, futuro guitarrista de Black Sabbath. Su estancia en Jethro Tull sólo duró quince días, ya que su estilo no convenció a Anderson. A pesar de su corta estancia en la banda, llegó a grabar un programa de televisión llamado Rolling Stones' Rock'n'Roll Circus, donde, además de los Stones, participaban John Lennon, The Who y Eric Clapton.
Para sustituir a Iommi, Anderson recurre a Davy O'List, que solamente estaría cuatro días con la banda y que posteriormente tocaría en el grupo Nice.
Entra entonces en la banda el guitarrista que se convertiría en el brazo derecho de Anderson: Martin Lancelot Barre. A pesar de no tener la depurada técnica de Abrahams, Barre se adapta mucho mejor a la música del grupo.
En 1691 ingresó en el Colegio St. John, de Oxford. Trabajó en la posada Bar's, de Gray, en 1699, año en el que se casó. Posteriormente se instaló en las tierras de sus padres, en Mowberry, pueblo próximo a Wallingford. 
Una vez abandona la idea de convertirse en pintor, marcha a Londres junto a Barlow, Hammond y Evan. Allí formaran The John Evan Band, grupo con el que tocarán por los bares locales versiones de James Brown.
Su primer concierto en América fue en el Filmore East de Nueva York, y Anderson lo consideró un desastre, ya que el equipo llegó en pésimas condiciones. A pesar de eso, tuvieron éxito.
En abril, y de regreso a Londres, graban en los Morgan Studios los temas de su segundo álbum: Stand up. El Lp sale a la venta a finales de mes y llega en pocos días al número uno de las listas inglesas y de muchos países de Europa. Conseguirá rápidamente ser Disco de Oro. El disco es grabado en una época problemática, musicalmente hablando: separación de The Beatles y muerte de Brian Jones, guitarra de The Rolling Stones.
En el mes de diciembre volverían a los mismos estudios para grabar dos nuevos temas que aparecerían posteriormente en el mismo álbum: Teacher y Witches promise. Este sería el primer single estéreo de la historia. En Teacher participa John Evan, miembro de los dos grupos anteriores a Jethro, The John Evan Band y John Evan's Smash. Evan colaborará como miembro eventual de la banda hasta que ingresará definitivamente en junio de 1970.
En agosto participan en el Festival de la isla de Wight, junto a grupos tan importantes como The Doors, Free, Chicago, Ten Years After, The Who, ELP, Taste, y solistas de la talla de Bob Dylan, Jimmi Hendrix, Donovan, etc. El éxito de Jethro es espectacular: llegan a tocar casi tres horas seguidas.