下野国（現栃木県）佐野藩士の嫡子として江戸に生まれる。初め狩野派に学ぶが、嘉永年間（1848－54）に洋製石版画を見たのを契機に洋画に転向した（一説に文久元－２年（1861－62））。1862年にハ蕃書調所画学局に入所し、川上冬崖の指導を受けるかたわら、1866年にはワーグマンに師事した。1873年私塾天絵楼を創設し、後進の指導にあたった。同時に月例展示会を開催し、代表作《花魁図》や《鮭図》などを出品した。また1880年から翌年にかけて、金刀比羅宮奉納の油彩画を制作。その後、《山形市街図》など東北地方の一連の風景画を描いた。美術雑誌の発行、美術館創設の請願など、美術の普及にも尽力した近代日本洋画の開拓者である。　徳川家康に重用された天台僧天海が1625年（寛永2）上野の地に寛永寺を建立した際、不忍池を琵琶湖になぞらえ、池中の島を竹生島に見立て、ここに弁財天を祀ったことから、不忍池は江戸名所として賑わいをみせるようになり、歌川広重をはじめとする江戸の画人たちによって多く描かれることとなる。高橋由一が洋画の先駆者として崇敬した司馬江漢や小田野直武も不忍池を題材に優品を遺している。由一が大きな影響を受けたイタリア人画家フォンタネージは明治9年に工部美術学校の教師として来日したが、やはり写生の地としてこの地を好んだ。不忍池南岸から弁天堂を望むこの作品は、1880年8月の天絵社月例油絵展に出品された《池の端暮景（不忍ノ暮景）》と推定されているもので、淡紅色に耀く雲、速筆で描かれた風に揺らぐ柳枝、巧みな遠近表現などにフォンタネージから学んだ跡が歴然とし、名所絵の伝統を背景に有しながら、近代風景画の誕生を告げるものとなっている。