成化十三年二月，汪直心腹錦衣衛百戶韋瑛稱楊榮之曾孫楊業家貲巨萬，常殺人，將招納亡命下海。汪直發兵籍沒福建都指揮楊業，詞語牽連連兵部主事楊仕偉、中書舍人董璵，俱下獄瀕死。韋瑛並籍其家2]。
三月，左都禦史李賓奏擬妄報妖言者連坐處斬，而當時西廠旗校即以捕妖言圖官賞，從而大量百姓被捕冤死3]。同年四月，汪直令韋瑛逮捕通政使司左通政方賢、太醫院判蔣宗武下西廠獄；當時禮部郎中樂章、行人張廷網出使安南歸還，刑部郎中武清從廣西勘事歸還，浙江布政使劉福起複至京師，均被汪直並令韋瑛逮捕。禦史黃本在雲南、貴州清軍刷歸還，汪直令韋瑛搜得一個象笏，被逮捕送錦衣衛，被被貶為民4]。
同年五月，因為當時汪直開西廠，羅織數起大獄，百姓害怕，大學士商輅上疏稱請革去西廠，罷汪直並誅韋瑛；並與憲宗發生爭執，憲宗最後批準此疏，罷免西廠。並謫韋瑛戍宣府5]。