Будем исходить из максимальных возможностей NTSC - 640х480.
(Вы говорили - 3,5 МГц - это 175 точек по горизонтали в строке)
Цвет - 1 байт (как вы сказали). Примерно 20000 (строчная частота с учётом только видимой части) * 640 = 12 800 000 байт в секунду.
Кол-во памяти 640*480=307 200 байт. Время выборки не хуже 70 с.
Естественно, если кол-во строк более 240 - нужна черезстрочность
Двухпортовая память слишком большая роскошь.
Как построить обновление зависит от ТРЕБУЕМОЙ интенсивности обновления картинки.
От обновления контроллером одной ОЗУ во время кадрового (строчного) обратного хода (я делал так)(в этом случае у вас в каждом поле 1,4 мс на обновление экрана) до разделения ОЗУ на 2 и более микросхем, а также разделение времени каждого пикселя на выборку и запись (статика на 25 нс доступна).