La pequeña cisterna de Siloé, donde fluyen actualmente las aguas del Gihón, forma parte de una cisterna del periodo bizantino. Los fragmentos de columnas que se pueden ver hoy día en la cisterna son, aparentemente, restos de la iglesia de Siloé que existió en este lugar. Los arqueólogos suponen que en los tiempos del Segundo Templo, las aguas continuaban su flujo hacia el Sur y eran recogidas en una cisterna de mayor tamaño. Esa cisterna más grande fue descubierta en el verano de 2004 y sigue siendo excavada en la actualidad. Durante la era del Segundo Templo, la cisterna tenía una superficie de aproximadamente 3 dunam (unas 0,3 ha), con amplios caminos que conducían hacia ella. Los arqueólogos creen que esta cisterna fue construida sobre una más antigua que data de la época del Primer Templo. A esta cisterna desvió el Rey Ezequías las aguas del Gihón.