Чтение очень больших файлов (~ 1 ТБ) в последовательных блоках [дубликаты]

    

На этот вопрос уже есть ответ здесь:

    

Мне нужно прочитать большой файл в Scala и обработать его блоками по k бит (обычно k может быть 65536). В качестве простого примера (но не то, что я хочу):

файловыми блоками являются (f1, f2, ... fk).

Я хочу вычислить SHA256(f1)+SHA256(f2)+...+ SHA256(fk)

Такое вычисление может быть выполнено постепенно, используя только постоянную память и текущий блок, без необходимости использования других блоков.

Как лучше всего прочитать файл? (возможно что-то, что использует продолжения?)

РЕДАКТИРОВАТЬ: связанный вопрос решает проблему, но не всегда, так как файл, на который я смотрю, содержит двоичные данные.

7 голосов | спросил Jus12 10 J0000006Europe/Moscow 2015, 13:56:54

0 ответов


Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132