Анализ большого файла журнала json в node.js

У меня есть следующий файл JSON:Датчики s1, s2, s3 и т.д. все передают на разных частотах (обратите внимание, что s3 передает каждые 2 секунды, и временные интервалы могут быть не по порядку).Как я могу добиться чего-то вроде -sensorlogs.json - 16 ГБ.Отсутствующие записи можно найти на основе разницы в последовательных временных метках UTC.Каждый датчик передает сигнал с известной частотой.Я не могу использовать несколько больших массивов для своего анализа из-за ограничений памяти, поэтому мне придется выполнить несколько проходов по одному и тому же файлу журнала JSON и использовать только один большой массив для анализа.То, что у меня есть до сих пор, следующее -Конечно, это не работает, и я не могу найти в сети ничего, что объясняло бы, как это можно реализовать.Примечание: я могу выбрать любой язык по своему выбору для разработки этого инструмента (C /C ++, C # /Java /Python), но я использую JavaScript, потому что он позволяет легко анализировать массивы JSON (и мой интерес к совершенствованию JSтакже).Кто-нибудь хочет предложить альтернативный язык для этого, если JavaScript - не лучший язык для создания такого инструмента?Изменить: некоторая важная информация, которая либо не очень ясна, либо я не включал ранее, но похоже, что ее важно включить в вопрос -Данные в журналах JSON не транслируются в реальном времени, это сохраненный файл JSON на жестком диске.Сохраненные данные не находятся в хронологическом порядке, а это означает, что временные метки могут быть в неправильном порядке.Таким образом, данные каждого датчика необходимо отсортировать на основе отметок времени после того, как они были сохранены в массиве.Я не могу использовать отдельные массивы для каждого датчика (это будет то же самое, что и хранение всего 16 ГБ JSON в ОЗУ), а для экономии памяти следует использовать только один массив за раз.И да, в моем журнале более 4 датчиков, это всего лишь образец (примерно 20, чтобы дать представление)Я изменил свой JSON и ожидаемый результатОдним из решений может быть несколько проходов по файлу JSON, сохранение данных одного датчика с отметками времени в массиве за раз, затем сортировка массива и, наконец, анализ данных на предмет повреждений и пропусков.И это то, что я пытаюсь сделать в своем коде выше
7 голосов | спросил user3509549 13 thEurope/Moscowp30Europe/Moscow09bEurope/MoscowTue, 13 Sep 2016 04:40:24 +0300 2016, 04:40:24

0 ответов


Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132