Added mapping for Meshtastic MQTT events, improved payload processing
This commit is contained in:
parent
8ad57f9a5e
commit
e38e0ec69b
GPG Key ID:
EF4B922DB85DC9DE
@ -5,6 +5,7 @@
|
|||||||
import asyncio
|
import asyncio
|
||||||
import json
|
import json
|
||||||
import logging
|
import logging
|
||||||
|
import time
|
||||||
|
|
||||||
try:
|
try:
|
||||||
import aiofiles
|
import aiofiles
|
||||||
@ -19,8 +20,113 @@ default_index = 'eris-meshtastic'
|
|||||||
def construct_map() -> dict:
|
def construct_map() -> dict:
|
||||||
'''Construct the Elasticsearch index mapping for Meshtastic records.'''
|
'''Construct the Elasticsearch index mapping for Meshtastic records.'''
|
||||||
|
|
||||||
# Mapping not done yet
|
# Match on exact value or full text search
|
||||||
return {}
|
keyword_mapping = { 'type': 'text', 'fields': { 'keyword': { 'type': 'keyword', 'ignore_above': 256 } } }
|
||||||
|
|
||||||
|
return {
|
||||||
|
'mappings': {
|
||||||
|
'properties': {
|
||||||
|
'channel' : { 'type': 'long'},
|
||||||
|
'decoded' : {
|
||||||
|
'properties': {
|
||||||
|
'bitfield' : { 'type': 'long' },
|
||||||
|
'payload' : {
|
||||||
|
'type' : 'nested',
|
||||||
|
'dynamic' : True,
|
||||||
|
'properties' : {
|
||||||
|
'HDOP' : { 'type': 'long' },
|
||||||
|
'PDOP' : { 'type': 'long' },
|
||||||
|
'altitude' : { 'type': 'long' },
|
||||||
|
'altitudeGeoidalSeparation' : { 'type': 'long' },
|
||||||
|
'altitudeHae' : { 'type': 'long' },
|
||||||
|
'deviceMetrics' : {
|
||||||
|
'properties' : {
|
||||||
|
'airUtilTx' : { 'type': 'float' },
|
||||||
|
'batteryLevel' : { 'type': 'long' },
|
||||||
|
'channelUtilization' : { 'type': 'float' },
|
||||||
|
'uptimeSeconds' : { 'type': 'long' },
|
||||||
|
'voltage' : { 'type': 'float' }
|
||||||
|
}
|
||||||
|
},
|
||||||
|
'environmentMetrics' : {
|
||||||
|
'properties' : {
|
||||||
|
'barometricPressure' : { 'type': 'float' },
|
||||||
|
'current' : { 'type': 'float' },
|
||||||
|
'distance' : keyword_mapping,
|
||||||
|
'gasResistance' : { 'type': 'float' },
|
||||||
|
'iaq' : { 'type': 'long' },
|
||||||
|
'lux' : { 'type': 'float' },
|
||||||
|
'relativeHumidity' : { 'type': 'float' },
|
||||||
|
'temperature' : { 'type': 'float' },
|
||||||
|
'voltage' : { 'type': 'float' },
|
||||||
|
'whiteLux' : { 'type': 'float' },
|
||||||
|
'windDirection' : { 'type': 'long' },
|
||||||
|
'windSpeed' : { 'type': 'float' }
|
||||||
|
}
|
||||||
|
},
|
||||||
|
'errorReason' : keyword_mapping,
|
||||||
|
'groundSpeed' : { 'type': 'long' },
|
||||||
|
'groundTrack' : { 'type': 'long' },
|
||||||
|
'hwModel' : keyword_mapping,
|
||||||
|
'id' : keyword_mapping,
|
||||||
|
'isLicensed' : { 'type': 'boolean' },
|
||||||
|
'lastSentById' : { 'type': 'long' },
|
||||||
|
'latitudeI' : { 'type': 'long' },
|
||||||
|
'locationSource' : keyword_mapping,
|
||||||
|
'longName' : keyword_mapping,
|
||||||
|
'longitudeI' : { 'type': 'long' },
|
||||||
|
'macaddr' : keyword_mapping,
|
||||||
|
'neighbors' : {
|
||||||
|
'properties' : {
|
||||||
|
'nodeId' : { 'type': 'long' },
|
||||||
|
'snr' : { 'type': 'float' }
|
||||||
|
}
|
||||||
|
},
|
||||||
|
'nodeBroadcastIntervalSecs' : { 'type': 'long' },
|
||||||
|
'nodeId' : { 'type': 'long' },
|
||||||
|
'powerMetrics' : {
|
||||||
|
'properties': {
|
||||||
|
'ch1Current' : { 'type': 'float' },
|
||||||
|
'ch1Voltage' : { 'type': 'float' },
|
||||||
|
'ch2Current' : { 'type': 'float' },
|
||||||
|
'ch2Voltage' : { 'type': 'float' },
|
||||||
|
'ch3Current' : { 'type': 'float' },
|
||||||
|
'ch3Voltage' : { 'type': 'float' }
|
||||||
|
}
|
||||||
|
},
|
||||||
|
'precisionBits' : { 'type': 'long' },
|
||||||
|
'publicKey' : keyword_mapping,
|
||||||
|
'role' : keyword_mapping,
|
||||||
|
'route' : { 'type': 'long' },
|
||||||
|
'routeBack' : { 'type': 'long' },
|
||||||
|
'satsInView' : { 'type': 'long' },
|
||||||
|
'seqNumber' : { 'type': 'long' },
|
||||||
|
'shortName' : keyword_mapping,
|
||||||
|
'snrBack' : { 'type': 'long' },
|
||||||
|
'snrTowards' : { 'type': 'long' },
|
||||||
|
'time' : { 'type': 'date' },
|
||||||
|
'timestamp' : { 'type': 'date' }
|
||||||
|
}
|
||||||
|
},
|
||||||
|
'portnum' : keyword_mapping,
|
||||||
|
'requestId' : { 'type': 'long' },
|
||||||
|
'wantResponse' : { 'type': 'boolean' }
|
||||||
|
}
|
||||||
|
},
|
||||||
|
'from' : { 'type': 'long' },
|
||||||
|
'hopLimit' : { 'type': 'long' },
|
||||||
|
'hopStart' : { 'type': 'long' },
|
||||||
|
'id' : { 'type': 'long' },
|
||||||
|
'priority' : keyword_mapping,
|
||||||
|
'rxRssi' : { 'type': 'long' },
|
||||||
|
'rxSnr' : { 'type': 'float' },
|
||||||
|
'rxTime' : { 'type': 'date' },
|
||||||
|
'to' : { 'type': 'long' },
|
||||||
|
'viaMqtt' : { 'type': 'boolean' },
|
||||||
|
'wantAck' : { 'type': 'boolean' }
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
async def process_data(input_path: str):
|
async def process_data(input_path: str):
|
||||||
@ -31,25 +137,40 @@ async def process_data(input_path: str):
|
|||||||
'''
|
'''
|
||||||
|
|
||||||
async with aiofiles.open(input_path) as input_file:
|
async with aiofiles.open(input_path) as input_file:
|
||||||
# Read the input file line by line
|
|
||||||
async for line in input_file:
|
async for line in input_file:
|
||||||
line = line.strip()
|
line = line.strip()
|
||||||
|
|
||||||
# Sentinel value to indicate the end of a process (for closing out a FIFO stream)
|
|
||||||
if line == '~eof':
|
if line == '~eof':
|
||||||
break
|
break
|
||||||
|
|
||||||
# Skip empty lines and lines that do not start with a JSON object
|
|
||||||
if not line or not line.startswith('{'):
|
if not line or not line.startswith('{'):
|
||||||
continue
|
continue
|
||||||
|
|
||||||
# Parse the JSON record
|
|
||||||
try:
|
try:
|
||||||
record = json.loads(line)
|
record = json.loads(line)
|
||||||
except json.decoder.JSONDecodeError:
|
except json.decoder.JSONDecodeError:
|
||||||
logging.error(f'Failed to parse JSON record! ({line})')
|
logging.error(f'Failed to parse JSON record! ({line})')
|
||||||
continue
|
continue
|
||||||
|
|
||||||
|
# Convert Unix timestamps to Zulu time format
|
||||||
|
if 'rxTime' in record:
|
||||||
|
record['rxTime'] = time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime(record['rxTime']))
|
||||||
|
|
||||||
|
# Handle payload processing
|
||||||
|
if 'decoded' in record and 'payload' in record['decoded']:
|
||||||
|
payload = record['decoded']['payload']
|
||||||
|
|
||||||
|
# If payload is not a dict, wrap it in a nested array with a value field
|
||||||
|
if not isinstance(payload, dict):
|
||||||
|
record['decoded']['payload'] = [{'value': payload}]
|
||||||
|
else:
|
||||||
|
# Process timestamps in payload object and ensure it's in an array
|
||||||
|
if 'time' in payload:
|
||||||
|
payload['time'] = time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime(payload['time']))
|
||||||
|
if 'timestamp' in payload:
|
||||||
|
payload['timestamp'] = time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime(payload['timestamp']))
|
||||||
|
record['decoded']['payload'] = [payload]
|
||||||
|
|
||||||
yield {'_index': default_index, '_source': record}
|
yield {'_index': default_index, '_source': record}
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user