$ docker container ls
CONTAINER ID   IMAGE                COMMAND              CREATED          STATUS          PORTS                    NAMES
6544af7b0adb   shop_kotlin:0.1.18
 12 seconds ago   Up 11 seconds   0.0.0.0:8980 - 8980/tcp

Проверка:

$ http http://127.0.0.1:8980/shop_kotlin/api/echo/aaa

HTTP/1.1 200
Connection: keep-alive
Content-Length: 3
Content-Type: text/plain<span class="pl-k">;</span>charset=UTF-8
Date: Thu, 30 Nov 2023 15:36:25 GMT
Keep-Alive: timeout=60
Vary: Origin
Vary: Access-Control-Request-Method
Vary: Access-Control-Request-Headers

aaa

Swagger

Swagger доступен по адресу http://127.0.0.1:8980/shop_kotlin/api/swagger-ui/

Spring Actuator

Spring Actuator предназначен для получения информации о работающем приложении - статус приложения (жив/нет), использовании памяти, cpu и т.п.. Поключен по адресу http://127.0.0.1:8988/shop_kotlin/api/actuator

порт указан в application.yaml:

management:
  ...
  server:
    port: 8988

Использование из командной строки:

$ http http://127.0.0.1:8988/shop_kotlin/api/actuator

{
    "_links": {
        "beans": {
            "href": "http://127.0.0.1:8988/shop_kotlin/api/actuator/beans",
            "templated": false
        },
        "caches": {
            "href": "http://127.0.0.1:8988/shop_kotlin/api/actuator/caches",
            "templated": false
        },
        "caches-cache": {
            "href": "http://127.0.0.1:8988/shop_kotlin/api/actuator/caches/{cache}",
            "templated": true
        },
....

Пример "Сколько памяти используется?":

$ http http://127.0.0.1:8988/shop_kotlin/api/actuator/metrics/jvm.memory.used
....
"baseUnit": "bytes",
    "description": "The amount of used memory",
    "measurements": [
        {
            "statistic": "VALUE",
            "value": 147665416.0
        }
    ],
    "name": "jvm.memory.used"
....

Нагрузочные тесты показали следующие результаты: 64M - приложение выпадает с OutOfMemory 128M - тесты проходят

Prometheus

На моем сервере запущен Prometheus. Prometheus ОПРАШИВАЕТ приложение, согласно заданию (ниже yaml), и собирает метрики (metrics_path+targets). Пример задания для опроса в файле doc/prometheus/prometheus.yml. Содержимое doc/prometheus/prometheus.yml поместить в настройки prometheus. Пример задания:

scrape_configs:
- job_name: 'spring boot scrape'
  metrics_path: '/shop_kotlin/api/actuator/prometheus'
  scrape_interval: 5s
  static_configs:
    - targets: ['192.168.1.20:8988']

Опрашивать '192.168.1.20:8988/shop_kotlin/api/actuator/prometheus' каждые 5 сек.

Для просмотра получаемых prometheus-ом метрик можно выполнить:

$ http http://127.0.0.1:8788/api/actuator/prometheus**

(Использован httpie)

Ответ:

# HELP jvm_threads_daemon_threads The current number of live daemon threads
# TYPE jvm_threads_daemon_threads gauge
jvm_threads_daemon_threads 13.0
# HELP hikaricp_connections Total connections
...

Подключение к Prometheus из браузера: http://192.168.1.20:9090/targets

http://192.168.1.20:9090/graph

Основной экран: 192.168.1.20 - адрес хоста с prometheus http://192.168.1.20:9090/targets

Меню: Status/Targets

Приложение остановлено:

Приложение запущено:

Пример просмотра использования CPU в Prometheus

Prometheus запущен на 192.168.1.20:9090

Перейти на http://192.168.1.20:9090 В меню "Graph":

1. В "Expression" ввести system_cpu_usage
2. Перейти на Graph
3. Отрегулировать период (н.п. 15 мин.)

Итоговый запрос: http://192.168.1.20:9090/graph?g0.range_input=15m&g0.expr=system_cpu_usage&g0.tab=0

Запуск prometheus в docker:

docker run -d -p 9090:9090 -v "/$(pwd)/for_prometheus/prometheus.yml":/etc/prometheus/prometheus.yml prom/prometheus

Просмотр состояния prometheus, запущенного в docker:

Вычисление ID container

$ docker ps
CONTAINER ID   IMAGE             COMMAND                  CREATED         STATUS         PORTS                    NAMES
e081bb1f500c   prom/prometheus   /bin/prometheus --c…   4 minutes ago   Up 4 minutes   0.0.0.0:9090->9090/tcp   reverent_newton

Просмотр логов контейнера prometheus (e08 id контейнера)

$ docker logs e08 --follow

Ответ (что-тотипа такого):

ts=2023-09-11T13:13:17.850Z caller=main.go:1009 level=info msg="Server is ready to receive web requests."
ts=2023-09-11T13:13:17.850Z caller=manager.go:1009 level=info component="rule manager" msg="Starting rule manager..."

Grafana

Graphana отображает метрики, собранные Prometheus. На домашнем сервере развернута Grafana. На каринках ниже отображено использование CPU двух приложений, расположенных на двух разных хостах в упрощенном и полном формате:

Запуск grafana:

vasi@v$ sudo service grafana-server start

Остановка grafana:

vasi@v$ sudo service grafana-server stop

Пример запроса

user(pass): admin/admin

Подробнее о нагрузочном тестировании и метриках в этом проекте https://github.com/cherepakhin/shop_kotlin_yandex_tank_test

Кеширование

Кеширование сделано для RestController:

@GetMapping("/")
@Cacheable("allGroupProductDTO")
@ApiOperation("Get all groups of product")
fun all(): List<GroupProductDTO> {
    ...
}

Использован org.springframework.cache. Ручная проверка работы кеш:

# Очистка кеша
$ http :8780/api/group_product/clear_cache
# Для проверки, несколько раз сделать get запрос. 
# При этом в лог будет только один запрос к репозиторию.
$ http :8780/api/group_product/

Сборка Jenkins

Сборка происходит в Jenkins, развернутом на домашнем сервере. Pipeline для Jenkins описан в файле ./Jenkinsfile

Установка и настройка домашнего Jenkins описана в https://v.perm.ru/main/index.php/50-organizatsiya-sobstvennogo-ci-cd

Для ограничения памяти при сборке Gradle, добавлен параметр в gradle.properties:

org.gradle.jvmargs=-Xmx512M

Nexus

В проекте используется внешняя зависимость из домашнего NEXUS репозитория https://github.com/cherepakhin/shop_kotlin_extdto:

implementation("ru.perm.v:shop_kotlin_extdto:0.0.3")

Deploy to NEXUS repository

Возможен с использованием Jenkins (описано выше) или ручной deploy в Nexus с личного компьютера.

Для deploy выполнить:

$ ./gradlew publish

Путь к репозиторию установлен в build.gradle.kts:

url = uri("https://v.perm.ru:8082/repository/ru.perm.v/")

Для установки переменных доступа к Nexus repository выполнить в shell:

$ export NEXUS_CRED_USR=admin
$ export NEXUS_CRED_PSW=pass

Секция publishing в build.gradle.kts:

publishing {
    repositories {
        maven {
            url = uri("https://v.perm.ru:8082/repository/ru.perm.v/")
            isAllowInsecureProtocol = true
            //  publish в nexus "./gradlew publish" из ноута и Jenkins проходит
            // export NEXUS_CRED_USR=admin
            // echo $NEXUS_CRED_USR
            credentials {
                username = System.getenv("NEXUS_CRED_USR")
                password = System.getenv("NEXUS_CRED_PSW")
            }
        }
    }
    publications {
        register("mavenJava", MavenPublication::class) {
            groupId
            artifactId
            version
            from(components["java"])
        }

Просмотр ресурсов с помощью Java Mission Control

Java Mission Control

jmc-8.3.1_linux-x64/JDK Mission Control$ jmc

Логирование

Настройка сделана в application.yaml:

logging:
  level:
    root: info
  file:
    path: log/

Использование "ChatGPT-EasyCode" в Idea

Пример работы плагина Idea EasyCode:

Использование "ChatGPT-EasyCode" в VSCode

Генерация тестов

Рефакторинг

Вещь!

А отечественный GigaCode, в течении нескольких недель, отвечал унылым

и в конце концов какие-то шестеренки провернулись:
В IntelliJ IDEA 2023.3.2 (Community Edition):

Частный параметр конфигурации в application.yaml

Бывает нужно добавить СВОЙ параметр конигурации в application.yaml для удобства тестирования, разработки, развертывания. Пример описан в проекте: https://github.com/cherepakhin/camel_rest в разделе "Дополнительно". В application.yaml добавлен ЧАСТНЫЙ параметр конфигурации "myconfig".

Описание:

@ConfigurationProperties("myconfig")
@ConstructorBinding
data class MyConfig(val testDirectory: String)

myconfig:
    testDirectory: file:~/temp/testarea

@RestController
class ParamCtrl {

    @Autowired
    lateinit var myConfig: MyConfig

    @GetMapping("/test_directory")
    fun getTestDirectory(): String? {
        logger.info("GET param test_directory=${myConfig.testDirectory}")
        return myConfig.testDirectory
    }
}

$ export SPRING_APPLICATION_JSON='{"server":{"port":8960}}'
$ java -jar build/libs/spring_config_k-0.0.1-SNAPSHOT.jar
....
INFO 23327 --- [           main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat initialized with port(s): 8960 (http)
....

internal class ProductRestTest {
    @Mock
    private lateinit var mockProductService: ProductService

    @InjectMocks
    private lateinit var productRest: ProductRest
    ...
}

val catName: String by lazy { getName() }

class Someclass {
  ...
  object AsStaticObject {
    fun create() {
      ...
    }
  }

}

...

val someClass = SomeClass.AsStaticObject.create()

class SomeClass {

  companion object {
    fun create()
  }
}

...

val someClass = SomeClass.create()

val MY_VAL = 1
const val MY_CONST_VAL = 2

...
pipeline {

    agent any
    options {
        durabilityHint 'MAX_SURVIVABILITY'
    }
...

• В Windows на сетевом диске компилировалось с проблемами query-dsl. После переноса на диск C: проблемы ушли.

• Если появилась ошибка: "./gradlew: строка 2: $'\r': команда не найдена", то выполнить:

• Похоже, при расшаривании папки для Windows и работе в Windows изменился символ конца строки.

• Смена версии gradlew: в ./gragle/wrapper/gradle-wrapper.properties

  distributionUrl=https\://services.gradle.org/distributions/gradle-7.6.1-bin.zip

• Тесты проходят (из idea и из shell)
• Jetty рекомендуют, как более оптимизированный контейнер:

  dependencies {
    implementation("org.springframework.boot:spring-boot-starter-web") {
    exclude("org.springframework.boot:spring-boot-starter-tomcat")
    }
    implementation("org.springframework.boot:spring-boot-starter-jetty") // jetty uses less memory
  

• Описание Data class: https://kotlinlang.ru/docs/reference/data-classes.html. "Классы данных не могут быть абстрактными, open, sealed или inner. Компилятор автоматически формирует следующие члены данного класса из свойств, объявленных в основном конструкторе: equals()/hashCode(), toString() в форме "User(name=John, age=42)", компонентные функции componentN(), которые соответствуют свойствам, в соответствии с порядком их объявления. Основной конструктор должен иметь как минимум один параметр. Все параметры основного конструктора должны быть отмечены, как val или var."

Ссылки:

• Интеграционное тестирование REST
• Настройка и использование Prometheus, Grafana
• Шпаргалка по Docker
• Set java version
• Установка и настройка домашнего Nexus/Jenkins